앤트그룹 Robbyant, 촉각 파운데이션 모델 LingBot-Touch 공개… 로봇 정책 4종 성공률 14~26%p 상승

앤트그룹 산하 체화 AI 기업 Robbyant가 촉각 파운데이션 모델 LingBot-Touch를 오픈소스로 공개했다. 압저항식, 자기식, 시각 촉각식 세 종류의 센서에서 모은 4,983시간의 손끝 데이터로 학습했다. 저자들이 11월 9일 arXiv에 올린 기술 보고서에 따르면, 이 중 4,000시간으로 사전 학습한 546만 파라미터의 Tiny 인코더를 고정한 채 기존 로봇 정책 4종에 붙이자 실제 양팔 작업 26가지의 평균 성공률이 14~26%포인트 올랐다. 네 정책은 Diffusion Policy, Physical Intelligence의 π0.5, Robbyant의 LingBot-VLA, T-Rex다.

진짜 발견은 대조 실험에 있다. 연구팀은 같은 정책에 원시 촉각 신호도 그대로 넣어 봤다. 개선 폭은 많아야 절반 정도인 7.0~11.2%포인트였고, 작업과 정책 조합 104개 가운데 22개에서는 오히려 성적이 떨어졌다. 원시 촉각을 넣은 LingBot-VLA는 마작패 분류 성공률이 **28.8%**에서 **5.0%**로 추락했다. 로봇 손이 느끼게 하는 것은 이제 어려운 부분이 아니다. 느낀 것을 정책이 쓸 수 있는 정보로 바꾸는 일이 어렵다.

한 번도 본 적 없는 센서에서도 통했다

XHand1의 자기식 손끝 센서는 사전 학습 데이터에 없던 모델이다. 이 센서를 위해 파라미터를 하나도 업데이트하지 않았는데도 LingBot-Touch 토큰은 XHand1의 6가지 작업에서 네 정책의 평균 성공률을 13.8~24.5%포인트 높였다. 원시 신호로 인한 변화는 −1.7~+4.6%포인트에 그쳤다. 시각 촉각 센서가 학습 데이터에 들어 있던 로봇 손 Sharpa Wave에서는 π0.5의 20개 작업 평균 성공률이 **47.6%**에서 **68.6%**로 올랐다.

저자들은 아직 자체 데이터를 5,000시간이나 가진 촉각 센서는 없지만 실험 결과 그럴 필요도 없어 보인다고 썼다. 한 감지 방식의 데이터가 다른 방식 센서의 성능까지 끌어올렸기 때문이다. 데이터셋은 사람이 촉각 장갑으로 모은 데이터와 원격 조작 로봇 손 데이터를 섞은 것으로, 24개 작업 범주에 걸친 464,431개 에피소드다. Tiny 인코더가 π0.5, LingBot-VLA, T-Rex에 더하는 파라미터는 **0.13~0.16%**에 불과하다. Robbyant는 코드와 모델을 GitHub와 Hugging Face에 두 가지 크기로 공개했다고 밝혔다.

촉각이 시각을 이기는 순간

개선이 모든 곳에서 나온 것은 아니다. 104개 조합 중 5개에서는 원래 정책보다 낮았다. 각 작업은 시연 200개(양손이 필요한 작업은 500개)로 학습하고 20회 시도로 평가했다. 가장 크게 오른 곳은 카메라로는 판단할 수 없는 단계였다. 병뚜껑이 풀렸는지(T-Rex, 56%→90%), 스프레이 방아쇠를 충분히 당겼는지(LingBot-VLA, 42.5%→87.5%), 그리고 지퍼 슬라이더가 맞물렸는지. 여기서 LingBot-VLA는 **11%**에서 **55%**로 올라섰다.