파나소닉 등 'T-Rex', 손끝 촉각을 빠르게 반영해 접촉 작업 12종 성공률 두 배 가까이

파나소닉 홀딩스는 손끝 촉각을 초당 약 20회 읽는 로봇 조작 AI가 접촉이 많은 실제 작업 12종에서 평균 성공률 **65%**를 기록했다고 11월 5일 밝혔다. 기존 최고 비교 방법은 **35%**였다. 작업에는 책장 넘기기, 달걀 옮기기, 열쇠로 자물쇠 열기, 카드 꺼내기, 전구 끼우기 등이 포함됐다. T-Rex(Tactile-Reactive Dexterous Manipulation)는 파나소닉과 미국 연구 자회사가 UC 버클리, NVIDIA, 스탠퍼드대, 로마 라 사피엔차대, ItalAI 연구진과 함께 개발했고, 11월 9~12일 미국 오스틴에서 열리는 로봇 학습 학회 CoRL에서 발표한다.

향상분의 대부분은 촉각에서 나왔다. 파나소닉에 따르면 촉각 입력을 빼면 T-Rex의 평균 성공률은 **42%**에 그쳤다. 이 비교대로라면 기준 방법보다 앞선 30%포인트 가운데 23%포인트가 촉각 몫이고, 나머지 개선 전체가 7%포인트다. 파나소닉이 염두에 둔 일은 생산 라인에서 부품을 끼우고 빼고 나사를 조이는 작업, 물류 현장에서 부드럽거나 깨지기 쉬운 물건을 다루는 작업이다. 이런 일에서 병목은 더 큰 비전 모델보다 촉각을 갖춘 손과 촉각 데이터 쪽으로 보인다.

느린 계획과 빠른 촉각 루프를 한 모델에

발표에 따르면 대부분의 VLA 모델은 주로 카메라 영상에 의존하고, 촉각을 쓰더라도 정적인 정보로 다룬다. T-Rex는 제어를 둘로 나눈다. 시각과 언어를 처리하는 모듈이 약 5Hz로 동작의 큰 틀을 만들고, 촉각 모듈이 약 20Hz로 접촉 상태를 읽어 미끄러짐이나 과도한 누름에 맞춰 동작을 실시간으로 보정한다. 지연이 큰 이미지 인식을 매번 다시 돌릴 필요가 없다. 논문은 이를 시계열 촉각 인코더를 갖춘 가변 속도 Mixture-of-Transformers 구조로 설명한다.

100시간 데이터는 짧은 접촉 동작에 집중

학습은 세 단계다. 먼저 사람의 1인칭 시점 영상 22,889시간으로 사전 학습하고, 촉각이 담긴 양손 로봇 데이터 100시간(7700여 건)으로 중간 학습을 한 뒤, 작업마다 약 100건의 시연으로 미세 조정한다. 촉각 데이터는 200여 종의 생활용품과 끼우기, 벗기기, 짜기, 돌려 조이기 등 22가지 기본 동작을 짝지은 것으로, 긴 작업 몇 개를 기록하는 방식이 아니다. 프로젝트 페이지에 따르면 데이터는 원격 조작으로 수집했다. 로봇은 Dexmate Vega-1로, 7자유도 팔 두 개와 22자유도 Sharpa Wave 로봇 손 두 개를 갖춰 전체 58자유도다. 손끝 10곳이 각각 변형 깊이 맵과 6축 힘을 기록한다.

저자에는 Jitendra Malik, Pieter Abbeel, Ken Goldberg, Fei-Fei Li, NVIDIA의 Jim Fan이 포함되며, 프리프린트는 6월 15일부터 arXiv에 올라 있다. 파나소닉 발표문은 자사 이름을 앞세우지만, 논문 저자 34명 중 소속을 파나소닉으로 적은 사람은 1명이다.

12개 작업은 모두 섬세한 힘 조절이나 부드러운 물체 다루기가 필요한 것으로, 소거 실험에서 촉각 센싱의 효과가 가장 크게 나오기 쉬운 영역이다. 연구팀은 원격 조작 데이터 중 50시간을 공개했기 때문에, 다른 연구실이 직접 고른 작업에서 23%포인트 차이가 유지되는지 확인할 수 있다.