애플 HALO, 가상 집 1,000곳에서 학습한 Unitree G1로 처음 보는 실제 환경 6곳서 성공률 91%

애플 연구팀이 휴머노이드에게 의자에 앉기, 지정한 물체까지 걸어가기, 반쯤 열린 문을 옆으로 빠져나가기, 책상 밑에서 몸 숙이기와 기어가기, 상자 밀기를 가르쳤다. 원격조작은 쓰지 않았고 로봇이 일할 집을 미리 스캔하지도 않았다. 11월 4일 arXiv에 올라온 논문에 따르면 HALO라는 이 시스템은 Unitree G1에서 한 번도 보거나 스캔하거나 지도를 만든 적 없는 실제 환경 6곳에서 단일 과제를 360회 시험해 평균 91% 성공률을 기록했다. 이 동작들은 모두 시뮬레이션에서 절차적으로 생성한 방 1,000개의 데이터로 배웠다.

논문은 HALO를 원격조작이나 모션캡처 슈트와 비교한다. 이런 방식은 데이터 1시간을 얻는 데 최소 1시간의 사람 노동이 든다. 애플은 대신 연산을 썼다. 논문에 따르면 약 300시간 분량의 주 학습 데이터를 합성하는 데 엔비디아 H100 GPU 250개로 약 48시간이 걸렸다. 집 안을 돌아다니는 일이라면 이 거래는 성립한다. 다만 논문 자체 수치는 병목이 사라진 게 아니라 자리를 옮겼다는 것도 보여준다.

방을 100개에서 1,000개로 늘려도 3%포인트

'앉기' 기술의 소거 실험(학습에 쓰지 않은 가상 방에서 평가)에서 방 1개로 학습하면 성공률 43%, 10개는 64%, 100개는 81%였다. 1,000개로 늘려도 84%로 3%포인트 오르는 데 그쳤다. 장면 다양성에서 얻는 이득 대부분은 처음 100개 방에서 이미 나왔다.

기술을 이어 붙이면 아직 힘겹다. 실제 방 한 곳에서 시험한 다단계 과제 3종의 평균 성공률은 **70%**였다. '몸을 숙여 장애물 통과, 목표로 걷기, 상자 밀기'는 10회 중 5회만 성공했다. 실패 5회 중 3회는 몸을 숙인 뒤 머리가 상자 반대쪽을 향했고 끝내 상자를 찾지 못했다. '숙인 뒤 앉기'에서는 두 번이 의자 대신 오른쪽 소파에 앉으려 했다.

새 기술은 여전히 사람이 쓴다

저자들은 이 파이프라인이 데이터 수집에서는 조작자를 뺐지만 "과제 설계에서는 빼지 못했다"고 썼다. 새 과제마다 사람이 프롬프트를 쓰고 동작의 키프레임을 정해야 한다. 기어가기와 몸 숙이기 동작은 스마트폰 영상에서, 상자 밀기는 모션캡처에서 출발했다. 로봇은 주로 시각에 의존해 접촉을 직접 느끼지 못하기 때문에, 물체가 카메라 시야를 벗어나면 접촉이 많은 과제의 성능이 떨어진다. 저자들은 촉각 센싱을 자연스러운 해법으로 꼽았다.

하드웨어는 일부러 평범하게 했다. G1에 머리 카메라 하나를 더 달고 등 쪽 케이스에 맥 미니 M4 프로를 넣었을 뿐이다. 지시를 하위 과제로 쪼개는 언어 모델까지 전부 로봇 안에서 돌아가며 인터넷 연결 없이도 작동한다.

그다음 날 상하이의 Archon Robotics는 반대 방향으로 갔다. 같은 G1에서 원격조작 데이터 수집 효율을 5배 가까이 높이는 제어기를 공개했다. HALO의 기술 6가지는 대부분 방 안에서 움직이는 일이다. Archon이 시험한 상자 차기와 슬리퍼 줍기는 HALO 저자들이 시각만으로는 다루기 어렵다고 한 접촉 많은 작업에 해당한다. 지금 시뮬레이션이 조작자를 대신하는 곳은 걷기와 앉기이고, 손발을 쓰는 일은 아직 사람이 가르친다.