엔비디아 GR00T 2, 학습 대부분은 사람 영상…로봇 시연 5번으로 성공률 95%

엔비디아가 11월 9일 미국 오스틴에서 열린 로봇학습학회(CoRL)에서 GR00T 2를 공개했다. 미래 영상과 로봇 동작을 함께 예측하는 오픈 월드 액션 모델이다. 연구 페이지에 따르면 사전학습에는 사람이 일하는 모습을 1인칭으로 찍은 영상 40만2730시간, 손에 드는 UMI 그리퍼로 기록한 데이터 1만184시간, 로봇 원격조작 데이터 2만3500시간이 들어갔다. 시간 기준으로 사람 영상이 약 92%, 원격조작은 약 5%다.

엔비디아가 앞세운 결과는 로봇 데이터가 아직 어디서 쓸모 있는지 보여준다. 대상 로봇은 Sharpa 로봇 손 두 개를 단 양팔 로봇이고, 시험한 50개 작업은 이 로봇이 해본 적 없이 사람 영상이나 다른 로봇 데이터에만 있던 것들이다. 엔비디아 연구진에 따르면 GR00T 2의 제로샷 성공률은 40%였다. 작업당 시연 1번이면 71%, 5번(로봇 데이터 3분 미만)을 주고 RTX 5090 한 장으로 30분 미세조정하면 95%가 됐다. 범용 능력은 값싼 영상에서 나오고, 로봇별로 필요한 몫은 작업당 몇 분으로 줄었다. 타격은 경쟁 모델 회사보다 원격조작 데이터를 시간 단위로 파는 회사가 더 크게 받는다.

실패는 정밀도 문제, 할 일을 몰라서가 아니다

제로샷 실패에 대한 엔비디아의 분석도 이 분업을 뒷받침한다. 연구진은 GR00T 2가 대개 올바른 단계를 올바른 순서로 밟고, 한 단계에서 정밀도가 모자란다고 썼다. 몇 번의 시연이 메우는 것이 바로 이 차이다. 약간의 후학습만으로 22자유도 Sharpa 손 두 개로 GB300 메모리 모듈을 끼우는 작업에서 85%를 기록했고, 추론 에이전트가 도구로 호출하는 방식에서는 장난감 조립 300번 중 292번을 끝냈다.

일본 AIRoA(AI로봇협회)는 사흘 앞서 같은 생각을 더 밀어붙였다. 11월 6일 공개한 AIRoA-0은 Physical Intelligence의 π0.5 가중치에서 출발해 손에 드는 그리퍼로 모은 1만6151시간 데이터로 학습했고, 로봇 원격조작 데이터는 전혀 쓰지 않았다. 10개 작업 평균 성공률은 78%로, 같은 데이터로 학습한 다른 네 모델 중 최고치 27%를 크게 웃돌았다고 협회는 밝혔다.

영상이 늘면 좋아지지만 속도는 느리다

원격조작 무용론에 대한 가장 강한 반론은 GR00T 2 자체의 확장 실험에 있다. 엔비디아는 사람 영상을 0%, 1%, 10%, 100% 쓴 네 버전을 사전학습해 72개 작업에서 비교했다. 실제 로봇의 작업 진척도는 단계마다 올라 50%에서 70%가 됐다. 영상을 100배 늘려 얻은 것이 20%포인트이고, 데이터에는 여전히 2만3500시간의 원격조작이 들어 있다. 로봇 시간이 사라진 것은 아니다.

이 주장은 곧 엔비디아 밖에서 검증할 수 있다. 연구 페이지는 코드를 12월에 공개한다고 밝혔고, 사람 영상 중 10만 시간은 이미 Hugging Face에 공개돼 있다. 엔비디아에 따르면 Foxconn은 GR00T 2를 서버 제조에 적용하고 있고 Siemens는 평가 중이다. 지켜볼 숫자는 5다. 실제 라인의 엔지니어에게 작업당 필요한 시연이 5번일지, 50번일지.