Runway, 로봇 모델 Praxis-1 Apache 2.0으로 공개… 자체 시험에선 약점이 영상 예측

Runway가 9월에 처음 선보인 로봇 파운데이션 모델 Praxis-1을 상업적 이용이 가능한 Apache 2.0 라이선스의 오픈 웨이트로 공개했다. 270억 파라미터 전문가 혼합(MoE) 확산 트랜스포머로, 월드 모델처럼 영상을 예측하면서 로봇 동작도 함께 예측하는 월드 액션 모델이다. 11월 11일 추론·미세조정 코드와 함께 GitHub와 Hugging Face에 올라왔다. Runway는 NVIDIA의 시뮬레이션 벤치마크 RoboLab-120에서 성공률 **46.2%**로 FLUX 3 Action(42.9%), Cosmos3 Nano(36.8%), π0.5(28.0%)를 앞섰다고 밝혔다.

Runway의 기술 보고서는 이 모델의 약점을 동작이 아니라 '상상'에서 찾는다. DROID Franka 로봇팔의 보류 클립 32개에서 실제 미래 영상을 주면 예측한 엔드이펙터 위치 오차는 1.14cm였다. 실제 로봇에서처럼 미래를 스스로 상상하게 하자 오차는 5.71cm로 다섯 배가 됐고, Runway는 대부분을 상상한 영상 탓으로 본다. 이 말이 맞다면 이 구조에서 로봇 제어를 개선하는 길은 영상 예측 개선이며, 그건 영상 생성 기업 Runway가 이미 팔고 있는 것이다.

학습 영상 중 로봇은 18%뿐

모델의 골격은 일반 영상으로 사전학습됐다. 다음 학습 단계에선 1인칭 사람 영상이 토큰의 58%, 일반 영상이 20%, 실제 로봇 영상이 **18%**였다. 학습 데이터에 없던 구글 RT-1 로봇으로 미세조정하자 SimplerEnv에서 **80.0%**를 기록해 원래 RT-1 정책의 **52.4%**를 넘었다. 실제 Franka 로봇팔에선 100회 중 88회 성공했고, FLUX 3 Action은 80회였다.

출시 파트너 Noble Machines, Standard Bots, Ultra는 다리형 휴머노이드, 6축 로봇팔, 양팔 물류 스테이션에서 이 모델을 돌린다. Runway 로보틱스 책임자 Andy Chen은 The Robot Report에 Noble Machines 작업에서 Praxis-1이 30분 분량의 시연만으로 나무판 집기를 배워 15번 모두 성공했다고 말했다. 처음 보는 어지러운 더미에선 10번 중 6번 더미 전체를 치웠다.

위에는 에이전트형 시스템이 있다

Runway의 '1위'는 월드 액션 모델과 오픈 엔드투엔드 정책 안에서만 성립한다. NVIDIA 리더보드에서 Praxis-1은 종합 5위다. 에이전트형 언어 모델 시스템 AMP1이 86.0%, 역시 에이전트형인 SenseNova-RoboRSI가 **57.1%**다. 가중치가 공개된 지금, 영상 우선 정책이 미세조정만으로 40%포인트 가까운 격차를 메울 수 있는지 어느 연구실이든 시험해 볼 수 있다.