LoopWAM, 자체 라벨 롤아웃으로 재학습해 실제 로봇에서 19.7점 향상

LoopWAM은 칭화대, Dexmal, Loopeva가 만든 폐루프 월드-액션 모델로, 저자는 14명이며 Xiuwei Xu, Meng Zhang, Jiwen Lu가 교신저자다. 팀은 2026년 10월 13일 arXiv에 올렸고 10월 15일 수정했으며 코드는 GitHub에 공개했다. RoboTwin 2.0의 양팔 과제 50개에서 추가 체화 사전학습 없이 평균 성공률 94.5%를 보고해, 같은 표에서 LingBot-VA 2.0의 93.6%, π0.5의 79.8%를 앞선다.

실패를 포함한 품질이 뒤섞인 롤아웃은 라벨을 붙여야 비로소 성과를 낸다. 거친 태그로도 충분하다. 같은 RoboTwin 데이터가 품질 유도 없이는 72.3%, 3단계 태그로는 **92.8%**를 기록하고, 롤아웃에 품질로 가중한 행동 지도 신호를 더하면 93.6%로 올라간다. 실전 1위는 이에 비해 얇다. Dexmal이 출범을 도운 벤치마크에서 자사 DM0.5를 2.67점 앞설 뿐이고, Dexmal이 공개한 DM0.5의 43.0%에 대해서는 0.33점 차이며, 17점 뒤에서 출발한 모델이 세 번의 배치 라운드를 거쳐야 얻은 자리다.

실패한 실행이 훈련하는 것은 팔이 아니라 월드 모델이다

학습 세트의 모든 궤적에는 지시문에 "Quality: q"라고 적힌 숫자 품질 점수가 붙고, 배치 시점에 모델은 전문가 점수를 조건으로 전문가 행동 쪽으로 유도된다. 영상 예측은 실패를 포함한 모든 궤적에서 지도 학습된다. 모방 학습의 행동은 품질로 가중된다. 전문가 궤적에는 행동 지도 신호가 온전히 주어지고 실패 궤적에는 전혀 주어지지 않아, 실패 궤적의 행동은 결코 모방되지 않으면서도 행동 뒤에 무슨 일이 일어나는지 예측하도록 월드 모델을 계속 훈련한다. 저자들은 영상 토큰과 행동 토큰을 하나의 병렬 과정에서 노이즈 제거하므로 예측된 결과가 행동 생성으로 곧바로 흘러들어가고, "소스 의존 노이즈 샘플링" 단계는 기록된 롤아웃 행동이 그 관측된 결과의 예측을 이끌게 한다.

절제 실험이 라벨이 얼마나 거칠어도 되는지 보여준다. 품질 유도가 없으면 RoboTwin 평균은 72.3%다. 실패한 롤아웃은 모두 낮음, 성공은 모두 중간, 전문가는 모두 높음으로 두는 극단적으로 거친 표시는 롤아웃 행동 지도 없이 92.8%, 지도와 함께 93.6%에 이른다. 정책 체크포인트마다 숫자 점수 하나를 매기고 실패를 최솟값에 두는 방식은 지도 없이 92.7%, 지도와 함께 94.5%로 완전한 방법이 된다. 저자들은 거친 방식이 체크포인트마다 사람의 주석 하나만 필요하다고 보고하고, 세밀한 주석은 유도의 효과를 얻는 데 필요하지 않다고 결론 내린다. 이들이 유도를 핵심 요소라고 부른다.

배치 라운드 3회로 19.7점, 가장 큰 상승은 2회차

실전 무대는 RoboChallenge의 Table30-V2다. ALOHA, DOS-W1, ARX5, UR5 네 로봇에 걸친 탁상 조작 과제 30개로 이뤄진 실제 로봇 벤치마크이며, 기술 보고서는 RoboChallenge Dexmal Team이 냈다. 저자들은 전문가 시연으로 로봇마다 멀티태스크 LoopWAM 하나씩을 학습시킨 뒤 배치 라운드 세 번을 돌렸다. 각 라운드는 과제마다 약 100개의 롤아웃 궤적을 모아 품질로 주석을 달고, 전문가 데이터와 그 이전의 모든 롤아웃으로 다시 학습했다.

전체 성공률은 23.67%에서 28.00%, 37.67%, **43.33%**로 올라 19.7%포인트 증가했고, 전체 점수는 36.10, 42.63, 51.65, 56.80으로 상승했다. 라운드별 성공률 상승 폭은 4.33, 9.67, 5.66%포인트로 2회차가 가장 컸다. 저자들의 절차대로면 과제 30개에 과제당 롤아웃 100개는 라운드당 약 3,000개 궤적, 3라운드에 걸쳐 약 9,000개가 된다.

Table30-V2 리드는 2.67점, Dexmal 자체 집계로는 0.33점

논문이 비교하는 리더보드 항목 가운데 LoopWAM은 성공률과 점수 모두 1위다. 2위 VLA-DM0.5는 성공률 40.67%, 점수 54.42로, 2026년 9월 22일에 확인한 스냅샷에서 성공률 2.67점 차 리드다. Gemma3 4B 비전-언어 백본과 6억8000만 파라미터 행동 전문가를 갖춘 VLA인 DM0.5에 대한 Dexmal 자체 페이지는 성공률 43.0%, 점수는 같은 54.42로 보고하는데, 이 공개 수치와 견주면 LoopWAM의 리드는 0.33점으로 줄어든다.

로봇별로 결과는 갈린다. LoopWAM은 ALOHA에서 26.00% 대 18.00%, UR5에서 76.67% 대 70.00%로 앞서고 DOS-W1에서는 42.00%로 DM0.5와 동률이다. ARX5에서는 55.71% 대 58.57%로 진다.

이 순위에 반대하는 가장 강한 근거는 출발선이다. 배치 라운드 전, 전문가 데이터로 학습한 LoopWAM은 23.67%로 DM0.5의 40.67%에 17점 뒤졌고, 앞지르려면 세 라운드를 모두 써야 했다. 2025년 3월 세워져 베이징에 둔 Dexmal은 RoboChallenge 출범에 함께했고, DOS-W1은 자사의 오픈소스 하드웨어다.

같은 방법은 성능이 낮은 것까지 포함해 다른 배치된 정책의 롤아웃도 받아들여, 하나의 범용 정책이 다른 정책의 실수로 학습할 수 있다. RoboTwin 2.0에서는 과제 50개와 정책 세 개에 걸쳐 자신과 X-VLA, π0.5의 롤아웃 궤적 22,500개로 학습했고, RoboCasa365에서는 자신과 RLDX-1의 롤아웃을 썼다.

Physical Intelligence의 방식이 가장 가까운 비교 대상이다. 저자들은 π0.6이 어드밴티지 조건 학습으로 자율 경험과 개입을 끌어들이고 π0.7이 품질, 속도, 실수 메타데이터로 품질이 뒤섞인 데이터를 흡수한다고 쓴다. 그리고 그런 방식에는 행동-영상 전이에서의 물리적 동역학에 대한 명시적 목적 함수가 없어, 실패한 롤아웃이 행동 목표만 주고 그 행동의 결과를 모델에 가르치지 않는다고 주장한다. 프리프린트와 같은 날 발표된 Pi의 API 베타는 시연을 모으고, 모델을 학습하고, 로봇에서 시험하고, 실패를 다음에 모을 데이터를 정하는 데 쓰는 루프를 설명한다.

제로샷 전이가 이 논문이 가장 약한 지점이다. 제로샷 평가용으로 떼어 둔 RoboCasa365의 Composite-Unseen 과제 16개에서 LoopWAM은 14.9%로, 같은 표의 PRTS 18.8%를 밑돌았다. 그래도 벤치마크 전체에서는 49.5%로 ABot-M0.6의 46.6%를 앞세워 여전히 1위다. 떼어 둔 시뮬레이션 과제에서의 이 14.9%가 새 주방으로 이어지면, 월드 모델의 우위는 이미 본 환경에 묶인 것이 된다.

셔츠 개기는 이 루프를 처음부터 끝까지 보여주는 유일한 과제다. DOS-W1에서 단일 과제 사후 학습을 거친 정책은 성공률 13.20%로 셔츠를 개켰고, 배치 라운드 두 번이 이를 32.54%, 55.56%로 끌어올렸다. 점수는 14.44에서 38.89, 67.78로 갔다. 여러 단계가 필요한 변형 물체 과제에서 시작 성공률의 네 배가 넘는다.