Runway、ロボットモデルPraxis-1をApache 2.0で公開 自社テストで弱点は映像予測と判明

Runwayは、9月に初公開したロボット基盤モデルPraxis-1を、商用利用も認めるApache 2.0ライセンスのオープンウェイトで公開した。270億パラメータの混合エキスパート型拡散トランスフォーマーで、ワールドモデルのように映像を予測し、同時にロボットの動作も予測するワールドアクションモデルだ。11月11日に推論・ファインチューニング用コードとともにGitHubとHugging Faceで公開された。RunwayによればNVIDIAのシミュレーションベンチマークRoboLab-120での成功率は 46.2% で、FLUX 3 Actionの 42.9%、Cosmos3 Nanoの 36.8%、π0.5の 28.0% を上回る。

Runway自身の技術レポートは、このモデルの弱点を動作ではなく「想像」に置いている。DROIDのFrankaアームの保留クリップ32本で、本物の未来映像を与えると、予測したエンドエフェクタ位置の誤差は 1.14cm だった。実機と同じく未来を自分で想像させると誤差は 5.71cm と5倍になり、Runwayはその大半を想像した映像のせいだとしている。これが正しければ、この設計でロボット制御を良くするのは映像予測の改善であり、それは動画生成企業のRunwayがすでに売っているものだ。

学習映像のうちロボットは18%だけ

モデルの骨格は一般映像で事前学習された。次の学習段階では、一人称の人間映像がトークンの 58%、一般映像が 20%、実機ロボットの映像が 18% を占めた。学習データになかったGoogleのRT-1ロボットでファインチューニングすると、SimplerEnvで 80.0% に達し、元のRT-1方策の 52.4% を上回った。実機のFrankaアームでは 100 回中 88 回成功し、FLUX 3 Actionは 80 回だった。

ローンチパートナーのNoble Machines、Standard Bots、Ultraは、脚式ヒューマノイド、6軸アーム、双腕の倉庫ステーションで動かしている。Runwayのロボティクス責任者Andy Chen氏はThe Robot Reportに対し、Noble Machinesの作業では30分の実演で木の板を拾う動作を覚え、15回中15回成功したと話した。初めて見る乱雑な山では、10回中6回で山全体を片付けた。

上位にはエージェント型システム

Runwayの「トップ」はワールドアクションモデルとオープンなエンドツーエンド方策の中での話だ。NVIDIAのリーダーボードでPraxis-1は総合5位。エージェント型言語モデルシステムのAMP1は 86.0%、同じくエージェント型のSenseNova-RoboRSIは 57.1% だ。重みが公開された今、映像優先の方策がファインチューニングだけで40ポイント近い差を縮められるか、どの研究室でも確かめられる。