Runway ouvre son modèle robotique Praxis-1 sous Apache 2.0 ; ses propres tests placent le point faible dans la vidéo

Runway a publié Praxis-1, le modèle de fondation robotique présenté pour la première fois en septembre, en poids ouverts sous licence Apache 2.0, qui autorise l'usage commercial. Ce transformer de diffusion à mélange d'experts de 27 milliards de paramètres est un modèle d'action du monde : comme un modèle du monde, il prédit de la vidéo, et il prédit en même temps les actions du robot. Il est arrivé sur GitHub et Hugging Face le 11 novembre avec son code d'inférence et d'ajustement, et Runway annonce 46,2 % sur le banc de simulation RoboLab-120 de NVIDIA, devant FLUX 3 Action (42,9 %), Cosmos3 Nano (36,8 %) et π0.5 (28,0 %).

Le rapport technique de Runway place lui-même le point faible du modèle dans son imagination, pas dans sa motricité. Avec la vraie vidéo future d'un bras Franka, sur 32 extraits DROID mis de côté, les positions d'effecteur prédites par Praxis-1 s'écartaient de 1,14 cm. Obligé d'imaginer ce futur, comme sur un vrai robot, l'erreur montait à 5,71 cm, cinq fois plus, et Runway en attribue l'essentiel à la vidéo imaginée. Si cela se confirme, dans cette architecture, un meilleur contrôle passe par une meilleure prédiction vidéo, ce que Runway, société de génération vidéo, vend déjà.

Seuls 18 % des vidéos d'entraînement montrent un robot

Runway a bâti le modèle sur une base pré-entraînée sur de la vidéo généraliste. À l'étape suivante, la vidéo humaine à la première personne représentait 58 % des tokens, la vidéo généraliste 20 % et la vidéo de vrais robots 18 %. Ajusté sur le robot RT-1 de Google, absent de ses données d'entraînement, Praxis-1 atteint 80,0 % sur SimplerEnv, contre 52,4 % pour la politique RT-1 d'origine. Sur un vrai bras Franka, il a réussi 88 épisodes sur 100, contre 80 pour FLUX 3 Action.

Les partenaires de lancement Noble Machines, Standard Bots et Ultra le font tourner sur un humanoïde à jambes, un bras six axes et une station d'entrepôt à deux bras. Andy Chen, responsable robotique de Runway, a raconté à The Robot Report qu'avec Noble Machines, Praxis-1 a appris à saisir des planches de bois en une demi-heure d'exemples et a réussi 15 fois sur 15. Face à un tas désordonné jamais vu, il l'a entièrement vidé six fois sur dix.

Des systèmes d'agents restent au-dessus

Le « numéro un » revendiqué par Runway vaut parmi les modèles d'action du monde et les politiques ouvertes de bout en bout. Au classement de NVIDIA, Praxis-1 est cinquième au général. AMP1, un système agentique à base de modèle de langage, obtient 86,0 %, et SenseNova-RoboRSI, lui aussi agentique, 57,1 %. Avec des poids ouverts, n'importe quel laboratoire peut désormais vérifier si l'ajustement d'une politique fondée sur la vidéo comble un écart de près de 40 points.