Runway veröffentlicht Robotermodell Praxis-1 unter Apache 2.0; eigene Tests verorten die Schwäche im Video

Runway hat Praxis-1, das im September erstmals gezeigte Roboter-Foundation-Model, mit offenen Gewichten unter der Apache-2.0-Lizenz veröffentlicht, die kommerzielle Nutzung erlaubt. Der Mixture-of-Experts-Diffusionstransformer mit 27 Milliarden Parametern ist ein Weltaktionsmodell: Wie ein Weltmodell sagt er Video voraus und dazu die Aktionen des Roboters. Am 11. November kam er mit Inferenz- und Fine-Tuning-Code auf GitHub und Hugging Face. Runway meldet 46,2 % auf NVIDIAs Simulationsbenchmark RoboLab-120, vor FLUX 3 Action (42,9 %), Cosmos3 Nano (36,8 %) und π0.5 (28,0 %).

Runways eigener technischer Bericht verortet die Schwäche des Modells in seiner Vorstellungskraft, nicht in der Motorik. Mit dem echten Zukunftsvideo eines Franka-Arms, auf 32 zurückgehaltenen DROID-Clips, lagen die vorhergesagten Endeffektor-Positionen 1,14 cm daneben. Musste Praxis-1 diese Zukunft selbst imaginieren, wie auf einem echten Roboter, stieg der Fehler auf 5,71 cm, das Fünffache, und Runway schreibt den Großteil dem imaginierten Video zu. Stimmt das, kommt bessere Steuerung in dieser Architektur aus besserer Videovorhersage, also genau dem, was Runway als Videogenerierungsfirma ohnehin verkauft.

Nur 18 % der Trainingsvideos zeigen einen Roboter

Runway baute das Modell auf einem mit allgemeinem Video vortrainierten Backbone auf. In der nächsten Trainingsphase machten Ego-Perspektive-Videos von Menschen 58 % der Tokens aus, allgemeines Video 20 % und Videos echter Roboter 18 %. Auf Googles RT-1-Roboter feinjustiert, der in den Trainingsdaten nicht vorkam, erreichte Praxis-1 80,0 % auf SimplerEnv, gegenüber 52,4 % der ursprünglichen RT-1-Policy. Auf einem echten Franka-Arm gelangen 88 von 100 Episoden, FLUX 3 Action schaffte 80.

Die Launch-Partner Noble Machines, Standard Bots und Ultra betreiben es auf einem Humanoiden mit Beinen, einem Sechsachsarm und einer zweiarmigen Lagerstation. Andy Chen, Leiter Robotik bei Runway, sagte The Robot Report, Praxis-1 habe bei Noble Machines das Aufheben von Holzbrettern aus einer halben Stunde Beispielen gelernt und 15 von 15 Versuchen geschafft. Einen unordentlichen, nie gesehenen Haufen räumte es in sechs von zehn Fällen komplett ab.

Agentensysteme liegen noch darüber

Runways „Platz eins" gilt unter Weltaktionsmodellen und offenen End-to-End-Policies. In NVIDIAs Rangliste liegt Praxis-1 insgesamt auf Platz fünf. AMP1, ein agentisches Sprachmodellsystem, kommt auf 86,0 %, SenseNova-RoboRSI, ebenfalls agentisch, auf 57,1 %. Mit offenen Gewichten kann jetzt jedes Labor prüfen, ob Fine-Tuning einer Video-first-Policy eine Lücke von fast 40 Punkten schließt.