NVIDIAs GR00T 2 lernt vor allem aus Menschenvideos und braucht dann fünf Roboter-Demos für 95 %

NVIDIA hat GR00T 2 am 9. November auf der Conference on Robot Learning (CoRL) in Austin vorgestellt, ein offenes World-Action-Modell, das künftige Videobilder und Roboteraktionen gemeinsam vorhersagt. Die Forschungsseite listet die Daten fürs Vortraining auf: 402.730 Stunden Ego-Perspektive-Video von Menschen bei der Arbeit, 10.184 Stunden, aufgezeichnet mit einem handgeführten UMI-Greifer, und 23.500 Stunden Roboter-Teleoperation. Menschenvideo macht etwa 92 % der Stunden aus, Teleoperation etwa 5 %.

Das Ergebnis, das NVIDIA nach vorn stellt, zeigt, wo Roboterdaten noch zählen. Der Testroboter, eine zweiarmige Maschine mit Händen von Sharpa, hatte die 50 Aufgaben nie selbst gemacht; sie kamen nur in Menschenvideos oder Daten anderer Roboter vor. Ohne Beispiel gelangen GR00T 2 40 % der Versuche, berichten NVIDIAs Forscher. Eine Demonstration pro Aufgabe hob das auf 71 %, fünf, also weniger als drei Minuten Roboterdaten, nach 30 Minuten Feintuning auf einer einzigen RTX 5090 auf 95 %. Das allgemeine Können kommt aus billigem Video, der roboterspezifische Teil ist auf Minuten pro Aufgabe geschrumpft. Das trifft Firmen, die Teleoperation stundenweise verkaufen, härter als konkurrierende Modellbauer.

Fehler liegen an der Präzision, nicht am Plan

NVIDIAs eigene Auswertung der Fehlschläge ohne Beispiel stützt diese Arbeitsteilung. GR00T 2 macht meist die richtigen Schritte in der richtigen Reihenfolge, schreiben die Forscher, und ein einzelner Schritt ist nicht präzise genug. Genau diese Lücke schließen ein paar Demonstrationen. Mit wenig Nachtraining setzte es mit zwei Sharpa-Händen mit je 22 Freiheitsgraden GB300-Speichermodule in 85 % der Versuche ein; von einem Reasoning-Agenten als Werkzeug aufgerufen, schaffte es 292 von 300 Spielzeugmontagen.

In Japan hat AIRoA dieselbe Idee drei Tage früher weiter getrieben. Sein Modell AIRoA-0 baut auf den π0.5-Gewichten von Physical Intelligence auf, wurde mit 16.151 Stunden Aufnahmen handgeführter Greifer trainiert, ganz ohne Roboter-Teleoperation, und erreichte im Schnitt 78 % auf zehn Aufgaben, gegenüber 27 % für das beste von vier anderen Modellen mit denselben Daten, teilte der Verband am 6. November mit.

Mehr Video hilft, aber langsam

Das stärkste Argument gegen den Abgesang auf Teleoperation steckt in GR00T 2s eigenem Skalierungstest. NVIDIA trainierte vier Versionen mit 0 %, 1 %, 10 % und 100 % des Menschenvideos vor und maß sie an 72 Aufgaben. Der Aufgabenfortschritt am echten Roboter stieg mit jeder Stufe, von 50 auf 70 %. Hundertmal mehr Video brachte 20 Punkte, und im Mix stecken weiter 23.500 Stunden Teleoperation: Die Roboterstunden sind nicht verschwunden.

Bald lässt sich das außerhalb von NVIDIA prüfen. Laut Forschungsseite kommt der Code im Dezember, 100.000 Stunden des Menschenvideos liegen schon offen auf Hugging Face. Foxconn setzt GR00T 2 in der Serverfertigung ein, Siemens testet es, so NVIDIA. Die Zahl, auf die du achten solltest, ist fünf: ob deren Ingenieure an einer echten Linie fünf Demonstrationen pro Aufgabe brauchen oder fünfzig.