Coding-Agenten programmieren Fabrikroboter fast so gut wie ein Mensch: Benchmark von Berkeley und NVIDIA

KI-Coding-Agenten, die Roboterprogramme schreiben, statt Verhalten aus gesammelten Daten zu lernen, liegen bei einer neuen Reihe von Fabrikaufgaben von UC Berkeley und NVIDIA nur noch fünf Punkte hinter einem menschlichen Programmierer. Für VABAR, einen Benchmark, dessen Code die Teams am 9. November veröffentlicht haben, schrieben acht Modelle Programme für fünf Aufgaben, darunter Werkzeuge aufhängen, Spritzen verpacken und USB-C-Kabel einstecken. Alle nutzten dieselbe Bibliothek mit 33 Fähigkeiten und bekamen zwei Runden Rückmeldung aus einem Physiksimulator. Claude Opus 5.5 war insgesamt zu 77 % erfolgreich, das von einem Menschen geschriebene Referenzprogramm zu 82 %. Die Gruppe um Ken Goldberg und NVIDIA haben die Arbeit diese Woche auf der CoRL 2026 in Austin vorgestellt, berichtete The Robot Report am 11. November.

Für Aufgaben, bei denen sich die Teile ändern, die Arbeitszelle aber bekannt ist, wird Code damit zum praktikableren Weg als End-to-End-Robotermodelle. Der Hebel ist die Wahl des Coding-Modells. „Modelle, die nur wenige Punkte auseinander starten, liegen nach zwei Feedback-Runden 30 Punkte auseinander“, heißt es auf der VABAR-Seite. Nach diesen Runden reichten die acht von 77 % bis 44 % für DeepSeek V4.

Werden die Teile umsortiert, fallen die VLAs zurück

Das Framework hinter VABAR, Graph-as-Policy (GaP), zerlegt eine Aufgabe in Knoten für Wahrnehmung, Greifen und Bewegungsplanung. Agenten schreiben und verbinden sie und proben Varianten in der Simulation, bevor das Programm auf einem echten Roboter läuft. Heraus kommt Python-Code, der für die Low-Level-Steuerung vorhandene Module eines Herstellers aufruft, etwa von KUKA. In den Simulationstests des GaP-Papers schnitten Vision-Language-Action-Modelle gut ab, solange sich die Objekte kaum bewegten: π0.5 kam auf LIBERO auf 0,96, MolmoAct2 auf 0,97, GaP auf 0,95. Als die Autoren die Objektpositionen vertauschten, fiel π0.5 auf 0,15 und MolmoAct2 auf 0,26, während GaP bei 0,97 blieb. Bei einer echten zweiarmigen Kistenwäsche gelangen GaP 143 von 150 Versuchen, einem von Hand abgestimmten Expertenprogramm 148. Pro Stunde schaffte GaP 18,33 erfolgreiche Zyklen, das Expertenprogramm 19,33.

Die Industrie testet den Ansatz bereits. Bosch prüft ihn laut The Robot Report für die Industrieautomation. Jeff Mahler, Mitgründer von Ambi Robotics, das Goldberg berät, sagte, der Ansatz habe „Produktionsdaten in Updates des Roboterverhaltens umgewandelt und den Durchsatz unserer gesamten US-Flotte erhöht“.

Das stärkste Gegenargument: Wer hier benotet. Dieselben Labore haben das Framework, die Fähigkeitenbibliothek, die Aufgaben und die menschliche Referenz gebaut. Beim Werkzeugaufhängen schlug der Mensch alle Modelle mit 87 %, das beste Modell kam auf 60 %. Beim Kabelverlegen erreichte er dagegen nur 47 %, während alle acht Modelle zwischen 72 % und 83 % lagen. Die VABAR-Autoren kündigen ein schwierigeres Testset an. Wenn externe Teams es in ihren eigenen Zellen laufen lassen, zeigt sich, ob der Abstand von fünf Punkten hält.