Apples HALO trainiert einen Unitree G1 in 1.000 simulierten Wohnungen und schafft 91 % in sechs echten, die er nie gesehen hat

Ein Forschungsteam von Apple hat einem humanoiden Roboter beigebracht, sich auf Stühle zu setzen, zu genannten Gegenständen zu gehen, seitlich durch halb offene Türen zu treten, sich unter Tischen zu ducken oder durchzukriechen und Kisten zu schieben, ohne Teleoperation und ohne die Wohnungen vorher zu scannen. In einem am 4. November auf arXiv eingereichten Paper berichten die Forscher, dass das System namens HALO auf einem Unitree G1 in 91 % von 360 Versuchen erfolgreich war, in sechs echten Umgebungen, die es nie gesehen hatte und die weder gescannt noch kartiert waren. Gelernt hat es diese Fähigkeiten aus Daten, die in 1.000 prozedural erzeugten Räumen in der Simulation entstanden.

Das Paper stellt HALO der Teleoperation und Motion-Capture-Anzügen gegenüber, bei denen jede Stunde Daten mindestens eine Stunde menschliche Arbeit kostet. Apple hat stattdessen Rechenleistung eingesetzt: Den Hauptdatensatz von rund 300 Stunden Episoden zu erzeugen, dauerte laut Paper etwa 48 Stunden auf 250 Nvidia-H100-GPUs. Fürs Bewegen in einer Wohnung geht diese Rechnung auf. Die eigenen Zahlen des Papers zeigen aber, dass sich der Engpass verschiebt, statt zu verschwinden.

Mehr als 100 Räume bringen kaum noch etwas

In der Ablationsstudie zum Hinsetzen, gemessen in zurückgehaltenen simulierten Räumen, ergab Training mit einem Raum 43 % Erfolg, mit 10 Räumen 64 % und mit 100 Räumen 81 %. Der Sprung auf 1.000 Räume brachte nur 3 Punkte mehr, auf 84 %. Der Großteil des Gewinns durch Szenenvielfalt kam früh.

Beim Verketten von Fähigkeiten hakt es noch. Bei drei mehrstufigen Aufgaben in einem einzigen echten Raum lag der Erfolg im Schnitt bei 70 %. „Ducken, zum Ziel gehen, Kiste schieben“ klappte in der Hälfte der 10 Durchläufe. In 3 der 5 Fehlschläge endete das Ducken mit dem Kopf von der Kiste abgewandt, und der Roboter fand sie nicht wieder. In zwei Durchläufen „Ducken, dann Hinsetzen“ wollte er sich aufs Sofa statt auf den Stuhl setzen.

Jede neue Fähigkeit schreibt weiter ein Mensch

Die Pipeline nimmt den Bediener aus der Datensammlung, „aber nicht aus dem Aufgabendesign“, schreiben die Autoren. Für jede neue Aufgabe muss jemand den Prompt schreiben und die Keyframes der Bewegung festlegen. Kriechen und Ducken gingen von Handyvideos aus, das Schieben von Motion Capture. Der Roboter verlässt sich auf Kameras und spürt Kontakt nicht direkt; verlässt ein Gegenstand das Sichtfeld, werden kontaktreiche Aufgaben schlechter. Die Autoren nennen taktile Sensorik als naheliegende Lösung.

Die Hardware ist bewusst gewöhnlich: Der G1 trägt eine zusätzliche Kopfkamera und einen Mac mini M4 Pro in einem Gehäuse am Rücken. Das ganze System, einschließlich eines Sprachmodells, das Anfragen in Teilaufgaben zerlegt, läuft an Bord und braucht keine Internetverbindung.

Einen Tag später ging das Start-up Archon Robotics aus Shanghai den umgekehrten Weg und stellte einen Controller vor, der die Teleoperation auf demselben G1 fast fünfmal so produktiv macht. HALOs sechs Fähigkeiten drehen sich vor allem ums Bewegen im Raum. Archons Testaufgaben, eine Kiste treten und Hausschuhe aufheben, sind genau die kontaktreiche Sorte, mit der laut den HALO-Autoren reine Kamerawahrnehmung schlecht zurechtkommt. Fürs Erste ersetzt die Simulation den Bediener beim Gehen und Sitzen; was Hände und Füße tun, bringt ihm weiter ein Mensch bei.