Was ist ein VLA-Modell (Vision-Language-Action)?
Ein VLA-Modell ist ein Robotik-Foundation-Model, das Kamerabilder und eine sprachliche Anweisung aufnimmt und direkt Roboteraktionen ausgibt.
Aktualisiert:
Definition
Ein Vision-Language-Action-Modell (VLA) übersetzt was der Roboter sieht und was ihm gesagt wird in was er tun soll. Die meisten bauen auf einem vortrainierten Vision-Language-Modell auf und ergänzen einen mit Roboterdaten trainierten Aktionskopf.
So funktioniert es
- Bilder (oft auch den Roboterzustand) und die Textanweisung kodieren.
- Künftige Aktionen vorhersagen, etwa Endeffektor-Posen und Greiferbefehle.
- Einen Teil ausführen, neu beobachten und neu planen.
Warum das wichtig ist
VLAs sind der Hauptansatz hinter „generalistischen“ Roboter-Policies, die über Aufgaben und Robotertypen hinweg funktionieren. Siehe Embodied AI.
Häufige Fragen
Was unterscheidet VLA von einem Vision-Language-Modell (VLM)?
Ein VLM antwortet mit Text. Ein VLA ergänzt eine Aktionsausgabe – meist eine kurze Folge künftiger Motorbefehle – und kann so einen Roboter steuern.
Was ist ein Action Chunk?
Eine Folge künftiger Aktionen fester Länge, die auf einmal vorhergesagt wird. Arbeiten wie Vela erproben stattdessen kontinuierliche Trajektorien.
Wo liegen die Grenzen?
Viele stützen sich vor allem auf das aktuelle Kamerabild, haben weder Tastsinn noch Gedächtnis und tun sich mit langen, kontaktreichen Aufgaben schwer. Modelle wie NEURAs Neuron AI ergänzen Sinne und Gedächtnis.
Berichterstattung
NEURAs Neuron AI ergänzt das Robotik-Foundation-Model um Tastsinn, Hören und Gedächtnis
NEURA Robotics stellte Neuron AI vor, ein „Perception-Language-Action“-Modell, das 3D-Sehen, Tastsinn, Kraft, Audio, Roboterzustand und Sprache mit Gedächtnis verbindet, und zeigt eine elfminütige Wäsche-Aufgabe auf dem Humanoiden 4NE1.
Physical Intelligence öffnet seine π0-Robotermodelle per API
Mit der Pi-API-Beta laden Roboterentwickler Daten hoch, feintunen π0/π0.5 auf Pis Infrastruktur und nutzen gehostete Inferenz.
Unitrees verbesserter G1+-Humanoid in Japan vorbestellbar
GMO AIR startete am 13. Oktober die Vorbestellung des G1+ in Japan: Halsgelenk, stärkere Motoren, 3D-LiDAR und Sprachinteraktion. Gründer Wang Xingxing sieht den Wendepunkt für Embodied AI in 1–2 Jahren.
1X bringt seinen Haushalts-Humanoiden NEO in echte Haushalte zur Beta
Ein dreimonatiger Test mit ausgewählten Haushalten soll zeigen, ob der 20.000-$-NEO Hausarbeit sicher und zuverlässig erledigt, bevor ausgeliefert wird.
Ultra holt 62 Mio. $ für Warehouse-Robots-as-a-Service — Gehirn von Physical Intelligence
Brooklyns Ultra schloss eine 50-Mio.-$-Serie-A (Framework) plus Seed, insgesamt 62 Mio. $; vermietet OP1-Packer, Physical Intelligence liefert die KI.
Vela: ein VLA, das glatte Trajektorien statt Aktions-Chunks vorhersagt
Das Vela-Modell eines Teams von Fudan und CUHK gibt Spline-Kurven mit adaptivem Zeithorizont aus und übertrifft π0.5 auf LIBERO-X, EBench sowie bei realem Eierkuchenbacken und Kartoffelraspeln.
Skilds S1 lernt Fußball, indem es 140 simulierte Jahre gegen sich selbst spielt
Nach S1 — Foundation-Modell, das ein Video-Demo ohne Fine-Tuning kopiert — zeigt Skild Physical Self-Play: dieselbe Policy trainiert in Isaac Sim gegen sich und wird auf einen Humanoiden übertragen.
Figures Helix 2.5 räumt 30 fremde Wohnungen auf
Figure zufolge hat sein Humanoid in 30 unbekannten Haushalten der Bay Area aufgeräumt, Handtücher gefaltet und Betten gemacht – ohne lokale Daten, gestützt auf einen 3,5-Mrd.-$-Compute-Deal mit Nscale.
Newsletter
Robrief Weekly
Eine E-Mail pro Woche mit den wichtigen Robotik-News. Kostenlos, jederzeit abbestellbar.