Panasonics T-Rex gibt einem Robotermodell schnellen Fingerspitzen-Tastsinn und verdoppelt fast die Erfolgsquote bei 12 Kontaktaufgaben

Ein Robotermodell, das den Tastsinn der Fingerspitzen etwa 20-mal pro Sekunde ausliest, war bei 12 kontaktreichen Aufgaben in 65 Prozent der Versuche erfolgreich, vom Umblättern und Umsetzen von Eiern bis zum Aufschließen eines Schlosses, Herausziehen einer Karte und Eindrehen einer Glühbirne. Die stärkste frühere Methode kam auf 35 Prozent, teilte Panasonic Holdings am 5. November mit. Panasonic und seine US-Forschungstochter haben T-Rex (Tactile-Reactive Dexterous Manipulation) mit Forschern der UC Berkeley, von NVIDIA, Stanford, der Universität Sapienza in Rom und ItalAI entwickelt; das Team stellt es vom 9. bis 12. November auf der Conference on Robot Learning in Austin vor.

Der größte Teil des Gewinns kommt vom Tastsinn. Ohne taktile Eingabe erreichte T-Rex im Schnitt 42 Prozent, so Panasonic. Nach diesem Vergleich bringt der Tastsinn 23 der 30 Punkte Vorsprung auf die Referenz, alles andere am Rezept 7. Für die Aufgaben, die Panasonic im Blick hat, Teile in Fertigungslinien einsetzen, entnehmen und verschrauben, weiche oder zerbrechliche Waren in der Logistik handhaben, sind die knappen Teile eher taktile Hände und taktile Daten als ein größeres Bildmodell.

Langsamer Planer und schnelle Tastschleife in einem Modell

Die meisten VLA-Modelle arbeiten vor allem mit Kamerabildern und behandeln Berührung, wenn überhaupt, als statische Eingabe, heißt es in der Mitteilung. T-Rex teilt die Arbeit auf. Ein Modul für Bild und Sprache skizziert die Bewegung mit etwa 5 Hz, ein Tastmodul liest den Kontakt mit etwa 20 Hz und korrigiert die Bewegung bei Rutschen oder zu starkem Drücken, ohne dass die langsame Bilderkennung jedes Mal neu laufen muss. Das Paper beschreibt einen Mixture-of-Transformers mit variabler Rate und einem zeitlichen Tast-Encoder.

100 Stunden kurze Kontaktfertigkeiten

Das Training hat drei Stufen: 22.889 Stunden Ich-Perspektive-Videos von Menschen, dann 100 Stunden Daten eines zweihändigen Roboters mit Tastsinn (mehr als 7.700 Episoden), zuletzt rund 100 Demonstrationen pro Aufgabe. Der Tastdatensatz kombiniert mehr als 200 Haushaltsgegenstände mit 22 Grundbewegungen wie Einstecken, Abziehen, Drücken und Schrauben, statt wenige lange Aufgaben aufzuzeichnen. Gesammelt wurde per Teleoperation auf einem Dexmate Vega-1 mit zwei Armen mit 7 Freiheitsgraden und zwei Sharpa-Wave-Roboterhänden mit 22 Freiheitsgraden, 58 insgesamt; jede der zehn Fingerspitzen zeichnet eine Tiefenkarte der Verformung und eine Sechs-Achsen-Kraftmessung auf, so die Projektseite.

Zu den Autoren gehören Jitendra Malik, Pieter Abbeel, Ken Goldberg, Fei-Fei Li und NVIDIAs Jim Fan; der Preprint steht seit dem 15. Juni auf arXiv. Panasonics Mitteilung stellt den eigenen Namen voran, im Paper nennt einer der 34 Autoren Panasonic als Affiliation.

Alle 12 Aufgaben verlangen feine Kraftregelung oder weiche Objekte, also genau das Feld, auf dem eine Ablation die taktile Sensorik am stärksten begünstigt. Das Team hat 50 Stunden der Teleoperationsdaten offen veröffentlicht, sodass andere Labore prüfen können, ob die 23 Punkte auch bei selbst gewählten Aufgaben halten.