Rhodas Roboter findet strukturierte Bälle per Tastsinn, Kameras verdeckt

Kurz gesagt: Rhoda AI hat einen Tastsensor und eine Fassung seines Direct-Video-Action-Modells veröffentlicht, die künftiges Video und künftigen Tastsinn vorhersagt. Mit blockierten Handgelenk- und Kopfkameras holte ein Roboter, trainiert an einem glatten und einem strukturierten Ball, strukturierte Bälle aus einer Kiste mit sieben, darunter zwei Texturen, die nicht im Training waren.

Der Sensor

• Rhoda sagt, eine Version an der Greiferhand reagiere auf eine Feder (einige Millinewton) und auf eine Hantel (über 40 Newton) und spüre die Feder auch nach einer schweren Last. Handelsübliche optische und magnetische Sensoren, die das Unternehmen testete, zeigten auf dieselbe Feder keine klare Reaktion.
• Es berichtet Normalkraft und Scherkraft, Kontaktvibration mit etwa 500 Hz Abtastung und Temperatur, gezeigt mit warmem Wasser und Eis auf einer Skala von 20–40 °C.
• Dieselben Sensoren sitzen in einem handgehaltenen Universal Manipulation Interface, sodass menschliche Vorführungen Kontaktkraft zusammen mit Video und Bewegung aufzeichnen. Diese Aufzeichnung ist das Rohmaterial für Imitationslernen.

Die Aufgabe mit verdeckten Kameras

Das Modell nimmt eine Historie taktiler „Videos“, sagt die nächsten Tastsignale vorher, und ein inverses Dynamikmodell macht aus den Vorhersagen Bewegung. Kameras an Handgelenk und Kopf waren abgedeckt. Der Roboter musste eine Kiste absuchen, einen strukturierten Ball per Kontakt von einem glatten unterscheiden und den Griff nachjustieren.

Trainiert wurde mit einem glatten blauen Ball und einem grünen strukturierten Ball. Dasselbe Modell lief danach auf vier glatten und drei strukturierten Bällen. Zwei der strukturierten unterschieden sich vom Trainingsball in Durchmesser, Festigkeit und Oberflächenmuster. Rhoda sagt, das Modell habe die strukturierten Bälle weiter erkannt und herausgeholt, und zeigt einen längeren autonomen Lauf. Es nennt weder die Zahl der Versuche noch eine Erfolgsquote. Humanoids Daily weist darauf hin, dass das Video falsche Ballwahl und erneutes Absuchen enthält, teils auf 6× und 12× beschleunigt.

Warum das wichtig ist

Sehen versagt, wenn der Greifer den Kontakt verdeckt. Rhoda behandelt Tastsinn als weiteren Videostrom in einem Modell, das Pixel vorhersagen soll, für Embodied AI, die noch handeln muss, wenn die Kamera nichts sieht. Die Demo ist eine kontrollierte Kiste mit Bällen. Sie ist kein Fabrikbehälter. Rhoda nennt die Zuverlässigkeit über wiederholte Versuche nicht.