Le robot de Rhoda trouve des balles texturées au toucher, caméras masquées

En bref : Rhoda AI a publié un capteur tactile et une version de son modèle Direct Video-Action qui prédit la vidéo future et le toucher futur. Caméras du poignet et de la tête masquées, un robot entraîné sur une balle lisse et une balle texturée a ensuite sorti les balles texturées d'une boîte de sept, dont deux textures absentes de l'entraînement.

Le capteur

• Rhoda indique qu'une version montée sur pince réagit à une plume (quelques millinewtons) et à un haltère (plus de 40 newtons), et sent encore la plume après une charge lourde. Les capteurs optiques et magnétiques du commerce qu'elle a testés n'ont montré aucune réponse nette à la même plume.
• Elle rapporte la force normale et de cisaillement, une vibration de contact échantillonnée à environ 500 Hz, et la température, démontrée avec de l'eau tiède et de la glace sur une échelle de 20 à 40 °C.
• Les mêmes capteurs entrent dans une Universal Manipulation Interface tenue à la main, de sorte que les démonstrations humaines enregistrent la force de contact avec la vidéo et le mouvement. Cet enregistrement est la matière de l'apprentissage par imitation.

La tâche à l'aveugle

Le modèle prend un historique de « vidéos » tactiles, prédit les signaux tactiles suivants, et un modèle de dynamique inverse transforme ces prédictions en mouvement. Les caméras du poignet et de la tête étaient couvertes. Le robot devait fouiller une boîte, distinguer au contact une balle texturée d'une balle lisse, et ajuster la prise.

L'entraînement utilisait une balle bleue lisse et une balle verte texturée. Le même modèle a ensuite tourné sur quatre balles lisses et trois texturées. Deux des texturées différaient de la balle d'entraînement en diamètre, fermeté et motif de surface. Rhoda dit que le modèle a encore identifié et récupéré les balles texturées, et montre une exécution autonome prolongée. Elle ne dit pas combien d'essais cela a pris, ni un taux de réussite. Humanoids Daily note que la vidéo comprend de mauvais choix de balle et de nouveaux balayages, avec des passages accélérés à 6× et 12×.

Pourquoi c'est important

La vision échoue quand la pince cache le contact. Rhoda traite le toucher comme un autre flux vidéo dans un modèle construit pour prédire des pixels, pour une IA incarnée qui doit encore agir quand la caméra ne voit pas. La démo est une boîte contrôlée de balles, pas un bac d'usine. Rhoda ne donne pas la fiabilité sur des essais répétés.