T-Rex de Panasonic ajoute un toucher rapide du bout des doigts à un modèle robotique et double presque la réussite sur 12 tâches de contact

Un modèle robotique qui lit le toucher du bout des doigts environ 20 fois par seconde a réussi 65 % des essais sur 12 tâches riches en contact, de tourner des pages et déplacer des œufs à ouvrir une serrure avec une clé, retirer une carte ou visser une ampoule, contre 35 % pour la meilleure méthode antérieure, a annoncé Panasonic Holdings le 5 novembre. Panasonic et sa filiale de recherche américaine ont mis au point T-Rex (Tactile-Reactive Dexterous Manipulation) avec des chercheurs de UC Berkeley, NVIDIA, Stanford, de l'université Sapienza de Rome et d'ItalAI ; l'équipe le présente à la Conference on Robot Learning, à Austin, du 9 au 12 novembre.

L'essentiel du gain vient du toucher. Sans l'entrée tactile, T-Rex plafonne à 42 %, selon Panasonic. Selon cette comparaison, le toucher pèse 23 des 30 points gagnés sur la référence, et tout le reste de la recette 7. Pour les tâches que vise Panasonic, insérer, retirer et visser des pièces sur les lignes d'usine, manipuler des objets mous ou fragiles en logistique, ce qui manque semble être des mains tactiles et des données tactiles plutôt qu'un plus gros modèle de vision.

Un planificateur lent et une boucle tactile rapide dans un seul modèle

La plupart des modèles VLA s'appuient surtout sur les images des caméras et, quand ils utilisent le toucher, le traitent comme une donnée statique, indique le communiqué. T-Rex sépare les rôles. Un module qui traite la vision et le langage esquisse le mouvement à environ 5 Hz, et un module tactile lit le contact à environ 20 Hz pour corriger le geste en cas de glissement ou de pression excessive, sans attendre que la reconnaissance d'image, lente, tourne à nouveau. L'article le décrit comme un Mixture-of-Transformers à fréquence variable doté d'un encodeur tactile temporel.

100 heures de gestes de contact courts

L'entraînement compte trois étapes : 22 889 heures de vidéo humaine à la première personne, puis 100 heures de données d'un robot à deux mains avec toucher (plus de 7 700 épisodes), enfin une centaine de démonstrations par tâche. Le jeu tactile associe plus de 200 objets du quotidien à 22 gestes de base, comme insérer, peler, presser ou visser, au lieu d'enregistrer quelques longues tâches. Il a été collecté par téléopération sur un Dexmate Vega-1 doté de deux bras à 7 degrés de liberté et de deux mains dextres Sharpa Wave à 22 degrés de liberté, soit 58 au total ; chacun des dix bouts de doigts enregistre une carte de profondeur de la déformation et une mesure d'effort sur six axes, selon la page du projet.

Parmi les auteurs figurent Jitendra Malik, Pieter Abbeel, Ken Goldberg, Fei-Fei Li et Jim Fan, de NVIDIA, et la prépublication est sur arXiv depuis le 15 juin. Le communiqué de Panasonic met son nom en avant ; dans l'article, un seul des 34 auteurs indique Panasonic comme affiliation.

Les 12 tâches exigent toutes un contrôle fin de l'effort ou la manipulation d'objets mous, là où une ablation avantage le plus la détection tactile. L'équipe a publié en libre accès 50 heures des données de téléopération : d'autres laboratoires pourront vérifier si les 23 points tiennent sur des tâches qu'ils auront choisies.