Robbyant (Ant Group) publie LingBot-Touch, un modèle tactile qui fait gagner 14 à 26 points à quatre politiques robotiques

Robbyant, la société d'IA incarnée d'Ant Group, a publié en open source LingBot-Touch, un modèle de fondation tactile entraîné sur 4 983 heures d'enregistrements du bout des doigts provenant de trois familles de capteurs : piézorésistifs, magnétiques et visuo-tactiles. Ajouté sous forme d'encodeur figé à quatre politiques robotiques existantes, dans sa version Tiny de 5,46 millions de paramètres préentraînée sur 4 000 de ces heures, il a relevé leur réussite moyenne sur 26 tâches réelles à deux bras de 14 à 26 points de pourcentage, selon le rapport technique mis en ligne sur arXiv le 9 novembre. Ces politiques sont Diffusion Policy, π0.5 de Physical Intelligence, LingBot-VLA de Robbyant et T-Rex.

L'expérience témoin est la vraie découverte. L'équipe a aussi donné aux mêmes politiques le signal tactile brut. Le gain a été au mieux deux fois moindre, de 7,0 à 11,2 points, et les résultats se sont dégradés dans 22 des 104 couples tâche-politique. Avec le toucher brut, LingBot-VLA est tombé de 28,8 % à 5,0 % sur le tri de tuiles de mahjong. Donner des sensations à une main robotique n'est plus le plus dur. Le plus dur est d'en faire quelque chose qu'une politique sait exploiter.

Une main inconnue du modèle progresse aussi

Le capteur magnétique de la main XHand1 était d'un modèle absent du préentraînement. Sans qu'aucun paramètre soit mis à jour pour lui, les jetons de LingBot-Touch ont ajouté 13,8 à 24,5 points à la réussite moyenne des quatre politiques sur les six tâches de XHand1, quand le signal brut les faisait varier de −1,7 à +4,6 points. Sur la main dextre Sharpa Wave, dont les capteurs visuo-tactiles figuraient dans les données, la réussite moyenne de π0.5 sur 20 tâches est passée de 47,6 % à 68,6 %.

Aucun capteur tactile ne dispose aujourd'hui de 5 000 heures de données à lui seul, écrivent les auteurs, et leurs expériences suggèrent qu'il n'en a pas besoin : les heures d'un principe de mesure ont amélioré le modèle sur un autre. Le corpus mêle des gants tactiles portés par des humains et des mains robotiques téléopérées : 464 431 épisodes dans 24 catégories de tâches. L'encodeur Tiny n'ajoute que 0,13 % à 0,16 % aux paramètres de π0.5, LingBot-VLA et T-Rex. Robbyant indique que le code et le modèle sont disponibles sur GitHub et Hugging Face, en deux tailles.

Là où le toucher bat la vue

Les gains ne sont pas systématiques. LingBot-Touch a fait moins bien que la politique d'origine dans 5 des 104 couples, et chaque tâche a été jugée sur 20 essais après 200 démonstrations, ou 500 pour les tâches à deux mains. Les plus grands bonds tombent sur des étapes qu'une caméra ne tranche pas : un bouchon s'est-il débloqué (T-Rex, de 56 % à 90 %), une gâchette de pulvérisateur est-elle assez enfoncée (LingBot-VLA, de 42,5 % à 87,5 %), le curseur d'une fermeture éclair a-t-il accroché ? Là, LingBot-VLA est passé de 11 % à 55 %.