Claude Fable 5.2 obtient 64,9 % sur RoboDojo, plus du double de GPT-6 Astra selon les tests d'Anthropic

Anthropic a lancé le 9 novembre Claude Fable 5.2, un modèle généraliste destiné au code, à la finance et aux sciences, et son annonce contenait un résultat en robotique. Sur RoboDojo, un banc d'essai public où un modèle pilote un robot simulé à deux bras à partir d'images de caméra, Fable 5.2 atteint 64,9 % de réussite moyenne, selon Anthropic. C'est plus du double de GPT-6 Astra (29,8 %) et de Fable 5.1 (27,6 %), et davantage que Claude Opus 5.5 (39,4 %) et Gemini 4 Argon (34,2 %). Anthropic a fait tourner tous les modèles lui-même, chacun à son niveau d'effort le plus élevé.

Le bond est réel sur le dispositif d'Anthropic, mais l'ordre des rivaux derrière lui dépend de qui tient le chronomètre. AA-Robotics v0.1, publié par Artificial Analysis le 14 octobre, faisait piloter un vrai bras à six axes sur huit tâches de table. GPT-6 Astra y obtenait 69,4 sur 100 et Fable 5.1 46,3, soit 23 points d'écart. Sur le test RoboDojo d'Anthropic, les deux mêmes modèles ne sont séparés que de 2,2 points.

En juillet, les politiques robotiques entraînées plafonnaient bas

Les auteurs de RoboDojo ont publié le banc d'essai en juillet avec 42 tâches de simulation sur la plateforme à deux bras ARX X5, qui mesurent généralisation, mémoire, précision, tâches longues et consignes ouvertes. Sur les 30 politiques robotiques entraînées qu'ils ont évaluées, la meilleure atteignait 8,80 % de réussite moyenne. Des experts humains atteignaient 76,03 % avec le même protocole. Anthropic affirme que Fable 5.2 a dépassé la plupart des systèmes d'IA conçus spécialement pour piloter des robots, ce qui laisse la place à quelques-uns devant lui dans le classement en ligne. Son chiffre vient de son propre dispositif : il se lit à côté de ceux de l'article, pas sur la même échelle.

Hors banc d'essai, un casse-tête et un bouchon

Selon Anthropic, Fable 5.2 pilote des robots physiques nettement mieux que les précédents modèles Claude, y compris sur des tâches pour lesquelles il n'a jamais été entraîné explicitement. Sa vidéo montre des robots contrôlés par le modèle résoudre un cube casse-tête, dévisser le bouchon d'une bouteille et dessiner un robot. Dans le même texte, Anthropic indique que le modèle a conçu trois appareils électroniques avec Diode, fabricant de circuits imprimés : un hub d'assistant vocal domestique, un haut-parleur mains libres USB et un animal virtuel de poche. Les trois ont fonctionné sans modification électrique.

Fable 5.2 coûte 8 dollars par million de jetons en entrée et 40 dollars par million en sortie, contre 10 et 50 dollars pour Fable 5.1.

RoboDojo note si le robot termine la tâche ; une chaîne de production paie pour la vitesse à laquelle il la termine. Artificial Analysis a chronométré les modèles de pointe à environ 30 minutes par tâche, contre 20 secondes pour un humain, et Fable 5.1 passait une dizaine de minutes à planifier avant son premier geste.