GR00T 2 de NVIDIA apprend surtout de vidéos humaines, puis atteint 95 % avec cinq démonstrations sur robot

NVIDIA a présenté GR00T 2 le 9 novembre à la Conference on Robot Learning (CoRL), à Austin : un modèle du monde et d'action ouvert qui prédit ensemble la vidéo à venir et les actions du robot. Sa page de recherche détaille les données de pré-entraînement : 402 730 heures de vidéo à la première personne de gens au travail, 10 184 heures enregistrées avec une pince UMI tenue à la main et 23 500 heures de téléopération de robots. La vidéo humaine représente environ 92 % des heures, la téléopération environ 5 %.

Le résultat mis en avant par NVIDIA montre où les données robot comptent encore. Le robot testé, une machine à deux bras équipée de mains Sharpa, n'avait jamais fait les 50 tâches évaluées, présentes seulement dans des vidéos humaines ou les données d'autres robots. Sans exemple, GR00T 2 a réussi 40 % des essais, selon les chercheurs de NVIDIA. Une démonstration par tâche a porté ce taux à 71 %, et cinq, moins de trois minutes de données robot, à 95 % après un réglage fin de 30 minutes sur une seule RTX 5090. La compétence générale vient de la vidéo bon marché ; la part propre à chaque robot tient désormais en quelques minutes par tâche. Cela frappe davantage les entreprises qui vendent de la téléopération à l'heure que les concurrents qui font des modèles.

Les échecs tiennent à la précision, pas au choix des gestes

L'analyse que fait NVIDIA de ses échecs sans exemple confirme ce partage. GR00T 2 enchaîne en général les bonnes étapes dans le bon ordre, écrivent les chercheurs, et c'est une seule étape qui manque de précision. C'est cet écart que comblent quelques démonstrations. Avec un post-entraînement minimal, il a inséré des modules mémoire GB300 avec deux mains Sharpa à 22 degrés de liberté dans 85 % des essais, et, piloté comme un outil par un agent de raisonnement, il a réussi 292 assemblages de jouets sur 300.

Au Japon, AIRoA a poussé la même idée plus loin trois jours plus tôt. Son modèle AIRoA-0, bâti sur les poids π0.5 de Physical Intelligence, a été entraîné sur 16 151 heures d'enregistrements de pinces tenues à la main, sans aucune téléopération de robot, et atteint 78 % de réussite moyenne sur dix tâches, contre 27 % pour le meilleur de quatre autres modèles entraînés sur les mêmes données, a indiqué l'association le 6 novembre.

Plus de vidéo aide, mais lentement

Le meilleur argument contre l'enterrement de la téléopération se trouve dans le propre test de passage à l'échelle de GR00T 2. NVIDIA a pré-entraîné quatre versions avec 0 %, 1 %, 10 % et 100 % de la vidéo humaine et les a mesurées sur 72 tâches. La progression sur robot réel a augmenté à chaque palier, de 50 % à 70 %. Cent fois plus de vidéo ont rapporté 20 points, et le mélange contient toujours 23 500 heures de téléopération : les heures robot n'ont pas disparu.

Ces résultats pourront bientôt être vérifiés hors de NVIDIA. Le code arrive en décembre selon la page de recherche, et 100 000 heures de vidéo humaine sont déjà ouvertes sur Hugging Face. Foxconn applique GR00T 2 à la fabrication de serveurs et Siemens l'évalue, d'après NVIDIA. Le chiffre à suivre est cinq : leurs ingénieurs auront-ils besoin de cinq démonstrations par tâche sur une vraie ligne, ou de cinquante ?