Le modèle du monde physique de NTT fait passer de 73 % à 92 % la réussite d'un robot qui charge une étagère, et Mujin va le tester sur des bagages d'aéroport

NTT a mis au point un modèle du monde qui prédit, avant que le robot ne bouge, si une charge va s'effondrer ou un objet tomber. Selon le groupe, la réussite d'un petit robot sur une tâche de rangement en étagère est passée de 73,1 % à 92,3 %. L'entreprise tokyoïte a présenté ces travaux le 11 novembre et prévoit des essais sur le terrain avec Mujin, en commençant par le chargement et le déchargement de bagages d'aéroport de formes et de poids variés.

Le pari : ce qui empêche un modèle du monde de se tromper sur des cartons, c'est la physique, pas davantage de vidéo. D'après NTT, les modèles classiques ne représentent pas les grandeurs physiques des objets, si bien que dans les vidéos qu'ils génèrent les objets disparaissent ou se déforment, les collisions sont mal prédites et les scènes absentes des données d'entraînement les mettent en échec. L'« adaptateur de contrôle physique » de NTT estime à partir de la vidéo la position, l'orientation, la vitesse et la masse de chaque objet, calcule le mouvement suivant avec les équations du mouvement et transmet le résultat à un modèle de génération vidéo. Pour des bagages dont la forme et le poids changent sans cesse, réunir des données couvrant chaque cas n'est pas réaliste, explique l'entreprise. C'est le pari inverse de GR00T 2 chez NVIDIA, qui apprend surtout à partir de vidéos humaines.

Il note les propositions du planificateur au lieu de le remplacer

Le modèle ne pilote pas le robot. Un modèle VLA ou un planificateur de mouvement propose plusieurs actions ; le modèle de NTT génère la vidéo de ce que chacune entraînerait, la note selon les chutes et les collisions, et le robot retient la plus susceptible de réussir. NTT affirme qu'il tourne assez vite pour s'insérer dans la boucle de contrôle et que, comme il fournit les grandeurs physiques derrière chaque prédiction, les opérateurs voient pourquoi il anticipe une chute.

C'est ce qui fait de Mujin un premier partenaire naturel. Ses contrôleurs planifient déjà la palettisation de cartons mixtes pour des bras industriels, et un vérificateur peut se greffer sur ce logiciel sans le remplacer. Sur OBJ3D, un banc d'essai public de prédiction vidéo centré sur les collisions entre plusieurs objets, le modèle a battu les méthodes antérieures sur la mesure de similarité LPIPS, selon NTT.

Les essais sur les bagages diront si le gain de 19 points tient. Un petit robot qui range des objets sur une étagère est loin d'un bras de taille réelle qui charge des valises dont le modèle doit deviner le poids à partir de la seule vidéo. NTT présentera le système à son R&D Forum 2026, du 18 au 25 novembre.