Qu'est-ce qu'un modèle VLA (vision-langage-action) ?
Un modèle VLA est un modèle de fondation robotique qui prend des images de caméra et une consigne en langage naturel et produit directement les actions du robot.
Mis à jour:
Définition
Un modèle vision-langage-action (VLA) relie ce que voit le robot et ce qu'on lui demande à ce qu'il doit faire. La plupart partent d'un modèle vision-langage préentraîné auquel on ajoute une tête d'action entraînée sur des données robotiques.
Fonctionnement
- Encoder les images (souvent l'état du robot) et la consigne textuelle.
- Prédire les actions futures, par exemple les poses de l'effecteur et les commandes de pince.
- En exécuter une partie, observer à nouveau et replanifier.
Pourquoi c'est important
Les VLA sont l'approche dominante des politiques robotiques « généralistes » qui fonctionnent sur plusieurs tâches et robots. Voir IA incarnée.
Questions fréquentes
Quelle différence avec un modèle vision-langage (VLM) ?
Un VLM répond en texte. Un VLA ajoute une sortie d'actions, généralement une courte séquence de commandes moteur, pour piloter un robot.
Qu'est-ce qu'un bloc d'actions (action chunk) ?
Une séquence de longueur fixe d'actions futures prédite d'un coup. Des travaux comme Vela explorent plutôt des trajectoires continues.
Quelles sont leurs limites ?
Beaucoup s'appuient surtout sur l'image courante, manquent de toucher et de mémoire et peinent sur les tâches longues riches en contacts. Des modèles comme Neuron AI de NEURA ajoutent des sens et de la mémoire.
Couverture
Neuron AI de NEURA ajoute le toucher, le son et la mémoire au modèle de fondation robotique
NEURA Robotics a lancé Neuron AI, un modèle « perception-langage-action » qui fusionne vision 3D, toucher, force, audio, état du robot et langage avec une mémoire, et fera la démonstration d'une tâche de lessive de 11 minutes sur son humanoïde 4NE1.
Physical Intelligence ouvre ses modèles robotiques π0 via une API
La bêta de la Pi API permet d'envoyer ses données, d'affiner π0/π0.5 sur l'infrastructure de Pi et d'exécuter le résultat en inférence hébergée.
Le G1+ amélioré d'Unitree en précommande au Japon
GMO AIR a ouvert le 13 octobre les précommandes du G1+ au Japon : cou articulé, moteurs renforcés, LiDAR 3D et interaction vocale. Le fondateur Wang Xingxing voit un point de bascule de l'IA incarnée d'ici 1 à 2 ans.
1X installe son humanoïde domestique NEO dans de vrais foyers pour une bêta
Un essai de trois mois avec des foyers sélectionnés vérifiera si le NEO à 20 000 $ fait les tâches ménagères de façon sûre et fiable avant les livraisons.
Ultra lève 62 M$ pour des robots d'entrepôt en as-a-service — cerveau Physical Intelligence
La brooklynienne Ultra a clos une série A de 50 M$ (Framework) plus une seed, soit 62 M$ ; elle loue des OP1 tandis que Physical Intelligence fournit l'IA.
Vela : un VLA qui prédit des trajectoires lisses plutôt que des blocs d'actions
Le modèle Vela d'une équipe de Fudan et de CUHK produit des courbes spline à horizon temporel adaptatif et surpasse π0.5 sur LIBERO-X, EBench et sur des tâches réelles de cuisson de galette aux œufs et de râpage de pommes de terre.
Le S1 de Skild apprend le foot en s'entraînant contre lui-même pendant 140 ans simulés
Après S1 — modèle de fondation qui copie une seule vidéo sans fine-tuning — Skild montre Physical Self-Play : la même politique s'entraîne contre elle-même dans Isaac Sim puis passe sur un humanoïde.
Helix 2.5 de Figure range 30 maisons jamais vues
Figure affirme que son humanoïde a rangé des salons, plié des serviettes et fait des lits dans 30 maisons inconnues sans données locales, appuyé par un contrat de calcul de 3,5 Md$ avec Nscale.
Newsletter
Robrief Weekly
Un e-mail par semaine avec l'actualité robotique qui compte. Gratuit, désinscription à tout moment.