O que é um modelo VLA (visão-linguagem-ação)?
Um modelo VLA é um modelo fundacional para robôs que recebe imagens da câmera e uma instrução em linguagem natural e gera diretamente as ações do robô.
Atualizado:
Definição
Um modelo visão-linguagem-ação (VLA) transforma o que o robô vê e o que lhe pedem em o que ele deve fazer. A maioria parte de um modelo visão-linguagem pré-treinado e acrescenta uma cabeça de ação treinada com dados de robôs.
Como funciona
- Codifica imagens (muitas vezes o estado do robô) e a instrução de texto.
- Prevê ações futuras, como poses do efetuador e comandos da garra.
- Executa parte delas, observa de novo e replaneja.
Por que importa
VLAs são a principal abordagem por trás das políticas robóticas "generalistas" que funcionam em várias tarefas e robôs. Veja IA incorporada.
Perguntas frequentes
Qual a diferença para um modelo visão-linguagem (VLM)?
Um VLM responde com texto. Um VLA acrescenta uma saída de ações, geralmente uma curta sequência de comandos de motor, para controlar um robô.
O que é um bloco de ações (action chunk)?
Uma sequência de tamanho fixo de ações futuras prevista de uma vez. Pesquisas como o Vela exploram trajetórias contínuas no lugar.
Quais são as limitações?
Muitos dependem principalmente do quadro atual da câmera, não têm tato nem memória e sofrem em tarefas longas com contato. Modelos como o Neuron AI da NEURA adicionam mais sentidos e memória.
Cobertura
O Neuron AI da NEURA adiciona tato, som e memória ao modelo fundacional para robôs
A NEURA Robotics lançou o Neuron AI, um modelo de “percepção-linguagem-ação” que funde visão 3D, tato, força, áudio, estado do robô e linguagem com memória, e vai demonstrar uma tarefa de lavanderia de 11 minutos no humanoide 4NE1.
Physical Intelligence abre seus modelos de robô π0 a todos via API
A beta da Pi API permite enviar dados, ajustar π0/π0.5 na infraestrutura da Pi e rodar o resultado com inferência hospedada.
Humanoide G1+ aprimorado da Unitree entra em pré-venda no Japão
A GMO AIR abriu em 13 de outubro a pré-venda do G1+ no Japão: pescoço articulado, motores mais fortes, LiDAR 3D e interação por voz. O fundador Wang Xingxing vê o ponto de virada da IA incorporada em 1-2 anos.
1X coloca o humanoide doméstico NEO em casas reais para uma beta
Um teste de três meses com lares selecionados vai verificar se o NEO de US$ 20 mil faz tarefas com segurança e confiabilidade antes das entregas.
Ultra capta US$ 62 mi em robots-as-a-service de armazém — cérebro da Physical Intelligence
A brooklynense Ultra fechou Série A de US$ 50 mi (Framework) mais seed, total US$ 62 mi; aluga empacotadores OP1 enquanto a Physical Intelligence fornece a IA.
Vela: um VLA que prevê trajetórias suaves em vez de blocos de ações
O modelo Vela, de uma equipe da Fudan e da CUHK, gera curvas spline com horizonte de tempo adaptativo e supera o π0.5 no LIBERO-X, no EBench e em tarefas reais de preparar bolo de ovo e ralar batata.
O S1 da Skild aprende futebol jogando contra si mesmo por 140 anos simulados
Após o S1 — modelo-base que copia um único vídeo sem fine-tuning — a Skild mostrou Physical Self-Play: a mesma política treinou contra si no Isaac Sim e foi transferida a um humanoide.
Helix 2.5 da Figure arruma 30 casas que nunca viu
A Figure diz que seu humanoide arrumou salas, dobrou toalhas e fez camas em 30 casas desconhecidas sem dados locais, apoiado por um acordo de computação de US$ 3,5 bi com a Nscale.
Newsletter
Robrief Weekly
Um e-mail por semana com as notícias de robótica que importam. Grátis, cancele quando quiser.