GR00T 2 da NVIDIA aprende sobretudo com vídeo humano e precisa de cinco demonstrações no robô para chegar a 95%

A NVIDIA apresentou o GR00T 2 em 9 de novembro na Conference on Robot Learning (CoRL), em Austin: um modelo de mundo e ação aberto que prevê ao mesmo tempo o vídeo futuro e as ações do robô. A página de pesquisa detalha os dados de pré-treinamento: 402.730 horas de vídeo em primeira pessoa de pessoas trabalhando, 10.184 horas gravadas com uma garra UMI de mão e 23.500 horas de teleoperação de robôs. O vídeo humano responde por cerca de 92% das horas; a teleoperação, por cerca de 5%.

O resultado que a NVIDIA destaca mostra onde os dados de robô ainda pesam. O robô de teste, uma máquina de dois braços com mãos da Sharpa, nunca tinha feito as 50 tarefas avaliadas, que só apareciam em vídeo humano ou em dados de outros robôs. Sem exemplos, o GR00T 2 acertou 40% das tentativas, segundo os pesquisadores da NVIDIA. Uma demonstração por tarefa elevou a taxa a 71%, e cinco, menos de três minutos de dados de robô, a 95% depois de um ajuste fino de 30 minutos numa única RTX 5090. A habilidade geral vem do vídeo barato; a parte específica de cada robô encolheu para minutos por tarefa. Isso atinge mais as empresas que vendem teleoperação por hora do que os rivais que fazem modelos.

As falhas são de precisão, não de saber o que fazer

A leitura da própria NVIDIA sobre as falhas sem exemplos reforça essa divisão. O GR00T 2 costuma executar os passos certos na ordem certa, escrevem os pesquisadores, e é um único passo que fica aquém na precisão. É essa lacuna que poucas demonstrações fecham. Com pouco pós-treinamento, encaixou módulos de memória GB300 com duas mãos Sharpa de 22 graus de liberdade em 85% das tentativas e, acionado como ferramenta por um agente de raciocínio, concluiu 292 de 300 montagens de brinquedos.

No Japão, a AIRoA levou a mesma ideia mais longe três dias antes. O modelo AIRoA-0, construído sobre os pesos π0.5 da Physical Intelligence, foi treinado com 16.151 horas de gravações com garras de mão, sem nenhuma teleoperação de robô, e alcançou 78% de sucesso médio em dez tarefas, contra 27% do melhor de outros quatro modelos treinados com os mesmos dados, informou a associação em 6 de novembro.

Mais vídeo ajuda, mas devagar

O argumento mais forte contra decretar o fim da teleoperação está no próprio teste de escala do GR00T 2. A NVIDIA pré-treinou quatro versões com 0%, 1%, 10% e 100% do vídeo humano e as mediu em 72 tarefas. O progresso no robô real subiu a cada etapa, de 50% para 70%. Cem vezes mais vídeo renderam 20 pontos, e a mistura ainda inclui 23.500 horas de teleoperação: as horas de robô não sumiram.

Em breve será possível conferir fora da NVIDIA. Segundo a página de pesquisa, o código sai em dezembro, e 100 mil horas do vídeo humano já estão abertas no Hugging Face. A Foxconn aplica o GR00T 2 à fabricação de servidores e a Siemens o avalia, segundo a NVIDIA. O número a observar é cinco: se os engenheiros delas vão precisar de cinco demonstrações por tarefa numa linha real, ou de cinquenta.