Robbyant, da Ant Group, abre o LingBot-Touch, modelo de tato que dá de 14 a 26 pontos a quatro políticas robóticas

A Robbyant, empresa de IA incorporada da Ant Group, abriu o código do LingBot-Touch, um modelo fundacional tátil treinado com 4.983 horas de registros de pontas de dedos vindos de três tipos de sensor: piezorresistivo, magnético e visuotátil. Acoplado como codificador congelado a quatro políticas robóticas existentes, na versão Tiny de 5,46 milhões de parâmetros pré-treinada com 4.000 dessas horas, ele elevou o sucesso médio delas em 26 tarefas reais com dois braços em 14 a 26 pontos percentuais, segundo o relatório técnico que os autores publicaram no arXiv em 9 de novembro. As políticas foram Diffusion Policy, o π0.5 da Physical Intelligence, o LingBot-VLA da própria Robbyant e o T-Rex.

O experimento de controle é a verdadeira descoberta. A equipe também entregou às mesmas políticas o sinal tátil bruto. Isso ajudou no máximo cerca da metade, de 7,0 a 11,2 pontos, e piorou os resultados em 22 dos 104 pares de tarefa e política. Com o tato bruto, o LingBot-VLA caiu de 28,8% para 5,0% na separação de peças de mahjong. Fazer uma mão robótica sentir já não é a parte difícil. Difícil é transformar o que ela sente em algo que a política consiga usar.

Uma mão que o modelo nunca viu também ganhou

O sensor magnético da mão XHand1 era de um modelo ausente do pré-treinamento. Sem nenhum parâmetro atualizado para ele, os tokens do LingBot-Touch somaram de 13,8 a 24,5 pontos ao sucesso médio das quatro políticas nas seis tarefas da XHand1, enquanto o sinal bruto as moveu entre −1,7 e +4,6 pontos. Na mão robótica Sharpa Wave, cujos sensores visuotáteis estavam nos dados de treino, o sucesso médio do π0.5 em 20 tarefas subiu de 47,6% para 68,6%.

Os autores escrevem que nenhum sensor tátil tem hoje 5.000 horas de dados próprios, e seus experimentos sugerem que ele não precisa: horas de um princípio de medição melhoraram o modelo em outro. O corpus combina luvas táteis usadas por pessoas com mãos robóticas teleoperadas: 464.431 episódios em 24 categorias de tarefa. O codificador Tiny acrescenta só 0,13% a 0,16% aos parâmetros do π0.5, do LingBot-VLA e do T-Rex. A Robbyant diz que código e modelo estão no GitHub e no Hugging Face, em dois tamanhos.

Onde o tato vence a visão

Os ganhos não apareceram em tudo. O LingBot-Touch ficou abaixo da política original em 5 dos 104 pares, e cada tarefa foi avaliada em 20 tentativas depois de 200 demonstrações, ou 500 nas que exigem as duas mãos. Os maiores saltos vieram em etapas que uma câmera não resolve: se uma tampa de garrafa já soltou (T-Rex, de 56% para 90%), se o gatilho de um borrifador foi apertado o bastante (LingBot-VLA, de 42,5% para 87,5%) e se o cursor de um zíper engatou, onde o LingBot-VLA foi de 11% para 55%.