T-Rex, da Panasonic, dá a um modelo robótico tato rápido na ponta dos dedos e quase dobra o sucesso em 12 tarefas de contato

Um modelo robótico que lê o tato das pontas dos dedos cerca de 20 vezes por segundo teve sucesso em 65% das tentativas em 12 tarefas com muito contato, de virar páginas e transferir ovos a abrir uma fechadura com chave, tirar um cartão e rosquear uma lâmpada, contra 35% do melhor método anterior, informou a Panasonic Holdings em 5 de novembro. A Panasonic e sua subsidiária de pesquisa nos EUA desenvolveram o T-Rex (Tactile-Reactive Dexterous Manipulation) com pesquisadores da UC Berkeley, NVIDIA, Stanford, Universidade Sapienza de Roma e ItalAI, e a equipe o apresenta na Conference on Robot Learning, em Austin, de 9 a 12 de novembro.

A maior parte do ganho vem do tato. Sem a entrada tátil, o T-Rex teve média de 42%, segundo a Panasonic. Por essa comparação, o tato vale 23 dos 30 pontos de vantagem sobre a referência, e todo o resto da receita, 7. Para os trabalhos que a Panasonic tem em vista, encaixar, retirar e parafusar peças em linhas de fábrica e manusear itens macios ou frágeis na logística, o que falta parecem ser mãos táteis e dados táteis, mais do que um modelo de visão maior.

Um planejador lento e um laço tátil rápido no mesmo modelo

A maioria dos modelos VLA trabalha sobretudo com imagens de câmera e, quando usa o tato, o trata como informação estática, diz o comunicado. O T-Rex divide a tarefa. Um módulo que processa visão e linguagem esboça o movimento a cerca de 5 Hz, e um módulo tátil lê o contato a cerca de 20 Hz e corrige o movimento diante de deslizamentos ou pressão excessiva, sem esperar que o lento reconhecimento de imagem rode de novo. O artigo o descreve como um Mixture-of-Transformers de taxa variável com um codificador tátil temporal.

100 horas de habilidades curtas de contato

O treinamento tem três etapas: 22.889 horas de vídeo humano em primeira pessoa, depois 100 horas de dados de um robô de duas mãos com tato (mais de 7.700 episódios) e, por fim, cerca de 100 demonstrações por tarefa. O conjunto tátil combina mais de 200 objetos domésticos com 22 movimentos básicos, como encaixar, descascar, apertar e parafusar, em vez de gravar poucas tarefas longas. Foi coletado por teleoperação em um Dexmate Vega-1 com dois braços de 7 graus de liberdade e duas mãos robóticas Sharpa Wave de 22 graus de liberdade, 58 no total; cada uma das dez pontas dos dedos registra um mapa de profundidade da deformação e uma leitura de força em seis eixos, segundo a página do projeto.

Entre os autores estão Jitendra Malik, Pieter Abbeel, Ken Goldberg, Fei-Fei Li e Jim Fan, da NVIDIA, e o preprint está no arXiv desde 15 de junho. O comunicado da Panasonic põe o próprio nome na frente; no artigo, um dos 34 autores cita a Panasonic como afiliação.

As 12 tarefas exigem controle fino de força ou objetos macios, justamente onde uma ablação mais favorece o sensoriamento tátil. A equipe abriu 50 horas dos dados de teleoperação, e outros laboratórios podem verificar se os 23 pontos se mantêm em tarefas escolhidas por eles.