T-Rex, de Panasonic, añade tacto rápido en la yema de los dedos a un modelo robótico y casi duplica el éxito en 12 tareas de contacto

Un modelo robótico que lee el tacto de las yemas de los dedos unas 20 veces por segundo tuvo éxito en el 65% de los intentos en 12 tareas con mucho contacto, desde pasar páginas y trasladar huevos hasta abrir una cerradura con llave, sacar una tarjeta o enroscar una bombilla, frente al 35% del mejor método anterior, según informó Panasonic Holdings el 5 de noviembre. Panasonic y su filial de investigación en Estados Unidos desarrollaron T-Rex (Tactile-Reactive Dexterous Manipulation) con investigadores de UC Berkeley, NVIDIA, Stanford, la Universidad Sapienza de Roma e ItalAI, y lo presentarán en la Conference on Robot Learning, en Austin, del 9 al 12 de noviembre.

La mayor parte de la mejora viene del tacto. Sin la entrada táctil, T-Rex promedió un 42%, según Panasonic. Con esa comparación, el tacto aporta 23 de los 30 puntos de ventaja sobre la referencia y todo lo demás de la receta, 7. Para los trabajos que Panasonic tiene en mente, insertar, retirar y atornillar piezas en líneas de fábrica y manipular objetos blandos o frágiles en logística, las piezas que escasean parecen ser las manos táctiles y los datos táctiles, más que un modelo de visión más grande.

Un planificador lento y un bucle táctil rápido en el mismo modelo

La mayoría de los modelos VLA trabajan sobre todo con imágenes de cámara y, cuando usan el tacto, lo tratan como un dato estático, dice el comunicado. T-Rex divide el trabajo. Un módulo que procesa visión y lenguaje esboza el movimiento a unos 5 Hz, y un módulo táctil lee el contacto a unos 20 Hz y corrige el movimiento ante deslizamientos o presión excesiva, sin esperar a que vuelva a ejecutarse el lento reconocimiento de imagen. El artículo lo describe como un Mixture-of-Transformers de frecuencia variable con un codificador táctil temporal.

100 horas de habilidades de contacto cortas

El entrenamiento tiene tres fases: 22.889 horas de vídeo humano en primera persona, luego 100 horas de datos de un robot de dos manos con tacto (más de 7.700 episodios) y, por último, unas 100 demostraciones por tarea. El conjunto táctil combina más de 200 objetos domésticos con 22 movimientos básicos, como insertar, pelar, apretar o atornillar, en lugar de grabar unas pocas tareas largas. Se recogió por teleoperación en un Dexmate Vega-1 con dos brazos de 7 grados de libertad y dos manos robóticas Sharpa Wave de 22 grados de libertad, 58 en total; cada una de las diez yemas registra un mapa de profundidad de la deformación y una lectura de fuerza de seis ejes, según la página del proyecto.

Entre los autores figuran Jitendra Malik, Pieter Abbeel, Ken Goldberg, Fei-Fei Li y Jim Fan, de NVIDIA, y el preprint está en arXiv desde el 15 de junio. El comunicado de Panasonic pone su nombre por delante; en el artículo, uno de los 34 autores cita a Panasonic como afiliación.

Las 12 tareas exigen un control fino de la fuerza o manejar objetos blandos, justo donde una ablación favorece más a la detección táctil. El equipo ha publicado en abierto 50 horas de los datos de teleoperación, así que otros laboratorios pueden comprobar si los 23 puntos se mantienen en tareas elegidas por ellos.