El robot de Rhoda encuentra pelotas con textura al tacto, con las cámaras tapadas

En resumen: Rhoda AI publicó un sensor táctil y una versión de su modelo Direct Video-Action que predice el vídeo futuro y el tacto futuro. Con las cámaras de muñeca y cabeza bloqueadas, un robot entrenado con una pelota lisa y una con textura sacó después las pelotas con textura de una caja de siete, incluidas dos texturas con las que no había entrenado.

El sensor

• Rhoda dice que una versión montada en la pinza responde a una pluma (unos pocos milinewtons) y a una mancuerna (más de 40 newtons), y que sigue notando la pluma después de una carga pesada. Los sensores ópticos y magnéticos comerciales que probó no mostraron una respuesta clara a la misma pluma.
• Informa de fuerza normal y de cizalla, vibración de contacto muestreada a unos 500 Hz y temperatura, demostrada con agua tibia y hielo en una escala de 20–40 °C.
• Los mismos sensores entran en una Universal Manipulation Interface de mano, de modo que las demostraciones humanas registran la fuerza de contacto junto con el vídeo y el movimiento: la materia prima del aprendizaje por imitación.

La tarea a ciegas

El modelo toma un historial de «vídeos» táctiles, predice las señales táctiles siguientes y un modelo de dinámica inversa convierte esas predicciones en movimiento. Las cámaras de muñeca y cabeza estaban cubiertas. El robot tenía que registrar una caja, distinguir al tacto una pelota con textura de una lisa y ajustar el agarre.

El entrenamiento usó una pelota azul lisa y una verde con textura. El mismo modelo se ejecutó después con cuatro pelotas lisas y tres con textura. Dos de las texturizadas diferían de la de entrenamiento en diámetro, firmeza y patrón de superficie. Rhoda dice que el modelo siguió identificando y recuperando las pelotas con textura, y muestra una ejecución autónoma extendida. No informa de cuántos intentos hizo ni de una tasa de éxito. Humanoids Daily señala que el vídeo incluye elecciones de la pelota equivocada y nuevos barridos, con tramos acelerados a 6× y 12×.

Por qué importa

La visión falla cuando la pinza oculta el contacto. Rhoda trata el tacto como otra secuencia de vídeo dentro de un modelo hecho para predecir píxeles, para una IA corporizada que tiene que actuar cuando la cámara no ve. La demo es una caja controlada de pelotas. No es un contenedor de fábrica. Rhoda no informa de la fiabilidad en ensayos repetidos.