HALO de Apple entrena un Unitree G1 en 1.000 casas simuladas y logra un 91% en seis reales que nunca vio

Un equipo de investigadores de Apple ha enseñado a un robot humanoide a sentarse en sillas, caminar hasta objetos que se le nombran, pasar de lado por puertas entreabiertas, agacharse y gatear bajo mesas y empujar cajas, sin teleoperación y sin escanear las casas donde trabaja. En un artículo publicado en arXiv el 4 de noviembre, informan que el sistema, llamado HALO, acertó en el 91% de 360 pruebas con un Unitree G1 en seis entornos reales que nunca había visto, escaneado ni cartografiado. Aprendió esas habilidades con datos generados en 1.000 habitaciones creadas proceduralmente en simulación.

El artículo compara HALO con la teleoperación y los trajes de captura, donde cada hora de datos cuesta al menos una hora de trabajo humano. Apple gastó cómputo en su lugar: sintetizar el corpus principal, unas 300 horas de episodios, llevó unas 48 horas con 250 GPU Nvidia H100, según el artículo. Para moverse por una casa, el intercambio funciona. Pero los propios números del artículo muestran que el cuello de botella se desplaza en vez de desaparecer.

Más allá de 100 habitaciones, casi no mejora

En la ablación de la habilidad de sentarse, evaluada en habitaciones simuladas reservadas, entrenar con una habitación dio un 43% de éxito; con 10, un 64%; con 100, un 81%. Pasar a 1.000 añadió solo 3 puntos, hasta el 84%. Casi toda la ganancia por variedad de escenas llegó pronto.

Encadenar habilidades sigue costando. En tres tareas de varios pasos en una sola habitación real, el éxito medio fue del 70%. «Agacharse, caminar al objetivo y empujar la caja» funcionó en la mitad de sus 10 intentos. En 3 de los 5 fallos, el robot terminó de agacharse con la cabeza girada lejos de la caja y no volvió a encontrarla. En dos intentos de agacharse y luego sentarse, trató de sentarse en el sofá en lugar de en la silla.

Cada habilidad nueva sigue escribiéndola una persona

El sistema saca al operador de la recogida de datos, «pero no del diseño de tareas», escriben los autores. Cada tarea nueva exige que alguien redacte su instrucción y fije los fotogramas clave del movimiento. Los movimientos de gatear y agacharse partieron de vídeos de móvil, y el de empujar, de captura de movimiento. El robot depende de la visión y no percibe el contacto directamente, así que las tareas con mucho contacto empeoran cuando el objeto sale del campo de la cámara. Los autores señalan la detección táctil como la solución natural.

El hardware es corriente a propósito: el G1 lleva una cámara extra en la cabeza y un Mac mini M4 Pro en una carcasa trasera, y todo el sistema, incluido un modelo de lenguaje que divide las peticiones en subtareas, puede funcionar a bordo sin conexión a internet.

Un día después, la startup de Shanghái Archon Robotics fue en la dirección contraria y presentó un controlador que hace la teleoperación en el mismo G1 casi cinco veces más productiva. Las seis habilidades de HALO tratan sobre todo de desplazarse por una habitación. Las tareas de prueba de Archon, patear una caja y recoger zapatillas, son del tipo con mucho contacto que, según los autores de HALO, la visión sola maneja mal. Por ahora, la simulación sustituye al operador al caminar y sentarse, y el trabajo con manos y pies sigue enseñándolo una persona.