HALO d'Apple entraîne un Unitree G1 dans 1 000 maisons simulées et réussit 91 % dans six vraies qu'il n'avait jamais vues

Une équipe de chercheurs d'Apple a appris à un robot humanoïde à s'asseoir sur une chaise, marcher jusqu'à un objet désigné, passer de côté par une porte entrouverte, se baisser et ramper sous une table et pousser une caisse, sans téléopération et sans scanner les logements où il travaille. Dans un article déposé sur arXiv le 4 novembre, ils indiquent que le système, baptisé HALO, a réussi 91 % de 360 essais sur un Unitree G1, dans six environnements réels qu'il n'avait jamais vus, scannés ni cartographiés. Il a appris ces compétences à partir de données générées dans 1 000 pièces créées de manière procédurale en simulation.

L'article oppose HALO à la téléopération et aux combinaisons de capture, où chaque heure de données coûte au moins une heure de travail humain. Apple a dépensé du calcul à la place : synthétiser le corpus principal, environ 300 heures d'épisodes, a pris environ 48 heures sur 250 GPU Nvidia H100, selon l'article. Pour se déplacer dans un logement, l'échange tient. Mais les chiffres de l'article montrent aussi que le goulot d'étranglement se déplace au lieu de disparaître.

Au-delà de 100 pièces, le gain devient minime

Dans l'ablation de la compétence « s'asseoir », mesurée dans des pièces simulées mises de côté, l'entraînement sur une pièce donne 43 % de réussite, sur 10 pièces 64 % et sur 100 pièces 81 %. Passer à 1 000 pièces n'ajoute que 3 points, à 84 %. L'essentiel du gain lié à la variété des scènes arrive tôt.

Enchaîner les compétences reste difficile. Sur trois tâches en plusieurs étapes dans une seule pièce réelle, la réussite moyenne est de 70 %. « Se baisser, marcher vers la cible, pousser la caisse » a fonctionné dans la moitié de ses 10 essais. Dans 3 des 5 échecs, le robot finissait de se baisser la tête tournée à l'opposé de la caisse et ne la retrouvait plus. Lors de deux essais « se baisser puis s'asseoir », il a voulu s'asseoir sur le canapé plutôt que sur la chaise.

Chaque nouvelle compétence reste écrite par un humain

La chaîne retire l'opérateur de la collecte de données, « mais pas de la conception des tâches », écrivent les auteurs. Chaque nouvelle tâche demande qu'une personne rédige sa consigne et fixe les images clés du mouvement. Les mouvements « ramper » et « se baisser » partent de vidéos de téléphone, et la poussée de capture de mouvement. Le robot s'appuie sur la vision et ne perçoit pas directement le contact : dès qu'un objet sort du champ de la caméra, les tâches riches en contact se dégradent. Les auteurs citent la détection tactile comme solution naturelle.

Le matériel reste ordinaire, à dessein : le G1 porte une caméra de tête en plus et un Mac mini M4 Pro dans un boîtier dorsal, et tout le système, y compris un modèle de langage qui découpe les demandes en sous-tâches, peut tourner à bord sans connexion Internet.

Le lendemain, la start-up shanghaïenne Archon Robotics a pris le chemin inverse en présentant un contrôleur qui rend la téléopération sur le même G1 presque cinq fois plus productive. Les six compétences de HALO consistent surtout à se déplacer dans une pièce. Les tâches de test d'Archon, taper dans une caisse et ramasser des chaussons, relèvent du travail riche en contact que, selon les auteurs de HALO, la vision seule gère mal. Pour l'instant, la simulation remplace l'opérateur pour marcher et s'asseoir, et le travail des mains et des pieds s'apprend encore auprès d'un humain.