HALO da Apple treina um Unitree G1 em 1.000 casas simuladas e acerta 91% em seis reais que nunca viu

Uma equipe de pesquisadores da Apple ensinou um robô humanoide a sentar em cadeiras, andar até objetos indicados, passar de lado por portas entreabertas, abaixar-se e rastejar sob mesas e empurrar caixas, sem teleoperação e sem escanear as casas onde ele trabalha. Em artigo publicado no arXiv em 4 de novembro, eles relatam que o sistema, chamado HALO, teve sucesso em 91% de 360 testes com um Unitree G1 em seis ambientes reais que nunca tinha visto, escaneado ou mapeado. Ele aprendeu essas habilidades com dados gerados em 1.000 cômodos criados proceduralmente em simulação.

O artigo compara o HALO à teleoperação e às roupas de captura, em que cada hora de dados custa pelo menos uma hora de trabalho humano. A Apple gastou computação no lugar: sintetizar o corpus principal, cerca de 300 horas de episódios, levou cerca de 48 horas em 250 GPUs Nvidia H100, segundo o artigo. Para se mover pela casa, a troca compensa. Mas os números do próprio artigo mostram que o gargalo muda de lugar em vez de sumir.

Depois de 100 cômodos, o ganho quase para

Na ablação da habilidade de sentar, avaliada em cômodos simulados reservados, treinar com um cômodo deu 43% de sucesso; com 10, 64%; com 100, 81%. Ir para 1.000 acrescentou só 3 pontos, chegando a 84%. Quase todo o ganho com a variedade de cenas veio cedo.

Encadear habilidades ainda é difícil. Em três tarefas de várias etapas num único cômodo real, o sucesso médio foi de 70%. "Abaixar, andar até o alvo e empurrar a caixa" deu certo em metade das 10 tentativas. Em 3 das 5 falhas, o robô terminou de se abaixar com a cabeça virada para longe da caixa e não a encontrou mais. Em duas tentativas de abaixar e depois sentar, ele tentou sentar no sofá em vez da cadeira.

Cada habilidade nova ainda é escrita por uma pessoa

O sistema tira o operador da coleta de dados, "mas não do projeto das tarefas", escrevem os autores. Cada tarefa nova exige que alguém escreva a instrução e defina os quadros-chave do movimento. Os movimentos de rastejar e abaixar partiram de vídeos de celular, e o de empurrar, de captura de movimento. O robô depende da visão e não percebe contato diretamente, então tarefas com muito contato pioram quando o objeto sai do campo da câmera. Os autores apontam o sensoriamento tátil como a solução natural.

O hardware é comum de propósito: o G1 leva uma câmera extra na cabeça e um Mac mini M4 Pro numa caixa nas costas, e todo o sistema, inclusive um modelo de linguagem que divide os pedidos em subtarefas, pode rodar a bordo sem conexão com a internet.

Um dia depois, a startup Archon Robotics, de Xangai, foi na direção oposta e lançou um controlador que deixa a teleoperação no mesmo G1 quase cinco vezes mais produtiva. As seis habilidades do HALO são sobretudo sobre se deslocar num cômodo. As tarefas de teste da Archon, chutar uma caixa e pegar chinelos, são do tipo com muito contato que, segundo os autores do HALO, a visão sozinha resolve mal. Por enquanto, a simulação substitui o operador para andar e sentar, e o trabalho com mãos e pés ainda é ensinado por uma pessoa.