アップルのHALO、1000の模擬住宅で学んだUnitree G1が未知の実環境6カ所で成功率91%

アップルの研究チームが、椅子に座る、指定した物の前まで歩く、半開きのドアを横向きにすり抜ける、机の下でかがむ・はう、箱を押す、といった動作をヒューマノイドに覚えさせた。遠隔操作は使わず、作業する部屋の事前スキャンもしていない。11月4日にarXivへ投稿された論文によると、HALOと呼ぶこのシステムはUnitree G1上で、見たこともスキャンも地図作成もしていない実環境6カ所で計360回の単一タスク試行を行い、平均成功率は91%だった。動作はすべて、シミュレーション上で手続き的に生成した1000部屋のデータから学んだ。

論文はHALOを遠隔操作やモーションキャプチャースーツと比べている。後者では1時間分のデータに少なくとも1時間の人手がかかる。アップルは代わりに計算資源を使った。論文によれば、約300時間分の主要な学習データの合成にNVIDIA H100 GPU 250基で約48時間かかった。家の中を動き回る用途なら、この交換は成り立つ。ただし論文自身の数字は、ボトルネックが消えたのではなく移っただけだと示している。

部屋を100から1000に増やしても3ポイント

「座る」スキルのアブレーション（学習に使っていない模擬部屋で評価）では、学習に使った部屋が1つなら成功率43%、10部屋で64%、100部屋で81%。1000部屋に増やしても84%と、3ポイントしか伸びなかった。場面の多様さによる伸びの大半は、最初の100部屋で得られている。

スキルをつなげると、まだ苦戦する。実環境1カ所で試した3種類の連続タスクの平均成功率は70%。「かがんで障害物をくぐり、目標へ歩き、箱を押す」は10回中5回の成功だった。失敗5回のうち3回は、かがみ終えたときに頭が箱と別の方向を向き、そのまま箱を見つけられなかった。「かがんでから座る」では、2回が椅子ではなく右側のソファに座ろうとした。

新しいスキルは今も人が書く

著者らは、このパイプラインは操作者をデータ収集から外したが「タスク設計からは外していない」と書く。新しいタスクごとに、人がプロンプトを書き、動作のキーフレームを決める必要がある。はう・かがむ動作はスマートフォンの動画、箱押しはモーションキャプチャーが元になった。ロボットは主に視覚に頼り、接触を直接感じ取れないため、対象がカメラの視野から外れると接触の多いタスクは性能が落ちる。著者らは触覚センシングの追加を自然な改善策に挙げる。

ハードウェアはあえて普通だ。G1に頭部カメラを1台足し、背面のケースにMac mini M4 Proを収めただけで、指示をサブタスクに分解する言語モデルも含めてすべて機体上で動き、ネット接続なしでも動作する。

その翌日、上海のArchon Robotics（源策未来）は逆の方向に進み、同じG1での遠隔操作のデータ収集効率を5倍近くに高める制御器を発表した。HALOの6スキルは主に部屋の中の移動だ。Archon Roboticsが試した箱を蹴る、スリッパを拾うといったタスクは、HALOの著者らが視覚だけでは扱いにくいとする接触の多い作業にあたる。今のところシミュレーションが操作者に取って代わったのは歩く・座るの領域で、手足を使う作業はまだ人が教えている。