苹果 HALO 在 1000 个模拟房间里训练宇树 G1，在 6 个从没见过的真实环境中成功率 91%

苹果的一个研究团队训练出一台人形机器人，能坐到椅子上、走到指定物体旁、侧身穿过半开的门、俯身或爬过桌子底下、推箱子，全程没有用遥操作，也没有预先扫描它要去的房间。团队 11 月 4 日在 arXiv 提交的论文称，这套名为 HALO 的系统在宇树 G1 上，于 6 个没见过、没扫描、没建图的真实环境里做了 360 次单项任务测试，平均成功率 91%。这些技能全部学自仿真中程序化生成的 1000 个房间。

论文拿 HALO 和遥操作、动捕服对比：那些方法每产出 1 小时数据，至少要花 1 小时人工。苹果换成了算力：据论文，合成约 300 小时的主训练数据，用了 250 张英伟达 H100 GPU、约 48 小时。在家里走动这类任务上，这笔账算得过来。但论文自己的数字也显示，瓶颈只是挪了位置，并没有消失。

房间超过 100 个后，再加就没多大用

在"坐下"技能的消融实验里（在留出的模拟房间中评测），只用 1 个房间训练成功率 43%，10 个房间 64%，100 个房间 81%；加到 1000 个房间，只再涨 3 个百分点，到 84%。场景多样性带来的提升，大部分在前 100 个房间里就拿到了。

把技能串起来，系统仍然吃力。在一个真实房间里测的 3 种多步任务，平均成功率 70%。"俯身通过障碍、走向目标、推箱子"10 次只成功 5 次；5 次失败里有 3 次是俯身结束时机器人的头朝向别处，之后再没找到箱子。"俯身后坐下"有两次去坐了右边的沙发，而不是椅子。

每加一项新技能，仍要人来写

作者写道，这条流水线把操作员从数据采集里拿掉了，"但没有从任务设计里拿掉"。每个新任务都要有人写提示词、设计动作关键帧；爬行和俯身动作来自手机视频，推箱子用了动作捕捉。机器人主要靠视觉，感知不到接触，物体一旦离开摄像头视野，接触多的任务表现就会下降。作者认为加入触觉感知是自然的改进方向。

硬件刻意保持普通：G1 只多了一个头部摄像头，背后加装一台 Mac mini M4 Pro；整套系统，包括把指令拆成子任务的语言模型，都能在机身上运行，不需要联网。

一天之后，上海的源策未来走了相反的路，发布了一款控制器，让同一款 G1 的遥操作采集效率提高到近 5 倍。HALO 的 6 项技能大多是在房间里移动；源策未来测试的踢纸箱、捡拖鞋，正是 HALO 作者说单靠视觉处理不好的那类接触任务。眼下，仿真在走路和坐下上替代了操作员，手脚并用的活还得靠人来教。