什么是 VLA(视觉-语言-行动)模型?
VLA 模型是一种机器人基础模型:输入摄像头图像和语言指令,直接输出机器人动作。
更新:
定义
视觉-语言-行动(VLA)模型把“机器人看到什么”和“被告知做什么”映射为“应该怎么做”。多数 VLA 从预训练的视觉-语言模型出发,再加上用机器人数据训练的动作输出头。
工作流程
- 编码图像(通常还有机器人状态)和文字指令。
- 预测未来动作,例如末端位姿和夹爪指令。
- 执行部分动作,再观察、再规划。
为什么重要
VLA 是能跨任务、跨机器人工作的“通用”机器人策略的主流路线。参见具身智能。
常见问题
VLA 和视觉-语言模型(VLM)有什么区别?
VLM 用文字回答;VLA 增加了动作输出,通常是一小段未来电机指令,因此能控制机器人。
什么是动作块(action chunk)?
一次预测出的一段固定长度的未来动作序列。Vela 等研究在探索用连续轨迹替代它。
VLA 有哪些局限?
很多 VLA 主要依赖当前一帧画面,缺少触觉和记忆,难以完成长时间、接触密集的任务。NEURA 的 Neuron AI 等模型增加了更多感官和记忆。
相关报道
NEURA 的 Neuron AI:给机器人基础模型加上触觉、听觉和记忆
NEURA Robotics 发布 Neuron AI,一个融合 3D 视觉、触觉、力觉、音频、机器人状态和语言并带记忆的“感知-语言-行动”模型,并将在 4NE1 人形机器人上演示 11 分钟的洗衣任务。
Physical Intelligence 通过 API 开放 π0 机器人模型
Pi API 测试版让机器人开发者上传数据,在 Pi 的基础设施上微调 π0/π0.5,并通过托管推理运行模型。
宇树升级版 G1+ 人形机器人在日本开启预订
GMO AIR 10 月 13 日在日本开启 G1+ 预订:新增颈部、电机更强、配 3D 激光雷达和语音交互。创始人王兴兴认为具身智能拐点可能在 1-2 年内到来。
1X 让 NEO 家用人形机器人进入真实家庭做 Beta 测试
约三个月的入户测试将检验售价 2 万美元的 NEO 能否安全可靠地做家务,然后才会向客户交付。
Ultra 融资 6200 万美元做仓储机器人即服务,大脑来自 Physical Intelligence
布鲁克林 Ultra 完成 Framework 领投的 5000 万美元 A 轮及此前种子轮,合计 6200 万美元;以租赁 OP1 包装臂为主,AI 由 Physical Intelligence 提供。
Vela:预测平滑轨迹而非动作块的 VLA 模型
复旦/港中文团队的 Vela 模型输出带自适应时间跨度的样条曲线,在 LIBERO-X、EBench 以及真实的鸡蛋饼制作和土豆擦丝任务上超过 π0.5。
Skild 的 S1:在仿真里自己踢了相当于 140 年的足球
在发布可凭单条视频示范零微调执行任务的基础模型 S1 后,Skild 展示 Physical Self-Play:同一基座策略在 Isaac Sim 中自我对弈,再迁移到真人形机器人。
Figure Helix 2.5:在 30 个陌生家庭里做家务
Figure 称其人形机器人在湾区 30 个从未见过的家庭中整理房间、叠毛巾、铺床,且未采集任何当地数据;背后是与 Nscale 的 35 亿美元算力协议。
Newsletter
Robrief 周报
每周一封,只讲重要的机器人新闻。免费,可随时退订。