松下联合发布 T-Rex：给机器人模型加上高速指尖触觉，12 项接触任务成功率接近翻倍

松下控股 11 月 5 日公布，一个每秒读取约 20 次指尖触觉的机器人模型，在 12 项接触密集的任务上平均成功率达到 65%，此前最强的对比方法只有 35%。任务包括翻书页、转移鸡蛋、用钥匙开锁、抽出卡片和拧灯泡。这个名为 T-Rex（Tactile-Reactive Dexterous Manipulation）的模型由松下及其美国研发子公司，与加州大学伯克利分校、英伟达、斯坦福大学、罗马大学和 ItalAI 的研究者共同开发，将在 11 月 9 日至 12 日于奥斯汀举行的机器人学习会议 CoRL 上发表。

提升主要来自触觉。松下称，去掉触觉输入后，T-Rex 的平均成功率只有 42%。照这个对比，比基线高出的 30 个百分点里，触觉贡献了 23 个，其余所有改进加起来只贡献 7 个。松下想让它做的活，是在产线上插拔零件、拧螺丝，在物流现场搬运柔软或易碎的物品；对这些活来说，短板看起来是带触觉的手和触觉数据，而不是更大的视觉模型。

慢速规划和快速触觉回路装在同一个模型里

公告说，多数 VLA 模型主要依赖摄像头画面，即便用到触觉，也只当作静态信息。T-Rex 把控制拆成两层：处理视觉和语言的模块以约 5 Hz 生成动作的大致轨迹，处理触觉的模块以约 20 Hz 捕捉接触状态，针对打滑、按压过度等情况实时修正动作，不必每次重跑耗时的图像识别。论文把它描述为一种变速率的 Mixture-of-Transformers 架构，配有时序触觉编码器。

100 小时数据只教短小的接触技能

训练分三步：先用 22,889 小时的人类第一视角视频预训练，再用 100 小时、7700 多条带触觉的双手机器人数据做中间训练，最后每个任务用约 100 条示范微调。这批触觉数据把 200 多种日用品和插入、剥离、挤压、拧紧等 22 种基本动作配对，覆盖短小的接触动作。据项目主页，数据通过遥操作采集，机器人是 Dexmate Vega-1，配两条 7 自由度机械臂和两只 22 自由度的 Sharpa Wave 灵巧手，整机 58 个自由度；10 个指尖各自记录形变深度图和六轴力数据。

论文作者包括 Jitendra Malik、Pieter Abbeel、Ken Goldberg、李飞飞和英伟达的 Jim Fan，预印本 6 月 15 日就已上传 arXiv。松下的公告把自己的名字放在最前面；论文 34 位作者里，署名单位为松下的有 1 位。

这 12 项任务全都需要精细的力控制或处理柔软物体，正是消融实验最容易放大触觉感知作用的场景。团队已开源其中 50 小时的遥操作数据，其他实验室可以在自己选的任务上检验，这 23 个百分点还在不在。