パナソニックら「T-Rex」、指先の触覚を高速に反映するロボット操作AIで接触作業12種の成功率を倍近くに

パナソニック ホールディングスは11月5日、指先の触覚を毎秒約20回読み取るロボット操作AIが、接触を伴う12種類の実環境タスクで平均成功率**65%を達成したと発表した。それまで最も高性能とされた比較手法は35%**だった。タスクにはページめくり、卵の移し替え、鍵開け、カードの取り出し、電球のねじ込みなどが含まれる。T-Rex（Tactile-Reactive Dexterous Manipulation）は、パナソニックHDとパナソニックR&Dカンパニーオブアメリカが、カリフォルニア大学バークレー校、NVIDIA、スタンフォード大学、ローマ・ラ・サピエンツァ大学、ItalAIの研究者と共同で開発し、11月9日から12日に米オースティンで開かれるCoRLで発表する。

伸びの大半は触覚によるものだ。パナソニックによると、触覚情報を除いたT-Rexの平均成功率は**42%**にとどまった。この比較に従えば、比較手法を上回る30ポイントのうち23ポイントが触覚、残りの工夫全体で7ポイントになる。パナソニックが想定する用途は、製造現場での部品の挿入・取り外し・ねじ締めや、物流現場での柔らかい物や壊れやすい物の扱いだ。こうした作業でボトルネックになるのは、より大きな視覚モデルより、触覚付きのハンドと触覚データのほうに見える。

遅い動作生成と速い触覚ループを一つのモデルに

発表によると、従来のVLAモデルは主にカメラ映像に頼り、触覚を使う場合でも静的な情報として扱うことが多かった。T-Rexは制御を二層に分ける。視覚と言語を処理するモジュールが約5Hzで動作の大枠を生成し、触覚を処理するモジュールが約20Hzで接触状態を捉えて、滑りや押し込み過ぎに応じて動作をリアルタイムに補正する。遅延の大きい画像認識を毎回やり直す必要はない。論文はこれを、時系列の触覚エンコーダーを備えた可変レートのMixture-of-Transformersと説明している。

100時間のデータは短い接触動作に絞った

学習は3段階だ。まず22,889時間の人の一人称視点映像で事前学習し、次に触覚付きの両手ロボット操作データ100時間（7,700件超）で中間学習を行い、最後に作業ごとに約100件の実演でファインチューニングする。触覚データは200種類を超える日用品と、差し込む、はがす、握りつぶす、ねじるといった22種類の基本動作を組み合わせたもので、長いタスクを少数記録する方式はとっていない。プロジェクトページによると、データは遠隔操作で収集した。ロボットはDexmate Vega-1で、7自由度アーム2本と22自由度のSharpa Wave多指ハンド2つを備え、全体で58自由度。10本の指先それぞれが変形の深度マップと6軸の力を記録する。

著者にはJitendra Malik氏、Pieter Abbeel氏、Ken Goldberg氏、Fei-Fei Li氏、NVIDIAのJim Fan氏が名を連ね、プレプリントは6月15日からarXivに公開されている。パナソニックの発表は自社名を先頭に掲げるが、論文の著者34人のうち所属にパナソニックを挙げるのは1人だ。

12のタスクはいずれも繊細な力加減か柔らかい物体の扱いが必要で、アブレーションで触覚センシングの効果が最も大きく出やすい場面でもある。チームは遠隔操作データのうち50時間をオープンソース化しており、他の研究室が自ら選んだタスクで23ポイントの差が残るかを確かめられる。