Rhodaのロボット、カメラを塞ぎ触覚だけで凹凸のあるボールを見つける

要点： Rhoda AIは触覚センサーと、Direct Video-Actionモデルの触覚版を公開した。予測するのは未来の映像と、未来の触覚信号だ。手首と頭のカメラを塞いだ状態で、滑らかなボール1個と凹凸のあるボール1個だけで訓練したロボットが、7個入った箱から凹凸のあるボールを取り出した。そのうち2種類の質感は訓練にない。

センサー

• グリッパー向けの実装は、羽根（数ミリニュートン）にもダンベル（40ニュートン超）にも反応し、重い荷重のあとでも羽根を感じる、とRhodaは述べる。同じ羽根に対し、同社が試した市販の光学式・磁気式センサーには明確な反応がなかった。
• 法線力とせん断力、約500Hzでサンプルした接触振動、温度を報告している。温度の演示は温水と氷で、色スケールは20〜40°Cに固定されている。
• 同じセンサーを手持ちのUniversal Manipulation Interfaceに組み込み、人の示範が映像と動作に加えて接触力を記録する。模倣学習の材料になる。

目隠しの課題

モデルは触覚の「動画」の履歴を受け取り、次の触覚信号を予測する。逆動力学モデルがその予測を動作に変える。手首と頭のカメラは覆われている。ロボットは箱を探り、接触で凹凸のあるボールと滑らかなボールを区別し、つかんだあとグリップを調整しなければならない。

訓練は滑らかな青いボール1個と、緑の凹凸ボール1個。同じモデルを、滑らかなボール4個と凹凸ボール3個で試した。凹凸ボールのうち2個は、直径、硬さ、表面の質感が訓練用と異なる。Rhodaは、モデルがなお凹凸ボールを識別して取り出したとし、長めの自律実行を示している。試行回数も成功率も公表していない。Humanoids Dailyは、映像にボールの取り違えと再探索があり、一部は6倍と12倍に加速されていると指摘する。

なぜ重要か

グリッパーが接触点を隠すと視覚は役に立たない。Rhodaは、画素を予測するために作ったモデルの中で、触覚をもう一本の動画として扱う。カメラが見えないときにも動く身体性AI向けの扱いだ。デモは管理されたボールの箱で、工場の部品箱ではない。繰り返し試行での信頼性は公表されていない。