Vela:アクションチャンクではなく滑らかな軌道を予測するVLA
復旦大学・香港中文大学チームのVelaは、適応的な時間幅を持つスプライン曲線を出力し、LIBERO-X、EBench、実機の卵焼きケーキ調理とジャガイモのすりおろしでπ0.5を上回った。
要点: 多くの視覚-言語-行動(VLA)モデルは、固定の時間刻みで決まった数の将来の動作(「アクションチャンク」)を出力する。Velaはその代わりに、滑らかな曲線の制御点と、その曲線の持続時間を予測する。同じ出力量で、長く滑らかな到達動作にも、短く精密な接触動作にも対応できる。
解決する問題
アクションチャンクでは隣り合う動作がほぼ同じで、モデルの容量が無駄になる。また、予測期間を長くすると刻みが粗くなり、精密な接触作業が苦手になるというトレードオフがある。
Velaの仕組み
- 12個の3次Bスプライン制御点と、動作に応じた時間幅(16〜40ステップ)を予測。
- 学習時、各デモにはノイズを考慮した許容範囲内でスプラインが表現できる最長の時間幅が割り当てられる。
- 共通の26次元行動空間で、多様なロボットをまたいで学習できる。
- π0.5のアーキテクチャ(3BのPaliGemma+3億パラメータの行動エキスパート)をベースに、60データセット・約2万時間の公開ロボットデータと約2万時間の非公開データで事前学習。
著者が報告した結果
| ベンチマーク | π0.5 | Vela |
|---|---|---|
| LIBERO-X 平均成功率 | 39.3% | 45.3% |
| EBench 全体成功率 | 41.4% | 49.7% |
| 実機・卵焼きケーキ調理(サブタスク平均) | 37.5% | 67.5% |
| 実機・ジャガイモすりおろし(サブタスク平均) | 62.5% | 87.5% |
LIBERO-Xでは、分布シフトの大きい難しいレベルほど改善幅が大きかった。通常モデルの出力に後からスプラインを当てはめるだけでは、この改善は再現できなかった。
なぜ重要か
ロボットモデルが行動をどう表現するかは、モデルの大きさと同じくらい重要だ。Velaは、連続軌道が将来のロボット基盤モデルの標準的な出力形式になりうることを示唆している。これはプレプリントでの著者自身の数値で、まだ独立した再現はされていない。
出典 出典確認済み
NEURAのNeuron AI:ロボット基盤モデルに触覚・聴覚・記憶を追加
NEURA Roboticsは、3D視覚、触覚、力覚、音声、ロボット状態、言語を記憶とともに統合する「知覚-言語-行動」モデルNeuron AIを発表。ヒューマノイド4NE1で11分間の洗濯作業を披露する。
Physical Intelligence、π0ロボットモデルをAPIで公開
Pi APIベータでは、データをアップロードしてPiの基盤上でπ0/π0.5をファインチューニングし、ホスト型推論で実行できる。
SkildのS1、シミュレーションで自ら140年相当のサッカーを学習
単一動画デモで微調整なしに動く基盤モデルS1の後、Physical Self-Playを公開。Isaac Simで自己対戦し、ヒューマノイドへ転送。
Newsletter
Robrief Weekly
重要なロボットニュースを週1回お届け。無料・いつでも解除できます。