OpenWAM: Composable World-Action Modelsのためのオープンフレームワーク
OpenWAM: An Open Framework for Composable World-Action Models (openwam.stanford.edu)
要約
OpenWAMは、ロボット工学における世界モデルと行動モデルを統合・比較するためのオープンフレームワークです。異なるバックボーンやデータセットを使用するシステムに共通の基盤を提供し、ビデオ予測と行動生成の相互作用を研究できるようにします。このフレームワークは、モデル内の構成可能性とモデル間の接続性をサポートし、ロボットの知覚と制御の進歩を目指しています。
全文翻訳
OpenWAM: 世界-行動モデルのためのオープンフレームワーク
世界-行動モデルのためのフレームワーク
ロボットは、行動を決定する前に次に何を見るかを予測すべきか、それとも両方を同時に生成すべきか?世界-行動モデルは、その両方を可能にします。各システムが異なるバックボーン、データセット、トレーニングレシピを使用している場合、これらの選択肢を比較することは困難です。OpenWAMは、予測と制御がどのように連携して機能するかを研究できるように、共通の基盤を提供します。
このフレームワークは、モデル内の構成とモデル間の構成をサポートします。ビデオと行動が生成される順序や、それらのトークンが互いにどのようにアテンドするかを変更できます。また、独立して学習されたコンポーネントを接続することも可能です。ビデオ予測モデルが未来を提案し、逆動力学モデルがそれを行動に変換し、順動力学モデルが指定された行動シーケンスが何をもたらすかを予測します。
Figure 1. OpenWAMの概要。 共有ビデオ基盤が、設定可能なビデオ-行動プログラムと独立して学習された動力学をサポートします。右下の転移実験では、ビデオ予測モデルを各タスクに適応させ、IDMをさらにトレーニングせずに再利用します。等倍表示 ↗
共有ビデオ-行動アーキテクチャ
行動を学習する前に、Wan2.2-5Bをロボットの動きとインタラクションに適応させます。実世界のロボット操作、人間による操作、および人間とのインタラクションにまたがる約334万の軌跡と記録(14.64k時間分のソースビデオ)で事前学習を行います。この段階では、行動ラベルや固有感覚入力なしで、ビデオのみを使用します。
事前学習には何が含まれるか?
| データセット | 軌跡 / テイク | 時間 |
|---|---|---|
| Open X-Embodiment | 1,300,749 | 1,911.29 |
| AgiBot World Beta | 1,003,672 | 2,976.4 |
| Ego-Exo4D v2 | 5,035 | 221.26 |
| InternData-A1 | 637,498 | 7,433.91 |
| RoboCOIN | 183,157 | 1,306.83 |
| RoboMIND | 107,877 | 305.5 |
| FastUMI-100K | 92,823 | 461.77 |
| UMI family | 5,430 | 24.60 |
Paper Table 8 · 時間カウントは、トレーニングウィンドウサンプリング前のソースシーケンスを含み、合成ビデオと人間とのインタラクションビデオを含みます。OXEは49の操作データセットをカバーし、InternData-A1は合成データ、Ego-Exo4Dは人間とのインタラクションを記録します。UMIファミリーには、UMI、DexUMI、UMI on Legs、およびMV-UMIが含まれます。
因果的アテンションにより、ビデオをチャンクごとに生成できます。各チャンクは、現在の観測と過去の観測、およびそれ以前のチャンクを使用できますが、それ以降のチャンクは使用できません。そのトークンは一緒にデノイズされます。32台のNVIDIA B200 GPUで14日間のトレーニング後、このチェックポイントは下流モデルの視覚的基盤を提供します。
ロボット制御を追加するために、5Bビデオエキスパートと2BアクションエキスパートをMixture-of-Transformers(MoT)アーキテクチャでペアにします。アクションエキスパートは、事前学習されたビデオレイヤーの幅を適応させたコピーから開始します。各エキスパートは独自の正規化、射影、およびフィードフォワードレイヤーを保持します。それらの結合されたトークンに対するアテンションにより、情報を交換できます。
Figure 2. 共有MoTアーキテクチャ。 5Bビデオエキスパートと2Bアクションエキスパートは、ビデオとアクショントークンに対するアテンションを共有します。それぞれがタスク指示にもアテンドします。等倍表示 ↗
ビデオ-行動インタラクションプログラム
同じアーキテクチャで、ビデオの前にビデオを予測し、行動の前に行動を予測するか、または両方を同時に予測できます。各インタラクションプログラムは、生成順序と未来のトークン間のアテンションを指定します。バックボーン、トークン化、トレーニング目的、および下流のレシピは固定されており、すべてのプログラムはタスク指示と観測された履歴を受け取ります。
| プログラム | 生成と条件付け |
|---|---|
| Video-then-action (VTA) | まずビデオを予測し、そのビデオを条件として行動を生成します。 |
| Action-then-video (ATV) | まず行動を生成し、それらの行動を条件としてビデオを予測します。 |
| Joint | ビデオと行動を同時にデノイズし、双方向のアテンションを使用します。 |
| Decoupled | 未来のトークン間にアテンションなしで、ビデオと行動を予測します。 |
Figure 3. アテンションマスク。 A–D: 評価されたポリシープログラム。E–F: ローカル逆・順動力学。色はクリーンまたはノイジーな条件付けを示し、番号は生成順序を示します。Lは言語、O−、O0、O+は過去、現在、未来の観測を示し、A+は未来の行動を示します。等倍表示 ↗
すべてのプログラムは潜在フローマッチングを使用し、4つの潜在ビデオフレームが各16ステップのアクションチャンクとチャンクごとに供給される固有感覚に整列されます。VTAとATVでは、第2ステージはトレーニング中に記録された軌跡から学習し、推論時には第1ステージの予測を使用します。
ポリシーを超えて: ローカルコンテキストIDMとFDM
タスク条件付き予測モデルは、次に何が起こるべきかを提案します。動力学モデルは、その提案をロボットの動きに接続します。逆動力学(IDM)は視覚的な未来を行動に変換し、順動力学(FDM)は行動シーケンスの結果を予測します。OpenWAMは、これら両方をスタンドアロンモデルとしてサポートします。
それらにローカルコンテキストインターフェースを提供します。これは、現在の観測、固有感覚、および指定された未来の軌跡です。
ローカルコンテキストIDM: 現在の観測 + 固有感覚 + 指定された未来のビデオ → 行動軌跡。
ローカルコンテキストFDM: 現在の観測 + 固有感覚 + 指定された未来の軌跡 → 未来のビデオ。
どちらのモデルもタスク言語や開始前の履歴を受け取りません。これにより、タスクの選択と遷移のモデリングが分離されます。ビデオ予測モデルを適応させ、同じIDMが正しい行動を生成するかどうかをテストできます。以下の実験では、このローカル情報がどこまで有効かをテストします。
ビデオ予測モデルは、VAEビデオ潜在変数をIDMに渡します。トランスフォーマーの隠れ状態やキャッシュではありません。互換性のあるビデオと行動の表現があれば、コンポーネントは別々にトレーニングされ、推論時に接続できます。同様に、FDMは別のポリシーからの行動の結果を予測できます。
代替結果からの学習
デモンストレーションはデモンストレーターが選択したことを示しますが、他の行動が何を引き起こしたかについてはほとんど語りません。モデルの入力を変更しても、トレーニングデータにおけるそのギャップは埋まりません。シミュレータの状態を復元し、代替の行動シーケンス(失敗したものを含む)を試すことで、10のタスクにわたる32,000のカウンターファクチュアルセグメントであるLIBERO-Long-CFを構築します。モデルは、シミュレータ状態にアクセスせずに、結果の観測と行動から学習します。
| 量 | デモンストレーション | LIBERO-Long-CF |
|---|---|---|
| タスク | 10 | 10 |
| 保存されたシーケンス | 500 | 32,000 |
| タスクあたりのシーケンス | 50 | 3,200 |
| シーケンスあたりの制御 | 平均 276.2 | 128 |
| 合計制御 | 138,090 | 4,096,000 |
| 制御相当時間 | 1.92 | 56.9 |
Paper Table 9 · 20 Hzでの等価期間。各カウンターファクチュアルセグメントには128の制御と129の同期された2ビュー観測が含まれます。データセットには、元のタスク、アセット、物理演算を使用したデモンストレーションの29.7倍の制御レコードが含まれています。
カウンターファクチュアルロールアウトで何が変わるか?
動きの大きさ、方向、タイミング、個々のアクション軸、グリッパーの動作を変更します。セグメントの75%はデモンストレーションに沿って開始し、残りの25%は追加のアクション摂動後に開始します。
| 介入ファミリー | 割合 (%) |
|---|---|
| アーム動作の停止/スケーリング | 9.4 |
| 並進の反転/リダイレクト | 6.3 |
| 軸バイアスとパルス | 12.5 |
| 専用ヨー摂動 | 3.1 |
| ノイズ/ランダム化アーム制御 | 12.5 |
| 専用グリッパー介入 | 31.3 |
| ランダム期間アーム/グリッパー介入 | 25.0 |
介入レシピ (%) · Paper Table 10. 値は丸められています。異なるレシピは重複する物理的効果を生み出す可能性があります。
分析された摂動開始では、エンドエフェクタはデモンストレーションパス上の最も近い点から平均3.34 cm(中央値1.90 cm)離れています。オブジェクトも、1 cmの並進、5°の回転、または5%の関節移動のしきい値で測定して、61.6%の開始でデモンストレーション構成を超えて移動します。
| 測定されたインタラクション | 発生率 (%) |
|---|---|
| グリッパー-オブジェクト/固定具の接触 | 90.4 |
| 検出された把持 | 50.0 |
| オブジェクト構成への影響 | 72.3 |
インタラクション発生率 (%) · Paper Table 11. 分析されたセグメントで測定。1つのセグメントが複数のカテゴリにカウントされる場合があります。オブジェクトの変更は、同じ開始状態からの参照ロールアウトに対して測定されます。
同じ開始状態からの分岐は、トレーニング/テスト分割で一緒に保持されます。各遷移は独自のトレーニング例を提供します。損失はペアの分岐を直接比較しません。
デモンストレーションのみ、カウンターファクチュアルのみ(CFのみ)、および60%のカウンターファクチュアルと40%のデモンストレーションの混合でトレーニングされたモデルを比較します。
プログラム全体でのポリシーパフォーマンス
LIBERO
VTAは、4つのLIBEROスイート全体で平均98.6%の成功率を達成します。評価された各プログラムは、LIBERO-Longで95%を超えます。
| メソッド | オブジェクト | ゴール | 空間 | ロング | 平均 |
|---|---|---|---|---|---|
| OpenVLA | 88.4 | 79.2 | 84.7 | 53.7 | 76.5 |
| OpenVLA-OFT | 98.4 | 97.9 | 97.6 | 94.5 | 97.1 |
| π0 | 98.8 | 95.8 | 96.8 | 85.2 | 94.1 |
| π0.5 | 98.2 | 98.0 | 98.8 | 92.4 | 96.9 |
| GR00T-N1 | 97.6 | 93.0 | 94.4 | 90.6 | 93.9 |
| Motus | 99.8 | 96.6 | 96.8 | 97.6 | 97.7 |
| Fast-WAM | 100.0 | 97.0 | 98.2 | 95.2 | 97.6 |
| LingBot-VA | 99.6 | 97.2 | 98.5 | 98.5 | 98.5 |
| OpenWAM-VTA | 99.4 ± 0.3 | 98.4 ± 0.5 | 98.6 ± 0.2 | 97.8 ± 0.4 | 98.6 |
| OpenWAM-ATV | 98.0 ± 0.4 | 97.2 ± 0.2 | 96.6 ± 0.6 | 95.4 ± 0.3 | 96.8 |
| OpenWAM-Joint | 98.2 ± 0.2 | 97.8 ± 0.4 | 97.6 ± 0.3 | 96.6 ± 0.5 | 97.6 |
| OpenWAM-Decoupled | 99.0 ± 0.3 | 98.0 ± 0.2 | 97.8 ± 0.5 | 97.0 ± 0.4 | 98.0 |
クローズドループ成功率 (%) · Paper Table 3. OpenWAM: 3つのトレーニングシードの平均±標準偏差、各タスク50エピソード、各シード500エピソード。ベースラインはそれぞれの論文で公開されている通りに報告されています。
DecoupledはLIBERO-LongでJointと同等のパフォーマンスを示しており、97.0%対96.6%です。このベンチマークでの強力な制御には、未来のビデオとアクショントークン間のアテンションは必要ありません。
両手操作
両手ロボットでは、VTAとJointはそれぞれ、パンを焼く、ルービックキューブの最終層を完成させる、カップを色でソートするというタスク全体で平均約92%の成功率を達成します。このセットアップでは、2台のFranka Research 3アームにパラレルジョーグリッパー、2台のリストカメラ、およびサードパーソンカメラを使用します。
[画像: Figure 4: 左はToast Bread、Rubik’s Cube、Sort Cupsの成功したロールアウトフレーム。右はLIBERO-90転移タスク64、74、21、45。]
Figure 4. 評価タスク。 左: 実世界タスクごとの成功したロールアウト。右: LIBERO-Longソースセット外の4つのLIBERO-90転移タスク。等倍表示 ↗
| メソッド | トースト | キューブ | カップ | 平均 |
|---|---|---|---|---|
| OpenWAM-VTA | 92.0 | 90.0 | 94.4 | 92.1 |
| OpenWAM-Joint | 90.0 | 94.0 | 91.7 | 91.9 |
クローズドループ成功率 (%) · Paper Table 4. 各約30秒のトースト200回、キューブ200回、カップ180回のデモンストレーションでトレーニングし、各メソッドで50、50、36回の試行で評価します。
事前学習とMoTは何に貢献するか?
汎用ビデオモデルから開始することは役立ちますが、それをロボットビデオに適応させることは実質的な違いを生みます。因果的ロボット-ビデオ事前学習は、元のWan2.2初期化と比較して、VTAで29.4ポイント、Jointで34.4ポイント、LIBERO-Longの成功率を向上させます。
| ビデオ初期化 | VTA (%) | Joint (%) |
|---|---|---|
| ランダム初期化 | 20.0 | 27.2 |
| 元のWan2.2 | 68.4 | 62.2 |
| ロボットビデオ事前学習済み | 97.8 | 96.6 |
LIBERO-Long成功率 (%) · Paper Table 12. アーキテクチャと下流トレーニングは各プログラム内で固定されています。ロボットビデオデータと因果的アテンションは一緒に導入されます。
アーキテクチャも重要です。ビデオと行動に別々のエキスパートを与えることは、両方のモダリティを処理する共有DiTと比較して、VTAで5.0ポイント、Jointで3.0ポイント向上させます。
| アーキテクチャ | VTA (%) | Joint (%) |
|---|---|---|
| 共有DiT (非MoT) | 92.8 | 93.6 |
| MoT | 97.8 | 96.6 |
LIBERO-Long成功率 (%) · Paper Table 13. 両方のアーキテクチャは、同じロボットビデオ事前学習済みバックボーン、下流データ、およびトレーニング設定を使用します。
なぜ凍結されたIDMは転移するのか?
アクションコンポーネントを再トレーニングせずに、ビデオ予測モデルに新しいタスクを教えることは可能か?LIBERO-LongでトレーニングされたIDMを凍結し、4つのLIBERO-90タスクに適応させたビデオ予測モデルとペアにします。各予測モデルは、ターゲットタスクのデモンストレーション(アクションラベルを含む)でトレーニングされたVTAモデルから取得されます。さらにトレーニングせずにIDMのみを再利用します。
デモンストレーションとカウンターファクチュアルの同じ混合を使用すると、ローカルコンテキストIDMは平均84.0%の成功率に達しますが、フルコンテキストIDMでは47.0%です。
| アクションコンポーネント / 参照 | タスク 64 構成 | タスク 74 リターゲティング | タスク 21 オブジェクト/把持 | タスク 45 シーンシフト | 平均 |
|---|---|---|---|---|---|
| タスクチューニング済みVTA参照 | 94 | 86 | 92 | 100 | 93.0 |
| フルコンテキストIDM · デモのみ | 88 | 90 | 0 | 0 | 44.5 |
| フルコンテキストIDM · 混合 | 54 | 92 | 4 | 38 | 47.0 |
| ローカルコンテキストIDM · デモのみ | 36 | 50 | 0 | 0 | 21.5 |
| ローカルコンテキストIDM · CFのみ | 80 | 92 | 90 | 76 | 84.5 |
| ローカルコンテキストIDM · 混合 | 74 | 86 | 88 | 88 | 84.0 |
| 元のVTA · 非適応参照 | 42 | 0 | 0 | 0 | 10.5 |
成功率 (%) · Paper Table 5. 4つのターゲットタスクは、IDMのLIBERO-Longトレーニングセットの外にあります。各タスク内で、IDMバリアントは適応されたビデオ予測モデルとロールアウトプロトコルを共有します。VTA参照は完全なポリシーとして実行されます。
ターゲットは、トレイ内のボウル積み上げ(64)、キャディの左コンパートメントへの本の配置(74)、ストーブの点火とパンの配置(21)、および異なるシーンでのストーブタスクの繰り返し(45)です。
カウンターファクチュアルデータはここで重要です。デモンストレーションのみでトレーニングされた同じローカルコンテキストIDMは平均21.5%ですが、カウンターファクチュアル遷移を追加すると84.0%に上昇し、CFのみのトレーニングでは84.5%に達します。ローカルインターフェースは、モデルがより広範囲のアクション結果を見た場合に、はるかに有用になります。
デモンストレーションを混合に含めることも、構成されたモデルが元のスキルを維持するのに役立ちます。ソースタスクの成功率は、CFのみのトレーニングで90.6%であるのに対し94.4%であり、転移平均は近いままです。
| アクションコンポーネント | 教師あり学習 | LIBERO-Long |
|---|---|---|
| フルコンテキストIDM | デモのみ (ネイティブVTA) | 97.8 |
| フルコンテキストIDM | 混合 | 92.2 |
| ローカルコンテキストIDM | デモのみ | 25.8 |
| ローカルコンテキストIDM | CFのみ | 90.6 |
| ローカルコンテキストIDM | 混合 | 94.4 |
ソースタスク成功率 (%) · Paper Table 6. すべてのアクションモデルはLIBERO-Longビデオ予測モデルを使用します。
予測された未来は行動に従うか?
順動力学の場合、問題は、行動を変更すると予測された未来が正しく変化するかどうかです。10のLIBEROタスクにわたる160の開始コンテキストそれぞれからの16のアクション分岐である2,560のカウンターファクチュアル未来をテストします。すべてのモデルは同じ初期観測と候補アクションを受け取ります。
| 教師あり学習 | RGB MSE ↓ | 結果精度 K = 2 (%) ↑ | 結果精度 K = 16 (%) ↑ |
|---|---|---|---|
| デモのみ | 14.35 | 68.3 | 21.1 |
| CFのみ | 9.40 | 93.6 | 71.3 |
| 混合 | 9.62 | 91.8 | 67.7 |
Paper Table 7 · MSEは10⁻³単位。結果精度は、予測の最も近い一致(RGB MSEによる)が、同じ開始状態からのK個の未来のうち、指定されたアクションの実際の結果であるかどうかを問います。
カウンターファクチュアル教師あり学習は、視覚的精度とアクション結果の識別能力の両方を向上させます。CFのみのトレーニングは、RGB MSEを34.5%削減し、16個の代替案の中から正しい未来を識別する能力を21.1%から71.3%に向上させます。
ポリシーと動力学を1つのモデルで
これまでのところ、各動力学モデルは個別にトレーニングされてきました。また、ポリシー生成、逆動力学、順動力学のすべてに1つのOpenWAMチェックポイントをトレーニングします。これはLIBERO-Longポリシー成功率92.8%を達成し、リリースされた同様の3つの目的をサポートするシステムであるUVAの88.0%と比較して、評価された動力学メトリックでUVAを上回ります。
統一されたチェックポイントは可能ですが、専門化は依然として有効です。専用のポリシーモデルはより高いタスク成功率を維持しますが、個別にトレーニングされた動力学モデルは、より正確なカウンターファクチュアルビデオとエンドエフェクタ位置の予測を提供します。
| モデル | FDM MSE ↓ | FDM SSIM ↑ | IDM pos. (cm) ↓ | IDM rot. (°) ↓ |
|---|---|---|---|---|
| スペシャリスト · CFのみ | 0.00940 | 0.8889 | 1.17 | 3.60 |
| スペシャリスト · 混合 | 0.00962 | 0.8859 | 1.22 | 3.68 |
| OpenWAM · マルチ目的 | 0.01416 | 0.8398 | 1.73 | 3.55 |
| UVA | 0.01514 | 0.8134 | 3.57 | 12.99 |
カウンターファクチュアルロールアウト · Paper Table 14. スペシャリスト行は、独立してトレーニングされたIDMおよびFDMチェックポイントをペアにします。FDMはエージェントビュー画像を比較し、IDMは同じ状態からアクションを実行した後のエンドエフェクタ軌道を比較します。MSEは生の単位です。
デモンストレーション結果とトレーニングセットアップ
スペシャリストトレーニングにデモンストレーションを追加すると、デモンストレーションされた動きの精度が向上します。統一モデルはここで最も近い再構築を提供します。
| モデル | FDM MSE ↓ | FDM SSIM ↑ | IDM pos. (cm) ↓ | IDM rot. (°) ↓ |
|---|---|---|---|---|
| スペシャリスト · CFのみ | 0.00734 | 0.9126 | 1.76 | 2.39 |
| スペシャリスト · 混合 | 0.00186 | 0.9776 | 0.44 | 1.21 |
| OpenWAM · マルチ目的 | 0.00058 | 0.9934 | 0.43 | 1.10 |
| UVA | 0.00279 | 0.9645 | 2.03 | 1.60 |
実際のデモンストレーションでの再構築 · Paper Table 14. 一部のデモンストレーションは、ポリシー トレーニングにも使用される場合があります。スペシャリスト行は、個別のIDMおよびFDMチェックポイントをペアにします。MSEは生の単位です。
統一モデルは、デモンストレーションでの共同ビデオ-アクション生成に60%、ローカルコンテキストIDMに20%、ローカルコンテキストFDMに20%のトレーニングを割り当てます。各動力学目的内では、サンプルの半分がデモンストレーション、半分がカウンターファクチュアルです。
今後の展望とリソース
共有の因果的ビデオバックボーンは、インタラクションプログラム全体で強力なポリシーをサポートし、カウンターファクチュアルデータは、個別にトレーニングされた動力学コンポーネントをより再利用可能にします。次の課題は、この再利用をシミュレーションから実ロボットに拡張し、ローカル遷移から長期間計画への順方向予測を拡張することです。
完全な方法と実験については、論文をお読みください。 OpenWAMリポジトリには、トレーニング、評価、およびビデオからアクションへの構成コードが含まれています。 クイックスタートから始めるか、事前学習済みビデオモデルの重みをダウンロードしてください。
OpenWAMを引用する
@article{yu2026openwam,
title = {{OpenWAM}: An Open Framework for Composable World-Action Models},
author = {Yu, Heng and Yuan, David D. and Zhang, Juze and Chen, Changan and
Feng, Yao and Baldonado, Michelle and Cousins, Steve and
Fei-Fei, Li and Wu, Jiajun and Adeli, Ehsan},
journal = {arXiv preprint arXiv:2610.07922},
year = {2026},
url = {https://arxiv.org/pdf/2610.07922}
}