ロボット動画をアクション可能なサブタスクに分割する

TL;DR 私たちは、100のエゴセントリックおよびロボットビデオエピソードにわたるロボットサブタスクアノテーション性能をテストするための新しいベンチマーク、WGO-Benchを導入します。これは、62のユニークな高レベルタスク指示にまたがる743のアノテーション付きセグメントを含みます。60を超える実験を行い、最適なサブタスクアノテーションパイプラインを見つけました。最適なサブタスクセグメンテーション方法は0.306のF1スコアに達し、サブタスクラベリングは61.0%の精度に達し、最適なエンドツーエンドパイプラインは0.168のF1スコアに達しました。このタスクではGeminiモデルが文句なしに最高であり、最高のモデル（Gemini 3.5 Flash）は、最高の非Geminiモデル（GPT-5.5）を24.5%上回りました。私たちの最高のエンドツーエンド方法は、推論を安価に保つためにコンタクトシートを使用し、ビデオ1時間あたり2.64ドル（バッチ価格）で、人間のアノテーションの約19分の1の費用で済みます。完全なパイプラインはオープンソースであり、Refinerで実装されています。独自のビデオで実行するための、すぐに使えるサブタスクアノテーションの例を参照してください。 なぜサブタスクをアノテーションするのでしょうか？あなたが一度も見たことのないキッチンに入り、「グーラッシュを作ってくれ」という指示を受けたと想像してください。もしあなたがそれを調理したことがなければ、学ぶ必要があります。そのためには、最終的な指示以上のものが必要です。つまり、手順、対象物、そしてそれらを見つける場所です。左端の棚を開け、まな板を取り出し、カウンターに置き、タマネギを手に取り、皮をむき、まな板に置き、それを刻む、といった具合です。ロボット学習も同様の問題を抱えています。ロボットに新しい長期間のタスクを教えるには、弱い高レベルの指示以上のものが必要です。ロボットのデモンストレーションビデオにとって、有用な信号は、各瞬間にどのサブタスクが実行されているか、そしてあるサブタスクがどこで終わり、次のサブタスクが始まるかです。サブタスクは、最近のロボット工学の作業において中心的な学習信号になりつつあります。 Zawalski et al. (2025)Michał Zawalski, William Chen, Karl Pertsch, Oier Mees, Chelsea Finn, Sergey Levine. (2025). Robotic Control via Embodied Chain-of-Thought Reasoning. https://arxiv.org/abs/2407.08693 は、計画と行動の間の思考連鎖推論と共にサブタスクを使用します。最近のπシリーズ（⁠Physical Intelligence et al., 2025Physical Intelligence, Kevin Black, Noah Brown, James Darpinian, Karan Dhabalia, Danny Driess, et al. (2025). $\pi_0.5$: a Vision-Language-Action Model with Open-World Generalization. https://arxiv.org/abs/2504.16054⁠）およびRT‑H（⁠Belkhale et al., 2024Suneel Belkhale, Tianli Ding, Ted Xiao, Pierre Sermanet, Quon Vuong, Jonathan Tompson, et al. (2024). RT-H: Action Hierarchies Using Language. https://arxiv.org/abs/2403.01823⁠）は、低レベルのアクション学習と並行して意味的なサブタスク予測を使用しており、どちらもこの追加の監視から大きな利益を得ています。サブタスクは直接的なポリシー学習以外の用途にも役立ちます。SARM（⁠Kim et al., 2025Changyeon Kim, Minho Heo, Doohyun Lee, Jinwoo Shin, Honglak Lee, Joseph J. Lim, et al. (2025). Subtask-Aware Visual Reward Learning from Segmented Demonstrations. https://arxiv.org/abs/2502.20630⁠）は、報酬モデリングのためにそれらを使用しています。 subtask prediction continuous actions "pick up the pillow" pre-trained VLA "clean the bedroom" high-level prompt "pick up the pillow" low-level command -1.7 1.2 5 3.1 4 1.4 2 action expert (300M) noise π0.5では、VLAはまず観測と全体的なプロンプトから意味的なサブタスクを予測し、次にそのサブタスクを条件としてフローマッチングアクションエキスパートを通じて低レベルのアクションチャンクを予測します。 ロボットデータ収集が規模を拡大し続けるにつれて、それに追いつくことができるアノテーションパイプラインが必要です。人間のアノテーターに毎時間のビデオを見てもらうことは、すぐに実現不可能になります。有望な結果にもかかわらず、サブタスクアノテーションを大規模にマイニングする方法に関する公開資料はほとんどありません。私たちが見つけた最も近い公開された記述は、Scaleの密なビデオキャプションに関する投稿（⁠Choghari et al., 2026Choghari, Jade, Sansone, Agustin, Pasqualis, Nicolas, Mader, Conrado, Tiupikov, Aleks, Sivapurapu, Mouli. (2026). The Path to Large Scale Dense Video Captioning. https://labs.scale.com/blog/path-to-large-scale-dense-video-captioning⁠）ですが、これは手/エゴセントリック操作ビデオのみに焦点を当てており、すでに分離されたクリップから開始しています。ロボット工学の場合、それは2つのより困難な問題をスキップしています。生の1つのエピソードを取り出し、あるサブタスクがどこで終わり、次のサブタスクが始まるかを決定すること、そして同じ方法がエゴセントリックビデオからロボットカメラの設定に転送されるかどうかをテストすることです。このギャップを埋めるために、私たちは人間による介入なしにモデルがサブタスクをアノテーションできるスケーラブルなパイプラインを作成しました。これにより、ビデオ1時間あたり2.64ドル（バッチ価格）で、人間よりも約19倍安価になりました。この投稿では、この取り組みから学んだ教訓、エゴセントリックビデオとロボットビデオの両方からサブタスクをマイニングするために見つけた最高のエンドツーエンド方法、およびロボットサブタスクアノテーションのための新しいベンチマーク：WGO‑Bench（What's Going On Bench）を共有します。完全なパイプラインは、当社のロボットデータ処理フレームワークであるRefinerでオープンソース化されています。独自のデータで実行するには、すぐに使えるサンプルコードを参照してください。 進捗の測定：WGO-Bench イテレーションを行い、最適なアプローチを選択するために、ベンチマークが必要でした。すべての候補方法でロボットポリシーを直接訓練および評価することは、非常に時間がかかり費用がかかるため、VLMが人間のアノテーターのパフォーマンスにどれだけ近づけるかを直接測定するための新しいベンチマーク、WGO-Benchを構築しました。現在のほとんどの産業的な取り組みでは、依然として人間のアノテーターが採用されています。 ベンチマークの構成 私たちは、多様なサブタスクアノテーションベンチマークであるWGO-Benchを作成するために、Galaxea World（⁠Jiang et al., 2025Tao Jiang, Tianyuan Yuan, Yicheng Liu, Chenhao Lu, Jianning Cui, Xiao Liu, et al. (2025). Galaxea Open-World Dataset and G0 Dual-System VLA Model. https://arxiv.org/abs/2509.00576⁠）からのヘッドカメラ録画、DROID（⁠Khazatsky et al., 2025Alexander Khazatsky, Karl Pertsch, Suraj Nair, Ashwin Balakrishna, Sudeep Dasari, Siddharth Karamcheti, et al. (2025). DROID: A Large-Scale In-The-Wild Robot Manipulation Dataset. https://arxiv.org/abs/2403.12945⁠）からのステーションアーム操作の三人称カメラビュー、およびHomER（⁠Toloka, 2026Toloka. (2026). HomER v2: Home Egocentric Robotics Dataset. Hugging Face.⁠）からのエゴセントリックビデオにまたがる100のエピソードを収集し、手動でアノテーションしました。合計で、62のユニークな高レベルタスク指示にわたる743のアノテーション付きセグメントが含まれています。 SectionTypeViewpointSamplesUnique tasksTotal durationAvg ep lenResolutionSegmentsHomERHumanEgocentric251739.2 min94.0sMixed, mostly 1920x1080 / 848x480470DROIDRobotExternal robot camera502624.9 min29.9s320x180150GalaxeaRobotRobot head camera25197.4 min17.7s1280x720123TotalMixedMixed1006271.5 min42.9sMixed743WGO-Bench sample breakdown手動によるサブタスクのアノテーション 私たちは、厳格なアノテーションプロトコルに従ってWGO-Benchデモンストレーションを手動でアノテーションしました。セグメントは原子的な操作イベントであり、境界はオブジェクトの状態変化に従い、ラベルは以前のアクションに頼ることなくポリシーを訓練するのに十分なほど自己完結している必要があります。 Atomic eventOne subtask should describe one completed manipulation event.1/3clip002.805.708.1WrongPick, move, placeCorrectPickPlacenowサブタスクは原子であるべきです：完了した1回のピック、完了した1回のプレースであり、ピック-ムーブ-プレースを組み合わせたものではありません。galaxea_069からのアノテーションポリシーの例 アノテーションプロトコルの詳細+エピソードは、モーションフラグメントではなく、原子的な操作イベントに分割されました。サブタスクは、イベントが完了したときに終了し、ロボットの手が中立位置に戻ったときに終了するわけではありません。明確な一時停止がない限り、次のサブタスクは前のサブタスクの直後に開始されます。境界は、オブジェクトの操作の変化に配置されます。つまり、オブジェクトが保持されたり、解放されたり、新しい場所に到達したり、ドアや蓋の状態が変化したりしたときです。カメラの動き、ためらい、小さな手の調整は別のサブタスクではありません。ラベルは自己完結しています。以前の人間またはロボットの行動を参照せず、操作されたオブジェクトと目標位置をできるだけ正確に記述します。「カップをテーブルに置く」ではなく、「カップをボウルの横のテーブルに置く」という具合です。これは、ほとんどのロボットポリシーが過去のフレームやアクションを入力として受け取らないため、曖昧さを防ぎます。 アノテーションインターフェース アノテーション自体については、まず