ロボット動画をアクション可能なサブタスクに分割する
Segmenting Robot Video into Actionable Subtasks (macrodata.co)
要約
本記事では、ロボット学習におけるサブタスクの重要性と、それを大規模に自動アノテーションするための新しいベンチマーク「WGO-Bench」を紹介しています。Geminiモデル、特にGemini 3.5 Flashが、手頃なコストで人間のアノテーションよりもはるかに効率的にサブタスクを特定・ラベル付けできることが示されています。このオープンソースのパイプラインは、ロボットの長期的なタスク学習の課題を解決し、実用的なロボットアプリケーションの実現を加速する可能性を秘めています。
全文翻訳
ロボット動画を実用的なサブタスクに分割する
この研究では、市販のVLM(Visual-Language Model)を基盤としたオープンソースの注釈パイプラインがどこまで可能で、どこで限界を迎えるのかを探求します。Macrodataは、これらの限界を克服するために開発されたカスタムモデルと独自のパイプラインを運用しています。データでの試用についてお問い合わせください。
TL;DR
- WGO‑Bench(https://huggingface.co/datasets/macrodata/WGO-Bench)を導入しました。これは、100のエゴセントリックおよびロボット動画エピソード、743の注釈付きセグメント、62のユニークな高レベルタスク指示にわたるロボットサブタスク注釈性能をテストするための新しいベンチマークです。
- 最適なサブタスク注釈パイプラインを見つけるために60以上の実験を実施しました。その結果、最高のサブタスク分割方法はF1スコア0.306、サブタスクラベリングは精度61.0%、そして最高のEnd-to-EndパイプラインはF1スコア0.168を達成しました。
- Geminiモデルはこのタスクにおいて圧倒的な強さを示し、最良のモデル(Gemini 3.5 Flash)は、最良の非Geminiモデル(GPT-5.5)を24.5%上回りました。
- 弊社の最良のEnd-to-End手法は、コンタクトシートを使用して推論コストを抑えています。これは、動画1時間あたり2.64ドル(バッチ価格)で、人間の注釈の約19分の1のコストです。
- 研究参照パイプラインはオープンソースであり、Refinerで実装されています。自身の動画で実行するためのすぐに使えるサブタスク注釈の例をご覧ください。
- より高いパフォーマンスを提供するために、お客様向けにカスタムモデルと独自のサブタスク注釈パイプラインを開発・運用しています。ロボット動画データセットでより強力な結果が必要な場合は、データでの評価についてお問い合わせください。
なぜサブタスクを注釈するのか?
初めて見るキッチンに入り、「グーラッシュを作って」という指示を受けたと想像してみてください。もしそれを調理したことがなければ、学ぶ必要があります。そのためには、最終的な指示だけでなく、ステップ、オブジェクト、それらの場所を知る必要があります。例えば、一番左の棚を開け、まな板を取り出し、カウンターに置き、玉ねぎを手に取り、皮をむき、まな板に乗せ、刻む、といった具合です。
ロボット学習も同様の問題を抱えています。ロボットに新しい長期間のタスクを教えるには、弱い高レベルの指示以上のものが必要です。ロボットのデモンストレーション動画にとって、有用な信号は、各瞬間にどのサブタスクが発生しており、あるサブタスクがいつ終了し次のサブタスクがいつ開始するかです。
サブタスクは、最近のロボット工学の研究において中心的な学習信号になりつつあります。Zawalskiら(2025)は、サブタスクと計画・行動間の連鎖的思考(chain-of-thought)推論を組み合わせて使用しています。最近のπシリーズ(Physical Intelligenceら、2025)やRT‑H(Belkhaleら、2024)は、低レベルの行動学習と並行して意味的なサブタスク予測を使用しており、どちらもこの追加的な教師信号から大幅な改善を示しています。サブタスクは、直接的なポリシー学習以外にも役立ちます。SARM(Kimら、2025)は、報酬モデリングにそれらを使用しています。
[画像: π0.5におけるサブタスク予測の例]
π0.5では、VLAはまず観測と全体的なプロンプトから意味的なサブタスクを予測し、次にフローマッチング行動エキスパートを通じてそのサブタスクを条件とする低レベルの行動チャンクを予測します。
ロボットのデータ収集がスケールアップし続けるにつれて、それに追いつくことができる注釈パイプラインが必要です。人間の注釈者に動画の全時間を視聴してもらうための費用は、すぐに実現不可能になります。有望な結果にもかかわらず、サブタスク注釈を大規模にマイニングする方法に関する公開資料はほとんどありません。私たちが発見した最も近い公開資料は、Scaleのdense video captioning post(Choghariら、2026)ですが、これは手/エゴセントリック操作動画のみに焦点を当てており、既に分離されたクリップから開始します。ロボット工学においては、これは2つのより困難な問題、すなわち生の動画エピソードを受け取り、あるサブタスクがいつ終了し次のサブタスクがいつ開始するかを決定すること、そして同じ手法がエゴセントリック動画からロボットカメラ設定に転送されるかどうかをテストすることをスキップします。このギャップを埋めるために、モデルが人間の介入なしにサブタスクを注釈できるスケーラブルなパイプラインを作成しました。そのコストは動画1時間あたり2.64ドル(バッチ価格)であり、人間の注釈よりも約19倍安価です。この記事では、この取り組みから学んだ教訓、エゴセントリック動画とロボット動画の両方からサブタスクをマイニングするための最良のEnd-to-End手法、およびロボットサブタスク注釈のための新しいベンチマークであるWGO‑Bench (What's Going On Bench)について共有します。
この研究で評価された参照パイプラインは、弊社のロボットデータ処理フレームワークであるRefinerでオープンソース化されています。自身のデータで実行するには、すぐに使える例コードをご覧ください。
進捗の測定:WGO‑Bench
反復と最良のアプローチの選択のために、ベンチマークが必要でした。候補手法ごとにロボットポリシーを直接トレーニング・評価するのは非常に遅く高価であるため、VLMsが人間の注釈者のパフォーマンスにどれだけ近づけるかを直接測定する新しいベンチマーク、WGO‑Benchを構築しました。現在、ほとんどの産業努力で人間の注釈者が依然として使用されています。
ベンチマークの構成
WGO‑Benchは、Galaxea World(Jiangら、2025)からのヘッドカメラ録画、DROID(Khazatskyら、2025)からのステーションアーム操作のサードパーソンカメラビュー、およびHomER(Toloka, 2026)からのエゴセントリック動画にまたがる100エピソードを収集・手動注釈して作成された、多様なサブタスク注釈ベンチマークです。合計で、743の注釈付きセグメントが62のユニークな高レベルタスク指示にわたって含まれています。
| セクション | タイプ | 視点 | サンプル数 | ユニークタスク数 | 総時間 | 平均エピソード長 | 解像度 | セグメント数 |
|---|---|---|---|---|---|---|---|---|
| HomER | 人間 | エゴセントリック | 25 | 17 | 39.2分 | 94.0秒 | ミックス、主に1920x1080 / 848x480 | 470 |
| DROID | ロボット | 外部ロボットカメラ | 50 | 26 | 24.9分 | 29.9秒 | 320x180 | 150 |
| Galaxea | ロボット | ロボットヘッドカメラ | 25 | 19 | 7.4分 | 17.7秒 | 1280x720 | 123 |
| 合計 | ミックス | ミックス | 100 | 62 | 71.5分 | 42.9秒 | ミックス | 743 |
WGO-Benchサンプル内訳
サブタスクの手動注釈
厳格な注釈プロトコルに従ってWGO‑Benchデモンストレーションを手動で注釈しました。セグメントは原子的な操作イベントであり、境界はオブジェクトの状態変化に従い、ラベルは前の行動に依存せずにポリシーをトレーニングするのに十分自己完結している必要があります。
[画像: 原子イベントの例]
1つのサブタスクは1つの完了した操作イベントを表すべきです。
1/3
クリップ
002.805.708.1
間違い
掴む、移動する、置く
正しい
掴んで置く
今
サブタスクは原子的にすべきです:1つの完了した掴み、1つの完了した置きであり、複合的な掴む-移動する-置く動作ではありません。
[画像: 注釈ポリシーの例]
注釈ポリシーの例(galaxea_069)
エピソードは、運動断片ではなく、原子的な操作イベントにセグメント化されました。サブタスクはイベントが完了したときに終了し、ロボットの手が中立的な姿勢に戻ったときではありません。明確な一時停止がない限り、次のサブタスクは前のサブタスクの直後に開始されます。
境界はオブジェクト操作の変更時に配置されます。オブジェクトが掴まれた、解放された、新しい場所に到達した、またはドアや蓋の状態が変化したときです。カメラの動き、ためらい、および微細な手の調整は、個別のサブタスクではありません。
ラベルは自己完結しています。それらは以前の人間の行動やロボットの行動を参照せず、操作されたオブジェクトとターゲットの場所を可能な限り正確に記述します。「カップをテーブルに置く」ではなく、「カップをボウル隣のテーブルに置く」です。これは、ほとんどのロボットポリシーが過去のフレームや行動を入力として取らないため、曖昧さを防ぎます。
注釈インターフェース
注釈自体については、まずCVATやLabelboxのような既存のツールを試しましたが、柔軟性に欠けることがわかりました。代わりに、データセットを操作し、生成モデルをプラットフォームで呼び出すためのシンプルなAPIを構築し、それをCodexに接続しました。注釈者は、データセットを指定し、ラベル付けが必要なものを説明することで、オンデマンドでカスタムインターフェースを生成でき、モデル呼び出しが事前セグメンテーションまたは事前ラベリングのために配線されています。すべての編集は同じデータレイヤーを通過するため、並列作業が可能になり、データを一貫した状態に保ちます。このインターフェースは現在クローズドベータ中です。アクセスをご希望の場合は、こちらからリクエストしてください。
[画像: Macrodata AnnotationsでのWGO-Bench注釈インターフェース]
Macrodata AnnotationsでのWGO-Bench注釈インターフェース。
注釈の現場からの教訓
明確な注釈プロトコルと目的特化型UIがあっても、サブタスクの注釈は人間にとって困難で時間がかかります。最も明白な問題は時間です。事前に記入されたモデルの提案がない場合、1分間の動画を注意深く注釈するには10分以上かかることが容易にあります。
エゴセントリック動画は通常、最も時間がかかります。手は速く動き、サブタスクはロボット動画よりもはるかに短いことが多く、両手が同時に動作することもあります。例えば、左手でナイフを掴みながら、右手でトマトを動かすなどです。ある動作がいつ終わり次の動作が始まるかの判断さえ曖昧になることがあります。例えば、コンテナをテーブルの上でスライドさせる動作を、掴む -> スライドさせる に分割すべきか、1つのスライド動作として扱うべきかなどです。
ラベル自体も正確に記述するのが難しいです。明確なオブジェクトを基準にできない場合、場所を記述するのが困難であり、操作されるオブジェクトも、特に低解像度動画では認識しにくいことがあります。速いエゴセントリックの動きはこれを悪化させます。なぜなら、掴む動作はわずか数フレームで完了する可能性があり、掴む動作がどこで終わり次の動作が始まるかの視覚的な証拠がほとんど残らないからです。
[画像: ハードローカライゼーションの例]
場所は、安定したアンカーがない場合に記述するのが難しい。
1/5
例
どのガラスが置かれており、どこに置かれているかをどのように説明しますか?
[画像: 注釈の難しさの例]
注釈の難しさの例
良いラベルは、シーンがすべての場所を明確に名前付けしていなくても、単独で十分な空間的詳細を持つ必要があります。
採点
採点のために、セグメンテーション、ラベリング、End-to-End注釈という3つの関連タスクを定義します。セグメンテーションは、モデルが正しい時間境界を見つけられるかをテストします。ラベリングは、正しい時間ウィンドウが与えられた場合に、モデルがセグメントに名前を付けられるかをテストします。End-to-End注釈は、完全な設定を評価します。モデルはセグメントを見つけ、それを正しくラベル付けする必要があります。
セグメンテーションでは、モデルはタイムスタンプ付きのサブタスク境界を予測します。ラベルを含めることもできますが、このスコアでは無視されます。Segment F1を使用し、予測されたセグメントがゴールド(手動注釈)セグメントと一致するとカウントするのは、IoU >= 0.75の場合です。スコアリングの前に、エピソードの最初の予測開始時間と最後の予測終了時間を人間の注釈境界にスナップします。なぜなら、エピソードの外縁はしばしば曖昧だからです(最初の行動が動画の開始時に始まるのか、ロボットが最初に現れたときか、ロボットが動き始めたときか、常に明確ではありません。同じ問題が最後に適用されます)。
ラベリングでは、モデルはゴールドセグメント境界を受け取り、セグメントごとに1つのラベルを予測します。ScaleスタイルのLLM-as-judgeルーブリックをサブタスクラベルに合わせて調整し、gemini-3.5-flashをジャッジとして使用します。
あなたは、予測されたサブタスクラベルがゴールドのサブタスクラベルと一致するかどうかを判定しています。
ゴールドラベル:
{gt_label}
予測ラベル:
{pred_label}
エピソード指示:
{instruction}
承認する場合:
- 同じ操作イベントまたは世界状態の変化を記述している。
- 主要なアクションが正しい。
- 主要な操作オブジェクトが正しい。
- イベントの中心的な要素であるソース、宛先、方向、または空間関係が正しい。
- 言葉遣いは異なってもよい。同義語でもよい。
- ゴールドラベルよりもわずかに詳細が少ない場合でも、有用であればよい。
却下する場合:
- アクションが間違っている。
- 主要なオブジェクトが間違っている。
- ソース、宛先、または方向が反転または間違っている。
- 別のイベントを記述している。
- 特定するには曖昧すぎる。
- 重要なオブジェクトまたはアクションを幻覚している。
無視する場合:
- 文法。
- 微細な言葉遣いの違い。
- タイミング。タイミングは別途評価される。
JSONのみを返してください:
{