ロボティクスチームはデータスタックをゼロから再構築している

ロボット学習におけるデータ層の税金 Nikolaus West 著 1ヶ月前 ロボティクスにおいてスケーリング則が機能し始め、数年前には考えられなかった機能が生み出されています。エンドツーエンドモデルはセンサー入力からロボットのアクションを直接予測するため、ロボット上のソフトウェアは簡素化されるものの、データ収集からトレーニングまでのすべてが劇的に難しくなります。LLMチームは成熟したデータインフラ上でスケールし、データに対する高速なイテレーションを通じてパフォーマンスを向上させました。ロボティクスチームはそれがなくスケールしようとしています。 既存のインフラがロボティクス学習を駆動するマルチレートでマルチモーダルなデータのために設計されていないため、ほとんどのチームはデータツールをゼロから構築しています。データ収集からトレーニングまでのデータジャーニー全体で、一般的な操作が本来よりも難しく、遅くなっています。イテレーション速度、エンジニアリングの集中度、GPU利用率における累積コストを「データ層の税金」と呼びます。この税金を削減することは、世界がこれまでに見たことのない最大の市場へと競争する中で、より速く動き、スケールするための主要なレバーとなります。 アーキテクチャ的には、データ層はデータの保存、モデリング、アクセスを担当します。物理AIのデータ層はまだ未成熟であり、そのコストはパイプラインのあらゆる段階で明らかです。 もしあなたがロボット学習を構築または投資しているなら、この記事はその税金がどこから来るのかの地図です。評価から収集へと逆順にたどり、要件がどのように上流に波及し、税金がデータ規模、ソースの種類、キュレーションの洗練度によってどのように複合するのかを示します。 方策評価 広範な「評価（evals）」セットは、LLMチームが迅速な進捗を遂げる能力の中核です。ロボット行動の評価ははるかに難しく、パイプライン全体に連鎖的な影響を与えます。ロボティクスチームにとって、訓練された方策に対する小さな実世界評価でさえ、数時間または数日間のロボット試行と注意深い設計および運用を要します。これは、広範で再現性があり高速な評価に対して迅速な進捗を遂げることがロボティクスでは実行不可能であることを意味します。 チームは代わりに、データ品質を直接スコアリングする代理メトリックに依存します。例えば、タスクの進行状況を評価する報酬モデル、キャリブレーションの正確さの信号としての3D再構成品質、または単に軌道のギクシャク感を推定するなどです。これらは個々のエピソードやサンプルが良いか悪いかを示すものであり、より良い方策を生み出すかどうかは示しません。 実際の評価実行はより困難であるため、それぞれを深く研究することが重要です。多くの重要な決定は、データに深く精通し、評価のロールアウトを観察し、システム全体に関する直感を使って進行方法を決定する研究者から生まれます。 データインフラの観点から見ると、評価は収集と非常によく似ています。モデルの入力、出力、ターゲットをモデルバージョン、サブタスク、環境設定などのメタデータと共に記録します。研究者はその後、多数のロールアウトをレビューし、メトリックによって集計し、特定の記録を詳細に調査します。 ロールアウトをそれをもたらしたトレーニングデータに遡ってトレースするには、切断されたツールとフォーマットを横断した手動の探偵作業が必要となることが多いです。すべての摩擦点が累積し、イテレーション時間の遅延と、より良い方策のトレーニングにフィードバックされないインサイトにつながります。 モデルトレーニング ロボット行動学習は、他の機械学習タスクと多くの基礎を共有しています。異なる点は、これらのモデルが時間とともにアクションを出力することです。この追加された時間次元は、トレーニングをサポートするデータ層の複雑さを2つの主要な理由で劇的に増加させます：サンプルの構築とビデオ圧縮です。 トレーニング中のサンプル構築 大規模モデルをトレーニングする際、高価なGPUの利用率を最大化するために、十分な速さでデータを供給しなければなりません。研究者は、どのデータを含めるか、どのようにサンプリングするかを選択することで、モデルの挙動を制御します。研究者は、モデルのトレーニング時に複数のデータセットを一緒に構成したいと考えることがよくあります。複数のデータセットの重み付き組み合わせを使用したり、サンプリング確率や損失重み付けのために時間ステップごとの重みを使用したりすることも一般的です。 ACTやpi0.5のようなアクションチャンキングを備えた視覚言語行動モデル（VLA）のトレーニングを考えてみましょう。ヒューマノイドロボットモデルは、頭部と手首カメラからの3つのビデオストリーム、30以上の関節からの位置と速度、グリッパーの状態、および言語指示を消費できます。NvidiaによるGROOT N1モデルのアーキテクチャ概要。 バッチ内の各トレーニングサンプルは、データセット内のエピソードの1つのタイムステップから始まります。基本的なVLAの場合、サンプル自体は各ビューからのカメラフレーム、ロボットの現在の状態、および将来のアクションのチャンク（通常は次の50-100タイムステップ）で構成されます。ロボットでの記録とトレーニングの間のどこかで、これらの入力はすべて時間的に整列される必要があり、これは微妙なバグの一般的な原因となります。VLAモデルトレーニングの基本的なサンプル構築。ターゲットアクションは、サンプルの開始点から時間的に前方を見て取得されることに注意。 この場合、すべてのタイムステップのすべての列を読み取る素朴な行指向のフェッチは、決して使用されない多くの項目をダウンロードすることになります。効率的なデータローダーは列を意識する必要がある：必要なときに完全な行をフェッチし、それ以外の場合は特定の時間ウィンドウの特定の列をフェッチする。データセットがトレーニングを実行するマシンに収まらないほど大きい場合、この不要なデータ転送はGPUの枯渇につながります。 サンプリングパターンはアーキテクチャに依存し、進化し続けるでしょう。Diffusion Policyは2つの観測フレームを条件とし、将来の16ステップを予測します。より長いホライゾンのタスクの場合、モデルはより長い履歴（非一様な間隔で）を取ることがよくあります。DreamZeroのようなWorld Action Models（WAMs）は、等間隔の連続するフレームシーケンスを消費し、将来のビデオとアクションの両方を共同で予測します。長い履歴を入力とするVLAモデルトレーニングのサンプル構築。 これらのアーキテクチャは進化し続けるだろうが、私たちは常に複数のデータストリームを組み合わせて、単一の観測にとってどのセンサーとどのタイムポイントが関連するかを考慮するでしょう。より複雑なサンプリングパターンは、誤って異なるエピソードのアクションを含めてしまうなど、モデルのパフォーマンスを静かに低下させる微妙なバグのリスクも増加させます。 トレーニング中のビデオデコード ビデオは、データセット全体のサイズの90%以上を占めることが多いです。画像をビデオとしてエンコードすると、時間的冗長性を利用することでストレージを大幅に節約できますが、複雑さが増すという代償があります。 ほとんどのビデオコーデックは各フレームを独立して保存しません。それらはGroup of Pictures（GOP）構造を通じて時間的冗長性を利用します。GOPは完全な画像であるキーフレームで始まります。続くフレームは、他のフレームに対する変更を格納するデルタフレームです。デルタフレームは小さいため、圧縮が可能となります。GOPの中央から画像をデコードする例。この場合、デコーダーは先行するキーフレーム（Iフレーム）と、デコードされたフレームまでのすべてのデルタフレーム（Pフレーム）を読み取る必要がある。 これはトレーニングに直接的な影響を与えます。モデルは完全な画像フレームを必要とするためです。任意のデルタフレームをデコードするには、デコーダーは最も近い先行キーフレームから開始し、その間のすべてのフレームをデコードする必要があります。標準的なGOPが30フレームの場合、単一フレームへのランダムアクセスには、1つの使用可能なフレームを生成するために平均15フレームのデコードが必要となります。 主要なトレードオフはGOPサイズです。GOPが大きいほど圧縮率が高くなるが、GOPが小さいほどランダムアクセスが速くなる。LeRobotはデフォルトのGOPを2に設定しており、ランダムアクセスを優先するために隔フレームをキーフレームとしていますが、潜在的な圧縮率を犠牲にしています。ビデオ圧縮を考慮した基本的なVLAモデルトレーニングのサンプル構築。ここでは、PまたはIとマークされた各セルは、デルタフレームまたはキーフレームのいずれかであるエンコードされたビデオパケットである。 具体的に見てみましょう。現在のフレーム、前のフレーム、0.5秒前、1秒前のような非一様な履歴を持つポリシーが、3つのカメラにわたって必要とする場合、1サンプルあたり12フレームのデコードが必要となります（履歴フレーム4つ×カメラ3つ）。非一様な間隔は、これらのフレームが異なるGOPに属する可能性があり、それぞれが個別のシークとデコードを必要とすることを意味します。いずれにせよ、データフェッチロジックはビデオを処理する必要があり、GOPを認識するか、ビデオファイル全体をフェッチするかのいずれかとなります。