ロボティクスチームはデータスタックをゼロから再構築している
Robotics Teams Are Rebuilding the Data Stack from Scratch (rerun.io)
要約
ロボット学習のスケーリング則は目覚ましい進歩を遂げていますが、既存のデータインフラがロボティクス特有のマルチレート・マルチモーダルデータ向けに設計されていないため、多くのチームがデータツールを独自に構築しています。このアプローチは、データ収集からトレーニングまでのプロセスにおいて「データ層の税金」と呼ばれる累積コストを生み出し、イテレーション速度やGPU利用率に悪影響を与えています。本記事では、評価、モデルトレーニング、データサンプリング、ビデオ圧縮といった各段階でこのコストがどのように発生するかを詳細に解説し、その削減がロボティクス分野でのスケールアップの鍵であると指摘しています。
全文翻訳
ロボット学習におけるデータレイヤー税
スケーリング則がロボティクス分野でも効果を発揮し始め、数年前には考えられなかったような能力を生み出しています。エンドツーエンドモデルはセンサー入力から直接ロボットの行動を予測するため、ロボット上のソフトウェアは簡素化されますが、データ収集からトレーニングまでのすべてが劇的に困難になります。LLMチームは成熟したデータインフラストラクチャ上でスケールアップし、データに対する高速なイテレーションを通じてパフォーマンスを向上させました。ロボティクスチームはそれなしでスケールアップしようとしています。
[画像: コレクション、取り込み、クリーニング、エンハンスメント、キュレーション、トレーニング、評価といったパイプラインの各ステージからデータが溢れ出ている様子]
既存のインフラストラクチャはロボティクス学習を支えるマルチレートかつマルチモーダルなデータのために設計されていなかったため、ほとんどのチームはデータツールを一から構築しています。データ収集からトレーニングに至るデータジャーニーの各段階で、一般的な操作は本来あるべきよりも困難で遅くなっています。イテレーション速度、エンジニアリングの焦点、GPU利用率における累積コストが、私たちが「データレイヤー税」と呼ぶものです。この税を軽減することは、これまでで最大の市場になりつつある競争において、より速くスケールアップするための主要なレバーとなります。
アーキテクチャ的には、データレイヤーはデータの保存、モデリング、アクセスを担います。Physical AIのためのデータレイヤーはまだ未熟であり、そのコストはパイプラインのあらゆる段階で可視化されています。
ロボット学習を構築または投資している場合、この記事はその税がどこから来るのかを示す地図となります。評価から収集へと逆方向に進み、要件がどのように上流に連鎖し、税がデータのスケール、ソースの多様性、キュレーションの洗練度とともに複利で増加する理由を説明します。
ポリシー評価
広範な「評価(evals)」のセットは、あらゆるLLMチームの迅速な進歩能力の中核です。ロボットの行動の評価ははるかに困難であり、これはパイプライン全体に連鎖的な影響を与えます。ロボティクスチームにとって、トレーニングされたポリシーに対する小規模な実世界評価でさえ、ロボットの試行に数時間または数日を要し、慎重な設計と運用が必要です。これは、広範で反復可能かつ高速な評価に対して迅速に進歩することがロボティクスでは実現不可能であることを意味します。
チームは代わりに、報酬モデルがタスクの進捗を評価したり、3D再構成の品質がキャリブレーションの正確さのシグナルとなったり、単に軌道のジャーク(急激な動き)を推定したりするなど、データ品質を直接スコアリングするプロキシメトリックに依存します。これらは、個々のエピソードやサンプルが良いか悪いかを示しますが、より良いポリシーを生み出すかどうかは示しません。
実際の評価実行はより困難であるため、それぞれを深く研究することが重要です。多くの重要な決定は、データに深く精通した研究者によって下され、評価のロールアウトを監視し、システム全体の直感を使用して、どのように進めるかを決定します。
データインフラストラクチャの観点からは、評価は収集と非常によく似ています。モデルの入力、出力、ターゲットを、モデルバージョン、サブタスク、環境構成などのメタデータとともに記録します。研究者はその後、多数のロールアウトをレビューし、メトリックごとに集計し、特定の記録をドリルダウンします。
ロールアウトを原因となったトレーニングデータにトレースするには、しばしば断片化されたツールやフォーマットを横断する手作業の探偵作業が必要です。摩擦の各点は、反復時間の遅延と、より良いポリシーのトレーニングにフィードバックされない洞察の増加につながります。
モデルトレーニング
ロボット行動学習は、他の機械学習タスクと多くの基盤を共有しています。変化するのは、これらのモデルが時間とともにアクションを出力することです。この追加された時間次元は、2つの主な理由、すなわちサンプル構築とビデオ圧縮のために、トレーニングをサポートするデータレイヤーの複雑さを劇的に増加させます。
トレーニング中のサンプル構築
大規模モデルをトレーニングする際には、高価なGPUを最大限に活用するために、十分な速度でデータを供給する必要があります。研究者は、どのデータを含め、どのようにサンプリングするかを選択することで、モデルの行動を誘導します。
[画像: さまざまなエピソードで構成され、それぞれ異なる重みで単一のトレーニングミックスに貢献する複数のデータセット]
研究者は、モデルをトレーニングする際に複数のデータセットを組み合わせたいと考えることがよくあります。複数のデータセットの重み付き組み合わせ、場合によってはサンプリング確率や損失の重み付けのためのタイムステップごとの重みさえ使用することは一般的です。
ACTやpi0.5のようなアクションチャンキングを備えたビジョン・言語・アクションモデル(VLA)をトレーニングすることを考えてみましょう。人型ロボットモデルは、ヘッドカメラとリストカメラからの3つのビデオストリーム、30以上のジョイントからの位置と速度、グリッパの状態、および言語指示を消費する可能性があります。
[画像: NVIDIA GROOT N1 ヒューマノイドロボット基盤モデルのアーキテクチャ概要]
NvidiaによるGROOT N1モデルのアーキテクチャ概要。
バッチ内の各トレーニングサンプルは、データセット内のエピソードの単一タイムステップから始まります。基本的なVLAの場合、サンプル自体は、各ビューからのカメラフレーム、ロボットの現在の状態、および将来のアクションのチャンク(通常は次の50〜100タイムステップ)で構成されます。ロボットでの記録からトレーニングまでのどこかで、これらの入力すべてが時間的にアライメントされる必要があります。これは、微妙なバグの一般的な原因です。
[画像: VLAモデルの単一トレーニングサンプルの説明:現在のタイムステップで、カメラ、タスク、状態、およびアクション列がモデルへの入力として読み取られ、将来のアクション列のチャンクが、モデルが予測したアクションに対するトレーニング損失を計算するために使用される観測アクションとして読み取られます]
VLAモデルトレーニングの基本的なサンプル構築。ターゲットアクションは、サンプルの開始点から将来を参照して取得されることに注意してください。
この場合、すべてのタイムステップのすべての列を読み取る単純な行指向のフェッチは、決して使用されない多くのアイテムをダウンロードすることになります。効率的なデータローダーは列を認識する必要があります。必要に応じて完全な行を取得し、それ以外の場合は時間ウィンドウの特定の列を取得します。データセットがトレーニングを実行するマシン上に存在するには大きすぎる場合、この不要なデータ転送はGPUの飢餓を引き起こします。
サンプリングパターンはアーキテクチャに依存し、進化し続けます。Diffusion Policyは2つの観測フレームを条件付け、16の将来のステップを予測します。より長いホライゾンタスクでは、モデルはしばしばより長い履歴、おそらく不均一な間隔で取得します。World Action Models(WAMs)であるDreamZeroのようなモデルは、等間隔のフレームの連続したシーケンスを消費し、将来のビデオとアクションの両方を共同で予測します。
[画像: 不均一な履歴を持つサンプルの説明:現在の行に加えて、不規則な間隔の過去数行がデータセットからプルされ、小さな「履歴」テンソルにスタックされてVLAモデルに供給され、将来のアクション列は観測アクションターゲットとして読み取られます]
入力としてより長い履歴を持つVLAモデルトレーニングのサンプル構築。
これらのアーキテクチャは進化し続けますが、単一の観測に関連するセンサーとタイムポイントを考慮するために、常に複数のデータストリームを組み合わせることになります。より複雑なサンプリングパターンは、別のエピソードのアクションを誤って含めるなど、モデルのパフォーマンスを静かに低下させる微妙なバグのリスクも高めます。
トレーニング中のビデオデコーディング
ビデオは、データセット全体のサイズの90%以上を占めることがよくあります。画像をビデオとしてエンコードすると、一時的な冗長性を利用してストレージを大幅に節約できますが、複雑さが増します。
ほとんどのビデオコーデックは、各フレームを独立して保存しません。それらはGroup of Pictures(GOP)構造を通じて一時的な冗長性を利用します。GOPは、完全な画像であるキーフレームで始まります。後続のフレームは、他のフレームからの変更を格納するデルタフレームです。デルタフレームは小さいため、圧縮が可能です。
[画像: GOPの中央にある画像デコードの例。デコーダーは、前のキーフレーム(Iフレーム)とデコードされるフレームまでのすべてのデルタフレーム(Pフレーム)を読み取る必要があります]
GOPの中央にある画像デコードの例。この場合、デコーダーは前のキーフレーム(Iフレーム)とデコードされるフレームまでのすべてのデルタフレーム(Pフレーム)を読み取る必要があります。
これは、モデルが完全な画像フレームを必要とするため、トレーニングに直接的な影響を与えます。デルタフレームをデコードするには、デコーダーは直前のキーフレームから開始し、その間のすべてのフレームをデコードする必要があります。典型的な30フレームのGOPでは、単一フレームへのランダムアクセスには、平均15フレームをデコードして1つの使用可能なフレームを生成する必要があります。
主なトレードオフはGOPサイズです。GOPが大きいほど圧縮率は高くなりますが、GOPが小さいほどランダムアクセスは速くなります。LeRobotはデフォルトのGOPを2に設定しており、2フレームごとにキーフレームを作成してランダムアクセスを優先しますが、圧縮の可能性は犠牲になります。
[画像: GOPを意識したビデオデコーディングによるVLAモデルトレーニングのサンプル構築。PまたはIとマークされた各セルは、デルタフレームまたはキーフレームであるエンコードされたビデオパケットです]
ビデオ圧縮を考慮した基本的なVLAモデルトレーニングのサンプル構築。ここでは、PまたはIとマークされた各セルは、デルタフレームまたはキーフレームであるエンコードされたビデオパケットです。
具体的に言うと、現在のフレーム、前のフレーム、0.5秒前、1秒前といった不均一な履歴を持つポリシーが3台のカメラにわたる場合、サンプルごとに12回のフレームデコードが必要です(履歴フレーム4つ × カメラ3台)。不均一な間隔は、これらのフレームが異なるGOPに配置される可能性があることを意味し、それぞれに個別のシークとデコードが必要になります。いずれにしても、データフェッチロジックはビデオを処理する必要があります。GOPを意識するか、ビデオファイルを全体としてフェッチするかです。
データローダーの複雑さがイテレーション速度の低下につながる
高速で正確なデータローダーを構築するのは困難であり、トレーニングクラスターに収まらない大規模データセットではさらに難しくなります。同時に、GPU利用率の低下を許容するチームはほとんどいないため、柔軟性を犠牲にして、GPUの飢餓を避けるために遅いデータエクスポートジョブを導入することになります。ここでの長い待ち時間と柔軟性の欠如は、ハイパーパラメータやトレーニングするデータについて研究者が迅速に実験する能力に直接影響し、データセットのキュレーションとモデル全般の改善をより困難にします。
データセットキュレーション
GPUにデータを高速に供給することも重要ですが、適切なデータであることも必要です。キュレーションは、モデルパフォーマンスを最適化するためにデータセットが適切な分布を持っていることを保証します。HuggingFaceの最近のロボット折り畳みプロジェクトでは、5,688エピソードのプールから1,200エピソードをキュレーションすることで成功率が50パーセントポイント向上したことがわかりましたが、アルゴリズムの改善では5〜20パーセントポイントの向上でした。しかし、データ構成を体系的に改善することは、改善の検証が遅いため困難です。
データ品質
実際のデータには、欠落したセンサー ストリーム、スキーマの不一致、記録のギャップが満載です。QoQ論文では、DROIDデータセットのサンプリングされたペンと鉛筆の軌跡の33.5%が完全に失敗であったことがわかりました。軌跡分析(ジャーク、速度分布、グリッパ活動など)はさらにフィルタリングでき、記述は簡単です。ただし、適切なデータインターフェイスが必要です。ロボットデータが異なるレートのビデオストリーム、ジョイント状態ログ、アクション記録に分散している場合、この単純な分析でさえ困難になることがあります。
ほとんどのチームは、かなりの量の視覚的なレビューも行います。多くのデータを閲覧することは、新しい問題を発見し、直感を構築するための最良の方法です。ロボティクスにとっては、迅速なブラウジングとマルチモーダル記録の詳細な調査の両方が必要です。
[動画]
学習済みモデルは、より強力な分析を提供します。タスクの進捗をスコアリングするために元々トレーニングされたSARMのような報酬モデルは、データ品質のスコアリングにも使用できます。また、DemInfのような手法は、データセットの状態-アクション相互情報量に対する各軌跡の寄与を推定します。これらは実行にコストがかかりますが、人間のレビューよりもスケールアップすることを目指しています。
フィルタリングを超えて、最も影響力の大きい品質改善の1つは、データ収集の改善です。データを定期的にレビューする研究者は、オペレーターが特定の状況でためらったり、カメラアングルが曖昧さを生み出したり、グリッパのアプローチが一貫していなかったりすることに気づきます。収集設定を改善することは、ダウンストリームのフィルタリングよりもデータ品質を向上させます。
データセットミキシング
データセットの構成はパフォーマンスに大きな影響を与えます。どのデータセットを含めるか、異なるタスクとロボットの組み合わせをどのように重み付けするか、何を強調または軽視するかです。Physical Intelligenceのpi0は、独自のテレオペレーションデータ、シミュレーション、およびオープンデータセットのミックスで事前トレーニングされ、各タスク・ロボットの組み合わせは、過剰に表現された組み合わせをダウンウェイトするべき乗則で重み付けされました。このCoRL 2024 Best Paperは、タスクあたりのデモンストレーションのベースライン数を超えると、デモンストレーションの数を増やすよりもタスクの多様性を増やす方がはるかに重要であることを示しました。ミックスをどのように構成するかが、データの量よりも重要になることがあります。
[画像: pi0の事前トレーニングミックスの2つのチャート:左にステップ数によるデータセットサイズ、右にサンプリングウェイト]
pi0モデルの事前トレーニングミックス。右の図は、事前トレーニング混合におけるさまざまなデータセットの重みを示しています。左の図は、ステップ数で測定した相対的なサイズを示しています。
シミュレーションはこの問題をさらに鋭くします。シムデータは生成が安価であるため、トレーニングミックスを簡単に支配できます。しかし、シムからリアルへのギャップは、より多くのシムデータが常に良いとは限らないことを意味し、比率を正しくするにはデータセットの構成を実験する必要があります。
トレーニング時のメトリック(損失曲線やプロキシベンチマークなど)は、実際の評価の前でさえ、ミックスが機能しているかどうかについて有用なシグナルを与えることができます。チームはデータセットの構成を比較的迅速にイテレーションできますが、柔軟性のないデータローダーでは、新しいミックスごとにオフラインでデータセットをフィルタリングおよび結合し、新しいコピーをエクスポートしてトレーニングに向けさせる必要があります。そのオーバーヘッドは、すべてのイテレーションに摩擦を追加し、体系的な実験を思いとどまらせます。
理想的には、データセットミキシングはクエリとして表現されるべきです。どのデータセット、どの重み、どのフィルタリングか。トレーニングデータローダーは、個別のマテリアライゼーションステップなしでサンプルを提供し、新しいバリアントを試すことは、パラメータの変更であり、パイプラインの実行とデータセットのコピーではありません。
アノテーションと後処理によるエンハンスメント
基本的なテレオペレーションデータの場合、記録とトレーニングの間の処理は比較的控えめです。チームはタスクアノテーションを追加し、ターゲットトレーニング頻度で時間アライメントされた状態とアクション列を計算し、上記で説明した品質チェックを実行します。時間アライメントは誤りやすく、トレーニングを大幅に低下させる可能性がありますが、操作自体は明確に定義されています。前のセクションのより強力なキュレーション手法(報酬モデルや埋め込みベクトルの生成など)を実行するには、派生データを作成するためにかなりの計算が必要であり、それを統合する必要があります。
チームがスケールアップし、テレオペレーションデータを超えて見ると、皮肉なことが起こります。エンドツーエンドモデルは認識スタックを簡素化しますが、トレーニングに非常に多くのデータを必要とするため、チームはより安価でスケーラブルなソースを探すことを余儀なくされます。
[画像: ロボット学習のためのデータピラミッド(NVIDIA GEAR Groupより):上部に実世界のロボットデータ、中央に合成データ、広範な基盤を形成するWebデータと人間のビデオ]
ロボット学習のためのデータピラミッド。実世界のロボットデータはスケールアップが難しいため、チームは大規模な行動モデルをトレーニングするために他のデータソースと組み合わせています。
Sunday RoboticsやGeneralist AIのような企業は、人間データコレクターがUMIスタイルのグリッパーを装着して、実際のロボットよりも迅速かつ安価にデモンストレーションを生成しています。そのデータをトレーニング可能なものに変換するには、SLAMを使用してカメラフィードから3Dグリッパポーズを抽出し、人間の動きをロボットキネマティクスにリターゲットし、空間的な整合性を検証する必要があります。Generalist AIは、これらのパイプラインに10K以上のCPUコアを使用していると報告しています。複雑さが消えたわけではありません。それはロボット推論からデータパイプラインに移動しました。
[画像: UMIスタイルのハンドヘルドデータ収集デバイスの2つの並列写真:左にAprilTagが見えるGeneralist AIのグリッパー、右にSunday RoboticsのSkill Capture Glove]
特別に設計されたハンドヘルドデバイスによるデータ収集。左:背景にAprilTagが見えるGeneralist AIのグリッパー。右:Sunday RoboticsのSkill Capture Glove。
純粋な自己中心的なビデオ(ヘッドマウントカメラから)は、記録されている動きがグリッパーではなく人間の手であり、カメラの視点がロボットの視点にマッピングされる必要があるため、さらに多くの処理が必要です。
MetaのHOT3Dデータセットは、Quest 3およびAriaヘッドセットからの高密度な3Dハンドおよびオブジェクトトラッキングを提供します。
チームはまた、既存のデータセットを拡張するために3D再構成を使用しています。Teslaは、独自のGenerative Gaussian Splattingを使用して、複数のカメラビューから完全な3Dシーンを再構築し、FSDとOptimusの両方で実世界の記録の合成バリエーションを可能にしています。
これらの処理のすべては、ソースデータを読み取り、派生信号を計算し、結果をソースとは異なる可能性のある時間レートで書き戻します。エンドツーエンド学習がロボットから削除した複雑さは、データパイプラインでここに現れています。データレイヤーがネイティブにマルチレートおよびマルチモーダルデータをモデル化および保存できない場合、これらのパイプラインの管理とデバッグは急速に複雑化します。
記録、取り込み、正規化
すべてのロボットと収集設定は異なるため、チームは必然的にカスタムソリューションを構築します。テレオペレーションは、低遅延制御が直接的なハードウェア統合を要求するため、特定のロボットに密接に結合されています。クラウド推論またはライブ強化学習は、データがロボットのローカルストレージにまったく触れない可能性のある、まったく異なる記録アーキテクチャを持っています。これらのシステムをうまく構築することは、下流で利用できるデータが決まるため重要です。
課題は取り込みから始まります。これらすべてを、作業可能なものに正規化することです。単一の記録フォーマットを使用する単一チーム内であっても、スキーマは時間とともに変化します。新しいセンサーが追加され、ジョイント名の規則が変更され、記録ソフトウェアが更新されてフィールドが移動します。6か月前に収集されたデータは、今日収集されたデータとは異なる構造を持つ可能性があり、両方ともトレーニングのために連携する必要があります。
より大規模なスケールでは、チームは複数のロボット構成からのデータを組み合わせますが、それぞれに独自の規則があります。Open X-Embodimentは、さまざまなラボから寄付された60以上のカスタムデータセット変換ビルダーを必要としました。DROIDのような大規模データセットをフォーマット間で変換するには数日かかることがあります。
これらすべてを共通のクエリ可能な形式に取得することが、すべてのダウンストリームステップを可能にします。壊れやすいパイプラインは、スタック全体にわたるデバッグにおいて特に苦痛です。評価で何かが間違っていることに気づき、トレーニングとキュレーションを通じてそれをトレースし、最終的に問題がソースデータの取り込み方法にあることを認識します。チームは、このデータ操作のためのフレームワークと、既存のものを壊すことなく新しいデータを取り込みやすくする共通のフォーマットを必要としています。
前例のあるトレードオフ
分析分野では、チームは同じデータのさまざまなコンシューマーのために別々のシステムを維持するのに何年も費やしました。データレイクはすべてをオープンフォーマットで安価に保存しましたが、信頼性の高いクエリのための構造が欠けていました。データウェアハウスは高速で構造化されたクエリを提供しましたが、厳格なスキーマを必要とし、MLツールが読み取れない独自のフォーマットにデータをロックしました。そのため、チームは両方を実行し、それらの間でデータをETLし、多くの場合MLワークロードのために再度エクスポートし、異なるスキーマ、異なる鮮度を持つ複数のコピーと、それらを接続する壊れやすいパイプラインを作成しました。レイクハウスアーキテクチャは、オブジェクトストレージ上のオープンファイルフォーマットの上に構造化されたメタデータレイヤー(トランザクション、スキーマ強制、インデックス作成)を追加することでこれを解決しました。BI、分析、MLが別々のシステムや冗長なETLなしでアクセスできる、データの単一コピーです。
[画像: 元のLakehouse論文からの、2層モデルからLakehouseモデルへの進化に関する図]
左から右へ:Warehouseのみ、Warehouse + Data Lake、Lakehouse。元のLakehouse論文からの、2層モデルからLakehouseモデルへの進化に関する図。
ロボティクスデータインフラストラクチャは、このトレードオフの独自のバージョンに陥っています。MCAPのようなログフォーマットでのファイルベースの処理は、記録と再生には優れていますが、大規模なクエリとトレーニングには実用的ではありません。LeRobotのような固定スキーマへの初期正規化は、トレーニングを高速化しますが、変更が困難な決定を固定します。分析から借用したテーブルごとのトピックアプローチは、遅延正規化を可能にしますが、複数のシステムがそれらを結合する必要がある場合に複雑さが爆発します。チームは、それらの間の変換パイプラインを持つ同じデータの複数の表現を維持することになります。
これに加えて、Physical AIデータは、すべての段階で視覚的に検査可能である必要があります。研究者は、テーブルを読むのではなく、軌跡を観察することによって直感を構築します。データレイヤーがネイティブに視覚化を提供しない場合、それは独自のフォーマット要件と独自の変換パイプラインを持つ別のコンシューマーになります。
各アプローチは問題の一部を解決し、他のすべての場所で摩擦を生み出します。その摩擦は、チームがデータセットサイズ、ソースの多様性、キュレーションの洗練度をスケールアップするにつれて複利で増加します。
データレイヤー税
未熟なデータレイヤーの最も明白なコストは、フォーマット変換、カスタムローダー、パイプラインの接着剤に費やされるエンジニアリング時間です。しかし、真のコストは決して行われない作業です。それは、各新しいミックスがパラメータ変更ではなく完全なデータエクスポートを必要とするため、試すには遅すぎるデータセットミックスです。それは、データがクエリ可能でないため、スケールで適用できないキュレーション方法です。それは、記録ステージのためにのみ視覚化が構築されたため、トレーニングに気付かれずにシップされる変換バグです。それは、ツールが断片化されているため、収集問題にトレースするのに数日かかる評価の失敗です。間違った基盤での研究は、暗闇の中で泥の中を歩くようなものです。
ロボット学習では、ループを閉じることによって、適応可能で信頼性の高いモデルを構築します。記録、分析、トレーニング、デプロイ。勝利するチームは、これらのループを他のチームよりも速く、より正確に実行します。それらは、あらゆる動きに重い税を課すデータレイヤー上では行いません。
Rerunでは、過去数年間、これらの問題をゼロから解決するために必要なピースを構築してきました。それを世界と共有する準備ができています。この記事の問題を認識し、さらに詳しく知りたい場合は、お問い合わせください。