ロボティクスデータインフラストラクチャのためのYouTubeシステムデザイン
YouTube System Design for Robotics Data Infrastructure (hebbianrobotics.com)
要約
ロボティクスデータプラットフォームを構築する際、当初はYouTubeのような汎用的なサービスを想定していませんでした。しかし、大規模メディアファイルのアップロード、バックグラウンド処理、メタデータインデックス作成、ストリーミングといった要件はYouTubeのシステムデザインと類似していました。この記事では、ロボットデータセットの「エピソード」という複雑なデータ単位を扱いながら、アップロード、処理、保存、インデックス作成、再生というパイプラインを、YouTubeと同様のアーキテクチャパターンを用いて構築した経験を解説しています。
全文翻訳
ロボティクスデータインフラストラクチャのためのYouTubeシステム設計
ロボティクス向けのデータプラットフォームを構築し始めた当初、私たちはYouTubeのことを考えていませんでした。
ロボティクスチームは、LeRobotデータセットをアップロードし、デモンストレーションを検索し、同期されたカメラフィードとロボットの状態を検査し、トレーニング用にキュレーションされたエピソードをエクスポートできるようにしたいと考えていました。それはロボティクスにおけるかなり専門的な問題のように思えました。そこで私たちはParetoを構築しました。
[画像: Pareto検索インターフェースにロボティクスデモンストレーションのクラスタが表示されている]
インフラストラクチャの作業を進めるにつれて、要件は馴染みのあるものに感じられるようになりました。信頼性の高い大規模メディアファイルのアップロード、オリジナルの保存、バックグラウンドでの処理、サムネイルやプレビュー動画の生成、メタデータのインデックス作成、データセット全体をダウンロードせずにブラウザへのストリーミングが必要でした。
[画像: YouTubeシステム設計の簡略図]
「YouTubeを設計する」は古典的なシステム設計の演習です。YouTubeはすでに支配的であり、私たちの中でその規模のグローバルなコンシューマービデオプラットフォームを構築する必要がある人はほとんどいないため、少し無意味に感じられるかもしれません。数千人のユーザーがプラットフォームに単一の動画をアップロードすることを、単一のロボティクスデータセットが数千本の動画をアップロードすることと捉え直すと、類似点がより明確になります。
ByteByteGoは、この演習をアップロードと再生に絞っています。元のファイルはブロブストレージに格納され、バックグラウンドワーカーがトランスコードし、完了フローがメタデータを更新し、CDNが完成版を提供します。それが上記の簡略化された形状です。
ロボットデータのエピソード
古典的なビデオプラットフォームは、1つの支配的なオブジェクトから始まります。それは、おそらく音声や字幕が付いた動画です。ロボット学習データセットは、より複雑なデータ単位を持っています。
ロボットデータのエピソードは、マルチモーダルな記録です。これには、複数のカメラフィード(手首、トップ、胸など)と、ジョイント位置、アクション、力の読み取り、タイムスタンプ、タスクの説明、その他のセンサー ストリームが含まれる場合があります。カメラはデータセットの大部分を占める可能性がありますが、それらは単独では役に立ちません。データは、その瞬間にロボットが何を感知し、何をしていたかに接続されたままでなければ、意味をなしません。
Paretoはエピソード全体を検索するため、「オレンジ色のブロック」を検索する人は、周囲の軌跡をスクラブし、カメラを比較し、デモンストレーションがトレーニングセットに属するかどうかを判断できます。
LeRobot v3はこれを具体化します。エピソードはParquetデータファイルとMP4シャードを共有できるため、エピソードを読み取ることは、構造化された行範囲と各カメラの動画内のタイムスタンプ範囲の両方を解決することを意味します。データパスを書き出すと、それは馴染みのあるものに見えました。アップロード -> 処理 -> 保存 -> インデックス作成 -> 再生です。
[画像: YouTubeとParetoのパイプライン比較]
Paretoはオープンソースなので、システムを検査して自分で実行できます。
1. 信頼性の高いアップロード
マルチメディアに関しては、厄介な大規模アップロードの技術に入り込みます。接続は失敗し、プロセスは再起動し、最後のファイルが中断されたためにデータセット全体を再試行するのはコストがかかります。ビデオプラットフォームは、再開可能なアップロードと、処理準備完了への明示的な移行でこれに対処します。
Paretoでは、変換やインデックス作成とは別にソースファイルの受信を続けます。ソースファイルはバージョン管理されたストレージパスの下に保存され、完了したバッチはチェックポイントされ、最終的なマニフェストは最後に書き込まれます。下流のジョブは、ディレクトリが完了したかどうかを推測するのではなく、完了マーカーとしてそのマニフェストを使用します。また、生成された出力のいずれかを、それを生成した正確なソースファイルとバッチにトレースすることもできます。
元のデータセットを保持することは、将来の処理がユーザーにデータを再度アップロードするように依頼することなく変更できることも意味します。
2. 処理はパイプラインになる
ビデオをストリーミングするサイトでは、アップロードは複数のバージョンに処理される必要があります。さまざまな解像度とコーデック、サムネイル、プレビュー、キャプション、その他のアセットです。オリジナルは、より大きなバックグラウンドパイプラインへの1つの入力です。
ロボットデータの場合、サンプリングされたフレーム、サムネイル、プレビュー動画、ダウンサンプリングされた状態とアクションのシリーズ、ベクトル埋め込み、検索インデックス、Rerunレコーディングを生成します。それぞれが異なる目的を果たします。検索、ブラウジング、同期再生、分析、またはエクスポートです。
ブラウザは、データセット全体を開かなくても検索結果を表示できます。YouTubeが元のアップロードを提供せずに再生を開始できるのと同じです。
3. 長時間ジョブの実行
Paretoは、Temporalを使用して、パイプライン内のさまざまなジョブを耐久性のあるワークフローとして実行します。ホストされたサービスがありますが、オープンソースでセルフホストも可能です。
ワーカーは、機能と作業の形状によって分離されます。GPU埋め込みワーカー全体に独立したエピソード範囲をシャード化し、次にシャード出力をマージしてグローバルワークを1回実行する最終ステップでファンインします。ウォームモデルの事前ロードを必要としない他のジョブは、弾力的なGPUまたはCPUプール全体で実行できる独立したチャンクに分割されます。これにより、あるジョブクラスのバーストが、別の種類の作業が必要とする容量を消費するのを防ぎます。
生成された出力のすべてがデータセットで利用可能になる前に準備ができている必要はありません。軽量で回復可能な多くの計算を遅延実行、オンデマンドパスに移動し、クリティカルパスをデータ検索可能および表示可能にすることに集中させました。これにより、最初の使用までの時間が短縮され、まだ誰も求めていない成果物に時間を費やすことがなくなります。
テキストクエリは、同じポイントを異なる形式で示します。画像埋め込みは高スループットのバッチジョブであり、GPU上で行われるべきですが、ライブテキスト検索には、最近傍検索の前に1つの小さな埋め込みが必要です。GPUを取り込みに集中させ、オンラインパスのプロビジョニングを容易にするために、RustとONNXを使用したテキスト埋め込み用のCPU SigLIP 2サーバーを開発しました。
YouTubeは、ビデオメタデータ、検索インデックス、メディアを1つのデータベースに配置しません。Paretoも同じ分割に従います。ソースデータセットと派生データは、URIアドレス指定可能なオブジェクトストレージに格納されます。Postgresはメタデータを保持します。LanceDBは、検索のためにマルチモーダルベクトルを格納します。サーバー自体はステートレスです。テキストクエリは埋め込まれ、ベクトルに対して検索され、エピソードとして返されます。
5. 視聴者が必要なものだけをストリーミングする
有用なビデオプラットフォームでは、最初の数秒を視聴する前に完全なファイルをダウンロードする必要はありません。シークをサポートし、プレーヤーが必要とするバイト範囲を提供します。これは、ロボティクスデータセットに複数のカメラフィードと構造化信号が含まれている場合、さらに重要になります。
ParetoのブラウザUIはプレビューを使用し、すべてのインタラクションで元のデータセットを開くのではなく、プレーヤーが必要とするバイトのみを要求します。複数のカメラは1つの同期されたトランスポートを共有し、ユーザーは対応する状態とアクションを表示しながらスクラブできます。プレビュー品質は自動的に選択されるか、カメラグリッド全体でピン留めできます。
インターフェースは馴染みのあるように見えます。タイムライン、プレビュー、シークです。しかし、仕事は異なります。これは受動的な視聴ではありません。ユーザーは、エピソードが取得された理由を理解し、証拠を検査し、動作を比較し、注釈を付け、モデルに影響を与えるべきかどうかを決定する必要があります。
スケールに合わせて設計する(ただし、スケールから始めない)
キャリアの初期、私はJane Streetでソフトウェアエンジニアとしてスタートしました。毎秒数百万メッセージを処理するインフラストラクチャの構築中に、スケールについての思考とスケールでの運用を分離することを学びました。初期段階では、有用な決定は構造的なものです。耐久性のある状態がどこに存在するか、作業が再試行可能かどうか、容量の追加がシステムの再設計を必要とするかどうかです。
「家畜、 ペットではなく ペットではなく」という考えを聞いたことがあるかもしれません。手動でスケールアップして管理する少数の大きなノードを持つのではなく、いつでもスケールアウトできるように、素早くダウンおよびアップできる小さな同一ノードを持つ方が良い場合が多いです。耐久性のある状態は処理マシン外に存在し、APIレプリカとワーカーは交換可能です。メディアワーカーが消失し、そのジョブが再配信され、回復プロジェクトにならずに交換される可能性があります。これにより、水平スケーリングが可能になります。今日1つのワーカーを実行し、後でさらに実行できますが、実行モデルを変更する必要はありません。
[画像: 家畜、ペットではない]
残念ながら、GPU容量は常にこれを容易にするわけではありません。プロバイダーが十分なクォータを提供できない場合、GPU搭載の家畜の群れを増やすのはより困難です。
しかし、「スケーラブル」は不要な複雑さの言い訳になる可能性があります。Paretoの直接CLIは、PostgresやTemporalなしで、同期的にインデックス作成、検索、エクスポートできます。分散コンポーネントは、長期間にわたる耐久性のある実行が必要な場合にのみ追加します。
XKCDの「時間の価値はありますか?」は、最適化が節約できる時間よりも多くの時間を消費する可能性があるのはどのくらいの労力か、と問いかけています。インフラストラクチャも同様のトレードオフがあります。すべての抽象化は、継続的にデプロイ、監視、アップグレード、および保守される必要があります。
Temporalは、若いプロジェクトが必要とする以上のインフラストラクチャのように見えるかもしれませんが、それが私たちにとって解決する要件は仮説的なトラフィックではありません。個々の変換と取り込みは、プリエンプティブルワーカーで数時間実行される可能性があり、中断からの回復が必要です。耐久性は現在の要件です。独自のスケジューラ、再試行システム、およびレコンサイラを構築することはそうではありません。
まあ、これは本当のYouTubeではない
ロボティクスデータは、追加の列を持つビデオストリーミングではありません。単一のエピソードには、カメラフィード、アクション、ジョイント状態、注釈、および異なるサンプリングレートを持つセンサー ストリームが含まれる可能性があり、これらはすべて整合性を保つ必要があります。また、スキーマとモデルのIDを保持する必要があります。異なるモデルで構築されたベクトルを混在させると、検索結果が無意味になります。
しかし、YouTubeの思考実験は役立ちます。アップロード、処理、保存、インデックス作成、再生の馴染みのある出発点を提供してくれます。面接の練習としては悪くないでしょう。
ロボティクスデータを検索およびキュレーションするにはParetoを試すか、オープンソースリポジトリから探索してセルフホストしてください。