Launch HN: Hebbian Robotics (YC S26) – スケーラブルなロボティクスデータパイプラインを構築

HNの皆さん、私たちはHebbian Roboticsの創設者であるBrandonとKingstonです。私たちは、ロボットや人間オペレーターからのマルチモーダル録画を、標準化され、品質チェック済みのエピソードとクエリ可能なデータセットマニフェストに変換するSDKであるHFlow（https://github.com/Hebbian-Robotics/hflow）を開発しました。録画には、同期されたビデオ、ジョイント状態、アクション、タイムスタンプ、メタデータを含めることができ、HFlowはこれらのストリームをまとめて処理します。 こちらがHFlowのデモです: https://www.youtube.com/watch?v=xni0GwV-xAw ロボティクスデータパイプラインは、しばしばスクリプトから始まります。1つはビデオをトランスコードし、もう1つはタイムスタンプをチェックし、もう1つはラベルを追加し、もう1つは選択された録画をトレーニングセットにコピーします。これはコーパスが成長するまで機能します。その後、どのコードが実行されたか、なぜエピソードが除外されたか、またはデータセットが再現可能かどうかを知ることが困難になります。最初の問題は通常、品質管理です。なぜなら、フリーズしたカメラ、欠落したトピック、タイムスタンプのドリフト、重複した録画がトレーニングデータに静かに混入する可能性があるからです。 Brandonは最初に、2本腕の産業用清掃ロボットのエンボディドAIモデルをトレーニング中にこれに遭遇しました。KingstonはJane Streetで高スループットインフラストラクチャを構築中に同様の問題に直面しました。その後、ロボティクスデータプロバイダーと話していると、チームが同様の処理および品質管理インフラストラクチャを再構築しているのを何度も目にしました。ロボティクスデータの処理自体が、ロボティクスモデルを改善するためのボトルネックの1つであることを学びました。 HFlowパイプラインは、変換、チェック、ラベル、およびエンリッチメントで構成されます。SDKは、エピソードを受け取り、測定値、アーティファクト、または変換されたデータを返すプレーンなPython関数としてそれらを公開します。開発中は、関数はインプロセスで実行できます。スケジュールされたコーパス処理のために、HFlowは同じ登録済みステップをAirflow 3 DAGとしてパッケージ化し、チームはタスクステータス、ログ、リトライ、および再実行を検査できます。 HFlowは現在、エピソードごとに1つのMCAPファイルを受け入れます。MCAP（https://mcap.dev/）は、Foxgloveによるタイムスタンプ付きマルチモーダル録画のためのオープンコンテナフォーマットで、ROSバッグの目的に似ています。これにより、ビデオ、ロボットの状態、アクション、その他のセンサー ストリームを1つのファイルで同期させたままにできます。HFlowはこれらのストリームをまとめて処理する必要があるため、また、結果の録画がFoxgloveおよびRerunと互換性があるため、これを使用しています。HFlowは、インバンドH.264ビデオ、グループ化されたカメラおよび状態チャンク、そして出力がどのように生成されたかの来歴を記述するプロビナンスを備えた、標準的なMCAPを書き込みます。各ステップには明示的なバージョンがあり、カタログレコードはその測定値とアーティファクトをソースエピソードとパイプライン実行に接続します。 品質チェックは、良いデータの単一の普遍的な定義を強制するのではなく、再利用可能な証拠を保存します。黒いフレーム、フリーズしたビデオ、欠落したトピック、タイムスタンプのドリフト、不可能なジョイントの動きなど、一部の失敗は、モデルをトレーニングせずに決定論的に測定できます。他のものは、VLMsやMediaPipe Handsのようなモデルを使用して検出されるかもしれません。しかし、その意味はタスクに依存します。滑らかな軌道は、ある設定では成功したデモンストレーションを示し、別の設定では停止したロボットを示すかもしれません。 HFlowは、測定値、メタデータ、バージョンスタンプ、およびアーティファクトの場所を追記専用のParquetカタログに書き込みます。チームはDuckDB SQLでそれをクエリし、録画を再度開くことなくバージョンピン留めされたマニフェストを生成します。重要なチェックはエピソードを検疫できますが、HFlowはデータを削除しません。これにより、証拠と特定のデータセットを組み立てるために使用されるポリシーが分離されます。 私たちは、ロボティクスチームが既に使っているツールを置き換えたいとは思いませんでした。HFlowは、同期された録画のためにMCAP、スケジュールされた実行のためにAirflow、カタログデータのためにParquet、キュレーションのためにDuckDBを接続します。一般的なワークフローオーケストレーターと比較して、ロボティクスエピソード、処理来歴、品質証拠、検疫、およびデータセットマニフェストのための契約を追加します。トレーニングデータセットフォーマットと比較して、より早い段階で動作し、キュレーションされたエピソードとマニフェストで終了します。 HFlowを使用する可能性のある3つのチームの例を挙げます。 1. egocentric録画を収集するデータベンダーまたはマーケットプレイス。彼らはHFlowを使用して、データを配信する前に、黒またはフリーズしたビデオ、重複した録画、手とオブジェクトのインタラクション、その他の品質メトリックを検出し、各エピソードでどのチェックが実行されたかの証拠を保持できます。 2. 独自のモデルのために遠隔操作されたデモンストレーションを収集するロボティクスチーム。彼らはHFlowを使用して録画を標準化し、ラベルとエンリッチメントを追加し、再現可能なトレーニングマニフェストを生成できます。 3. フィールドでロボットを運用するチーム。受信ログを処理し、不完全または破損したエピソードを検疫し、特定のロボットバージョン、環境、または障害条件のカタログをクエリできます。 プロジェクトはv1前ですが、コアライフサイクルはエンドツーエンドで機能します。アカウント、Docker、またはロボットハードウェアなしで、リポジトリをクローンし、クイックスタートに従って試すことができます。 HFlowはApache-2.0ライセンスの下で無料です。オープンソースデプロイメントは現在シングルテナントワークスペースであり、ホスト型のマルチテナントコントロールプレーンはまだ構築していません。ランタイムを自分で運用したくないチームのために、マネージドワークスペースとエンタープライズサポートを通じて収益化することを検討しています。 この処理レイヤーはソフトウェアとデータであるため、ロボットを所有していない人でも貢献できます。特に、ロボティクス、ビデオ、またはその他のセンサー負荷の高いシステムのパイプラインを構築した経験のある方からのフィードバックを歓迎します。私たちのデータモデルがどこで間違っているか、どの統合が欠けているか、そしてあなたのワークロードで最初に何が失敗するかを知りたいです。