LeRobotビデオリーダーを最大15倍高速化した方法
How we made our LeRobot video reader up to 15× faster (eventual.ai)
要約
Daftライブラリは、LeRobotデータセットのビデオリーダーを大幅に高速化しました。以前はフレームごとにMP4シャードを開きインデックスを読み込むため低速でしたが、シャードごとのバッチデコード方式に変更することで、シャードのオープンとインデックス読み込みを一度にまとめ、フレームのデコード処理を効率化しました。これにより、一部のデータセットでは最大15倍の速度向上を実現しました。
全文翻訳
LeRobot動画リーダーを最大15倍高速化した方法
LeRobotへのロボットデータの集約
LeRobotはロボット学習データの主要なオープンフォーマットとして台頭しています。しかし、これに対するデータ操作は容易ではありません。フレームのデコードはコストが高くメモリ集約的であり、GPUの前の全てのステップ(デコード、変換、フレームのアノテーション)でパイプラインが停滞し、推論またはトレーニングを実行している間、GPUはアイドル状態のままになります。
私たちは、その部分を可能な限り容易にするために取り組んできました。その一環として、最近DaftにネイティブのLeRobotリーダーを導入しました(Daft #7090)。daft.datasets.lerobotは、Hugging Faceからデータセットを直接読み込み、フレームごとに1行を持つデータフレームにします。load_video_framesを使用すると、各カメラを画像カラムにデコードします。
しかし、初期バージョンは非常に遅かったです。
問題:フレームごとのリモートオープン
LeRobot v3データセットは、各カメラのビデオをMP4シャードとして保存します。これは、多くのエピソードのフレームを連続してパックしたファイルです。フレームをデコードするには、リーダーはシャードを開き、フレームのタイムスタンプにシークします。MP4を開くということは、そのインデックス(ファイル内のバイト位置にタイムスタンプをマッピングするメタデータ)を読み込むことも意味します。これは、シークが可能になる前に行われます。
元のリーダーはこれらすべてを1行ごとに行っていました。各フレームはシャードを再オープンし、各オープンでネットワーク経由でインデックスを再読み込みしていました。リモートデータセットでは、これはフレームあたり約3秒になり、総コストはフレーム数に比例して増加しました。たとえ連続する行が同じファイルから隣接するフレームを要求していたとしてもです。
修正:シャードごとのバッチデコード
デコードは現在、バッチUDF(Daft #7184)になっています。1行ごとに呼び出されるのではなく、関数は一度に16個の連続する行を受け取るため、それらの間でデコードを計画できます。各バッチに対して、3つのことを行います。
1. 行をシャードごとにグループ化する。 バッチを1回走査して、行をそれが指すシャードごとにグループ化します。各行のターゲット時間は、シャード内でのエピソードの開始オフセットに、エピソード内のフレームのタイムスタンプを加えたものです。結果はシャードごとのリストになり、そのシャードがサービスを提供する必要のある行インデックスとターゲット時間が含まれます。
by_shard = {}
# 各行を反復処理します。各`file`は行のシャードへの参照です。
for i, file in enumerate(files):
abs_ts = from_timestamp[i] + frame_timestamp[i]
by_shard.setdefault(file.path, []).append((i, abs_ts))
各シャードは一度開かれ、フレームごとのオープンではなく、すべてのターゲットをサービスします。
2. ターゲットをソートしてクラスタリングする。 シャード内では、ターゲットはタイムスタンプの昇順にソートされ、その後1回だけウォークされます。ターゲットは、前のターゲットから10秒以内であれば現在のクラスタに参加し、そうでなければ新しいクラスタを開始します。
targets = sorted(abs_timestamps, key=lambda t: t[1]) # タイムスタンプの昇順
clusters = [[targets[0]]]
for t in targets[1:]:
if t[1] - clusters[-1][-1][1] > 10.0: # 秒
clusters.append([t])
else:
clusters[-1].append(t)
このギャップは何のためでしょうか?シークは、先行するキーフレームからデコードを再開するため、小さなギャップをそのままデコードすることは、再シークするよりも安価です。しかし、シャードは多くのエピソードを連続してパックしており、1つのバッチ内の2つのターゲットは数分離れている可能性があります。それほど長いギャップをデコードすると作業が無駄になるため、しきい値を超えるものはすべて独自のクラスタと独自のシークを取得します。
3. クラスタごとに1回のシークと1回のフォワードパスを実行する。 各クラスタについて、デコーダーは最も早いターゲットに先行するキーフレームに一度シークし、その後読み込みを続けます。デコードされた各フレームはクラスタのターゲットと比較され、それまでに見た最も近いフレームが各ターゲットに対して保持され、最後のターゲットを過ぎるとパスは停止します。
container.seek(earliest_target_pts, backward=True) # 先行するキーフレーム
for frame in container.decode(stream):
ts = float(frame.pts * stream.time_base)
for row, target in cluster:
# これまでの`target`に最も近いフレームであれば保持します
...
if ts >= latest_target + tail:
break
この変更はPythonのみで行われ、出力は古い行ごとのデコードとバイト単位で同一です。
結果
リモートデータセットからの8フレームのデコードは25秒から3.9秒に短縮され、コスト曲線は線形からフラットになります。
[画像: original vs batched]
多様性(av1/h264/mp4v、5-30 fps、128×128から1280×720、1-3カメラ)のために選択された6つの公開LeRobot v3データセットでは、バッチ処理リーダーは4〜13倍高速です。
[画像: original vs batched on public datasets]
実験をスケールアップします。1080pデータセット(pepijn223/egodex-test)では、632フレームすべてをデコードするのにかかる時間は29分から2分未満に短縮され、15倍高速になりました。これは、バッチ処理のコストがフレームではなくバッチごとに増加するためです。
[画像: original vs batched at scale]
さらに、このリーダー上に構築されたハンドトラッキングパイプライン(手のポーズでフレームにアノテーションを付ける)では、12個のリモートフレームのデコードとMediaPipeハンドトラッキングの実行が、エンドツーエンドで44.8秒から9.8秒に短縮され、検出結果は同一でした(ベンチマーク)。
[画像: original vs batched on the hand-tracking workload]
試してみる
import time
from daft.datasets import lerobot
# フレームごとに1行。カメラは画像カラムにデコードされます。
df = lerobot.read("pepijn223/egodex-test", load_video_frames="observation.image")
# 表示されている8行のみをデコードします - 1つのシャードオープン。
t0 = time.perf_counter()
df.show()
print(f"{time.perf_counter() - t0:.1f}s") # ネットワーク経由で約7秒
このリーダーを基盤とした完全なアノテーションパイプラインについては、daft-physical-aiを参照してください。ベンチマークハーネスと完全な結果はDaftリポジトリにあります:benchmarking/lerobot。
Eventualの詳細については、eventual.aiをご覧ください。