Fableが新しい4Dスプラットフォーマットを作成
Fable created novel 4D splat format (adamraudonis.github.io)
要約
Fableは、動的な3Dシーンを効率的に圧縮・ストリーミングするための新しいフォーマット「.splat4d」を開発しました。このフォーマットは、静的な背景と動的な要素を分離し、H.265スタイルのGOP構造とエラーバウンド量子化を用いることで、元のデータサイズから大幅に圧縮されたファイルサイズを実現します。WebGPUをサポートするブラウザでリアルタイムプレビューが可能で、HTTP Rangeリクエストによるストリーミングにも最適化されています。
全文翻訳
.splat4d
ストリーミング可能で、境界を調整できる4Dガウシアン・スプラットフォーマット。
生のデータより16~58倍小さい · gzipより14~20倍小さい · エンコード速度約640 MB/s · HTTP Rangeリクエストネイティブストリーミング&シーク
ブラウザでストリーミング・デコードされるライブプレビュー:2秒間のダイナミックシーンが、7.4 MBの.splat4dファイル1つに — 元の.splatフレーム427 MBの58倍小さい。Interactを押してカメラを操作してください:ドラッグで回転、Ctrl+スクロールでズーム。WebGPUが利用可能な場合はそれでレンダリングし、それ以外の場合はピクセル同一のWebGL2パイプラインにフォールバックします — より多くのシーンとライブエンコーディングコントロールについては、フルデモを開いてください。
仕組み
静的/動的分割
典型的なダイナミックキャプチャでは、ほとんどのスプラットは移動しない背景です。これらは一度だけ保存されます — 1.6 GBのシーケンス全体の背景が数MBで済みます。分類は正確です:スプラットが静的であるのは、単一の量子化値がクリップ全体での最小値と最大値に対する境界を満たす場合のみです。
デッドバンド「ホールド」トラック
動的なスプラットの保存値は、真の値が境界に違反する場合にのみ変化します。これにより、量子化によるちらつきがなくなり、時間的差分がほとんどゼロになり、各シンボル発行前にチェック自体が保証を強制します。
H.265スタイルのクローズドGOP
Nフレームごとにキーフレーム(絶対量子化値)、その後、正確な整数差分のPフレーム。各GOPチャンクは独立してデコードされます → シークしても他のチャンクに影響しません。キーフレームストリームは、各チャンク内でデルタストリームの前に配置されるため、スクラブするとチャンクの約10%を取得してキーフレームを即座に表示できます。
エントロピー・スタック
モートン順のスプラット、ジグザグ符号化された整数差分、バイトプレーンシャッフル(Bloscスタイル)、ストリームごとのzstd。出力は、そのシンボルストリームのオーダー0エントロピーの≈100%に達します。
ファイル内部
.splat4dファイルは3つの部分からなります。小さなヘッダーには、境界、量子化ステップ、および絶対バイト範囲を持つチャンクインデックスが含まれます — クライアントがフェッチを計画するために必要なすべてです。静的セクションには、スプラットごとのマスクとベース値が含まれます:一度フェッチすれば、完全なシーンが画面に表示されます。残りは、約1秒間のビデオごとの自己完結型GOPチャンクで、キーフレームストリームがデルタストリームの前に配置されています。
"SP4D" + ヘッダーJSON
STATICセクション → 完全な最初のビュー
GOPチャンク 0 [キー][デルタ]
GOPチャンク 1 …
エラーバウンド
デコードされた各フレームの各スプラットの各属性は、ソースからのユーザー選択バウンド内にあります — 平均ではなく、PSNRでもなく:点ごとで決定論的です。
| 属性 | バウンド | デフォルト |
|---|---|---|
| 位置 | ±ミリメートル、各軸L∞ | ±2 mm |
| 色RGB | ±各チャンネル8ビットレベル | ±4/255 |
| 不透明度 | ±8ビットレベル | ±4/255 |
| 回転 | ±クォータニオン成分(1/128単位、符号まで) | 正確 (±0) |
| スケール | ±相対パーセント、各軸 | ±2% |
メカニズム:SZ/ZFPスタイルのエラーバウンド付き量子化(ステップ = 2×バウンド ⇒ 構成によりエラー ≤ バウンド)。量子化後、すべて整数演算になります — 時間的差分がドリフトすることはありません。RustおよびJavaScriptデコーダーはビット同一の値を再構築します。
オブジェクトストアからのストリーム
このフォーマットは、S3 / GCS / R2 / その他の静的ホストに対するプレーンHTTP Rangeリクエストのために設計されています — サーバーロジック、マニフェストファイル、ビデオコンテナは不要です。クライアントが必要とするのは正確には以下の通りです:
bytes=0-262143→ マジック+ヘッダーJSON(すべてのバイトオフセットは絶対値)- 静的セクションの1つのレンジ(数MB) → 画面に完全な最初のビューを表示
- 再生/プリフェッチ中の各GOPチャンクの1つのレンジ
- シーク時:最初にチャンクプレフィックスのレンジ(TOC + キー) → 約100~150 msでキーフレームを画面に表示、その後チャンクの残り → 正確なフレーム
オブジェクトストアはこれをネイティブにサポートします。ブラウザクライアントの場合、Rangeヘッダーを許可するようにCORSを設定し、Content-Rangeを公開してください:
[
{
"AllowedMethods": ["GET", "HEAD"],
"AllowedOrigins": ["https://your-site"],
"AllowedHeaders": ["Range"],
"ExposeHeaders": ["Content-Range", "Content-Length", "Accept-Ranges"]
}
]
ペイロードはコンテナ内で既にzstd圧縮されているため、Content-Encodingなしでオブジェクトを保存してください — Range計算はバイト単位で正確に保たれ、二重圧縮されるものはありません。
ベンチマーク
3つの独立したキャプチャパイプラインからの8つのシーケンス:Dynamic 3D Gaussians(CMU Panopticドーム — juggle, boxes, softball, tennis)、Neu3Dクッキングシーン(SpacetimeGaussians/splaTV経由)(flame = backyard BBQ, sear = kitchen chef)、およびTechnicolor(birthday party, 659kスプラット) — すべてフレームごとのantimatter15 .splatファイル(32 B/splat)、20 fpsに変換。splat4dエンコードはデフォルトバウンド(±2 mm / ±4 color / exact rot / ±2% scale)を使用。gzipはフレームごと-9。参考として、最良の汎用ロスレスベースライン(シリーズ全体でのzstd-19 --long)は2.5倍にしかならない。完全な方法論とその他のベースライン:BENCHMARKS.md。
ベンチマークJSONをロード中…
ビューア
antimatter15/splatレンダラーの行ごとのポート — WebGPUが利用可能な場合はそれを使用し、フォールバックとしてリファレンスのWebGL2パイプラインを使用。両方ともピクセル検証済み。
| メトリック | ローカル | 50 Mbpsスロットル |
|---|---|---|
| 完全な最初のビュー(ヘッダー+静的セクション) | 141–157 ms | 791 ms |
| バッファ外領域へのスクラブ → キーフレーム表示 | — | 145 ms |
| 再生 | 60 fps @ 336k スプラット · ワーカーデコード 2.5–27 ms/フレーム · ソート 1–25 ms |
使用方法
antimatter15 .splatフレームの時間系列 → 小さく、シーク可能な1つのファイル:
# Python (pip install splats4d)
splat4d encode -i frames_dir -o out.splat4d
MIT · 以下の偉大な業績の上に構築:antimatter15/splat(フォーマット)、Dynamic 3D Gaussians(データ)、SZ/ZFP(エラーバウンド付き量子化)、H.264/H.265(GOP構造)、SPZ/SOGS(属性パッキング)、zstd。