Lingbot-map: ストリーミングデータからのシーン再構築のための3D基盤モデル
Lingbot-map: A 3D foundation model for reconstructing scenes from streaming data (github.com)
要約
LingBot-Mapは、ストリーミングデータから3Dシーンを再構築するための新しいフィードフォワード型3D基盤モデルです。幾何学的コンテキストトランスフォーマーアーキテクチャを採用し、座標グラウンディング、密な幾何学的キュー、長距離ドリフト補正を単一のストリーミングフレームワークで統合します。高効率なストリーミング推論を可能にし、長大なシーケンスでも安定したパフォーマンスを発揮します。
全文翻訳
LingBot-Map: ストリーミング3D再構築のための幾何学的コンテキストトランスフォーマー
Robbyant Team
[画像: 会議版論文] [画像: 技術レポート版論文] [画像: プロジェクト] [画像: HuggingFace] [画像: ModelScope] [画像: ライセンス]
teaser.mp4[動画]
🗺️ LingBot-Mapをご紹介します!ストリーミング3D再構築のためのフィードフォワード型3D基盤モデルを開発しました! 🏗️🌍
LingBot-Mapは以下の点に注力しています:
- 幾何学的コンテキストトランスフォーマー: アンカーコンテキスト、ポーズ参照ウィンドウ、軌道メモリを通じて、座標グラウンディング、密な幾何学的キュー、長距離ドリフト補正を単一のストリーミングフレームワーク内でアーキテクチャ的に統合します。
- 高効率ストリーミング推論: ページ化されたKVキャッシュアテンションを備えたフィードフォワードアーキテクチャにより、10,000フレームを超える長シーケンスで518×378解像度で約20 FPSの安定した推論を可能にします。
- 最先端の再構築: 既存のストリーミングアプローチと反復最適化ベースのアプローチの両方と比較して、多様なベンチマークで優れたパフォーマンスを発揮します。
📑 目次
クリックして展開
- 📰 ニュース
- 📋 TODO
- ⚙️ インストール
- 📦 モデルダウンロード
- 🚀 クイックスタート
- 🎬 インタラクティブデモ (
demo.py) - 🎥 オフラインレンダリングパイプライン (
demo_render/batch_demo.py) - 📜 ライセンス
- 📖 引用
- ✨ 謝辞
📰 ニュース
- 2026-06-28 — SDPA KVキャッシュのバグを修正しました。SDPAバックエンドは長シーケンスでのパフォーマンスが向上しました。最高のパフォーマンスのためには、引き続きFlashInferバックエンドを推奨します。
- 2026-05-25 — 📊 評価ベンチマークをリリースしました。KITTIとOxford Spiresの評価スクリプトをリリースしました。パイプラインについてはbenchmark/を参照してください。評価前にOxford Spiresデータを準備するには、
preprocess/oxford.pyを実行してください。 - 2026-04-29 — 📹 長尺動画デモをリリースしました。オフラインパイプラインでレンダリングされた非常に長い動画(約25,000フレーム、13分間の屋内ウォークスルー)をリリースしました。コマンド、フラグの根拠、レンダリング結果についてはWorked Exampleを参照してください。
- 2026-04-27 — 🚀 LingBot-Mapが高速化されました。最新の
mainをプルし、python demo.py --compile ...またはpython gct_profile.py --backend flashinfer --dtype bf16 --compileを実行して、お使いのハードウェアで確認してください。 - 2026-04-24 — FlashInfer KVキャッシュのバグを修正しました。このバグにより、
--keyframe_interval > 1の場合にキーフレームでないものがキャッシュされていました。320フレームを超える実行時に、ポーズと再構築の品質が向上するはずです。
📋 TODO
- ✅ 評価ベンチマークのリリース
- ✅ Oxford Spiresデータセット
- ✅ KITTIデータセット
- ✅ VBRデータセット
- ✅ Droid-Wデータセット
- ✅ TUM-Dデータセット
- ✅ 7-scenesデータセット
- ✅ ETH3Dデータセット
- ✅ Tanks and Templesデータセット
- ✅ NRGBDデータセット
- ✅ デモスクリプトのリリース
- ✅ 屋内長尺動画デモ (Featured indoor walkthrough)
- ✅ 屋外長尺動画デモ
- ✅ LingBot-Worldデモ (Worked example)
- ✅ 航空写真長尺動画デモ
⚙️ インストール
1. conda環境の作成
conda create -n lingbot-map python=3.10 -y
conda activate lingbot-map
2. PyTorchのインストール (CUDA 12.8)
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128
PyTorch 2.8.0は、NVIDIA Kaolin(バッチレンダリングパイプラインに必要)が
torch-2.8.0_cu128のプリビルドホイールを持っているため推奨されます。demo.pyのみが必要な場合は、より新しいPyTorchを使用できますが、その場合バッチレンダラーはKaolinをソースからビルドする必要があります。他のCUDAバージョンについては、PyTorch Get Startedを参照してください。
3. lingbot-mapのインストール
pip install -e .
4. FlashInferのインストール(推奨)
FlashInferは、効率的なストリーミング推論のためのページ化されたKVキャッシュアテンションを提供します。これは純粋なPythonパッケージで、初回使用時にCUDAカーネルをJITコンパイルするため、単一のホイールでCUDA/PyTorchバージョン間で動作します:
pip install --index-url https://pypi.org/simple flashinfer-python
--index-url https://pypi.org/simpleは、デフォルトのpipインデックスがflashinfer-pythonを含まない内部ミラーである場合にのみ必要です。(オプション)初回使用を高速化するために、CUDA固有のJITキャッシュをさらにインストールすることもできます:pip install flashinfer-jit-cache -f https://flashinfer.ai/whl/cu128/flashinfer-jit-cache/。詳細はFlashInfer installationを参照してください。FlashInferがインストールされていない場合、モデルは--use_sdpa経由でSDPA(PyTorchネイティブアテンション)にフォールバックします。
5. 可視化依存関係(オプション)
pip install -e "'.[vis]'"
📦 モデルダウンロード
| モデル名 | Huggingfaceリポジトリ | ModelScopeリポジトリ | 説明 |
|---|---|---|---|
| lingbot-map | robbyant/lingbot-map | Robbyant/lingbot-map | バランスの取れたチェックポイント(論文、ベンチマーク、オフラインデモで使用) — 短シーケンスと長シーケンスの全体的なパフォーマンスのトレードオフ。 |
| lingbot-map-stage1 | robbyant/lingbot-map | Robbyant/lingbot-map | lingbot-mapのステージ1トレーニングチェックポイント — VGGTモデルにロードして双方向推論(c2w)に使用できます。 |
🚧 近日公開: より長いシーケンスをサポートする強力なモデルをトレーニング中です — ご期待ください。
🚀 クイックスタート
インストール後、簡単なコマンドで最初のシーンを実行できます:
python demo.py --model_path /path/to/lingbot-map.pt \
--image_folder example/courthouse --mask_sky
これにより、http://localhost:8080でインタラクティブなviserビューアが起動します。完全なシーンとフラグについては、以下のインタラクティブデモを参照するか、長シーケンスのバッチレンダリングについてはオフラインレンダリングパイプラインにジャンプしてください。
🎬 インタラクティブデモ (demo.py)
demo.pyを実行すると、ブラウザベースのviserビューア(デフォルトはhttp://localhost:8080)を介してインタラクティブな3D可視化が行われます。
サンプルシーンを試す
example/に、すぐに実行できる3つのサンプルシーンを用意しています:
# コートハウスのシーン
python demo.py --model_path /path/to/lingbot-map.pt \
--image_folder example/courthouse --mask_sky
output_pointcloud_side_by_side.mp4[動画]
# 大学のシーン
python demo.py --model_path /path/to/lingbot-map.pt \
--image_folder example/university --mask_sky
output_pointcloud_side_by_side.mp4[動画]
# ループシーン(ループクロージャ軌道)
python demo.py --model_path /path/to/lingbot-map.pt \
--image_folder example/loop
output_pointcloud_side_by_side.mp4[動画]
🎯 特集:屋内ウォークスルー(約25,000フレーム、13分)
このシーケンスはインタラクティブなviserビューアには長すぎます — このクリップはオフラインレンダリングパイプラインでレンダリングされました。完全なコマンドについては、そのセクションを参照してください。
後ほど、さらに多くの例を提供します。
動的デモ(Droid-Wから)
データセット: Hugging Faceのrobbyant/lingbot-map-demoからデモシーケンスをダウンロードしてください。
上記のデータセットのdynamicシーケンスで、スカイマスキングをオン、カメラ最適化イテレーションを4回、キーフレーム間隔を2フレームとして実行した例:
スカイマスキングをオン、カメラ最適化イテレーションを4回、入力ストライドを2にしてdynamicシーケンスを実行します:
python demo.py \
--image_folder /path/to/dynamic \
--model_path ../../Lingbot-Map/lingbot-map.pt \
--camera_num_iterations 4 \
--mask_sky \
--stride 2
output_pointcloud_side_by_side_under_10MB.mp4 [動画] [画像: image]
キーフレーム間隔でのストリーミング
--keyframe_intervalを使用して、N番目のフレームのみをキーフレームとして保持することでKVキャッシュメモリを削減します。キーフレームでないフレームは引き続きフレームごとの予測を生成しますが、キャッシュには保存されません。これは、320フレームを超える長シーケンスに役立ちます(ビデオRoPEは320ビューでトレーニングされているため、KVキャッシュが320ビューを超える場合、パフォーマンスは低下します。キーフレーム戦略を使用すると、より長いシーケンスでの推論が可能になります)。demo.pyでは、キーフレーム間隔は自動的に計算されます。
推論範囲に関する注意。 この手法はデフォルトで状態リセットを実行しないため、最大推論範囲はデータセットでのトレーニング中に見た最長の距離によって制限されます。それ以上の距離では、状態リセットが必要になります。ポーズの崩壊が見られる場合は、ウィンドウモード(
--mode windowed)に切り替えてください — ほとんどの場合、--keyframe_intervalを調整するだけで十分であり、ウィンドウモードの他のパラメータはデフォルトのままにしておくことができます。
ウィンドウ推論(長シーケンス、>3000フレーム向け)
python demo.py --model_path /path/to/lingbot-map.pt \
--video_path video.mp4 --fps 10 \
--mode windowed --window_size 128 --overlap_keyframes 16 --keyframe_interval 2
スカイマスキング
スカイマスキングは、再構築された点群から空の点をフィルタリングするためにONNXスカイセグメンテーションモデルを使用し、屋外シーンの可視化品質を向上させます。
セットアップ:
# onnxruntimeをインストール(必須)
pip install onnxruntime # CPU
# または
pip install onnxruntime-gpu # GPU(大規模画像セットで高速)
デフォルトでは、ルートdemo.pyはカレントワーキングディレクトリからの相対パスとしてスカイセグメンテーションモデルをskyseg.onnxとして解決します。そのデフォルトファイルが見つからない場合、初回使用時にHuggingFaceから自動的にダウンロードされます。ダウンロードに失敗した場合、または通常のファイルが生成されなかった場合、スカイマスキングはモデルパス、ダウンロードURL、原因、および手動セットアップガイダンスを報告するRuntimeErrorで停止します。サイレントに続行することはありません。
デフォルトパスを維持したまま手動で復旧するには、demo.pyを実行するディレクトリにskyseg.onnxをダウンロードしてください:
wget -O skyseg.onnx https://huggingface.co/JianyuanWang/skyseg/resolve/main/skyseg.onnx
python demo.py --model_path /path/to/checkpoint.pt \
--image_folder /path/to/images/ --mask_sky
明示的なモデルパスでの使用:
別の場所に保存されているモデルを使用するには、--sky_modelでその絶対パスを指定します:
python demo.py --model_path /path/to/checkpoint.pt \
--image_folder /path/to/images/ --mask_sky \
--sky_model /absolute/path/to/skyseg.onnx
スカイマスクは<image_folder>_sky_masks/にキャッシュされるため、後続の実行では再生成がスキップされます。カスタムキャッシュディレクトリを--sky_mask_dirで指定したり、サイドバイサイドマスクの可視化を--sky_mask_visualization_dirで保存したりすることもできます:
python demo.py --model_path /path/to/checkpoint.pt \
--image_folder /path/to/images/ --mask_sky \
--sky_mask_dir /path/to/cached_masks/ \
--sky_mask_visualization_dir /path/to/mask_viz/
可視化オプション
| 引数 | デフォルト | 説明 |
|---|---|---|
--port | 8080 | Viserビューアのポート |
--conf_threshold | 1.5 | 低信頼度ポイントをフィルタリングするための可視性閾値 |
--point_size | 0.00001 | 点群の点サイズ |
--downsample_factor | 10 | 点群表示のための空間ダウンサンプリング係数 |
パフォーマンスとメモリ
FlashInferなし(SDPAフォールバック)
python demo.py --model_path /path/to/checkpoint.pt \
--image_folder /path/to/images/ --use_sdpa
限られたGPUメモリでの実行
メモリ不足の問題が発生した場合は、以下のいずれか(または両方)を試してください:
--offload_to_cpu— 推論中にフレームごとの予測をCPUにオフロードします(デフォルトでオン。メモリに余裕がある場合のみ--no-offload_to_cpuを使用してください)。--num_scale_frames 2— 双方向スケールフレームの数をデフォルトの8から2に減らし、初期スケールフェーズのアクティベーションピークを縮小します。
高速推論
カメラヘッドの反復的なリファインメントステップの数を減らすことで、わずかなポーズ精度を犠牲にして実行時間を短縮できます:
python demo.py --model_path /path/to/checkpoint.pt \
--image_folder /path/to/images/ --camera_num_iterations 1
--camera_num_iterationsはデフォルトで4です。これを1に設定すると、カメラヘッドの3つのリファインメントパスがスキップされ(そのKVキャッシュが4倍に縮小されます)。
🎥 オフラインレンダリングパイプライン (demo_render/batch_demo.py)
インタラクティブなviserビューアにシーケンスが長すぎる場合に使用します — 例えば、上記の特集屋内ウォークスルーなどです。demo_render/batch_demo.pyはオールインワンのオフラインエントリーポイントです:動画または画像フォルダを入力として与えると、モデル推論を実行し、単一のコマンドでヘッドレス点群フライスルーMP4を生成します。これはdemo.pyと同じPyTorch / FlashInfer / チェックポイントスタックを共有します。
限られたVRAMまたはGPU使用量に制約されている場合は、以下の実装も参照できます:https://github.com/ureeey/lingbot-map-rtx4060-8g/commit/eeee84a89cc97c1e39b736b46df4ee315275700b
インストール(メインインストールを拡張)
1. レンダリングPython依存関係
pip install -e "'.[vis,render]'"
renderはopen3d>=0.19とpyyamlをプルします(コアのnumpy<2制約はベースのlingbot-mapインストールから来ています)。このパイプラインでのスカイマスキングは、robbyant/lingbot-mapモデルリポジトリで公開されている動的バッチskyseg_batch.onnxを使用するonnxruntime-gpuを使用します:
pip install onnxruntime-gpu
wget -O skyseg_batch.onnx \
https://huggingface.co/robbyant/lingbot-map/resolve/main/skyseg_batch.onnx
オフラインレンダラーは、その設定パスが見つからない場合にskyseg_batch.onnxを自動的にダウンロードします。demo_render/batch_demo.pyで--skyseg_model_path /absolute/path/to/skyseg_batch.onnxを使用してください。スタンドアロンのdemo_render/rgbd_scan_render.pyでは、--sky_model /absolute/path/to/skyseg_batch.onnxを使用するか、YAMLでpreprocess.sky_modelを設定します。単一画像ルートのdemo.pyは引き続きskyseg.onnxを使用します。
2. Kaolin — 上記で推奨されたPyTorch 2.8.0 + CUDA 12.8と一致します:
pip install --index-url https://pypi.org/simple \
kaolin -f https://nvidia-kaolin.s3.us-east-2.amazonaws.com/torch-2.8.0_cu128.html
--index-url https://pypi.org/simpleは、インポート時にImportErrorを発生させるPyPIプレースホルダーホイールを提供する可能性のある内部ミラーをバイパスします。NVIDIA KaolinはPyTorch 2.9.xのプリビルドホイールを公開していません — 他の理由で2.9を使用している場合は、Kaolinをソースからビルドしてください(pip install --no-build-isolation git+https://github.com/NVIDIAGameWorks/kaolin.git、ローカルCUDAツールキットが必要)。他のtorch/CUDAの組み合わせについては、NVIDIA Kaolin installationを参照してください。
3. ffmpeg
sudo apt install ffmpeg # または: brew install ffmpeg
4. CUDA拡張機能(初回実行前に必要)
cd demo_render/render_cuda_ext && python setup.py build_ext --inplace && cd ../..
これにより、voxel_morton_extとfrustum_cull_extがインプレースでビルドされます — 両方ともGPUボクセル化とフラスタムカリングのためにrgbd_renderによってインポートされます。
実例 — 長尺屋内ウォークスルー(約25,000フレーム、13分)
データセット: Hugging Faceのrobbyant/lingbot-map-demoからサンプル動画をダウンロードしてください。
python demo_render/batch_demo.py \
--video_path /data/demo_videos/indoor_travel.MP4 \
--output_folder /data/outputs/indoor_travel/ \
--model_path /path/to/lingbot-map.pt \
--config demo_render/config/indoor.yaml \
--mode windowed --window_size 128 \
--keyframe_interval 10 --overlap_keyframes 8 \
--sky_mask_dir /data/outputs/sky_masks \
--sky_mask_visualization_dir /data/outputs/sky_mask_viz \
--camera_vis default --keyframes_only_points \
--frame_tag --frame_tag_position top_right \
--save_predictions
フラグごとの根拠:
| フラグ | 理由 |
|---|---|
--mode windowed --window_size 128 | シーケンスが約320フレームのRoPEトレーニング範囲を超えるとスライディングウィンドウ推論が必要になります。各ウィンドウはKVキャッシュをリセットします。window_sizeは実際のフレーム数ではなくKVキャッシュスロット数をカウントします — 最初のnum_scale_frames(=8)スロットはスケールフレームを保持し、残りの128 - 8 = 120スロットはキーフレームを保持します。keyframe_interval = 13の場合、1つのウィンドウは8 + 120 × 13 = 1568フレームをカバーします。 |
--keyframe_interval 10 | 10フレームごとに1つだけキーフレームとしてキャッシュします。キーフレームでないフレームはフレームごとの予測を生成しますが、KVキャッシュは増加しません。 |
--overlap_keyframes 8 | 隣接するウィンドウは8つのキーフレームのコンテキストを共有し、内部的にmax(num_scale_frames, 8 × keyframe_interval) = 8 × 13 = 104実際のフレームのオーバーラップとして解決されます。keyframe_interval > 1の場合、ウィンドウ間のポーズアラインメントを安定させるために推奨されます。 |
--config demo_render/config/indoor.yaml | 屋内プリセット(短い深度、タイトなフォローカメラ)からレンダリング/シーン/カメラ/オーバーレイのデフォルト値をシードします。ユーザーが明示的に渡すCLIフラグは、常にYAML値をオーバーライドします。 |
--sky_mask_dir / --sky_mask_visualization_dir | スカイマスクとそのサイドバイサイド可視化をディスクに永続化するため、後続の再実行で再実行せずに再利用できます。(レンダリングパイプラインは、YAMLプリセットまたは--mask_skyによってスカイマスキングが有効になっている場合にのみ消費します。) |
--camera_vis default | 軌道トレイル+最近のフレームポイントをレンダリングされたビデオにオーバーレイします。 |
--keyframes_only_points | キーフレーム深度のみを点群にアンプロジェクションします。キーフレームでないフレームは、軌道/フラスタムオーバーレイにそのポーズを提供し続けます。非常に長シーケンスの場合、クラウドをスパースに保ちます。 |
--frame_tag --frame_tag_position top_right | MP4の右上隅に<i> / <N> Framesカウンターをスタンプします。 |
--save_predictions | MP4と並んでフレームごとのNPZを永続化します。検査用、または後で異なるカメラ/オーバーレイ設定で再レンダリングするために便利です。 |
クイックモードとデモ再現
keyframe_interval = 10をimage_stride = 10に置き換えると、レンダリングが高速化されます。次に、demo_render/config/indoor.yamlのカメラフォローセクションをコメント解除し、バードアイビューの範囲を[2000, 2500]に設定すると、デモに示されている屋内フライスルー効果を再現できます:
[画像: image]
_pointcloud_combined_10MB.mp4[動画]
実例 — 屋外ドライブシーン
データセット: Hugging Faceのrobbyant/lingbot-map-demoからサンプル動画をダウンロードしてください。
python demo_render/batch_demo.py \
--video_path /data/demo_videos/drive_frames.mp4 \
--output_folder /data/outputs/drive/ \
--model_path /path/to/lingbot-map.pt \
--config demo_render/config/outdoor_drive.yaml \
--mode windowed --window_size 128 \
--max_non_keyframe_gap 100 --overlap_keyframes 8 \
--image_stride 1 \
--sky_mask_dir /data/outputs/sky_masks \
--sky_mask_visualization_dir /data/outputs/sky_mask_viz \
--camera_vis default --keyframes_only_points \
--frame_tag --frame_tag_position top_right \
--save_predictions
上記の屋内ウォークスルーからの変更点:
| フラグ | 理由 |
|---|---|
--config demo_render/config/outdoor_drive.yaml | 屋外プリセットからデフォルト値をシード:スカイマスキング有効、より深いレンダリング範囲(max_depth: 250)、および車両軌道に合わせて調整された最終的なバードアイビュー表示のフォローカメラ。 |
--image_stride 1 | すべてのビデオフレームを使用します。長尺または高FPSのドライブ映像をサブサンプリングするには、これを増やしてください。 |
--max_non_keyframe_gap 100 | キーフレームが強制されるまでの連続する非キーフレームの上限。フローベースのキーフレーム選択(--flow_threshold > 0)の場合のみアクティブです。デフォルトの固定間隔モードでは効果はありません。 |
残りのフラグ(--mode windowed --window_size 128、--overlap_keyframes 8、スカイマスクキャッシュ、オーバーレイ、--save_predictions)は、屋内例から変更なく引き継がれます — フラグごとの表を参照してください。
実例 — LingBot-Worldシーン
LingBot-World、当社のワールドモデルによって生成された動画を再構築します — 同じパイプラインが生成された映像でもそのまま動作します。
データセット: Hugging Faceのrobbyant/lingbot-map-demoからサンプル動画(lingbo_world_frames.mp4、lingbo_world2_frames.mp4)をダウンロードしてください。
python demo_render/batch_demo.py \
--video_path /data/demo_videos/lingbo_world_frames.mp4 \
--output_folder /data/outputs/lingbo_world/ \
--model_path /path/to/lingbot-map.pt \
--config demo_render/config/outdoor_drive.yaml \
--mode windowed --window_size 128 \
--max_non_keyframe_gap 100 --overlap_keyframes 8 \
--image_stride 1 \
--sky_mask_dir /data/outputs/sky_masks \
--sky_mask_visualization_dir /data/outputs/sky_mask_viz \
--camera_vis default --keyframes_only_points \
--frame_tag --frame_tag_position top_right \
--save_predictions
2番目のクリップについては、--video_path /data/demo_videos/lingbo_world2_frames.mp4 --output_folder /data/outputs/lingbo_world2/(キャッシュされたマスクを別々に保持したい場合は、別々の--sky_mask_dir / --sky_mask_visualization_dirフォルダも指定)で同じコマンドを実行します。
すべてのフラグは、上記の屋外ドライブシーンと同じです — 入力動画と出力フォルダのみが変更されます。フラグごとの根拠については、ドライブシーンと屋内ウォークスルーの表を参照してください。
カメラパス(YAML)
仮想カメラパスは、--config経由で渡されるYAMLプリセットのcamera.segmentsリストによって記述されます。YAMLを編集して独自のショットを設計してください — CLIフラグを変更する必要はありません。
組み込みのプリセットはdemo_render/config/にあります:default.yaml、indoor.yaml、outdoor_drive.yaml。いずれかをコピーしてcamera:ブロックを編集してください。
YAML構造
camera:
fov: 60.0 # カメラ視野角(度)
transition: 30 # セグメント間のブレンドフレーム数
segments:
- mode: follow # 入力軌道を追跡するチェイスカム
frames: [0, 1500] # このセグメントがカバーするレンダリングフレーム範囲(-1 = 末尾)
back_offset: 0.3 # 入力カメラの後ろにある距離(シーンスケールの割合)
up_offset: 0.08 # 入力カメラの上の垂直オフセット
look_offset: 0.4 # 注視ターゲットが指す前方距離
smooth_window: 30 # フレーム単位の軌道スムージングウィンドウ
- mode: birdeye # 全シーンのトップダウン表示のために上昇
frames: [1500, 1800]
reveal_height_mult: 2.5 # バードアイ高さ = シーンスケール × この係数
- mode: follow # チェイスカムに戻る
frames: [1800, -1]
back_offset: 0.3
up_offset: 0.08
look_offset: 0.4
transitionは隣接するセグメント間でブレンドされるフレーム数を制御します。frames: [0, -1]は「シーケンス全体」を意味します。
利用可能なモード
mode | 動作 | 設定可能なフィールド |
|---|---|---|
follow | チェイスカムがスムーズなオフセットで入力軌道を追跡します。ウォークスルーに最もシネマティックなオプションです。 | back_offset, up_offset, look_offset, smooth_window, scale_frames |
birdeye | 全シーンのトップダウン表示。概要/ヒーローショットに便利です。 | reveal_height_mult |
static | 固定された視点と注視点。セグメントの開始フレームから自動的に導出されます。 | — |
pivot | 固定された視点、注視点が軌道に沿ってスイープします。 | — |
単一ショットYAML例
純粋なフォロー(最も一般的):
camera:
fov: 60.0
segments:
- mode: follow
frames: [0, -1]
back_offset: 0.3
up_offset: 0.08
look_offset: 0.4
smooth_window: 30
完全なバードアイビュー(概要/ヒーローショットに最適):
camera:
fov: 60.0
segments:
- mode: birdeye
frames: [0, -1]
reveal_height_mult: 2.5
挿入されるバードアイビュー付きフォロー:segments:の下に複数のセグメントを順番にリストするだけです — 隣接するセグメントはtransitionフレームを使用して補間されます。
注意:
--configがYAMLプリセットをロードするとき、いずれかのセグメント形状CLIフラグ(--camera_mode、--back_offset、--up_offset、--look_offset、--smooth_window、--follow_scale_frames、--birdeye_start、--birdeye_duration、--reveal_height_mult)を渡すと、YAMLのsegmentsは破棄され、これらのフラグからカメラパスが再構築されます。完全にYAML駆動にするには、コマンドラインでそれらを渡さないでください。
出力ファイル
指定された出力名(例:<scene>または<video_name>)に対して:
| ファイル | 説明 |
|---|---|
<name>_pointcloud.mp4 | レンダリングされた点群フライスルー |
<name>_pointcloud_rgb.mp4 | 動画としてエンコードされた元のRGBフレーム |
<name>_pointcloud_config.yaml | この実行の完全な設定スナップショット |
batch_results.json | シーンごとの成功/期間の概要 |
📜 ライセンス
このプロジェクトはApache License 2.0の下で公開されています。詳細はLICENSEファイルを参照してください。
📖 引用
LingBot-Mapを研究に使用する場合は、ECCV 2026の論文を引用してください:
Lin-Zhuo Chen, Jian Gao, Shangzhan Zhang, Yihang Chen, Nan Xue, Jianyuan Wang, Christian Rupprecht, Xun Cao, Xing Zhu, Yujun Shen, Yao Yao, and Yinghao Xu. Geometric Context Transformer for Streaming 3D Reconstruction. In European Conference on Computer Vision (ECCV), pages 293–314. Springer, 2026.
@inproceedings{chen2026geometric,
title = {Geometric Context Transformer for Streaming {3D} Reconstruction},
author = {Chen, Lin-Zhuo and Gao, Jian and Zhang, Shangzhan and Chen, Yihang and Xue, Nan and Wang, Jianyuan and Rupprecht, Christian and Cao, Xun and Zhu, Xing and Shen, Yujun and Yao, Yao and Xu, Yinghao},
booktitle = {European Conference on Computer Vision (ECCV)},
pages = {293--314},
year = {2026},
publisher = {Springer}
}
拡張技術レポート(LingBot-Map)は次のように引用できます:
@article{chen2026lingbotmap,
title = {{LingBot-Map}: Geometric Context Transformer for Streaming {3D} Reconstruction},
author = {Chen, Lin-Zhuo and Gao, Jian and Zhang, Shangzhan and Chen, Yihang and Cheng, Ka Leong and Sun, Yipengjing and Hu, Liangxiao and Xue, Nan and Zhu, Xing and Shen, Yujun and Yao, Yao and Xu, Yinghao},
journal = {arXiv preprint arXiv:2604.14141},
year = {2026}
}
✨ 謝辞
Shangzhan Zhang、Jianyuan Wang、Yudong Jin、Christian Rupprecht、Xun Caoには、有益な議論とサポートに感謝します。
この研究は、いくつかの優れたオープンソースプロジェクトに基づいています: