AI・機械学習
テスト時間学習による3D再構成
Test-time training 3D reconstruction (github.com)
要約
「TTT3R: 3D Reconstruction as Test-Time Training」は、CUT3Rモデルの長さ一般化能力を向上させるためのシンプルな状態更新ルールを提案する研究です。GitHubリポジトリでは、プロジェクトのセットアップ方法、チェックポイントのダウンロード、および推論デモの実行方法が説明されています。この手法は、3D再構成タスクにおいて、テスト時にモデルを適応させることで性能を高めることを目指しています。
全文翻訳
TTT3R: 3D Reconstruction as Test-Time Training
TL;DR: CUT3R の長距離汎化性能を向上させるためのシンプルな状態更新ルール。
ttt3r.mp4[動画]
始め方
インストール
- TTT3R をクローンします。
git clone https://github.com/Inception3D/TTT3R.git
cd TTT3R
- 環境を作成します。
conda create -n ttt3r python=3.11 cmake=3.14.0
conda activate ttt3r
conda install pytorch torchvision pytorch-cuda=12.1 -c pytorch -c nvidia # ご自身のシステムに合った CUDA のバージョンを使用してください
pip install -r requirements.txt
# pytorch dataloader に関する問題、https://github.com/pytorch/pytorch/issues/99625 を参照
conda install 'llvm-openmp<16'
# 評価用
pip install evo
pip install open3d
- RoPE 用の CUDA カーネルをコンパイルします (CroCo v2 の場合と同様)。
cd src/croco/models/curope/
python setup.py build_ext --inplace
cd ../../../../
チェックポイントのダウンロード
CUT3R は 4-64 ビューでトレーニングされたチェックポイントを提供します: cut3r_512_dpt_4_64.pth。
ウェイトをダウンロードするには、以下のコマンドを実行してください:
cd src
gdown --fuzzy https://drive.google.com/file/d/1Asz-ZB3FfpzZYwunhQvNPZEUA8XUNAYD/view?usp=drive_link
cd ..
推論デモ
推論デモを実行するには、以下のコマンドを使用できます。
# 入力はフォルダまたはビデオにできます
# 以下のスクリプトは TTT3R で推論を実行し、ポート 8080 の viser で出力を可視化します
CUDA_VISIBLE_DEVICES=6 python demo.py --model_path MODEL_PATH --size 512 \
--seq_path SEQ_PATH --output_dir OUT_DIR --port 8080 \
--model_update_type ttt3r --frame_interval 1 --reset_interval 100 \
--downsample_factor 1000 --vis_threshold 5.0
# 例:
CUDA_VISIBLE_DEVICES=6 python demo.py --model_path src/cut3r_512_dpt_4_64.pth --size 512 \
--seq_path examples/westlake.mp4 --output_dir tmp/taylor --port 8080 \
--model_update_type ttt3r --frame_interval 1 --reset_interval 100 \
--downsample_factor 100 --vis_threshold 6.0
CUDA_VISIBLE_DEVICES=6 python demo.py --model_path src/cut3r_512_dpt_4_64.pth --size 512 \
--seq_path examples/taylor.mp4 --output_dir tmp/taylor --port 8080 \
--model_update_type ttt3r --frame_interval 1 --reset_interval 50 \
--downsample_factor 100 --vis_threshold 10.0
出力結果は output_dir に保存されます。
評価
詳細については、eval.md を参照してください。
謝辞
私たちのコードは、以下の素晴らしいリポジトリに基づいています。
作者の方々がコードを公開してくださったことに感謝します!
引用
私たちの研究が役立つと感じた場合は、以下を引用してください。
@article{chen2025ttt3r,
title={TTT3R: 3D Reconstruction as Test-Time Training},
author={Chen, Xingyu and Chen, Yue and Xiu, Yuliang and Geiger, Andreas and Chen, Anpei},
journal={arXiv preprint arXiv:2509.26645},
year={2025}
}