JuliaによるGaussian Splattingの改善
Better Gaussian Splatting in Julia (pxl-th.github.io)
要約
GaussianSplatting.jl 2.0がリリースされ、Juliaで書かれたこの3Dシーンレンダリングライブラリに多くの改善が加えられました。AMD、NVIDIA、Apple Silicon GPUを単一のカーネルでサポートし、UIを応答性高く保つためのマルチスレッド化、MCMC densification戦略、深度・ジオメトリ監視、空ドーム機能などが追加されています。
全文翻訳
JuliaにおけるGaussian Splattingの改善
WASDキー + マウス操作、または画面タップで移動できます :)
キーウにある聖ミカエルのお守り
(GaussianSplatting.jlで再構築、約600万のガウシアンを使用)
GaussianSplatting.jl の 2.0 リリースは、ユーザビリティの顕著な向上と新機能をもたらします。
同じコードで、複数のGPUバックエンドに対応
完全にJuliaで記述されており、以下のGPUバックエンドをサポートしています:
- AMD GPU (AMDGPU.jl)
- NVIDIA GPU (CUDA.jl)
- MacBook GPU (Metal.jl)
これは、KernelAbstractions.jl を使用して実現されており、単一のカーネルを記述するだけで、特定のターゲットにコンパイルできます。
マルチスレッドUI
重い処理(GPUカーネルのJITコンパイル、データセットのロードなど)中にアプリがフリーズするのを避けるため、アプリは現在2つのスレッドに分割されています:
- フロントエンド:UIを処理し、OpenGLレンダリングを実行し、バックエンドにコマンドをディスパッチします。
- バックエンド:Gaussian Splattingのレンダリング、トレーニング、データセットのロードなどを実行します。
これにより、UIは常に応答性を保ち、ユーザーはバックグラウンドで長時間実行されるジョブがあっても操作できます。以前のようにフリーズするのではなく、進捗バーが表示され、何かが進行中であることがわかります。
[画像: バックグラウンドスレッドでデータセットをロード中にスピナーがアニメーションし続ける様子]
[画像: トレーニングの最初のイテレーションのためにカーネルをJITコンパイルしている様子]
UI/UX自体も大幅にアップデートされ、トレーニング中に損失プロットをリアルタイムで表示できるようになり、すべてのハイパーパラメータも表示されます。
[動画: トレーニング実行中に損失プロットとハイパーパラメータがリアルタイムで更新される様子]
マルコフ連鎖モンテカルロ(MCMC)戦略
デフォルトのクローニングおよび分割 densification 戦略に加えて、MCMC (3D Gaussian Splattingをマルコフ連鎖モンテカルロとして扱う) densification 戦略もサポートするようになりました。
これにより、シーン内のガウシアンの数を正確に制御でき、一般的に良好な初期化に依存することが少なくなります。
ユーザーは、データセットのロード中、またはコード内で以下のようにMCMCを選択できます:
Trainer(
rasterizer,
gaussians,
dataset,
opt_params;
strategy=MCMCStrategy(; kwargs...),
)
深度とジオメトリの監視(Supervision)
再構築されたジオメトリを改善するために、市販の深度推定モデルを使用して深度の事前情報(depth priors)を提供できます。深度画像は、<dataset-root>/depths/<FILENAME>.png のパスの下にデータセットの一部として含める必要があります。
[画像: データセットの噴水写真] [画像: 噴水シーンの推定深度マップ]
Depth-Anything 3を使用して推定された深度事前情報を持つデータセット画像。
深度監視を有効にするには、UIでトグルするか、OptimizationParams(; use_depth_loss=true) で設定します。深度マップはトレーニング中に監視を提供し、より良いジオメトリと浮遊物(floaters)の削減につながります。
フレーム間で深度が異なる場合があるため、すべての深度マップはまず事前点群に対して同じスケールにリフィットされます。リフィットに失敗したものは破棄され、監視には使用されません。
ジオメトリと滑らかさをさらに改善するために、深度監視がその位置のみを制約するのに対し、ジオメトリ正規化(geometry regularization)を実行して表面の形状を制約することができます。これはUIで有効にするか、OptimizationParams(; use_normal_loss=true) で有効にでき、2つのことを行います:
- 深度法線の一貫性:レンダリングされた深度マップから得られる法線は、各ガウシアンの法線と一致する必要があります。
- 表面の平坦化:各ガウシアンをその最小軸に沿って平坦化します。
[画像: ジオメトリ正規化を有効にしたモデルのレンダリング画像] [画像: 深度] [画像: 法線]
スカイドーム(Sky Dome)
空/遠景を分離し、浮遊物を減らすために、GaussianSplatting.jl はスカイドームをサポートするようになりました。これは、大きな半径に配置されたガウシアンの凍結されたシェルであり、独自のパスでレンダリングされ、シーンの後ろに合成されます。
[画像: 球体と半球体の形状のスカイドーム]
環境(例:上記の噴水)によっては、全方向の球体よりも半球体を好む場合があります。全方向の球体を使用すると、ジオメトリの一部が球体に引き寄せられ、地面の不透明度が低下します。半球体を使用すると、背景の下半分は黒くなり、ジオメトリに全く影響を与えません。
3000回のイテレーション後の、スカイドームなしの場合とありの場合の再構築の比較。スカイドームを使用すると、空は噴水から明確に分離され、浮遊しなくなります。
スカイドームのオーバーヘッドは、シーンの他の部分(数百万のガウシアン)と比較して無視できる程度(約32,000のガウシアン)です。
空をさらに分離するために、データセットの<dataset-root>/sky/<FILENAME>.png のパスの下に配置される、市販の空セグメンテーションモデルから取得した空セグメンテーションマスクを使用できます。
[画像: データセットの噴水写真] [画像: 推定された空マスク]
データセット画像と推定された空マスク。
これは、葉のようなジオメトリの端の細かいディテールに役立ちます。
カメラの視錐台(Camera Frustum)
カメラの視錐台の可視化は、小さなユーザビリティのアップデートを受け、実際のカメラが撮影した画像のミニチュア画像を表示するようになりました。
[動画: カメラの視錐台の可視化]
その他のいくつかの改善点
順不同で、その他の改善点のリストです:
- 自動チェックポインティング:選択したディレクトリにNステップごとにチェックポイントを保存します。
- カスタムハイパーパラメータ設定(学習率、損失の重み、正規化など)は、
hyperparameters.tomlファイルを使用してデータセットロード中に提供できます(「Load...」、「Save...」ボタンを使用)。満足のいく値が得られたら後で保存することもでき、再現性を助けます。 - キャプチャモード用のカメラパスは、トレーニング実行間で正確に保存/ロードおよび再現できるようになりました。
- UIは、アプリケーションが使用しているVRAMの量を示します。
これで GaussianSplatting.jl 2.0 のアップデートは終了です。
GitHubリポジトリで試してフィードバックを残してください。
ありがとうございます! :)
謝辞
- LichtFeld Studio のインスピレーションに感謝します!
- JuliaGPUエコシステム で働く人々。