HN 日本語サマリー

← 一覧へ戻る
Web開発

Grace Cathedral Experienceの構築

Building the Grace Cathedral Experience (blog.playcanvas.com)

19 pointsby ovenchips3 コメント

要約

この記事は、San FranciscoのGrace Cathedralを題材にしたインタラクティブなWeb体験の構築について詳述しています。PlayCanvas EngineのWebGPUハイブリッドレンダラーとストリーミングSOGフォーマットを活用し、数百万のGaussian splat(ガウシアン スプラット)をリアルタイムで効率的にレンダリングする技術的な詳細が解説されています。さらに、Peekエフェクトや隠されたフラグのアニメーション、車両の移動、カメラナビゲーション、サウンドデザインなど、体験を豊かにする様々な要素についても触れられています。

全文翻訳

グレース大聖堂体験の構築

グレース大聖堂は、サンフランシスコのノブヒルにあるランドマークです。

Vincent Woo氏が高品質な3D Gaussian splat(ガウシアン スプラット)で大聖堂とその周辺の通りを捉えたのを見て、私たちは彼とのコラボレーションの機会に飛びつきました。共に、彼のスプラットをブラウザベースのインタラクティブな体験に変えました。完成したアプリは以下の通りです。

この記事では、このアプリをどのように構築したかを掘り下げていきます。

舞台裏

PlayCanvas Engineは、WebGPUハイブリッドレンダラーとストリーミングSOGフォーマットのおかげで、構築に最適なランタイムでした。

WebGPUハイブリッドレンダラー

外観ビューは、一度に約350万個のGaussian splat(ガウシアン スプラット)をレンダリングします。これらは後ろから前へとソートする必要があるため、カメラを動かすということは、リアルタイムで数百万個のスプラットを繰り返しソートすることを意味します。

私たちの第一世代のGaussian splat(ガウシアン スプラット)レンダラーはWebGL 2を使用していましたが、これは頂点シェーダーとフラグメントシェーダーしか提供しません。これらはスプラットを描画するには適していますが、ソートには適していないため、ワーカーがCPU上でガウシアンをソートし、その結果をGPUにアップロードしていました。ソートとアップロードがレンダリングに追いつかなくなる可能性があり、カメラが移動するとアーティファクトが見えるようになりました。

WebGPUを使用すると、その作業をより効果的に分割できます。コンピュートシェーダーが、アクティブなスプラットセットを毎フレームGPU上でカリング、プロジェクション、ソートし、その後、頂点シェーダーとフラグメントシェーダーがその結果をレンダリングします。データをGPU上に保持することで、転送のボトルネックを回避し、ワーカーベースのWebGL 2レンダラーよりも劇的に高速なパイプラインを実現します。

この体験は、ブラウザが対応している場合は常にこのWebGPUパイプラインを使用し、自動的にWebGL 2レンダラーにフォールバックします。両方のレンダリングパスをサポートするために、カットアウト、フラグアニメーション、トランジションシェーダーはそれぞれWGSLとGLSLの実装を持っているため、両方のバックエンドで体験は同じように見えます。

ストリーミングSOG

スプラットデータはストリーミングSOGとして配信されます。これは、エンジンがオンデマンドで取得するチャンク化された詳細度(LOD)で拡張された、私たちのオープンな圧縮スプラットフォーマットです。

この体験には、外観用と内観用の別々のスプラットセットが含まれています。外観用は、400メートル以内のすべてをカバーするストリーミングLODセットと、それより遠くの風景のための静的な低詳細セットを組み合わせています。各モードは、自身のセットのみをロードし、もう一方をエビクトするため、デバイスメモリは一度に1つのビューのみを保持します。

起動時間は、初回ピクセル表示までの時間に最適化されています。ロード時、各ストリーミングスプラットセットは単一の粗いLODから開始するため、ローディング画面が解除される前に少量のデータのみが到着すれば済みます。そこから、エンジンはデバイスごとの予算内で徐々に詳細をストリーミングします。デスクトップでは350万、モバイルでは140万のスプラットがレンダリングされます。モードの切り替えは、短いフリーズフェードでカバーされます。次のスプラットセットが粗いLODをロードしている間、最後のフレームが保持されてフェードダウンされ、新しいビューがフェードインして洗練されます。

どこでも実行できるように最適化

ストリーミングとデバイスごとのスプラット予算に加えて、いくつかの工夫により、控えめなハードウェアでもスムーズに動作し、スマートフォンではクールで静かに動作します。

  • オンデマンドレンダリング。 アプリは、カメラの移動、LODチャンクの到着、カットアウトのアニメーション、車の走行など、何かが変化したときにのみレンダリングします。移動を止めると、描画も停止します。
  • 解像度キャップ。 高DPIディスプレイではデバイスピクセル比がキャップされ、モバイルではさらにレンダースケールが削減されます。モバイルでは、追加のピクセルは表示される以上のコストがかかります。
  • 深度プリパスオクルージョン。 内観のコリジョンメッシュは、オクルーダーとしても機能します。スプラットの前に深度のみをレンダリングし、壁の後ろに隠されたスプラットフラグメントを早期Zテストで拒否できるようにします。

シーンに命を吹き込む

覗き見効果(Peek Effect)

外を周回している間、Peekトグルはカメラに最も近い壁の部分を切り取り、中を見えるようにします。カットされたエッジは、細く光る縁取りでアウトラインされます。

[動画: 覗き見効果のデモンストレーション]

これは、エンジンのgsplatシェーダーチャンクシステム上に構築されています。これにより、プロジェクトはgsplatModifyVSとgsplatModifyPSチャンクを置き換えて、すべてのアクティブなスプラットとフラグメントを変更できます。カットアウト自体は、エディター内のボックスエンティティであり、トリガーボリュームの下にグループ化されています。カメラが移動すると、それに最も近いトリガーがカットアウトをゆっくりと開け、他のトリガーはゆっくりと閉じます。

シェーダーは、コストを抑えるために2段階で動作します。スプラットごとのステージ(WebGPU上のコンピュートパス)は、各スプラットの中心を、符号付き距離関数を使用してカットボックスに対してテストします。開いたボックスの完全に内側にあるスプラットは完全にカリングされ、カットサーフェスに近いものだけがさらに処理のためにフラグ付けされます。フラグメントステージは、フラグ付けされたスプラットに対して、同じテストのピクセル単位の正確なバージョンを実行します。深度から各フラグメントのワールド位置を再構築し、ボックス内のアルファをフェードさせ、任意の距離で一定の画面幅を維持する縁取りを描画します。縁取りの色はHDR値として書き込まれるため、ブルームがそれを拾います。外観ビューがアクティブな間のみチャンクがインストールされるため、ウォークモードではこの効果に何もコストがかかりません。

隠された旗

同じチャンクが、シーンのどこかに隠された旗もアニメーションさせます。作成されたボックスの内側にあるスプラットは、極端から振幅が上昇する移動波に乗せられ、各スプラットは変位した布の表面に追従するように傾きます。見つけられますか? 🔍

車

移動する交通量は、SuperSplatエディターで元のキャプチャから駐車中の車を分離して複製することで作成しました。

[動画: 大聖堂の前を走る車のデモンストレーション]

3台の車のスプラットがランダムな間隔でスポーンし、大聖堂をわずかに異なる速度で通過します。これらは屋内にいるときは無効になり、そのスプラットは内観のレンダリング予算に戻されます。

カメラナビゲーション
外観オービットコントローラー

外観オービットコントローラーは、大聖堂に合わせた丸みを帯びたボックスエンベロープの周りを移動します。水平および垂直の動きは、壁、角、屋根に沿った円弧長でパラメータ化され、不連続性のない均一なカメラ速度を生み出します。ズームは表面からのカメラの距離を調整し、ダンピングされた入力はリリース後に慣性を追加します。

[動画: 外観オービットコントローラーのデモンストレーション]

カメラフライト

カメラフライトは、作成されたウェイポイントグラフを使用して大聖堂の建築物を周回します。内部では、ルーティングはコリジョンメッシュを使用して可視ノードを選択します。外部では、大聖堂のオービットエンベロープに対してクリアランスをテストします。最短経路検索により、立方体スプラインに変換されるルートが生成され、位置、向き、フォーカス距離、視野角が補間されます。注釈を閉じると、フライトは前のカメラ状態に戻ります。

[動画: カメラフライトのデモンストレーション]

サウンドとその他のタッチ

レイヤードされたサウンドスケープがカメラに追従します。外では、2つの都市ループが高度に基づいてクロスフェードします。内部では、大聖堂のアンビエンスが引き継がれ、歩行中のみ足音が再生されます。ローディング画面でさえ、CSSで描画されたバラ窓でテーマに従っています。

これらの詳細が組み合わさることで、大聖堂のキャプチャは生き生きとした探索可能な場所へと変わります。

オープンソースの基盤

グレース大聖堂体験の下にあるすべては、オープンソースの基盤の上に構築されています。PlayCanvas Engineはブラウザでシーンをレンダリングし、SuperSplatはキャプチャの編集と最適化のためのツールを提供し、オープンなSOGフォーマットはそれらをストリーミングするのに十分コンパクトにします。これらは、私たちがオープンに開発し、誰でも使用、検査、改善できるのと同じ技術です。

あなた自身の体験を構築したいですか? キャプチャから配信までの完全なワークフローについては、Gaussian splattingガイドから始めてください。キャプチャはSuperSplat Editorで準備し、その後、Engine API、PlayCanvas Editor、React、Web Componentsのいずれであっても、あなたに最適なアプローチを選択するYour First Splat Appチュートリアルに従ってください。🚀

質問がある場合、構築したものを共有したい場合、または単に他のクリエイターに会いたい場合は、DiscordのPlayCanvasとSuperSplatコミュニティに参加してください。そこでお会いできるのを楽しみにしています! 👋

グレース大聖堂体験をあなた自身で体験して、オープンウェブができることを見てみましょう。