ネイティブThree.jsの品質をAAAゲームエンジンに匹敵させるための私の探求
My Quest to push native Three.js quality match AAA Game Engines (ben3d.ca)
要約
この記事は、Three.jsでAAA品質のライティングパイプラインを構築する進捗報告です。G-buffer、グローバルイルミネーション、スクリーン空間反射(SSR)、スクリーン空間グローバルイルミネーション(SSGI)、テンポラルアンチエイリアシング(TAA)など、ゲームエンジンで使われる高度なレンダリング技術をThree.jsで実現するための様々な段階と、現在のThree.jsでの実装状況、そして今後の課題について詳細に解説しています。
全文翻訳
Three.jsにおけるAAAライティングパイプラインの構築
この記事は進捗報告です。Three.jsにおける推奨パイプラインを、段階ごとにThree.jsのものと比較します。
パート2のライティング用語を使用します。間接拡散光と間接鏡面光、光源、カバレッジ、SSR、SSGIです。さらに5つ追加します。
- BRDF: マテリアルのシェーディング関数。表面がどのように入射光を、見える光に変換するかです。
- G-buffer: 画面空間エフェクトが読み取る、ピクセルごとの可視サーフェス(深度、法線、ラフネス)の画像です。
- TRAA: テンポラルアンチエイリアシング。各フレームは、それ以前の再投影されたフレームとブレンドされます。
- TAAU: アップスケーリングを伴うテンポラルアンチエイリアシング。同じ累積ですが、シーンは出力解像度より低くレンダリングされ、履歴は出力解像度で保持されます。
- PMREM: すべてのラフネスレベルに対して事前にぼかされた環境マップ。Three.jsがキューブマップからライティングを行う方法です。
パイプライン#
パイプラインは2つの部分からなります。セットアップでは3つのキャッシュが満たされます。ライトマップは静的メッシュ用、ライトプローブグリッドは移動オブジェクト用、リフレクションプローブは各部屋用です。
[画像: パイプラインセットアップ、ロード時または作成時に3つのキャッシュが満たされます。ライトマップは4つのステップを取ります:UV2アンラップ、レイトラディオシティでのベイク、ノイズ除去、そしてシームのステッチ。ライトプローブグリッドは、各プローブをキャプチャしL2球面調和関数に投影する単一のベイクです。リフレクションプローブは3つのステップを取ります:HDRキューブマップのキャプチャ、GGXプリフィルター、そして影響ボックスとともにキューブ配列へのパッキング。シームステッチとキューブ配列パッキングはレビュー中であり、残りはThree.jsにあります。]
セットアップ:3つのキャッシュ。ライトマップが最も手間がかかり、プローブグリッドは単一のベイクです。実線で示されたステップは現在Three.jsにあり、色付きのものはレビュー中です。
各フレームはこれらのキャッシュを読み取り、その上に画面空間の作業を追加します。
[画像: パイプラインの1フレーム:G-bufferプリパス、SSRトレースに供給されるHi-Zビルド、その横にあるG-bufferを直接読み取るSSGIトレースで、オクルージョンとベントノーマルも返します。それらのノイズ除去、次にカバレッジカスケードと3つのキャッシュ入力(ライトマップ、ライトプローブグリッド、リフレクションプローブ)を読み取るフォワードビューティパス、次にTRAAまたはTAAU、解決された出力を次フレームの画面空間トレースにフィードバックします。Hi-Zビルドとカスケードの両方を読み取るビューティパスはまだ構築されていません。SSRとSSGIトレースおよびそれらのノイズ除去は部分的に存在します。残りはThree.jsにあります。]
パイプラインの1フレーム。実線で示されたステージは現在Three.jsにあり、色付きのものはレビュー中または部分的に存在し、アウトライン付きのものはまだ構築されていません。TRAAまたはアップスケーリング時のTAAUの出力は、次フレームのSSRとSSGIにフィードバックされます。
現状#
各ステージがゲームの要件と比較してどうなっているかを示します。各行は以下のセクションで説明されます。
| ステージ | Three.js にある | レビュー中またはドラフト | まだ構築されていない |
|---|---|---|---|
| G-buffer | MRTプリパス | オクタヘドラル法線 | |
| ベイク済みGI | lightMap、アンラッパー、ベーカー、レイトラディオシティ、デノイザー、HDR JPEG XL | シームステッチ、KHR_lightmap (ドラフト) | glTF JPEG XLおよびUltraHDR拡張、ランタイムBC6H |
| 動的GI | LightProbeGrid、8倍高速ベイク、マルチバウンス、フレームに分散された更新 | DDGI可視性 (ドラフト) | — |
| オクルージョン | GTAO、builtinAOContext、SSGINodeからのAO | ベントノーマルとGTSO (ドラフト)、ジョイントバイラテラルアップサンプリング (ドラフト) | SSGINodeからのベントノーマル |
| SSR | ストカスティックGGX SSR、テンポラル累積、マルチバウンス | 前フレームトレース | Hi-Zトレース、カバレッジ出力、空間時間的SSRデノイザー |
| SSGI | SSGINode、1回のホライゾンサーチからのバウンスライトとAO、完成した画像の上に合成 | 前フレームトレース (ドラフト) | カバレッジ出力、BRDFへの拡散ソース |
| リフレクションプローブ | 単一ボックス投影環境マップ、PMREM | プローブシステム (ドラフト)、キューブ配列 | プローブ正規化、128²プリフィルタリング |
| BRDF統合 | AOコンテキスト、環境フォールバック | — | |
| TRAAとTAAU | TRAAノード、TAAUノード | Catmull-Rom履歴 (ドラフト)、静止時のより広いクリップとテストハーネス (ドラフト) | TAAUをフルパイプラインに統合、テクスチャミップバイアス、TRAAの改良をTAAUに移植 |
残された最大のギャップは、SSR、SSGI、BRDFの行です。SSRのHi-Zトレースとカバレッジ、SSGIの同じカバレッジ、そして何よりもBRDFに両方のカスケードを接続するプラグ可能な間接ライティングです。それ以外はすべてThree.jsにあり、レビュー中またはドラフト中です。
この動きが速かったのは、Three.jsのメンテナーのおかげです。Michael Herzog (@Mugen87) はこれらのPRのほとんどをレビューし、一度ならずThree.js全体に適合するより良いデザインに作り直し、レンダラーの内部を調整してスペースを作りました。mrdoobは多くのPRに強い支持を表明しています。私は両方に非常に恵まれています。
しかし、これまではこれらのピースは一つずつ提案されレビューされてきました。誰も全体にサインアップするように求められていません。このシリーズは、それらを一つの首尾一貫した絵にまとめるための私の試みであり、各PRはその機能だけでなく、それがどこに適合するかで判断できるようになります。
パイプライン、ステージごと#
この記事の残りの部分は、フレームをステージごとに見ていきます。各ステージについて、3つの質問をします:ゲームは何を要求するか、Three.jsには何があるか、そして何が欠けているかです。3番目の質問への答えが、作業の場所です。
G-buffer#
ゲームが要求するもの。 SSR、GTAO、デノイザーはすべてライティングの前に画面空間で実行されるため、ピクセルごとの可視サーフェスの説明、つまりG-bufferが必要です。デファードエンジンは、デファードライティングパスがG-bufferのみを読み取るため、ベースカラーとエミッシブを含む、ライティングが必要とするすべてを格納します。Three.jsのようなフォワードレンダラーは、ここで利点があります。ビューティパスは各マテリアルを直接シェーディングするため、G-bufferには画面空間パスが読み取るものだけが必要です。
| 値 | 最小ビット数 | 読み取り先 |
|---|---|---|
| 深度 | 24 | すべて。Hi-Zピラミッドのソース |
| 法線 | 2×12 (オクタヘドラル) | SSRレイ方向、GTAO、デノイザー |
| ラフネス | 8 (知覚的) | SSRローブとラフネスフェード、デノイザーカーネルサイズ |
| メタリティ | 1–8 | 非金属に対するSSRフェード |
| マテリアルフラグ | 2–8 | 空、水、透明物に対するSSRのマスキング |
| モーションベクトル | 2×16 | TRAA、SSRヒット再投影、デノイザー履歴 |
ベースカラー、エミッシブ、マテリアルAOマップはリストにありません。ビューティパスはそれらをマテリアルから直接読み取ります。
Three.jsにあるもの。 WebGPURendererはすでに複数のレンダーターゲットを持つG-bufferプリパスをレンダリングしており、SSR例は今日それを使用しています。法線はRGB8に、ラフネスはアルファにパックされ、ベースカラーとメタリティは2番目のRGBA8ターゲットに、速度は3番目のターゲットに格納されます。
const scenePass = pass( scene, camera );
scenePass.setMRT( mrt( {
output: output,
diffuseColor: vec4( diffuseColor.rgb, materialMetalness ),
normal: vec4( packNormalToRGB( normalView ).rgb, materialRoughness ),
velocity: velocity
} ) );
したがって、メカニズムは存在します。ギャップはレイアウトと法線の精度です。
G-buffer構造とメモリ#
上記のテーブルをカバーするレイアウトは、深度に加えて3つのレンダーターゲットで構成されます。
| ターゲット | フォーマット | ピクセルあたりのバイト数 | 内容 |
|---|---|---|---|
| 深度 | D32F, reversed-Z | 4 | 深度 |
| 法線 | RG16 snorm (RG16F フォールバック) | 4 | オクタヘドラル法線 |
| マテリアル | RGBA8 | 4 | ラフネス、メタリティ、フラグ、予備 |
| モーション | RG16F | 4 | 画面空間速度 |
| 合計 | 16 |
ピクセルあたり16バイトは、AAA基準では控えめです。デファードエンジンは通常20〜28バイトを使用します。なぜなら、ベースカラー、エミッシブ、ベイク済みライティングも格納するためです。
しかし、G-bufferだけが画面サイズのメモリではありません。フレームの残りは、ハーフフロートビューティターゲット(8バイト)、TRAA履歴と出力(16バイト)、再投影用の前の深度(4バイト)、SSRのHi-Zピラミッド(ミップ付きで約5バイト)、ハーフ解像度のSSRワーキングセット(6バイト)、オクルージョンも保持するハーフ解像度のSSGIワーキングセットと、それらが読み取る前のフレーム(合計約5.5バイト)、そしてアップサンプリングされたSSRとSSGIの結果(合計15バイト)を追加します。これにより、すべてのエフェクトがオンの場合の計画予算は約ピクセルあたり76バイトになります。1920×1080では約157MB、4Kでは626MBです。パート2はこれらの数値の背後にある計算機へのリンクを示しており、TAAUと低レベルの例も含まれています。これらは提案されたカスケードと単純なフィルターの推定値であり、現在の追加機能の測定された割り当てではありません。アップサンプリングされたターゲットはこのインベントリに含まれています。ハーフ解像度のエフェクトは、反射とオクルージョンがオブジェクトのエッジを越えてにじまないように、深度と法線を認識したアップサンプリングを依然として必要とします。私はそのフィルターをjointBilateralUpsample()としてドラフトしました。詳細は以下のオクルージョンのセクションで説明します。
法線精度#
Three.jsが今日粗すぎる精度で格納している唯一のフィールドは法線です。SSRは法線の誤差に寛容ではありません。わずかに間違った法線で反射したレイは、長いトレースの終わりに目に見えて間違った場所に到達します。RGB8法線では、滑らかな曲面は限られた数の量子化された方向にスナップし、その反射はバンディングとクラッピングを示します。
AAA G-bufferはこれをオクタヘドラルエンコーディングで解決します。方向の球をオクタヘドロンに折りたたみ、それを正方形に展開し、2つの座標を格納します。これは、そのサイズにおいてCigolleらによって調査されたエンコーディングの中で最も正確です。Three.jsにpackNormalToOctahedral()とunpackOctahedralToNormal()をPR #35480で追加しました。
| エンコーディング (ピクセルあたり4バイト) | 平均誤差 | 最大誤差 | 利用可能性 |
|---|---|---|---|
| RGB8 (現在) | 0.17° | 0.38° | すべての場所 |
| オクタヘドラル RG16F | 0.011° | 0.040° | WebGPUのすべての場所 |
| オクタヘドラル RG16 snorm | 0.0013° | 0.0037° | WebGPUデバイスの93% |
これは、同じ4バイトで、ハーフフロートでは15倍、スノームでは100倍以上正確です。RG16 snormがターゲットであり、RG16Fがフォールバックです。
[画像: 光沢のある表面上の反射。左はRGB8法線でバンディングが見られ、右はオクタヘドラルRG16F法線で滑らかです]
RGB8法線(左)からトレースされた反射はバンディングを示しますが、オクタヘドラルRG16F法線(右)は滑らかです。
[画像: 0.25°フルスケールでの角度法線誤差:左のRGB8はどこでも誤差を示し、右のオクタヘドラルRG16Fはほぼゼロです]
格納された法線の角度誤差:RGB8(左)とオクタヘドラルRG16F(右)、同じスケールで。
グローバルイルミネーション#
ゲームが要求するもの。 調査によると:
- 移動しないすべてのものに対してライトマップにベイクされたバウンスライト。
- 動的オブジェクトを照らすためのプローブボリューム。理想的には壁を透過しないもの。
ライトマップ。 ランタイム側は長年Three.jsに存在しています。すべての標準マテリアルは、2番目のUVセットから読み取られるlightMapを受け取ります。欠けていたのは、それを作成するために必要なすべてでした。アンラッパー、ベーカー、使用に値するソルバー、そして結果を格納して出荷する方法です。それらは現在、ブラウザで実行される完全なベイクパイプラインを構成しています。これは非常に大きなトピックであり、独自の投稿、パート4、Three.jsへの堅牢なライトベイクの追加があります。
ライトプローブ。 動的オブジェクトの場合、LightProbeGridはシーン全体にプローブのグリッドを配置し、各プローブは入射光をL2球面調和関数として格納し、オブジェクトを周囲のプローブから照らします(例)。これはうまく機能しましたが、キャプチャにかかる時間が制限でした。
[画像: Three.jsライトプローブグリッドで照らされたスポンザ]
LightProbeGridで照らされたスポンザ。
プローブキャプチャ速度。 プローブキャプチャのバッチ処理により、LightProbeGridは4倍高速になり、その後さらに2倍になりました。9月初旬の開始時と比較して約8倍高速にベイクされ、マルチバウンスライトをサポートしています。プロファイリングにより、ベイクはGPUではなくCPUがレンダーパスを送信することによって制限されていることが示されたため、バッチ処理されたキャプチャは1つの配列カメラでパスあたり8つのプローブをレンダリングします。解像度12のグリッドは5.6秒から1.2秒に短縮されました。球面調和関数の正確な統合も、誤差を2.4%から0.08%に削減しました。2回目の倍増は、各描画を独自のサブカメラに対してカリングすることによって達成されました。
プローブの漏れ。 壁の片側にあるプローブが反対側のオブジェクトを照らす可能性があります。そのため、暗い部屋が隣の明るい部屋の光で光ります。DDGIは、各プローブにすべての方向への最も近い表面までの距離を格納し、照らすポイントが見えないプローブを無視することでこれを解決します。LightProbeGridのためのDDGIスタイルの可視性重み付けはドラフトPRとして機能します。8つの周囲のプローブすべてに対する可視性をテストすることは、ピクセルあたりコストが高いため、ドラフトは代わりにテトラヘドラル補間を使用でき、これは4つをブレンドします。スポンザでは、これはレンダリング時間に約10%を追加しますが、8つのプローブは30%を追加します。
[画像: 可視性重み付け付きライトプローブグリッドによって照らされた隣接する2つの部屋。1つは暖色系、もう1つは青色系で、壁を透過する光の漏れはありません]
プローブ可視性重み付け:暖色系の部屋と青色系の部屋は、壁を介して互いを照らさなくなりました。
アンビエントおよびスペキュラーオクルージョン#
ゲームが要求するもの。 ライトマップはコンタクトシャドウには粗すぎ、動的オブジェクトについては何も知りません。ゲームは画面空間オクルージョンをその上に加え、ActivisionのGTAOが標準です。また、ベントノーマルを生成します。これは平均的な開いた方向であり、スペキュラーオクルージョン(GTSO)をもたらします。表面の折り目に向けられた反射はオクルードされ、開口部から外に向けられた反射はオクルードされません。
GTAOは、各ピクセルの周囲の地平線に対して深度バッファを検索することでオクルージョンを見つけます。ホライゾンベースのSSGI(Three.jsが持つもの)は同じ検索を実行し、その過程で収集された光を集めるため、1つのパスで両方が返されます。したがって、パイプラインは2つを並行して実行しません。SSGIがオンの場合、そのパスがオクルージョンとベントノーマルを提供し、SSGIがオフの場合のみGTAOが単独で実行されます。
どのライトオクルージョンが適用されるかは、計算方法と同じくらい重要です。このパイプラインでは、オクルージョンはどちらのカスケードのステップでもありません。それは共有バッファであり、現在のbuiltinAOContextとして設定され、それを必要とするソースはそれを読み取り、独自の回答を暗くします。
- ライトマップ、プローブグリッド、環境はAOを適用します。間接拡散光に、マテリアルのAOマップと組み合わせて
min( materialAO, gtao )として適用します。 - リフレクションプローブと環境はGTSOを適用します。間接鏡面光に適用します。
- SSRとSSGIはどちらも適用しません。画面空間ヒットはレイが実際に見つけたものであり、正しくオクルードされています。
- SSGIの後ろでは、拡散ソースはAOをスキップします。SSGIのカバレッジは、画面上の何かがブロックしている半球の割合であり、それ自体がオクルージョンです。カスケードはすでにライトマップまたはプローブグリッドを
1 - coverageでスケーリングしているため、AOを適用すると二重に暗くなります。 - 直接光は変更されません。シャドウがあるためです。
カスケードはこれらを一切見ません。カバレッジのみで色を組み合わせます。ソースが従わなければならない唯一のルールは、オクルージョンが色を暗くするだけで、カバレッジを暗くしないことです。オクルードされたプローブはピクセルに回答しますが、暗くなるだけです。カバレッジを減らすと、次のソースのオクルードされていない光がコーナーに漏れる可能性があります。
ライトマップされた表面にAOを適用すると、ベイクにすでに静的な自己オクルージョンが含まれているため、わずかに二重に暗くなります。動的オブジェクトが静的オブジェクトをオクルードする必要があるため、それでも行います。
Three.jsにあるもの。 GTAOはすでに存在し、最終画像に掛けられるのではなく、ライティングにフィードバックされます。AO例はプリパスをレンダリングし、それにGTAOを実行し、ライティングコンテキストを通じて結果をビューティパスに渡します。
const aoPass = ao( prePassDepth, prePassNormal, camera );
scenePass.contextNode = builtinAOContext( aoPass.getTextureNode().sample( screenUV ).r );
これはパイプラインの残りの部分が必要とするパターンとまったく同じであり、以下で再び重要になります。
ギャップ。 3つあります。
-
スペキュラーオクルージョン。 現在、GTAOは単一の可視性値を生成し、物理ライティングモデルはそれを角度とラフネスに基づくヒューリスティックでスペキュラーオクルージョンに変換します。どの方向がブロックされているかを知らないため、金属は折り目の内側で空を反射し続けます。ベントノーマルとGTSOはドラフトPRとして公開されています。ベントノーマルは、追加の深度サンプルなしで同じホライゾン検索から出力されます。コストはAOターゲットがピクセルあたり1バイトから4バイトに増加することです。
-
エッジ認識アップサンプリング。 バイリニアフィルターでアップサンプリングされたハーフ解像度のGTAOは、オブジェクトの周りに暗い輪郭を残します。これは、背後のサーフェスのオクルージョンが各シルエットを横切ってにじむためです。
jointBilateralUpsample()は、フル解像度の深度と法線をガイドとして使用してアップサンプリングします(Kopfら 2007)。そのため、結果はエッジで停止します。これはドラフトであり、まだ提出されていません。AO例が最初のユーザーです。ハーフ解像度のSSRも同じフィルターを必要とします。 -
SSGINodeからのベントノーマル。 ドラフトはGTAONodeにベントノーマルを追加します。SSGIがオンの場合、スペキュラーオクルージョンに2番目のパスが必要ないように、SSGINodeも同じ出力を、検索が見つけた開いた方向から取得する必要があります。
[画像: 環境マップで照らされた金色の胸像。GTAOとGTSOを使用すると、折り目や窪みは空を反射しなくなります。GTAOとスカラー鏡面オクルージョンを使用すると、まだ光ります]
GTSO(左)を使用すると、折り目や窪みは空を反射しなくなります。スカラー鏡面オクルージョン(右)を使用すると、まだ光ります。
反射:スクリーン空間反射#
ゲームが要求するもの。 DOOM、FrostbiteなどのSSRはカスケード内で以下を行う必要があります。
- Hi-Z深度ピラミッドを使用して、任意の距離を効率的にトレースする。
- カバレッジを出力する。プローブが欠落している部分を埋めるため。
- 前フレームのライティングされた画像をトレースする。その結果を現在のフレームのライティングにフィードバックするため。
- 空間的および時間的にノイズを除去する。ピクセルあたり1つのレイで十分なため。
Three.jsにあったもの。 9月、Three.jsのSSRは異なるジョブのために構築されていました。完成した画像の上に、コンパクトなシーンで反射を追加するためです。サンプル数が少なかったため、ラフな表面はノイズが多かったです。画像の上に合成されていたため、BRDFを通過しませんでした。そして、レイは固定距離で停止したため、遠くのものの反射は欠落していました。
それ以降、その多くが変更されました。SSRNodeは現在、完全なGGXローブを正しいフレネルでインポートし、ヒットを検証・改良し、ブルーノイズテクスチャの代わりにHouston Stratified Noise(HHW(Hierarchical Hashed Weyl)ノイズとも呼ばれる)を使用しています。その結果は時間とともに再投影および累積され、フィードバックされるため、反射は反射を映し出します。
まだできていないのは、カスケードに適合させることです。SSR例がシーンとどのように組み合わせるかを示しています。
const litColor = scenePassColor.rgb.add( denoisedReflections.rgb );
ビューティパスが最初にレンダリングされ、SSRはその同じ画像をトレースし、反射がその上に加算されます。上記の各要件は、そこからのギャップです。
Hi-Zトレース。 SSRNodeは現在、最大64ステップで深度バッファをマーチングし、maxDistanceまで、ヒットを決定するためのthickness許容誤差があります。長いレイは高価であり、両方の値はシーンごとに調整する必要があります。Hi-Zピラミッドは、各テクセルがその下の4つのテクセルの最小深度を格納するミップチェーンです。レイは粗いレベルで空きスペースを大きくステップし、表面の近くでのみ細かいステップを踏むため、コストはレイの長さの対数に比例して増加します。これにより、各レイは最大画面サイズまで到達でき、調整する最大距離はありません。ピラミッドに最小深度と最大深度の両方を格納することも、厚さテストに役立ちます。単一の深度レイヤーでは、レイがオブジェクトの後ろを通過したのか、それともオブジェクトに入ったのかを判断できません。追加の境界はその曖昧さを狭めます。この技術は、UludagのHi-Z Screen-Space Cone-Traced Reflections(GPU Pro 5)に由来し、McGuireとMaraの画面空間レイマーチングに基づいています。Frostbite(滑らかな表面用)、AMDのFidelityFX SSSR、Killing Floor 2はすべてこれを使用しています。最初のプロトタイプは、48のGPUテストケースで線形マーチングとビット単位で一致しますが、まだ正味の利益ではありません。トラバースは最大約7%節約され、ピラミッドの構築はそのコストを上回ります。GTX 1050では、1つのテストシーンは199fpsから159fpsに、別のシーンは126fpsから97fpsに低下しました。次のステップは、AMDのSPDのように、単一のコンピュートディスパッチでのより安価なピラミッド構築であり、トラバースとともに測定されます。
[画像: Hi-Zレイマーチングの1次元断面図。粗いミップレベルにより、反射レイは数回の大きなステップで空きスペースを横切り、ヒットする表面の近くでより細かいレベルに下降します]
Hi-Zレイマーチング:空きスペースを横切る大きなステップ、表面の近くでの小さなステップ。
カバレッジ。 現在、レイが misses すると、SSR内で環境マップ自体をサンプリングします。これはenvironmentNodeとして渡されるエクイレクタングラーテクスチャであり、scene.environment、ましてやローカルプローブではありません。画像の上にSSRを追加すると、環境反射が2回カウントされます。1回はビューティパスで、もう1回はSSR自体のフォールバックでカウントされます。カスケードでは、SSRは代わりにその反射とカバレッジを出力すべきです。カバレッジは画面端、斜め角、薄いジオメトリの後ろ、非常にラフな表面の近くで低下し、残りはプローブに任されます。これはプロトタイプ化されており、BRDF統合の下で一緒に提供されます。
前フレームのトレース。 SSRは、ライティングの出力を読み取る間、ライティングの一部にはなれません。DOOMの答えは、現在の深度バッファをトレースするが、前のフレームの色を読み取ることです。各ヒットポイントを前フレームのTRAA出力に再投影し、そこでサンプリングします。前フレームの画像にはすでに前フレームの反射が含まれていたため、鏡が鏡に面している場合、フレームごとにバウンスが増えます。前フレームトレースはレビュー中です。
このループを健全に保つ2つのルールがあります。第一に、SSRが読み取る画像は、トーンマッピング、ブルーム、その他のポストプロセッシングの後、TRAAの後に取得された線形HDR放射輝度でなければなりません。そうでなければ、反射はトーンマッピングされた色とブルームハローを拾ってしまいます。第二に、フィードバックされる放射輝度はクランプされる必要があります。各フレームの反射は次フレームの入力になるため、単一のファイアフライやデノイザーでのわずかなエネルギーゲインが、フェードアウトするのではなくフレームごとに累積されます。
[画像: 反射のみ。SSRマルチバウンスフィードバックオフと復元後。復元されたバージョンは、反射の中の反射を示しています]
反射のみ。前フレームフィードバックを使用すると、反射の中に反射が現れます。
ノイズ除去。 ラフな反射は、ピクセルあたり1レイ以上の情報量を必要とします。Three.jsには、SSR用に設計された空間時間的デノイザーはまだありません。Frostbiteのがモデルです。隣接ピクセルのレイを再利用し、各ピクセルのBRDFで重み付けし、時間とともに累積し、表面の動きではなく、反射されたヒットポイントの動きで履歴を再投影します。なぜなら、反射はそれらを表示する表面とは異なる動きをするからです。zaloがこれに取り組んでいます。彼のSVGFベースのDenoiseNodeはマージされましたが、SSR例はデノイザーが反射用に再構築されている間、以前のデノイザーに戻りました。次の試みはデバッグハーネスで評価されます。1つのピースはすでにプロトタイプ化されています。デモジュレーションは、フィルター処理前にサーフェスカラーを信号から除算し、後で乗算することで、デノイザーがテクスチャディテールではなくライティングをぼかすようにします。
[画像: チェック柄の球とチェック柄の床のスプリットビュー。左はデモジュレーションなしのノイズ除去でテクスチャがぼやけていますが、右はデモジュレーションありで、チェック柄はシャープなままです]
同じノイズ信号とフィルター、デモジュレーションなし(左)とあり(右)。
スクリーン空間グローバルイルミネーション#
SSGIはSSRの拡散成分です。ベイクでは知り得ないバウンスライトを追加し、SSRが必要とするほぼすべてを再利用し、オンになっているときは常にGTAOを置き換えます。
ゲームが要求するもの。 SSGIをライティングの一部として使用するエンジンは、パート1で説明されているように、カスケードの最初のステージとしてベイクされたライトの前に配置します。これは、SSGIが以下を行う必要があることを意味します。
- カバレッジを出力する:半球のうち、画面上の表面を見つけた割合。残りはライトマップまたはプローブグリッドにフォールスルーします。
- 前フレームのライティングされた画像をトレースする。その結果を現在のフレームのライティングにフィードバックし、バウンスライトがフレームごとにバウンスを獲得するため。
- ハーフ解像度で時間とともに累積する。SSRと同じエッジ認識アップサンプリングを使用します。
Three.jsにあるもの。 SSGINodeはすでに存在し、SSRT3の可視性ビットマスクアプローチに基づいており、GTAOのホライゾン検索を拡張して、オクルージョンだけでなくライトも収集します。各ピクセルについて、半球のスライスに沿って外側にステップし、深度バッファがブロックするセクターをマークし、それらをブロックしているものの色を収集します。デフォルトで24の深度サンプルによる1回の検索により、GIテクスチャとAOテクスチャが得られます。これは、各サンプルが方向の完全なアークを考慮するため、単一のランダムレイよりもノイズが少なくなります。そのため、このパイプラインでは、それに1つのテンポラル履歴を割り当て、個別の空間フィルターは割り当てません。SSGI例は、現在のフレームのビューティパスをトレースし、その上に合成します。
const composite = vec4( scenePassColor.rgb.mul( ao ).add( scenePassDiffuse.rgb.mul( gi.rgb ) ), scenePassColor.a );
ギャップ。 SSRと同じ理由で、同じです。
- カバレッジ出力。 検索がブロックされたとマークするセクターは、表面を見つけた方向であるため、カバレッジは
1 - aoであり、ノードはすでにそれを計算しています。欠けているのは、GIとそのカバレッジをペアとしてカスケードに渡すことです。それなしでは、SSGIはベイクされたバウンスの上にのみ追加でき、二重にカウントされ、置き換えることはできません。 - 前フレームトレース。 現在のフレームのビューティパスを読み取ることは、SSGIをその後に、コンポジットとして実行することを強制します。SSRのために追加されている前フレームトレースは、同じルールでここに適用されます。トーンマッピング前、およびクランプされた線形HDRです。1つの点が異なります。SSRはピクセルごとに前フレームを1回読み取ります(レイが着地する場所)。SSGIは、表面を見つけたすべてのサンプルでそれを読み取るため、各読み取りでの再投影はピクセルあたり何度も支払われます。ドラフトは、Apple M3でこれを測定します。カメラの動きによる各サンプルの再投影は、フレームレートの14〜22%を占め、移動オブジェクトも追跡するピクセルごとの速度による再投影は、32〜44%を占めます。そのため、前フレームは代わりにカメラの動きによって、現在のフレームに整列されたハーフ解像度バッファに1回再投影され、検索はそれを直接読み取ります。これは、現在のフレームをトレースするのと同じフレームレートで実行され、テストシーンでは視覚的なアーティファクトはありません。
- 拡散ソース。 両方を取得すると、
SSGINodeは以下の拡散リストの最初の項目になり、マテリアルに変更はありません。
反射:ローカルプローブとカスケード#
ゲームが要求するもの。 Three.jsは、空間に浮かぶ単一のオブジェクトを1つの環境マップで照らすように成長しました。その点では優れています。屋内では、1つの環境マップは単に間違っています。赤い部屋から青い廊下に歩くと、床は空ではなく、赤、次に青を反射するはずです。
調査のすべてのゲーム、およびUnrealのリフレクションキャプチャは、ローカルリフレクションプローブでこれを解決します。各部屋の内部でキャプチャされたキューブマップで、それぞれが影響を与えるボリュームを記述するボックスがあります。そのボックス内では、プローブはボックス投影されます。反射レイは最初に部屋のボックスと交差され、キューブマップは生のレイに沿ってではなく、そのヒットポイントに向かってサンプリングされます。その1つのステップで、キューブマップのパララックスエラーのほとんどが除去されるため、歩行中に部屋の奥の壁の反射が床に留まります(Lagardeの解説は古典的な説明です)。ボックスが重なる場所では、プローブがブレンドされ、それらの向こうの空は、無限のボックスとボックス投影のない最も外側のプローブです。
Three.jsにあるもの。 材料は揃っています。CubeCameraはキューブマップをキャプチャし、PMREMGeneratorはラフネスのためにそれをプリフィルターし、getParallaxCorrectNormal()はそれをボックス投影します。ボックス投影環境マップ例が示しています。しかし、それはマテリアルごとに1つのプローブであり、手動で設定されます。シーン内のプローブのセット、影響ボリューム、またはそれらの間のブレンドの概念はありません。
ギャップ、そしてそれをどのように埋めているか。
- プローブシステム。 WebGPURendererのためのボックス投影リフレクションプローブは、シーンレベルのプローブに影響ボックスとブレンドを追加し、ドラフトPRとして公開されています。
- 多数のプローブへの高速アクセス。 プローブごとに1つのキューブマップをバインドしてもスケーリングしません。キューブ配列テクスチャは、すべてのプローブを1つのテクスチャに格納します。それらをサンプリングするのはマージされました。テクスチャクラスはレビュー中です。
- プローブ正規化。 プローブは部屋の1つのポイントでキャプチャされるため、どこで使用されてもその部屋の明るく開いたビューが見えます。暗い角や戸棚の内部は、明るく照らされた部屋を反射します。Call of Dutyの修正は、Black Ops IIで導入され、Infinite Warfareに引き継がれました。それは、ピクセルでの拡散光とプローブでの拡散光の比率でプローブの反射をスケーリングすることです。ライトマップとプローブグリッドは両方を提供するため、コストはほとんどかかりません。これは、リフレクションプローブがピクセルでの拡散結果を見る必要があることを意味し、プラグ可能な設計がそれを可能にします。これはまだ完了していません。
- 小さなプローブ。
PMREMGeneratorの最小サイズは256²です。128²のプローブは、ぼやけた部屋の反射には十分です。なぜなら、その前のSSRがシャープな反射を処理し、メモリの4分の1しか消費しないからです。128²でのプリフィルタリングはまだ完了していません。
[画像: 3つのボックス投影プローブによって照らされたThree.jsの2つの接続された部屋]
3つのボックス投影プローブから、それぞれが壁を反射する2つの接続された部屋。
BRDFにおける間接ライティング#
ゲームが要求するもの。 カスケードは、バウンスライトがマテリアルのBRDFを通過する場合にのみ機能します。そのため、フレネル、ラフネス、メタリティは、直接光と同じようにそれに適用されます。フォワードレンダラーでは、それはビューティパスが2つの入力、つまり
- 間接拡散光: カバレッジがある場合はSSGI。次に静的メッシュのライトマップ。それ以外の場合は、プローブグリッド。カバレッジによって環境マップにフォールバックします(グリッドのボリュームの外側)。
- 間接鏡面光: SSR。カバレッジによってボックス投影プローブにフォールバックし、環境マップにフォールバックします。
オクルージョンを必要とするソースは、上記のように自分で適用します。
次に、両方とも直接光とともに、通常の分割合計近似(Karis 2013)を通過します。
エンジンはこれがどこで行われるかで異なります。UnrealのようなデファードエンジンはG-bufferを埋める際にライトマップをサンプリングし、別のフルスクリーンパスで反射を合成します。Three.jsはフォワードレンダリングするため、自然な適合性は、画面空間のすべて(SSR、SSGI、AO)をビューティパスの前に計算し、各マテリアルがシェーディング中にそれを読み取るようにすることです。前フレームのトレースが、その順序を可能にします。
Three.jsにあるもの。 間接拡散光はほぼ完成しています。lightMap、LightProbeGrid、scene.environmentはすべてそれをフィードし、AOはすでにbuiltinAOContextを介してそれに到達しています。間接鏡面光はscene.environment、またはマテリアル固有のenvMapからのみ来ます。
ギャップ。 これは最大の欠落部分です。AOがマテリアルの拡散光にプラグインされるように、画面空間の結果、またはカスケードソースをマテリアルの間接鏡面光にプラグインする方法はありません。私たちが望むのは、AOパターンを両方の項に拡張し、今日の環境マップをそのままデフォルトとして使用することです。提案されている設計はThree.jsにおけるプラグ可能な間接ライティングにあります。
TRAAとTAAUがループを閉じます#
ゲームが要求するもの。 テンポラルアンチエイリアシングは、すべての最新エンジンで標準です。ここでは二重の役割を果たします。その出力は次フレームのSSRへの入力となるため、動きの下でシャープさを保ち、ゴーストやファイアフライを反射にフィードバックしないようにする必要があります。
Three.jsにあるもの。 Haltonジッター、モーションベクトル再投影、履歴のバリアンスクリップを備えた優れたTRAAノードがあります。
TRAAは良好な状態にあり、それを妨げる大きなギャップはありません。2つの改良が残っています。
- よりシャープな履歴。 バイリニアフィルターでサンプリングされた履歴は、カメラが移動するたびにフレームごとに少しずつぼやけます。Catmull-Rom履歴サンプリング(ドラフトPR)は、それをシャープに保ちます。
- 静止時のより広いクリップ。 バリアンスクリップはゴーストを防ぐものです。履歴が現在のフレームと一致しなくなった場合に履歴を拒否します。しかし、それは良い履歴も拒否します。TRAAはすでに高速な動きの下でクリップボックスを0.5σに絞っていますが、静止時にはボックスが1σであり、収束したサブピクセルディテールをクリップするには十分タイトでした。そのため、静止画像は決して完全に解決されず、より長い履歴は実際にはスコアが悪化しました。ドラフト変更(まだ提出されていません)は、静止時にボックスを2σに広げ、
historyLengthコントロールを追加します。TRAAハーネスで測定すると、静止ビューは超解像度参照に対してPSNRが2.15dB向上し、カメラが静止してオブジェクトが移動する場合は1.3dB向上しますが、高速なカメラの動きは0.06dB以内に変化しません。
TAAUによるアップスケーリング#
このシリーズで測定されているすべてのエンジンは、出力解像度より低くレンダリングし、時間とともに再構築します。UnrealのTSR、GodotのFSR 2、Cyberpunk 2077のDLSSとFSRです。これは、最新フレームにおける最大のパフォーマンスレバーです。なぜなら、解決前のすべてのパスがより安価になるためです。
Three.jsにあるもの。 TAAUNodeはすでにこれを実行しており、TAAU例はそれをピクセルの4分の1で示しています。KarisのテンポラルスーパーサンプリングとFSR 2に従っています。シーンパスは低解像度でレンダリングされ、setResolutionScale()で設定されます。ノードはカメラをジッターさせ、各出力ピクセルを周囲の3×3のジッターされた入力サンプルから再構築し、それを出力解像度で保持される履歴とブレンドします。TRAAと同じ深度拒否とバリアンスクリップにロックが追加され、細い特徴を保護します。
scenePass.setResolutionScale( 0.5 );
const taauNode = taau( scenePassColor, scenePassDepth, scenePassVelocity, camera );
どのように適合するか。 TAAUはフレームの最後のステージとしてTRAAの場所を取り、フレーム内の他のものは形状を変更しません。
- その前のすべてはレンダリング解像度で実行されます。 G-bufferプリパス、Hi-Z、SSR、SSGI、ビューティパスはすべて同じ解像度スケールを取ります。ノードはレンダリングパイプライン全体のためにカメラにジッターを適用するため、プリパスとビューティパスは整列したままになります。
- その出力は、次フレームのSSRとSSGIが読み取る画像です。 その画像は出力解像度での線形HDRであるため、反射はレンダリング解像度でトレースされますが、トレースしたフレームよりもシャープな色を読み取ります。SSRセクションの2つのルールが引き続き適用されます。トーンマッピング前、およびクランプして読み取ります。
- ブルーム、トーンマッピング、その他のポスト処理は、出力解像度でその後に実行されます。
また、上記のメモリ予算も変更されます。SSRとSSGIがオンの場合、ネイティブ解像度のTRAA予算76バイトのうち、約60バイトがシーン解像度リソースに、16バイトが履歴と解決に割り当てられます。TAAUは代わりにキャンバスあたり約24バイト(ロック履歴を含む)を使用するため、そのモデルはピクセルあたり60 × 解像度スケール² + 24バイトです。スケール0.5では、76バイトではなく約39バイトになります。4Kフレームは、約626MBから322MBに低下し、ピクセルの4分の1をシェーディングします。追加のTAAU履歴により、メモリ削減はピクセル削減よりも小さくなります。パート2は、アップスケーラーの暫定的なトラフィック割り当てを含む計算機へのリンクを示しています。
TAAUとジョイントバイラテラルアップサンプラーは代替ではありません。 それらは異なるものをアップスケールします。jointBilateralUpsample()は空間的であり、1フレーム内で機能します。ハーフ解像度の中間バッファ(AO、SSR、またはSSGI)をレンダリング解像度までアップスケールし、深度と法線によってガイドされます。これらのバッファは滑らかでノイズが多く、回復すべきディテールはなく、エッジのみを尊重します。TAAUは時間的です。レンダリング解像度から出力解像度への完成した画像を処理し、ジッターされたフレームから実際のサブピクセルディテールを回復します。フレームは両方を使用できます。ただし、両方とも0.5で実行する場合、SSRとSSGIは各軸で出力解像度の4分の1で実行されるため、TAAUがオンの場合、それらをフルレンダリング解像度で実行し、バイラテラルステップをスキップする方が良いかもしれません。
ギャップ。
- フルパイプラインへの配線。 例は単一のシーンパスをアップスケールします。ここでのパイプラインには、プリパス、ハーフ解像度エフェクト、および解像度とジッターに同意する必要があるビューティパスが含まれます。また、SSRの前フレーム読み取りはTAAUの出力を取る必要があります。これらはまだ一緒に試されていません。
- テクスチャミップバイアス。 ハーフ解像度でレンダリングすると、GPUは出力よりもぼやけたテクスチャミップを選択します。すべてのテンポラルアップスケーラーは、解像度スケールのlog2のネガティブミップバイアスとペアになります。Three.jsはまだ適用していません。
- TRAAの改良。 TAAUはTRAAが今日行うように履歴をサンプリングおよびクリップするため、Catmull-Rom履歴と静止時のより広いクリップもそれに適用され、TRAAハーネスは同じ超解像度参照に対してそれを測定する必要があります。
- より安価なロック。 ロックはピクセルあたり1つの値ですが、別のハーフフロートRGBA履歴ターゲットに格納されます。単一の8ビットチャンネルは、出力ピクセルあたり7バイトを節約します。
将来の作業#
パイプラインが完了したら、いくつかのスレッドを引っ張る価値があります。
- より安価なノイズ。 Houston Stratified Noiseは、テクスチャをダウンロードせずにSSRに優れたサンプリングを提供しますが、サンプルあたり約400オペレーションかかり、各ピクセルは毎フレームそれを支払います。これは、それほど基本的なものには多すぎます。有望なトレードオフは、作業の一部を小さな事前計算マップにシフトすることです。数キロバイト、起動時に50ミリ秒以下で生成され、HSNのプロパティを維持しながら、各サンプルをルックアップといくつかの加算にします。
- 自動露出。 暗い部屋から明るい中庭への移動には、すべてのゲームが持つように、目の適応が必要です。Three.jsにはまだありません。
- 物理ベースの太陽と空。 Three.jsの空は、物理的な光レベルではなく、芸術的な制御のために構築されています。窓から照らされた部屋には、互いに、そして露出と一致する太陽と空が必要です。GPUで計算された大気散乱、太陽の色と強度は、実際の単位での大気から導き出されます。プロトタイプは単一散乱を実行します。多重散乱と雲はまだ完了していません。
- glTFでのリフレクションプローブ。 KHR_lightmapはライトマップを運びますが、リフレクションプローブを出荷するための標準的な方法はありません。最小限必要なのは、各プローブの位置と影響ボックスであり、ローダーはロード時にプローブをキャプチャできます。より完全なバージョンは、プリフィルターされたキューブマップも運ぶため、何もキャプチャする必要がなくなります。
- 方向性ライトマップ。 ここでのライトマップは、テクセルあたり単一の放射照度値を格納するため、法線マップはベイクされた光に応答できません。方向性ライトマップは、テクセルあたり数バイトを追加して、その応答を復元します。単一の放射照度値と、The Last of UsおよびCall of DutyのL1球面調和関数(Frostbite)、またはThe Order: 1886の球面ガウス関数のような、1つの支配的な方向を格納します。
残っていること#
最大のギャップは、フレームが必要とする最後のものです。両方のカスケードをマテリアルのBRDFにプラグインする方法です。これは、ここでの他のどのステージよりもThree.jsの多くを変更するため、独自の投稿があります。