HN 日本語サマリー

← 一覧へ戻る
科学・技術

数十億のトライアングル再訪

Billions of triangles redux (zeux.io)

49 pointsby ibobev1 コメント

要約

NVIDIAの新しいvk_lod_clustersサンプルと、meshoptimizerライブラリの改善について解説しています。特に、新しいZorahシーンは16億トライアングルという膨大なジオメトリを持ちながら、meshoptimizerの圧縮拡張機能(EXT_meshopt_compressionおよびKHR_meshopt_compression)により、元の70GBから32GBへと大幅に削減されています。この記事では、この圧縮の有効性、特にロスレス圧縮とロスあり圧縮のトレードオフ、およびデコードパフォーマンスについて詳細に分析しています。

全文翻訳

数十億の三角形 再訪

2026年9月30日

9月初旬、NVIDIAはオープンソースサンプルであるvk_lod_clustersのアップデートをリリースしました。このアップデートには、印象的な新しいZorahシーンがglTFファイルとして含まれていました。このデモは、クラスタリングされたレイトレーシングとNaniteライクなクラスタリングLODパイプラインを組み合わせた、ドライバーから公開された新しいレイトレーシング機能の適用を示しており、フルパストレーシングで非常に高精細なシーンのストリーミングと表示を可能にします。当然ながら、これは私の好奇心を刺激し、meshoptimizerでの階層的なクラスタリングLODのサポートを改善するために時間を費やすことになりました。

…待てよ、これは聞き覚えがあるな。

[画像]

実際、スタンドアロンのZorahシーンの最初のバージョン、そしてクラスタリングRTの基盤となるドライバーコンポーネントは、昨年リリースされました!私は、そのシーンを数分で処理するまでの道のりについて、Billions of triangles in minutesで執筆しました。しかし、vk_lod_clustersサンプルは昨年から大きく進歩し、シーンは完全な属性セットとテクスチャデータで更新され、レンダラーはパストレーシングを使用しており、見た目は美しく、処理の大部分はmeshoptimizerのclusterlod.hを使用しています。meshoptimizerのこの側面を改善するために時間を費やしたので、今回は処理時間よりも他の側面に焦点を当てて記事を書くのが理にかなっていると思いました。前の記事を読むことは必須ではありませんが、この記事をよりよく理解するのに役立つでしょう。

glTF圧縮

最初に気づくのは、新しいシーンが同規模(16億三角形)であり、かなりの70 GBのダウンロードサイズであることです。これは、多くのテクスチャが含まれているため予想されることです!しかし、glTFシーンデータだけを見ると、2025年版は約36 GB、2026年版は約32 GBでした。ジオメトリの総量はあまり変わっていないため、これは驚くべきことです。なぜなら、古いシーンはほとんどのメッシュで位置データのみを含んでおり、明らかに小さくなるはずだったからです。実際、NVIDIAは現在、属性もテクスチャもない元のシーンの新しいバージョンを提供しており、これはわずか9 GBです。

この削減は、新しいglTFシーンがmeshoptimizer圧縮拡張機能、特にEXT_meshopt_compressionを使用しているためです。この拡張機能は、頂点およびインデックス圧縮のサポートを公開しています。頂点データは古い「v0」頂点形式を使用して圧縮されていることに注意してください。頂点コーデックはその後v1にアップグレードされ、圧縮率と解凍パフォーマンスでさらなる改善を提供し、新しい拡張機能であるKHR_meshopt_compressionでサポートされています。KHRバリアントは2026年初頭に標準化されたばかりなので、アセットが以前のバージョンを使用しているのも理にかなっていますが、完全性のために両方を見てみましょう。

これらの拡張機能は頂点とインデックスの圧縮を公開しますが、処理ツールがデータを整理したり、圧縮特性を選択したりするための多くの余地を残しています。一部のブラックボックスの「一度に1つのメッシュ」形式とは異なり、meshoptimizer形式は頂点またはインデックスデータを表すバイト配列に基づいて定義されています。頂点データの場合、コンプレッサー自体はロスレスであり、元のバイトシーケンスを完全に再現しますが、その下にさらにレイヤーを追加してロスありにすることもできます。これは、glTFジオメトリアクセサーがそれをサポートしている場合に事前に量子化されたデータを使用するか、わずかな精度低下でデータを圧縮する「フィルター」を使用することで、さらに圧縮率を高めることができます。メッシュが配列を参照する方法も、データを準備するツール次第です。一部のツールは個々のメッシュに個別のバッファを使用することを決定するかもしれませんが、他のツールはそれらを結合することを選択するかもしれません。

通常、ラストマイル配信シナリオ(例:直接レンダリングされるglTFファイルの生成)では、ロスあり圧縮(末尾の付録を参照)を使用し、表示に必要なレベルに精度を調整したいと思うでしょう。これにより、最小の出力ファイルが得られます。しかし、Zorahシーンの場合、私たちが扱っているファイルは単なる中間ファイルです。実際のクラスタリングLOD処理は、後で調整できる精度特性を大幅に変更します。したがって、Zorah glTFシーンがロスレスオプションのみを使用しているのも理にかなっています。その効果を見てみましょう。

ファイルはv0(EXT)圧縮を使用しているため、シーンの統計情報を実行し、v1に切り替えた場合に何が達成されるかを確認しました。以下の数値が得られました。「v0」は現在ダウンロードファイルに保存されているもの、「raw」は解凍後のシーンの外観です1。

カテゴリ元データv0v1(再圧縮)
位置14.3 GB9.1 GB (63.5%)8.9 GB (62.1%)
属性30.1 GB21.6 GB (71.8%)20.5 GB (68.2%)
インデックス18.9 GB1.9 GB (10.1%)1.9 GB (10.1%)
合計63.3 GB32.6 GB (51.5%)31.3 GB (49.5%)

したがって、ファイル全体でジオメトリは約2倍の圧縮率が得られます。インデックスは非常にうまく圧縮され、位置と属性はそれほどうまく圧縮されません2。v1頂点形式を使用すると、圧縮率が数パーセント向上し(デコードも高速になります)。

さて、あなたは尋ねるかもしれません――これは最終的な配信形式ではないのに、このファイルを圧縮する必要があるのでしょうか?ダウンロードするファイルは汎用ロスレス圧縮で圧縮されているので、なぜ気にする必要があるのでしょうか?これについては2つのことが言えます。

第一に、処理時間という観点から、これはディスクからのシーン読み込みコストを、生のファイルまたはZstandardのような圧縮を使用してディスク上でファイルを圧縮したままにする仮説的な表現と比較して削減できます。頂点またはインデックスデータのデコードは、単一コアで出力データあたり毎秒数ギガバイトの速度で実行されます。前の記事で書いたように、処理は大規模にマルチコア化されているため、16コアでの集約デコードスループットは「大量」です。これが処理に統合される方法は、各メッシュの頂点/インデックスストリームは個別に圧縮され、各メッシュの処理前に解凍されることです。その結果、デコードは総処理時間の1%未満を占め、完全に並列で実行され、ディスクから読み取る必要があるサイズを2倍削減します。

第二に、これは汎用圧縮を使用する場合よりも小さいファイルになる可能性があります。代わりにZstandard(この場合はレベル6)を使用した場合、ファイルは大きくなり、解凍も遅くなります。どちらのデコーダーもZstandardより明らかに高速です。さらに、ファイルサイズをさらに削減したい場合は、エンコードされたバイトを再度Zstandardで圧縮することもできます。これにより、さらに小さいサイズになります!ファイルを2回解凍する必要があります――まずZstandardを使用してエンコードされたバイトを解凍し、次にmeshopt_decode*を使用して元のバイトを解凍します。ただし、Zstandardはより少ないデータを解凍する必要があるため、一般的に結果のデコードはZstandard単独で使用するよりも高速になります3。

元データv1元データ + Zstdv1 + Zstd
63.3 GB31.3 GB (49.5%)38.0 GB (60.1%)27.4 GB (43.3%)

これは異常な特性のように思えます。通常、圧縮された表現をさらに圧縮することはできないはずです!しかし、これは明示的な設計上のポイントです。最新のロスレス圧縮機の完全な機能セットを実装する代わりに、meshoptimizerコーデックは、特に高速なものによくモデル化されない部分に焦点を当てていますが、出力ストリームを高速デコードとさらなる後圧縮の両方に適した形式に保とうとします。これは汎用性の観点から優れています。たとえば、LZMAを後圧縮レイヤーとして使用したい場合、ゲームロード時に解凍するには非現実的に遅いですが、インストール時に解凍して、ディスク上にはロスレスmeshopt圧縮ファイルをそのまま残すことができます。

最終的には、最適なバランスはデータの特性、そして重要なことに、基盤となるメディアの速度に依存します。meshoptimizerコーデックの元の動機の1つは、SSDが不当に高速になりつつあったことです。SSDが毎秒数ギガバイトを読み取ることができる場合、遅い圧縮アルゴリズムを使用してディスクからアセットをストリーミングする際に時間を節約するには、多くのコアが必要になる場合があります。また、一部の圧縮アルゴリズムは、遅すぎるため、まったくそこまで到達できません。最大圧縮率を目指すのではなく、meshoptimizerコーデックは非常に高速なデコードのために設計されており、レイヤード圧縮で結果のサイズをさらに調整できるほど柔軟です。

これらすべてがクラスタリングLODに直接関係ないように思えるかもしれません――そして実際、そうではありません :) それは単にZorahで使用されているmesh圧縮の側面について書くための口実でした!処理とランタイムのより関連性の高い部分について話しましょう。

処理の改善

残りの処理は、昨年書いた内容とほぼ同じです。わずかに変更されたclusterlod.hのバージョンがvk_lod_clustersで使用されており、パイプライン自体は以前と同じです――入力メッシュをクラスタに分割し、クラスタをグループにパーティション分割し、境界を維持しながら各グループを単純化し、新しいグループをさらにクラスタに分割し、これを繰り返します。ランタイムLOD選択のために、clusterlod.hは現在、DAG上にBVHを構築するためのヘルパーユーティリティ(clodBuildHierarchy)を提供しており、これは元のNaniteプレゼンテーションで説明されているように、正しい忠実度レベルにあるクラスタを迅速に選択するために使用できます。

シーンには現在属性が含まれているため、それらを単純化ツールに渡す必要があります。これにより、外観の変化を完全に反映したエラーを計算できます。各属性にはスカラー重みがあり、それが変化させている表面全体にわたる影響に応じて重み付けされます。これは、数年前から利用可能な属性を考慮した単純化(meshopt_simplifyWithAttributes)を使用しており、clusterlod.hの最初のバージョンもそれを公開していました。メトリックの新しい改善点が1つありますが、それ以外は属性自体に大きな変化はありません。

クラスタパーティショニングを行う際、clusterlod.hはデフォルトで空間情報を使用してパーティショニングを改善し、追加オプションとしてpartition_sortを提供しています。これはパーティションをモートン順にソートし、DAG全体をより空間的に一貫したものにします。これはストリーミングの局所性に役立ちます。さらに、空間クラスタライザー(meshopt_buildMeshletsSpatial)は、戦略的に配置されたプリフェッチにより高速化され、グループパーティショニング(meshopt_partitionClusters)は過去数回のリリースでいくつかの改善が見られ、パーティショニングが高速化され、より空間的に一貫した出力が得られました。これらすべてがDAGの形状とストリーミング動作を改善します。また、clusterlod.hでの空の単純化出力のようなまれなコーナーケースに対するいくつかの小さな調整もありました。

さらに、新しい1.3リリースを含む、過去数回のmeshoptimizerリリース間に、単純化にいくつかの改善が見られました。特にclusterlod.hにとって重要なのは、許可モード(permissive mode)がより一貫性があり正確な動作になり、安定版としてマークされたこと、そして属性エラーが過度に悲観的なLOD選択を避けるためにクランプできるようになったことです。これらについてもう少し詳しく見てみましょう。

meshoptimizerの単純化ツールはトポロジーによって駆動され、デフォルトでは、合理的な数の属性シームを期待しており、これらは折り畳み中に自動的に識別され、尊重されます。これは、入力メッシュにかなりの滑らかな表面がある場合に優れていますが、多くのシームがあるメッシュでは、単純化ツールが最終的に行き詰まってしまいます。これは階層的なLODスキームにとって問題です。なぜなら、それらは高精細なソースメッシュに依存し、理想的には単一のクラスタまで単純化されることを期待しているからです。さらに、コンポーネントの削除など、トポロジ的に複雑な詳細を削減するのに効果的な単純化ツールの機能は、メッシュ全体が与えられた場合にのみ機能するため、clusterlod.hでは無効にする必要があります4。clusterlod.hは、この場合「ずさんな」単純化ツール(meshopt_simplifySloppy)を使用したフォールバックがありますが、その単純化ツールは属性を完全に無視する低品質な出力を生成します。昨年、許可モード(permissive mode)が追加され、トポロジ的な制限がほとんど解除される代替動作モードが提供されました。

そのモードでは、ライブラリを直接使用する場合にmeshopt_SimplifyPermissiveフラグを追加することで有効になりますが、不連続性のある属性を単純化ツールに渡して属性ベースの重み付けを行うこと、そして出力エラーをLOD選択中に使用することが重要です。単に固定の三角形数予算を使用しても、合理的な外観は保証されません。このモードでは、重要なシーム上の頂点をタグ付けすることによる選択的な不連続性保護も可能ですが、Zorahはこれを使用しません。重要なのは、許可モードにはエッジの折り畳みを評価および実行する方法に関していくつかの制限があり、初期実装も幾何学的な境界に関して制限されていました。なぜなら、不連続性がある場合、それらを処理するロジックは注意深く更新されなかったからです。

これらの制限は現在解除されています。これにより、動作にいくつかの変更が生じますが、全体的な効果は、モデルが通常、許可モードでさらに単純化され、一般的に結果の品質が向上することです。Zorahでは、ずさんなフォールバックは現在約0.01%の単純化されたグループで発生しており、これはかなり無害に見えます。

[画像]

単純化の品質だけが問題ではありませんでした。もう1つはメモリでした。私が使用しているGPUはGeForce RTX 5070で、12 GBのVRAMがあります5。最も高速でも最大でもないGPUですが、静かなシステムを保つために気に入っています。また、デスクトップではゲームをプレイしない anyway。しかし、かなり大きな画面解像度、開いているすべてのプロセスのさまざまなWaylandサーフェスによって消費される数ギガバイト、そしてテクスチャプールを収容する必要性により、当初はメモリにシーンを収めるのに苦労しました6。ジオメトリプールに必要な要件は非常に厳しいように見えました。デモでは、テクスチャ(maxtexturemegabytes)、ジオメトリ(maxgeomegabytes)、およびCLAS(maxclasmegabytes)の3つの異なるプールを構成できます。後者はクラスタレベルのアクセラレーション構造を指し、新しいクラスタリングレイトレーシング拡張機能を使用する場合のRT BVHデータの大部分を占めます。私はこれら3つのプールすべてを2 GBにサイズ設定しました。これにより、追加の割り当てをすべて考慮しても、メモリ消費量は7 GB強に制限されました。しかし、ジオメトリプールには2 GBでは明らかに不十分でした。なぜなら、フライスルー中にストリーミング予算を使い果たすことがよくあったからです。

重要なのは、単純化プロセス中に単純化ツールが生成するエラー値がストリーミングプロセスを制御しているということです。サンプルは、レンダリングする必要のあるDAGカットが現在のカメラビューからのエラーしきい値と一致するまでジオメトリをストリーミングします。クラスタのエラーが必要以上に高い場合、たとえそのまま使用しても目立たない場合でも、より高解像度のバージョンがストリーミングインされます。これにより、メモリ消費量が増加し、最終的にはストリーミングプールが枯渇します。

最終的に、私はこれを属性が関与する要因の組み合わせにたどり着きました。サンプルコードには、単純化ツールに不正な属性データを渡すいくつかのバグがあり、一部のクラスタで非現実的に高いエラーが発生しました。残念ながら、これらすべてをデバッグするのは困難です。複雑なアルゴリズムに無効なデータを渡し、そのデータを使用して最終的にヒューリスティクスと不完全なモデルを駆動する場合、間違った答えが得られます――バグはデータにあったのか、それともモデルにあったのか?この場合、答えは両方でした!なぜなら、バグを修正すると、より合理的なストリーミング動作が得られ、予算により快適に収まるようになりましたが、さらに進むことができました。過去数年間、属性単純化が少し詳細すぎるジオメトリを生成するケースに時折遭遇しました。再現ケースはまれでしたが、今回は、Zorahを調査する数週間前に、許可モードの潜在的な改善に取り組んでいるときに、いくつかの具体的な例を見つけました(現時点ではうまくいきませんでした)。そして、見てみると、Zorahでもそのようなケースがもう1つ見つかったようです!

昨年、いくつかの議論の後、クラスタ評価に実験的なsimplify_error_edge_limitオプションを追加しました。その考えは、単純化ツールが何らかの理由で異常に高いエラーを返す場合、クラスタの三角形サイズに基づいてエラーを制限できるということでした。Zorahは当初、過度に詳細なクラスタの選択に関する問題を軽減するためにこれを使用する必要がありましたが、それ自体はそれほど影響がありませんでした。私は通常これを「フェイルセーフ」として扱います――フェイルセーフがアクティブになった場合、以前に何か悪いことが起こったということです。この場合、単純化ツールが予想よりも高い属性エラーを返したことです。以下の数値は、サンプルコードのバグを修正し、デフォルトのカメラと控えめな解像度を使用した後のものです。したがって、単純化ツールが正しい属性を見たとしても、エラーが高すぎるクラスタが生成される可能性があり、制限だけではほとんど回復しませんでした。

ベースラインエッジ制限
ジオメトリ996 MB941 MB
CLAS880 MB826 MB

さらに調査した結果、これは「属性メトリックが単にそうする」ということにたどり着きました。これは少し残念でした。属性を考慮した単純化は、HoppeのNew quadric metric7を使用しています。これは、各属性を3D空間の任意の点に外挿し、そのターゲットとの二乗差を計算し、三角形の面積で重み付けすることで属性エラーをモデル化します。特に、結果のエラーは、これがすべてクワドリクとしてエンコードされており、いくつかの追加ステップがあるため、必要に応じて、属性値の制限を無視します。たとえば、法線成分でこのエラーを計算すると、外挿によって[-1..1]範囲外になるため、実際には決して観察されない値になる可能性があります。正規化されていない属性であっても、外挿は非現実的に大きな属性値につながる可能性があり、それがさらに非現実的に大きなエラーにつながります。

幸いなことに、この問題はUnreal Engineですでに解決されていることがわかりました。彼らの単純化ツールは、計算されたエラーを累積三角形面積(クワドリクの重みでもあるため容易に入手可能)にクランプします。これの背後にある理由は、概念的に単純で健全に見えます――三角形を完全に削除すると、エラーは三角形の面積に等しくなるはずです。三角形の頂点の属性のどの組み合わせも、視覚的な影響を悪化させることはできません。これにはいくつかの微妙な結果がありますが、全体としてうまくいっているようです。長年属性クワドリクを扱ってきたにもかかわらず、このアイデアが以前に思い浮かばなかったのは少し悲しいです…まあ、仕方ありません!このクランプを適用すると、報告されるエラーが大幅に減少し、このシーンのストリーミングに必要なジオメトリフットプリントが非常に快適になります。

ベースラインエッジ制限クランプされたエラー
ジオメトリ996 MB941 MB678 MB
CLAS880 MB826 MB574 MB

多くの「単純な」ケースでテストしたところ、このクランプはかなり無害に見えます。しかし、動作を変更するケースもあります。meshoptimizerの目標は、摩擦のないアップグレードを提供することです。いつでも最新のライブラリバージョンに更新できるはずです。安定した機能は壊れず、監査や調整が必要になるほど動作が変更されることはありません。実験的なAPIには明示的な免除があります――実際、許可モードがこれまで実験的であったのはこのためです。なぜなら、私は変更したい動作変更を知っており、これらの変更は全体的に有益ですが、誰かが気づくほど動作を変更する可能性があると確信していたからです8。

したがって、この新しい動作は全体的に有益であり、デフォルトとして推奨する可能性が高いですが、オプトインの個別のフラグmeshopt_SimplifyErrorClampedを介して利用可能です。これは私たちのやり方だからです。当然、そのフラグは実験的です ;) この特定の調整で修正可能な問題が見つかった場合のためです。clusterlod.hはコアライブラリの一部ではなく、同じ安定性保証に拘束されていないため、全体的に動作が改善されるように見えるため、デフォルトでこれを有効にします。

そして最後になりましたが、clusterlod.hは割り当てトラフィックも大幅に削減されました。読みやすい例コードとして提供したいので、STLを使用し続けています。カスタムアロケーターやコンテナを使用した特別なトリックは、読み取りをさらに難しくします。しかし、STLコンテナを積極的に再利用するようにコードを慎重に調整し、読みやすさを保ちました。これにより、割り当て回数が減りました。その結果、Linuxでは処理時間にほとんど改善が見られませんでしたが :) Windowsでは少し改善されました。昨年の投稿では、meshoptimizerからの割り当てのためのスレッドごとのアリーナの設定についても書きました。これは依然として重要であり、将来のバージョンでライブラリ自体にこの機能性を統合する予定です9。

フォリッジ(植物)の単純化

残念ながら、旅はまだ終わりませんでした。一般的に、これらの調整の後、結果は素晴らしく見えましたが、いくつかの無関係なシェーディングの問題は除外されます。しかし、特に1種類のジオメトリが問題を引き起こしました――フォリッジです。

Zorahはフォリッジのモデリングに非常に…幾何学的なアプローチを使用しています。シーンで見られるすべての葉は、個々の葉ごとに多くの三角形を持っています。時にはアルファを持つテクスチャもありますが、モデルは非常に詳細です。たとえば、これは生垣カバーの380万三角形メッシュから抽出された単一の葉です。高解像度バージョンはここで28三角形ですが、右側は自動的に単純化されたバージョンです。

[画像]

これ自体は問題ではありません。単に過剰に見えるという点を除けば。結局のところ、階層的なクラスタリングLODのポイントは、あまりにも多くの三角形を取り込み、それを任意の数の三角形に単純化できる表現に処理することです。しかし、フォリッジは、単純化が通常どのように機能するかという点で、特に問題を引き起こします。

ある時点までは、葉は正常に単純化され、単純化ツールは元の葉から単一の三角形まで単純化できます。ここにも少し問題がありますが、それは後でしか重要にならないので、以下でカバーします。しかし、13万枚の葉、それぞれ28三角形を持つ生垣メッシュから始まったとしましょう。これを約13万三角形に単純化するのは「簡単」です。各葉が1つの三角形になります。しかし、13万はまだ多すぎます。そして、生垣が画面上でわずか数千ピクセルしかない場合、さらに進めたいでしょう。すべての葉が単一の三角形に単純化された後、単純化ツールが取れる唯一の次のステップは、個々の葉を削除することです。そして、これがまさに起こることです――後続のディテールレベルでは葉の数がどんどん少なくなり、生垣全体が侵食される結果になります。以下は、ラスタライズモード(見やすくするため)で撮影された2つのスクリーンショットです。左のスクリーンショットでは、左側の生垣はほとんど無傷ですが、壁沿いの生垣はすでに目に見えて侵食されています。右のスクリーンショットは、カメラをさらに後ろに引いた後のもので、その時点で生垣は目に見えなくなります。

[画像]

これは、エラーメトリックの特定​​の動作と、それがエラーしきい値とどのように相互作用するかと部分的に関連していますが、この記事は長くなっているので、ここではいくつかの詳細を省略します。この問題は非常に根本的であると言えば十分です。なぜなら、Naniteの目標は、個々の三角形をより粗いバージョンに置き換えることによって導入されるエラーが1ピクセル未満になるようにクラスタを単純化されたバージョンに置き換えることだからです。しかし、それは、各葉の三角形が1ピクセル未満のサイズになる距離では、論理的には、すべての葉がその単純化されたコピー(この場合は「葉なし」)に置き換えられるべきであることを意味します。残念ながら、これはメッシュ全体で、協調的な省略行為として発生します。すべてのクラスタは他のクラスタとほぼ同じように見え、ほぼ同じエラーを持ち、したがってほとんどの葉が削除されたバージョンのクラスタにすぐに置き換えられます。

葉を単純化するエッジの折り畳みを理解する1つの方法は、可視領域の損失につながり、カバレッジの損失につながることです。単純化されたメッシュは、遠くではより少ないピクセルをカバーします。元の28三角形の葉を見ると、単一三角形バージョンも領域を失ったことは明らかです――ただし、この領域損失はそれほど壊滅的ではありません。より少ない領域を失う結果となるように個々の葉を単純化することは可能です。私は、単純化によって失われた境界を再確立し、それに応じて頂点位置を調整する、いくつかの「正しい」方法を実験しました。これは、最初の折り畳みでは少し役立ちます――葉はより長くカバレッジを維持しますが、問題は本当に解決しません。なぜなら、各葉が三角形になり、進行する唯一の方法は葉を直接削除することだからです。

幸いなことに、Unreal EngineのNanite実装にはこの問題に対する解決策があります。Preserve Area設定でタグ付けされたメッシュは、単純化中に追加の後処理を受けます。各クラスタグループを単純化した後――深いレベルでは通常、開始時に多くの葉があり、半分になる(例:約3000枚の葉から約1500枚へ)――単純化の前後の総表面積を計算し、結果のジオメトリの境界エッジを取得し、頂点位置を外側に拡張してエッジを拡大することにより、面積を復元します。これにより、生存する三角形に表面積を再分配することでカバレッジが維持されます。その結果、クラスタDAGの各連続レイヤーは、より少なく、より大きな葉になります。

さて、生存する境界への面積の再分配は本質的に危険です。予期しないケースで深刻な外向きの拡張につながる可能性があります。Naniteのドキュメントには、「この設定はすべてのフォリッジメッシュで有効にする必要があり、それ以外は無効にする必要があります」と書かれています。実際、これを無差別に有効にすると、アーティファクトが発生する可能性があります。なぜなら、失われた表面面積を生存する境界に変換し、…興味深い結果を生み出す可能性があるからです10。私はそのトレードオフに満足していなかったので、さまざまな代替案を実験し続け、最終的に境界面積を維持することに落ち着きました。つまり、単純化中に失われた境界隣接三角形の面積は、生存する三角形の開いた境界に再分配されます。これは依然として不完全かもしれませんが、はるかに選択的であり、一般的に言えば、より広く有効にすることも可能です。しかし、この再分配が重大な幾何学的アーティファクトを作成するリスクは依然としてあるため、これはオプトインのclodConfig::simplify_dilate_bordersとして公開されており、vk_lod_clustersはこれを両面ジオメトリを持つメッシュにのみ設定します。「フォリッジ」のプロキシとして機能します。

近くで見ると、この方法で生成される低ディテールジオメトリはかなり奇妙に見えます。

[画像]

…しかし、折り畳みシーケンスを通じて追跡されたエラーは、切り替えを実行する理想的な距離を反映しており、遠くからはほとんど問題なく見えます。当然、この方法にはカバレッジがどこで失われ、回復するかを制御する方法はありません。遠くの木の形状は、一部の枝が他の枝よりも多くの葉を失うため、少し変形する可能性があります。これは、三角形ベースのLODでのみ可能な最善のことのように思えますが、Epicがフォリッジ用のボクセルベースのシステムに取り組んでいることに驚きはありません。理想的には、フィルター可能な表現が必要ですが、三角形メッシュはそうではありません。このテクニックは、それほど…極端ではない…フォリッジには機能しますが、カードベースのツリーの場合、境界エッジを拡張すると、テクスチャにベイクされた場合、遠くから見ると奇妙に見える枝につながる可能性があります。

現在、これはclusterlod.h内で前述のオプションを使用して「手動」で実装されており、meshoptimizerライブラリ自体の一部ではありません。その理由の一部は、この方法自体へのためらいです。それは注意深く局所化されておらず、私の境界面積調整はそれをはるかに安全にしますが、それでも私が望むほど選択的または正確ではなく、特にジオメトリが三角形ベースのフォリッジであることを知っていない限り、まったく厳密ではありません。一部はAPIです。meshoptimizerでは、これを追加する自然な場所は、meshopt_simplifyWithUpdate APIのフラグですが、これはすでに他の属性とともに頂点位置を更新して最適な外観を実現しています。しかし、clusterlod.hはsimplifyWithUpdateを使用しておらず、コードは切り替えるために改訂と再編成が必要になります。したがって、現時点ではこれはclusterlod.hに固有であり、これを有効にする際には何をしているのかを知っている必要があります。しかし、十分な関心があれば、コアライブラリに何らかの形で取り込まれる可能性があります。

メシュレット圧縮

フォリッジの修正により、これで前回からの改善はほぼ完了です…ただし、私は抵抗できず、もう1つ試してみました。

前述の処理の後、Zorahシーンは多数のクラスタとしてディスクに保存されます。各クラスタには、独自の頂点データ(位置と属性)、三角形とマテリアルインデックス、およびさまざまなその他のストリーミングおよびカリング関連情報があります。各クラスタは個別にシリアライズされます。そのため、頂点コーデックは実際には適していません11。そして、vk_lod_clustersは、量子化された頂点データを格納するために可変ビットデルタエンコーディングスキームを実装していますが、三角形インデックスデータは――あるいは、そうでした――圧縮されていませんでした。

結果のファイルは、約32.6億の三角形(元の三角形数の約2倍――これは、後続のDAGレベルが三角形数を半分にし、1 + 1/2 + 1/4 + ... = 2になることを考えると予想通りです)をエンコードし、約54.9 GBを占めます。そのうち、頂点データは約41.9 GB(約77.6 GBから圧縮)、三角形インデックスは約9.8 GB、残りはマテリアルインデックス(約1.15 GB)およびその他のクラスタごとおよびグループごとのデータです。三角形インデックスは、各クラスタの小さなインデックスバッファ(最大128三角形)を表し、そのクラスタ固有の頂点を参照し、三角形あたり3バイトで格納されます。これは、クラスタリングレイトレーシングを扱うために必要な形式であり、ドライバーは特定の入力レイアウトを期待しています。

今年の初めに、meshoptimizerはメシュレットコーデックを獲得しました。頂点およびインデックスバッファコーデックと同様に、メシュレットトポロジーを圧縮および解凍します。メシュレットインデックスデータを小さなインデックスバッファと見なすこともできますが、既存のインデックスコーデックは適していませんでした。それは長いシーケンスの大きなインデックスのために構築されており、メシュレットの三角形は数が少なかったものの、すでにかなりコンパクトでした。インデックスコーデックも単に十分に高速ではありませんでした。それは9年以上前に、非常に異なるユースケースのために設計され、私は効率的なデコードフォーマットの設計について今ほど知らなかったのです。

さらに、一部のレンダラーではメシュレットインデックスバッファは自己完結型ですが(各クラスタは独自の頂点データのコピーを取得するため)、他のレンダラーではグローバルな頂点インデックスを取得する必要があるため、各メシュレットは三角形インデックスのリストと頂点参照の配列の両方を必要とします。これらも圧縮する必要があります。

そこで、昨年後半に非常に効率的でコンパクトなメシュレットトポロジ圧縮フォーマットの構築に着手し、4月にmeshoptimizer 1.1でリリースされました。私はその結果を非常に誇りに思っています。デコーダーは信じられないほど高速で、CPUコアあたり最大10 GB/sのデコードスループットに達します(特定の構成とデータ型によります)。また、汎用的であり、頂点参照の有無にかかわらずメシュレットをサポートし、任意のメシュレット構成を処理できます。デコーダーは、合理的な圧縮率を維持しながらこの速度でデコードを可能にする、異常で心を揺さぶるトリックを使用しています。そして、いつものように、結果は好きな汎用コーデックで後圧縮できます。ここではコーデックを十分に説明するスペースがありませんが、Zorahはディスク上に9.8 GBのインデックスを持っており、クラスタストリーミングはより多くのデータを読み取る必要がありました。これは完璧に適合するように見えました。

そして、それは完璧に適合しました。統合は非常に簡単で、三角形インデックスを約2.6 GB、つまり三角形あたり約6.5ビットに圧縮しました12。最終的なディスク上の表現を47.7 GBに削減しました。マテリアルインデックスストレージへの無関係な調整により、最終サイズは47.0 GBになりました。デコーダーは非常に高速であるため、ストリーミング中にクラスタの残りの部分とともにインデックスデータを解凍する必要があることは、プロファイラーではほとんど目立ちません。デコーダーは書き込み結合メモリを直接ターゲットにできるため、ストリーミング解凍中に1つの追加関数を呼び出すだけです。

[画像]

注目すべきは、結果のフォーマットはベンダーに依存せず、クラスタ構成またはジオメトリストレージに特定の制限がないことです。vk_lod_clustersは128三角形クラスタと最大128頂点を扱いますが、これはうまく機能し、他の構成も同様にうまく機能するでしょう。CPUでのデコードが非常に高速であるため、既存のストリーミングパイプラインに簡単に統合できます。その統合方法については多くのオプションがあります(vk_lod_clustersの統合は、私が統合を支援した別のレンダラーとはかなり異なります)。GPUでデコードすることもできますが、メッシュシェーダーから直接はできません。これはいずれにしてもレイトレーシングには適用されません13。

クラスタ固有の頂点データを格納するという決定もトレードオフです。vk_lod_clustersではうまく機能しますが、同じDAGレベルのクラスタ間の境界が頂点データを共有し、異なるレベルでも多くの場合頂点データを共有するため、かなりの頂点重複が発生する可能性があります。これは、各クラスタをストリーミング中に個別にデコードできる独立したユニットにするため非常に便利ですが、他の編成スキームも可能です。たとえば、各ページが多くのクラスタと頂点データを格納し、ページ内の頂点への頂点参照を持つページベースストレージなどです。このフォーマットを使用すると、ランタイムにいくつかの影響がありますが、特に頂点間接参照をサポートしないレイトレーシングAPIではそうです。しかし、ラスタライゼーションには適しており、理論的にはレイトレーシングビルドは必要に応じて各クラスタの頂点位置データをコピーできます。これはこれが最善の、あるいは厳密にはより良い解決策であるという理由ではなく、その場合、各クラスタの三角形インデックスと頂点参照を圧縮するためにメシュレットコーデックを使用し、おそらくページ内の頂点を頂点エンコーダーで圧縮することを指摘するためです。当然、ストリーミングまたはクラスタリングLODが懸念されない場合、メシュレットコーデックも同様にうまく機能します。niagaraレンダラーは、興味があればそれを行います。

結論

クラスタリングレベルオブディテールは、継続的な恩恵をもたらします!前回の投稿の終わりには、clusterlod.hはやや中途半端な状態でした。いくつかの機能はありましたが、追加するとおそらく良いであろう機能はいくつか欠けており、より複雑なシナリオではおそらく機能しましたが、誰が知っているでしょうか。昨年の作業、特にこのリリースにより、Zorahレベル全体をロードし(約4分弱の処理時間の後14)、私の貧弱な5070で飛び回れることに非常に満足しています。

上記で説明したすべての変更は、1.3リリース以降、すでにmeshoptimizerに含まれています。そして、vk_lod_clustersサンプルを必ずチェックし、コードを読み、シーンをプレイしてください。NVIDIAエンジニアリングチームのおかげで、ここでカバーしていない興味深いランタイムコードがたくさんあります。

特に良いのは、ここで書いたこと、そして最終的な結果に向けて機能しているが書いていないことのほとんどが、実際にはこのシステムに固有のものではないことです。さまざまな圧縮スキームは独立して開発されており、メシュレットコーデックに取り組んでいるときにクラスタリングLODを念頭に置いていましたが、その主なユースケースはクラスタ階層を必要としません。単純化の変更はすべて、クラスタ階層があってもなくても非常に役立ちます。そして、フォリッジの「ハック」でさえ、同様に良い結果で、離散LODパイプラインに適用できます。meshoptimizerは、堅牢で汎用的なアルゴリズムのコレクションとして作成され、開発が続けられています。単一目的のアルゴリズムは時に良いですが、それらを組み合わせてより大きく、カスタムシステムを構築できる限り、全体的な設計はそれだけ有用です。そして、ここで役立ったコンポーネントの多様性は私を幸せにします。

すべてのエンジンがクラスタリングレベルオブディテールを採用すべきでしょうか?まだ確信が持てません。階層的な連続LODには場所がありますが、これが不可欠な、あるいは最終的なステップであるとは限りません。三角形は多くの点で最適化されておらず、数十億の三角形を管理する追加の複雑さは無視できません。Blenderで1000万三角形のモデルをロードするのは楽しくありません。これらのシステムのランタイム効率は、構築できた可能性のある代替手段よりも劣ることが多く、ディスク上の影響は無視できません。そして、最近のゲームをプレイしたことがあるなら、カットシーンでジオメトリがポップインするのを時折見かけたかもしれません。しかし、これは興味深いテクノロジーであり、現実の問題を解決し、時々作業するのが楽しいものです。これが、ジオメトリレンダリングシステムを構築する多くの方法の1つであり続け、独自のトレードオフを持ち、幾何学的詳細をモデル化する他の興味深い方法を引き続き見つけられることを願っています。

Christoph Kubisch氏には、議論、フィードバック、vk_lod_clusters統合について、NVIDIAには研究、コード、アセットの公開について、Valveにはmeshoptimizer開発のスポンサーシップについて感謝します。

付録:ロスあり圧縮

これは元のZorahシーンの一部ではありませんが、この説明をより完全にするためにこれを示したいと思います。上記で議論されたglTFファイルでは、頂点属性(位置、法線、接線、テクスチャ座標)は完全な32ビット浮動小数点精度でエンコードされています。通常、このようにエンコードされたデータには多くのエントロピーが含まれており、ロスレス圧縮が目標である場合、事実上除去することはできません。特に単位長ベクトルを格納する場合に悪化します。なぜなら、ほとんどのビットは単に無関係でありながらスペースを取り、予測も難しいからです。

実際、ここでロスレス圧縮を見ると、法線が非常に悪く圧縮されていることがわかります。接線はより良く圧縮されますが、完全に予測可能なコンポーネントが1つあります(.wは+1または-1であり、まれにしか変化しません)。接線の生のサイズは法線よりもはるかに小さいことに注意してください。これは、このシーンの多くのメッシュに接線ストリームが単純に欠けているためです。

属性元データロスレス v1
位置14.3 GB8.9 GB (62.1%)
法線14.3 GB11.7 GB (81.9%)
接線6.4 GB4.1 GB (64.1%)
UV9.4 GB4.7 GB (50.0%)

これを修正するには、量子化されたデータを格納する必要があります。これは法線と接線では簡単です。さらに、頂点フィルターを適用して、個々のコンポーネントをロスありで格納し、デコード時に元の値を復元できるようにします。頂点フィルターは、レイヤード圧縮スキームの別のレイヤーです。完全にスタックされたデコードパイプラインは次のようになります。

  • 汎用デコードは、高度に圧縮されたバイトからエンコードされたバイトへ
  • meshopt_decodeVertexBufferは、エンコードされたバイトからプリフィルターバイトへ
  • meshopt_decodeFilter*は、プリフィルターバイトから量子化バイトへ(インプレース)
  • シェーダー/CPUデ量子化は、量子化バイトからフロートへ

フィルター表現はシェーダーで直接デコードすることもできますが、その時点では、注意深く調整されたカスタム頂点表現を構築する方が良いかもしれません。頂点フィルターが存在する大きな理由は、それらがダウンストリームコンシューマーの変更を必要としない、より簡単な方法でロスあり圧縮を統合することです。カスタムゲームエンジンでは、データプロデューサーとコンシューマーを完全に制御できるため、おそらくそれほど関連性はありませんが、KHR_texture_transformのようなより厳格な形式に従う必要があるglTFライクなシナリオでは非常に効果的です。

これを念頭に置いて、ここで意味のあるロスあり圧縮の1つの可能な構成を見てみましょう。Zorahシーン処理コードは、ランタイム使用のために格納する際に頂点データを圧縮します。その圧縮には量子化が含まれます。二重量子化は余分な精度損失を伴う可能性があるため、必ずしも推奨しませんが、この実験の目的のために、データを次のように格納します。

  • 法線は正規化整数と12ビット/コンポーネントのmeshopt八面体フィルターを使用します(Zorahがランタイムで必要とするレベルを少し上回ります)。
  • 接線は正規化整数と8ビット/コンポーネントのmeshopt八面体フィルターを使用します(実際には十分な精度ですが、Quantizing tangent framesでより興味深いバリエーションを読むことをお勧めします)。
  • 位置とテクスチャ座標は浮動小数点を使用します(一様量子化を回避するため)15。ただし、18ビット/コンポーネントのmeshopt指数フィルター(meshopt_EncodeExpSeparateを使用)(UVにはおそらく過剰ですが、vk_lod_clustersがランタイムストレージに使用しているものです)。

私たちはまだglTF仕様の範囲内で操作していることに注意してください。meshoptフィルターにより、エントロピーを削減する変換された形式でデータをディスク上に表現できます(例:単位ベクトル用の八面体ストレージは、圧縮の観点からコンポーネントを個別に格納するよりもはるかに優れています)。しかし、それらはKHR_mesh_quantizationをサポートするすべてのglTFローダーが理解できる形式にデータをデコードします。

属性元データロスレス v1ロスあり v1
位置14.3 GB8.9 GB (62.1%)5.8 GB (40.6%)
法線14.3 GB11.7 GB (81.9%)3.3 GB (23.4%)
接線6.4 GB4.1 GB (64.1%)0.8 GB (12.6%)
UV9.4 GB4.7 GB (50.0%)3.5 GB (37.8%)

これははるかに優れており、シーン全体のジオメトリを約15.3 GB(頂点データ13.4 GB、インデックスデータ1.9 GB)に格納できます。これはロスレス圧縮表現の半分未満です。必要に応じて、いつものようにZstdでさらに圧縮できます。そして、これは最も寛容なバージョンです。本番用にさらに調整する場合、UVにはもう少し少ないビット(例:14)を使用し、位置とUVの両方にmeshopt_EncodeExpSharedComponentモードを使用するでしょう。これにより、さらに数ギガバイトが節約され、合計で13.2 GBのglTFデータになり、コアあたり毎秒数ギガバイトの速度でデコードされます。

  1. 拡張機能はバッファビューで定義されており、頂点エンコーディング自体はロスレスであるため、v0表現を解凍し、meshopt_encodeVertexBufferを使用してv1に再エンコードし、拡張機能をKHRに更新することで、既存のファイルを再圧縮するのは簡単です。シーンを深く分析する必要はありません。↩
  2. 属性を削除すると、上記の表のv0位置+インデックスは合計約11 GBになりますが、属性なしバージョンはわずか9 GBであると言いました。これはおそらく、属性なしバージョンがより積極的な再インデックス付けを行い、エンコードする頂点が少なくなるためです。上記のデータには、位置は同じですが属性が異なる頂点が含まれているため、一部の位置を2回エンコードする必要がある場合があります。↩
  3. ここではZstandardを例として使用しています。これは、アセットをディスクに格納するためによく使用される最先端のオープンソース圧縮機です。同じロジックが他の圧縮機にも当てはまる場合と当てはまらない場合があります。たとえば、LZ4はmeshoptコーデックよりも高速にデコードされますが、メッシュデータでは通常、大幅に低い圧縮率になります。↩
  4. メッシュ全体に単純化を使用している場合、meshopt_SimplifyPruneを追加オプションとして渡すだけで、小さな接続コンポーネントは単純化されたジオメトリとともに自動的に破棄されます。しかし、これにはメッシュ全体を分析し、同時に多くの三角形を削除する必要があります。一方、clusterlod.hはクラスタグループを個別に単純化します。↩
  5. 昨年はこれらのテストにGeForce RTX 3050を使用していました。基本的なテストには十分でしたが、合理的な解像度でパストレースシーンをレンダリングするには実用的ではありませんでした ;) ↩
  6. ここでのメモリ要件を正確に理解するのは少し難しいです。このサンプルはDLSSを使用しており、モデルと内部バッファに未知の量のメモリを割り当てます。また、ウィンドウサイズを変更すると、前のバッファをインフライト状態に保ちながら多くのバッファを再割り当てする必要があり、高いメモリウォーターマークに追加されます。↩
  7. これは1999年に公開されました。私の知る限り、それ以来何も改善されていません。これは単純化でよくある話です。最高のアイデアはすでに25年前のものです。↩
  8. Hyrum's lawが教えてくれるように、あなたが守ると約束する契約がどうであれ、ユーザーは観察された動作に依存し、それに基づいて期待を構築し、その動作が変更されると不満を感じます。Obligatory xkcd↩
  9. 10月初旬現在、これはmeshoptimizer masterで利用可能です。PRを参照してくださいPR。↩
  10. 実験からのスクリーンショットを共有することはできませんが、たとえば、トランクが別のメッシュにある木にこれを適用すると、単純化はトランクの表面積を削減することが多く、拡張ロジックはトランクが枝の穴を残す開いた境界に失われた面積を再分配し、目に見える不必要な幾何学的突出を引き起こす可能性があります。↩
  11. コーデックには固定サイズのオーバーヘッドがあり、短いストリームに小さな頂点を使用すると最適化されていない圧縮になります。ランタイムデコードのオーバーヘッドも、非常に頻繁な呼び出しのために調整されなかったため、償却が悪いです。↩
  12. これの上に汎用圧縮機を使用すると、さらに削減できます。ただし、これは、さまざまなフレーミングオーバーヘッドを償却するために、一度に複数のメシュレットを圧縮する必要があり、これは以下のページベースストレージでも容易になります。↩
  13. 直接メッシュシェーダーデコードとこの分野のベンダー固有のフォーマットは、推奨が難しい多くのトレードオフを伴いますが、それは別の投稿に値します。↩
  14. これは昨年の時間よりも少し長いです。しかし、昨年のvk_lod_clustersのタイミング(3分20秒)には、属性処理や結果データの圧縮は含まれておらず、わずかに異なるシーンバリアントで行われました。追加の処理すべてが積み重なりますが、それでもかなり高速で、16コアのAMD Ryzen 7950X(105W Ecoモードで実行)で、シーン全体を最初から約3分45秒で再処理します。↩
  15. これには、メッシュごとの量子化グリッドの確立と、ノードマトリックスおよびKHR_texture_transformを介したデ量子化変換の追加が必要になります。これは、最終的な配信サイズを最小限に抑えることが目標である場合に価値がありますが、ここでは手間をかける価値がなく、Zorahがランタイムで使用する既存のフォーマットと密接に一致しません。↩