HN 日本語サマリー

← 一覧へ戻る
プログラミング

meshoptimizerを最適化し、数分で数十億のトライアングルを処理 (2025年)

Optimizing meshoptimizer to process billions of triangles in minutes (2025) (zeux.io)

55 pointsby corysama0 コメント

要約

このブログ記事では、グラフィックスライブラリmeshoptimizerの最適化について詳述しています。特に、NVIDIAのRTX Mega Geometry技術とNaniteのクラスタリングパイプラインに対応するため、数十億ものトライアングルを含む大規模なシーンを効率的に処理する手法に焦点を当てています。記事では、クラスタリング、圧縮、レンダリングといった技術的な課題と、それらを解決するためのmeshoptimizerのアルゴリズム改善について解説しています。

全文翻訳

数分で数十億トライアングルを処理

2025年9月30日

今年の初めに、NVIDIAは新しいレイトレーシング技術であるRTX Mega Geometryと、印象的なZorahデモをリリースしました。このデモは、約100GBのUnreal Engineシーンとして配布されており、特別なブランチのUnreal EngineであるNvRTXでしか開けません。このデモは、NaniteのクラスタリングLODパイプラインと組み合わせた、ドライバから公開された新しいレイトレーシング機能、特にクラスタリングレイトレーシングの応用を示しており、Unreal Engineが現在レイトレーシング用に生成するNaniteプロキシメッシュを使用せずに、フルレイトレーシングで非常に詳細なシーンをストリーミングおよび表示することを可能にしました。

これは私にはUnreal Engineに特化しすぎていたため、あまり実験できませんでしたが、9月初旬にNVIDIAがvk_lod_clustersオープンソースサンプルのアップデートをリリースしました。このアップデートには、他の機能の中でも、ZorahシーンがglTFファイルとして含まれていました。当然、これは私の好奇心を刺激し、meshoptimizerでの階層的クラスタリングLODのサポートを改善するためにかなりの時間を費やすことになりました。

[画像: Zorahシーンのスクリーンショット]

技術

この後の説明を理解するには、Naniteについてある程度把握していると役立ちます。もしそうでなければ、Brian KarisらのNanite: A Deep Diveを強くお勧めします。ここでは、基本的な流れを要約するだけです。

おそらく多くのトライアングルを持つトライアングルメッシュが与えられた場合、私たちのタスクは、1) このメッシュを任意の詳細レベルで表現できる階層構造を生成すること、2) その構造の一部を適切な詳細レベルでストリーミングすること、3) メッシュの可視部分を適切な詳細レベルでレンダリングすることです。使用する構造は、複数の異なる領域のメッシュで複数の詳細レベルを表現できることが重要です。これにより、大きなモデルにスケールさせながら詳細を適切に分散させることができます。また、レンダリングが効率的であることも重要です。ここで選択される構造は、クラスタのグラフ(DAG)です。各クラスタは少数のトライアングル(例えば最大128個)で、指定された詳細レベルでのメッシュの小さなパッチを表します。構造には様々な詳細レベルのクラスタが含まれており、ランタイムコードは視覚的な誤差を最小限に抑える責任を負います。クラスタは、結果の視覚的な誤差が1ピクセル未満である場合にのみ、より粗いクラスタに置き換えられます(そして、結果の切り替えはTAAなどの時間的フィルターによって隠されます)。

この技術には3つの難しい点があります。高詳細メッシュから構造を生成すること、ストリーミングを効率化するために結果を圧縮すること、そして結果をリアルタイムでレンダリングすることです。最初の部分については少しだけ話します。

構造を構築するために、メッシュはクラスタのセットに分割されます。隣接するクラスタはより大きなグループにマージされます。各グループは、グループの境界エッジを維持しながら、独立して単純化されます。結果のグループはさらにクラスタに分割され、プロセスが再帰的に繰り返されます。これにより、許容可能なクラスタがなくなるまで続きます。アルゴリズムがどのように組み合わされて、結果の表現が様々な詳細レベルのクラスタ間に亀裂を生じさせないようにするか、また、関与する個々のアルゴリズムの多くのトレードオフには多くのニュアンスがあります。これは間違いなく論文の主題であり、実際にこのトピックについては複数の論文が書かれています。

[画像: クラスタリング構造の図]

Naniteが2021年にリリースされて以来、複数の異なるエンジンがこの処理パラダイムを採用し始めています。私が現在取り組んでいるオープンソースのジオメトリ処理ライブラリであるmeshoptimizerは、2024年から、meshoptimizerが提供する複数の異なるアルゴリズムを組み合わせて結果の構造を構築する方法を示す例が含まれています[1]。エンドツーエンドの例があることで、アルゴリズムの改善や上位技術のバリアントの実験がはるかに容易になりました。この例のコードを使ってZorahシーンを処理できるでしょうか?

スケールの感覚

上記のスクリーンショットは確かに美しいですが、このレベルの忠実度を得るには、Nanite以外にもテクスチャ、シェーディング、ライティングの作業が大量に必要です。幸い、私たちはジオメトリ部分のみに関心があるので、私たちの仕事は簡単になるはずですよね?

前述のように、オリジナルのZorahシーンはUnreal Engineのアセットですが、NVIDIAはオープンソースのVulkanサンプルの一部としてZorahのglTFシーンを公開しました。見てみましょうか?

zorah_main_public.gltf.7z

  • 16.4億トライアングル、インスタンシングを含めると189億トライアングル
  • ディスク上で36.1 GB
  • レンダリングキャッシュ 62 GB、ダウンロードまたは生成可能

…おっと。ジオメトリのみを含む36 GBのglTFファイルです。さらに、ほとんどのメッシュには頂点属性データが含まれておらず、位置情報だけです!(サンプルコードはシェーダーコードで位置情報から法線を導出しています)。

BlenderでこのglTFファイルをインポートしようとすると、メモリ不足で約10分かかります[2]。明らかに、Unreal Engineははるかに高速ですが、それでもUEでのこのファイルのインポートはメモリ不足でクラッシュするのに5分弱かかります[3]!明らかに、処理は非常にメモリを消費し、192 GBのRAMでも十分ではないことがわかります。

幸いなことに、このファイルをインポートする必要はありません。NVIDIAのサンプルコードを実行するだけで済みます。しかし、9月初旬の試みでも、16スレッドを使用しようとするとメモリ不足になりました。実験的に、システムで他に何も実行されていない限り、8スレッド(--processingthreadpct 0.25)を使用して処理コードを確実に実行できることを発見しました。この場合、プロセスは約180 GB以上のRAMを消費しました。7スレッドを使用すると、その間にコンピューターを使用することができました…約30分かかりました。

このシーンの大きさを十分に理解していただけたところで、これをもう少し実用的にするための最適化のシリーズについて話しましょう。

ベースライン

問題の階層構造を構築するには、メッシュをクラスタに分割するためのクラスタリング、クラスタをグループ化するためのパーティショニング、クラスタグループをより少ないトライアングルに削減するための単純化が必要です。幸いなことに、meshoptimizerはこれら3つすべてのアルゴリズムを提供しています。

バージョン0.25現在、meshoptimizerには2つの主要なクラスタリングアルゴリズムがあります。1つはラスタライゼーションとメッシュシェーダー用に構築されており、ジオメトリをメッシュレットにきつくパッキングすることで生成されるメッシュレットの数を最小限に抑えようとします。もう1つはレイトレーシングと新しいクラスタリングレイトレーシング拡張用に構築されています。前者は過去8年間、段階的な改善と修正を経て進化してきました。後者は比較的新しく、NVIDIAがRTX Mega Geometryの作業を公開した後に特別に開発されました[4]。2つのアルゴリズムが存在する必要がある理由は、レイトレーシングに使用されるクラスタリングは、クラスタ境界が正確にどこにあるかに非常に敏感であるということです。レイトレーシングに最適なクラスタリングにより、個々のクラスタを取得し、それぞれにマイクロBVHツリーを構築し、結果のクラスタ全体に1つのBVHツリーを構築し、結果の構造を通してレイをトレースすることが可能になります。vk_lod_clustersサンプルはレイトレーシング最適化クラスタのみを必要としますが、私の元のデモはラスタライゼーション最適化クラスタを使用していたため、そこから始めます。

デモコードが最初に書かれたとき、それは基盤となるアルゴリズムに取り組むのに役立つように構造化されており、再利用可能ではありませんでした。これを、従いやすく、シンプルでクリーンなインターフェースを提供するコードに作り直すのに時間がかかりました。コードはメッシュと多くの設定パラメータを入力として受け取り、コールバックを介してクラスタのグループを生成します。再利用可能なコードへのこの変換自体も、パフォーマンス上の利点がありました。冗長なSTLコピーのいくつか(meshoptimizer自体とは異なり、このコードは便宜上STLを使用しています)を排除したことに加えて、呼び出し元が頂点属性を個別に通信するインターフェースに切り替えることも役立ちました。Zorahシーンはほとんどが位置情報のみのメッシュを使用しているため、法線やその他の属性の処理に時間を費やすべきではありません。新しいインターフェースは、パーミッシブモードのような単純化の最近の追加機能も統合していますが、それは今日の記事の範囲外です。最小限の例は、現在非常に小さくシンプルです。

clodConfig config = clodDefaultConfigRT(128);

clodMesh cmesh = {};
cmesh.indices = &indices[0];
cmesh.index_count = indices.size();
cmesh.vertex_count = vertex_count;
cmesh.vertex_positions = positions.data();
cmesh.vertex_positions_stride = sizeof(float) * 3;

clodBuild(config, cmesh,
    [&](clodGroup group, const clodCluster* clusters, size_t cluster_count) -> int {
        ...
    });

残っているのは、glTFシーンをロードし、各個別のメッシュでコードを実行することです。私のテストコードは結果のデータをディスクに保存しません。そのため、これは真の比較テストではありません。データの保存は追加のコストとシリアライゼーションを伴う可能性があります。これについては最後に触れます。当然、データ処理には複数のスレッドを使用し、ファイルをメモリにロードするためにcgltfを使用します。

ファイルは36 GBです。プロセス開始前にファイル全体を同期的にメモリにロードするのを避けるため、また36 GBのフラットなメモリオーバーヘッドを避けるために、メモリマッピングを使用します。メモリマッピングされたバッファをより簡単に扱うために、cgltfに小さなPRを提供しました。

最後に、もう1つ重要なことは、メッシュを再インデックス化することです。ソースglTFファイルには、非常に非効率的なインデックス(例:3000万トライアングルに対して9000万頂点)を持つ非常に大きなメッシュが含まれています。これは、高品質な単純化を得ることをより困難にするだけでなく、処理時間も悪化させます。なぜなら、これからわかるように、メッシュ内の頂点の数は時々重要になるからです。

これらの調整により、小さなプログラムがLinuxで16スレッドを与えられて実行されると、約9分20秒でファイルの処理を完了し、約54.6 GBのRAMを使用します。これはラスタライゼーション最適化設定を使用しています。新しいレイトレーシング最適化クラスタライザーに切り替えると、約7分10秒と57.6 GBのRAMになります。

一方では、これはそれほど悪くありません!他方では、7〜9分はまだかなり長い時間です。コーヒーを一杯飲むのにそれほど時間はかかりません。これ以上改善できるか見てみましょう。

スパース性の問題

優れたSuperluminalプロファイラを使用して、何に時間がかかっているのかを理解し、それをどのように改善できるかを試みることができます。まず、ラスタライゼーションとレイトレーシングの両方のビルドを実行し、明白なホットスポットを見つけられるか確認しましょう。

ラスタライゼーション: [画像: ラスタライゼーションプロファイラの結果]

レイトレーシング: [画像: レイトレーシングプロファイラの結果]

うーん、memsetにこれほど時間がかかるのはひどいですね!(他の問題については後で触れます)。

ここで起こっているのは、両方のクラスタライザーが、頂点インデックスでインデックス付けされた配列を使用して、頂点が現在のメッシュレットに割り当てられているかどうかを追跡していることです。これにより、メッシュレットにトライアングルを追加すると頂点数が増えるかどうかを確認するために、64〜128個の頂点を調べる手間が省けます。残念ながら、このコード:

memset(used, -1, vertex_count * sizeof(short));

…は、頂点数が非常に小さい間は高速ですが、3000万トライアングルメッシュの部分集合を繰り返しクラスタリングする場合にはそうではありません。奇妙なことに、同様の問題ですが、はるかに軽微な問題が、単純化ツールにも存在しました。2024年にmeshoptimizerをクラスタリングLODユースケースに対してより使いやすくするための作業の一環として、入力インデックスバッファがメッシュの小さなサブセットであると仮定し、O(vertex_count)の作業を何としても避けるようにするmeshopt_SimplifySparseフラグを追加しました…ただし、それにも小さな残存問題があり、同様のフィルタリングのためにビット配列を初期化していました:

memset(filter, 0, (vertex_count + 7) / 8);

もちろん、頂点あたり1ビットは16ビットよりも初期化がはるかに安価ですが、1億トライアングルに近づくメッシュを扱う場合には、これも積み重なります。以前、このコードでテストした最大の単一メッシュは600万トライアングル、300万頂点でした。これは、このシーンの個々のメッシュの1桁小さいサイズです。

このコードを頂点数から独立させる方法はいくつかあります。例えば、動的にフルハッシュマップに切り替えるなどですが、追加のコストと複雑さが伴います。そのため、ここでは、インデックスバッファによって使用される配列エントリのみを初期化することで、すべての問題を修正した場合に何が起こるかを見てみましょう。スパースアクセス(index_count < vertex_count)が検出された場合です。これらの修正を適用してコードを再実行すると[5]、ラスタライゼーションバージョンで3分31秒、レイトレーシングバージョンで3分57秒になります。進歩です!

ここで得られるゲインの程度が、プロファイラが報告している情報と一致しないことに気づくでしょう。これにはいくつかの要因があります。例えば、プロファイラはこの場合かなりのオーバーヘッドがあり、結果を歪める可能性があります。しかし、より重要なのは、プロファイラが報告している時間の分布は、すべてのスレッド全体で発生するすべての作業に対するものですが、全体の処理の壁時計時間は最も遅いスレッドに依存することです。ここで、…

スレッドのバランス調整

時間の掛かる関数の分布を見る代わりに、スレッドをうまく利用できているかに焦点を当てましょう。ターミナルから実行可能ファイルを実行すると、/usr/bin/time -vを使用してコマンドが消費したCPU%を取得できます。私たちの場合、これは1240〜1260%になります。つまり、12スレッド以上の集約コンピューティングを使用しています。

Superluminalを使用して、結果をより詳しく見てみましょう。

[画像: スレッド実行の分布]

…ああ、これは良くないですね。このシーンのメッシュあたりのトライアングル数の分布を見ると、大きな不均衡があることがわかります。少数のメッシュは数千万トライアングルですが、ほとんどのメッシュはそれほど多くありません。運が悪ければ、大きなメッシュがキューに入るのが遅れると、プロセスの後半で処理を開始する可能性があります。ここで、「オーバーハング」に、最初のDAGレベルのクラスタを構築するだけで約48秒かかる大きなメッシュがあることがわかります。これらのメッシュを最初に処理する必要があります。

[画像: メッシュごとのトライアングル数の分布]

このようなスケジューリング問題に対する完全に一般的な解決策は非常に複雑で、うまく機能するかどうかはわかりませんが、幸いなことに、一般的な解決策は必要ありません。1つのメッシュを処理するのにかかる時間はトライアングル数の関数なので、メッシュをトライアングル数で降順にソートするだけで済みます。これにより、最もコストのかかるメッシュを最初に処理することが保証されます。

ここでメモリ制限についても言及するのは良い機会です。実験的に、16スレッドでこのシーンを処理するには約60 GBかかることがわかりました。処理がそれほど速い理由の一部は、メモリ消費量が少ないため、より多くのスレッドにスケールできることです。しかし、実行する必要があるシステムに40 GBのRAMしかない場合はどうでしょうか?理想的には、一度に処理できるトライアングルの数を固定数に制限するリミッターを使用することになります。次のメッシュを実行するとき、合計がゼロ以下であるかを確認し、安全のためにそれより下がるまで待つことができます。これはstd::atomic(CPUパワーを無駄にしないようにyields/sleepsを使用します。ただし、この場合は単なる応急処置であり、利用可能なCPUパワーをすべて消費することを好みます)またはカウントセマフォを使用して実装できます。もちろん、このシーンの目的のために、スロットルしないようにメモリ制限を60 GB以上に設定します。192 GBのRAMは十分広いですからね。

いずれにせよ、メッシュをソートしてコードを再実行しましょう。新しいスレッドスケジュールは次のとおりです。

[画像: ソート後のスレッド実行の分布]

…素晴らしい。スケジュールにはまだいくつかの小さなギャップがありますが、スレッド実行が16スレッド全体で完全にバランスが取れていることがわかります。/usr/bin/timeは1574%のCPU使用率を報告しています。大きなメッシュを前倒しで処理することで、後続の小さなメッシュが比較的効率的にギャップを埋めることができます。もちろん、入力シーンに1つまたは2つのメッシュしかない場合、並列化戦略を変更する必要があります。しかし、このシーンでは、軸がメッシュ数である「外部」並列化が最適です。これは、異なるスレッド間でデータを共有する必要がないためです。

実行時間は大幅に改善されました。ラスタライゼーションで2分56秒、レイトレーシングで3分07秒です。奇妙なことに、ピークメモリ消費量は実際にはわずかに低くなっています(レイトレーシングバージョンで約54 GBから約45 GBに)。これは直感的ではありません。通常、ピークメモリ消費量は、各スレッドが最大のメッシュを処理しているときに達すると予想されますが、おそらく現在見落としている説明があるでしょう。これは間違いなくシステムアロケータの特殊性に依存します。

私たちは長い道のりを歩んできました。約3分間の処理時間は、結果のデータをシリアライズしていなくても、非常に立派な数字です。これで終わりです。また次回お会いしましょう!

より高速なクラスタリング

…もちろん、まだ終わりではありません。偶然ですが、NVIDIAが新しいアセットファイルをリリースする直前に、両方のクラスタライザーのパフォーマンス改善に取り組んでいました。これまでのすべての結果はmeshoptimizer v0.25(スパース性修正済み)を使用して提示されましたが、実際には最新のマスターブランチでテストする必要があります。これには、クラスタライザーパフォーマンスの2つの重要な改善が含まれています。

ラスタライゼーション最適化クラスタライザーでは、場合によっては一部の内部ツリー検索関数が同じデータを検索し続けていました。この投稿が長くなっているので、詳細には立ち入りませんが、これらのレベルにはそれほど影響しません(約3%の節約)。これからは、レイトレーシング最適化構造に焦点を当てます。現在のコード(約3分07秒)をプロファイリングすると、新しい空間クラスタライザー(meshopt_buildMeshletsSpatial)が実行時間の3分の2を占めていることがわかります。幸いなことに、これは私たちの問題の大部分の原因として単一の関数を指摘できるケースです。

[画像: meshopt_buildMeshletsSpatialのプロファイラ結果]

概念的には、空間クラスタライザーのコアはスイープBVHビルダーに非常に近いです。ツリーの各レベルについて、最適な分割平面を決定する必要があります。そのためには、各軸に沿って各トライアングルの中心を通る分割平面を配置するコストを分析する必要があります。このコストは、6回(3軸×2方向、左と右)のバウンディングボックスの累積によって計算できます。結果のコストは、結果のAABBの表面積から計算できます。アルゴリズム自体にはさらに多くのことがありますが、幸いなことに、複雑な外部ロジックは実行時間の大部分を占めていません。

void bvhComputeArea(float* areas, const BVHBox* boxes, const int* order, size_t count)
{
	BVHBox accuml = { {FLT_MAX, FLT_MAX, FLT_MAX}, {-FLT_MAX, -FLT_MAX, -FLT_MAX} };
	BVHBox accumr = accuml;

	for (size_t i = 0; i < count; ++i)
	{
		areas[i] = boxMerge(accuml, boxes[order[i]]);
		areas[i + count] = boxMerge(accumr, boxes[order[count - 1 - i]]);
	}
}

このケースは、bvhComputeAreaのパフォーマンス特性が処理の異なるレベルで変化するため、分析が複雑で興味深いものです。大きなメッシュをクラスタリングする場合、bvhSplit(再帰関数)の最初の呼び出しは、AABBトラバーサルの局所性が理想的ではない状態でメッシュ全体を処理することになります。そのため、この関数はメモリバウンドになると予想されます。再帰呼び出しが数千トライアングルまで下がると、アクティブなボックスがL2やL1に容易に収まるため、アクセスは非常にローカルになります。

これが重要な理由は、当初、各ボックスが参照するメモリ量を減らすことでこの状況を改善できると考えていたからです。しかし、これは上位レベルでは(おそらくアクセス局所性がまだ悪かったため)劇的に改善せず、下位レベルでは、AABBを数フロート以外の方法で格納するとデコードにサイクルがかかるため、後退しました。異なるボックス表現をいくつか試した後、私は諦め、機能しないはずだったことを試しました。それは、関連するコード(上記のboxMerge関数)をSSE2に変換することでした。ボックスには、それぞれSSE2レジスタにロードできる2つのコーナーがあります。MINPS/MAXPS命令を使用してMIN/MAX累積を行うことができます。そして、専用のDPPS命令(SSE4.1が必要)がないため、かなりのシャッフル操作でボックス面積を計算できます。ARMサーバーでコンテンツ処理を行っている場合や、Macでクラスタリングレイトレーシングアクセラレーションコードを実行している場合は、NEONでも同様のことが行えます。

[結果のSIMDコードへのリンク]

結果のSIMDコードは非常に直接的で、アーキテクチャごとにわずか20行のコードです。これは最高のSIMDコードではありません。ハードウェアはより広いベクトルを使用できますが、ボックスの順序も頻繁に変更する必要があるため、データをSIMD最適レイアウトに並べ替えるのは困難です。それでも、コードを再実行すると、3分07秒から2分51秒になり、全体で約9%のスピードアップになります[6]!これにより、レイトレーシング最適化コードがラスタライゼーション最適化コードと同等になりますが、まだ終わりではありません。

前述のように、再帰の初期レベルはメモリサブシステムに制限されている可能性があります。なぜなら、メモリ内のさまざまな場所から多くのバウンディングボックスをキャッシュにロードすることになるからです。バウンディングボックスのメモリ内順序(入力インデックスバッファのトライアングル順序と一致します)がより一貫性があれば、さらなるスピードアップが見られる可能性があります。

実際、私たちができることは、Morton順序を使用してトライアングルを空間的にソートすることです。幸いなことに、meshoptimizerはこの機能を提供しています。meshopt_spatialSortTrianglesです。この関数を呼び出すとコストがかかりますが、クラスタリング時間のゲインがソートの追加作業を上回る限り、これは良いアイデアであるはずです。シーンでこれを試した後、2分44秒になります。1行追加でさらに約5%のスピードアップです。良いですね!

アロケーションのキャッシュ

最後のボスに取り組む時が来ました。前述のすべての関数は、処理のためにメモリを割り当てる必要があります。16スレッドがかなりの量のメモリを割り当てることを考えると、理想的なアロケータは、ある量のメモリをスレッドローカルバッファに保持する方法を見つけて、あるスレッドからのアロケーションが別スレッドからのアロケーションと競合するのを避けるでしょう。

残念ながら、実行しているプラットフォームによっては、これを期待するのは楽観的すぎるかもしれません。これまでのすべての実験はLinux(追加設定なしの標準アロケータを使用)で実行されました。一般的に、競合がほとんどなく非常に合理的なパフォーマンスが得られていますが、Linuxでさえスレッド利用率チャートに時折「赤い」スポットがあり、スレッドがアロケーションを待っていることを示しています。確認すると、実際には別スレッドがアロケーションを処理するのを待っています。

[画像: Linuxでのスレッド利用率(キャッシュなし)]

Superluminalはタイミングをずらすため、プロファイラと結果の間の干渉を心配しているので、特定の結論を出すのは少しためらわれます。しかし、代わりに標準アロケータの品質が低いプラットフォームであるWindowsに切り替えて、悲惨なスレッド利用率の状況を観察することができます。

[画像: Windowsでのスレッド利用率(キャッシュなし)]

ここで起こっているのは、マルチスレッドアロケーションとデフォルトの大ブロックポリシーの残念な相互作用です。大ブロックはヒープをバイパスし、VirtualAllocを使用して割り当てられます。このように割り当てられたメモリは、初期段階で扱うのが非常にコストがかかります[7]。そのため、繰り返しのアロケーション/デアロケーションはパフォーマンスの問題を引き起こします。複数のスレッドが同じヒープミューテックスを競合するため、結果のスループットは非常に大きく影響されます。

幸いなことに、この問題に対する簡単な解決策があります。スレッドごとのアリーナを使用し、アロケーションがそれに収まる場合はそこにルーティングします。meshoptimizerはアロケーションをグローバルにオーバーライドする簡単な方法を提供し、アロケーション/デアロケーションコールバックがスタックのように呼び出されることを保証します。これにより、スレッドローカルキャッシュを簡単に実装できます。例えば、128 MBのメモリチャンクを事前に割り当て、そこからバンプアロケータを使用して割り当てるか、mallocにフォールバックします。デアロケーションは、ポインタがスレッドローカルアリーナに属するかどうかを確認し、そうでない場合はfreeにフォールバックできます。

Linuxでこれを行うと、わずかなパフォーマンス向上が得られます。コードは現在約2分35秒で実行されます。初期ベースラインから約3.5倍のスピードアップであり、約30分よりも大幅に優れています。Windowsでは、この変更前はコードは4分20秒で実行されていましたが、スレッドキャッシュを使用すると2分38秒になり、Linuxバージョンと同等になります!利用率もはるかに良くなっています。注意点として、例の一部であるSTLコード(将来的に置き換え可能ですが)にはまだグローバルアロケータを使用しているため、利用率が完璧ではありません。

[画像: Windowsでのスレッド利用率(キャッシュあり)]

追加の作業で、デフォルトアロケータの上に簡単に統合できるようにソリューションを一般化することが可能です。将来のmeshoptimizerバージョンに追加する予定ですが、meshoptimizerは今年中に1.0になりますので、それ以降の次のバージョンまで待つ必要があります。それまでの間、コードはMITライセンスで利用可能です。

結果

これで終わりでしょうか?まあ、ほぼそうです。ほとんどの改善点と、一般的な関心事ではないと考えて含めなかったいくつかの改善点は、meshoptimizerリポジトリで単一ヘッダーの「マイクロライブラリ」として配布されているデモコードに組み込まれました。clusterlod.hです。このコードは、変更や適応が容易であるように設計されていますが、そのままプラグインすることも容易です。

前述のパフォーマンス改善のうち、meshopt_spatialSortTrianglesの呼び出しは必要に応じて外部で行うことができ、スレッドキャッシュの作業はまだ提出されていません。これは、クラスタリングLODの有無にかかわらず、コンテンツパイプラインのパフォーマンスを向上させるのに一般的に役立つため、今年の後半にv1.0リリース後にmeshoptimizerに含まれる予定です。

そして、これがほぼ終わりになると考えていましたが、この例のコードは非常に役立つことが証明され、このすべての作業のきっかけとなったサンプルであるvk_lod_clustersがオプションとして統合しました!--nvclusterlod 0を渡すことで選択できます。NVIDIAのリポジトリに含まれるバージョンは、例のコードを変更してオプションの「内部」並列化を実装しています。これは、複数のスレッドを使用して単一メッシュからクラスタDAGを生成できる機能です。これはZorahのような大規模シーンには必要ありません。前述のように、ここでは「外部」並列化がより自然でパフォーマンスの高い軸を提供しますが、単一の大きなメッシュのDAGをより迅速に生成するには不可欠です。

彼らの作業のおかげで、同じZorahアセットの別のスクリーンショットを示すことができます。ただし、今回はmeshoptimizerのclusterlod.hによって生成されたデータを使用してvk_lod_clustersサンプル内で実行されており、NVIDIA GeForce 3050で、レイトレーシングを使用する場合は約2 GBのジオメトリプールで26ms、ラスタライゼーションを使用する場合は16msでレンダリングされます。マザーボードからすべての電力を引き出し、別途電源ケーブルを必要としないGPUとしては悪くないですね!

[画像: Zorahアセットのレンダリング結果]

vk_lod_clustersでは、処理は少し異なって構造化されています。その結果、私がプロファイリングに使用した単純なデモと比較してわずかに異なる量の作業が生成され、データシリアライゼーションも含まれるため、実行は少し遅くなります。すべての最適化を含めて約3分20秒です。その時間内に、上記で説明したすべての処理を実行し、62 GBのキャッシュファイルを生成します。Linuxがこのファイルを書き込み用にfopen()するのに約10秒かかるという、おかしいほど長い時間も含まれます。これは、ファイルシステムキャッシュから既存のファイルの内容を破棄するのに時間がかかるためです。また、7950Xをエコモードで実行しているため、約3分と見積もります。

しかし、改善の機会はまだあります。特に、このようなシーンを効率的にストリーミングして表示するには、レンダリングするクラスタのセットを迅速に決定できる別の階層型アクセラレーション構造が必要です。vk_lod_clustersは既存のmeshopt_関数を使用してこれを管理していますが、そのコードはまだclusterlod.hに含まれていません。また、クラスタのグループを作成するためにclusterlod.hで使用されるデフォルトのクラスタパーティショニングアルゴリズムは、現在、トポロジ的に隣接する(つまり、頂点を共有する)クラスタのみをグループ化することに意欲的です。これにより、グループが十分に積極的にマージされないため、ルートが多すぎるDAGが生成される場合があります。これは将来改善されるべきです(vk_lod_clustersはこのケースを検出すると、別のmeshopt_パーティショニングアルゴリズムにフォールバックします)。(更新:このブログが公開されてから数日後、meshoptimizerのmeshopt_partitionClustersの実装でこれが修正されたため、これ以上の調整は不要になりました!)

しかし、クラスタリングアルゴリズムの基本的なプレイグラウンドとして始まったこのコードが、意味のあるマイルストーンに達したことを見て嬉しく思います。

議論、フィードバック、およびvk_lod_clustersの統合にChristoph Kubisch氏、研究、コード、アセットの公開にNVIDIA、meshoptimizer開発のスポンサーシップにValveに感謝します。

  1. この例のコードと、初期開発の多くは、Bevyの仮想ジオメトリシステムの改善に動機付けられました。Bevyの仮想ジオメトリシステム。↩
  2. ここから、すべてのテスト結果は私のデスクトップシステム(AMD Ryzen 7950X (16C/32T)、192 GB RAM (DDR5-4800)、NVIDIA GeForce 3050 8 GB)で行われます。(…私のメインGPUはAMD Radeon 7900 GREですが、問題のデモはNVIDIA固有の拡張機能に依存しています)。↩
  3. 元のUnreal Engineシーンは、個別にインポートおよびエクスポートされた個々のメッシュアセットから組み立てられた可能性が高いことに注意してください。これにより、より合理的なハードウェア構成で作業できた可能性があります…シーン全体を一度に再処理する必要がないと仮定した場合。↩
  4. NVIDIAはライブラリnv_cluster_builderもリリースしており、これはRT対応のクラスタリングを実行できます。新しいmeshoptimizerアルゴリズムは同様のアイデアを使用していますが、実装はかなり異なります。↩
  5. 特に言及しない限り、ライブラリコードへのすべての改善はすでにmeshoptimizerにコミットされています。したがって、masterブランチを使用している限り、パフォーマンスの改善はすでに得られています。↩
  6. 36 GBのglTFを40 GBのRAMだけで処理することがおそらく最善のアイデアではないという事実にもかかわらず。↩
  7. 十分なパワーを持つMacを持っていないため、ワークロード全体を実行できませんが、興味深いことに、Apple M4では、boxMergeをNEONに変換した同様の変更から大幅なスピードアップ(クラスタリングだけで2倍以上)を測定しました。x64でのゲインは依然として大きいですが、より控えめです。↩
  8. これは、10年前に私が遭遇した問題A queue of page faultsに似ています。それ以来、Windowsカーネルはソフトフォールトの処理が大幅に改善されたようですが、根本的な問題は残っており、さまざまな投機的攻撃に対する緩和策によって一部のコストが増幅されている可能性があります。↩