OpenDLSS: NvidiaのDLSS 5ニューラルレンダリングネットワークのVulkan再実装
OpenDLSS: A Vulkan Reimplementation of Nvidia's DLSS 5 Neural Rendering Network (github.com)
要約
このプロジェクトは、NVIDIAのDLSS 5ニューラルレンダリングネットワークをVulkanで再実装したものです。元のネットワークとビット単位で一致しており、71ブロックのスウィン/ViTネットワークをFP8で実行します。これはアップスケーラーではなく、生成的なニューラルレンダリングネットワークであり、入力されたノイズからディテールを生成し、スタイル設定の下でトーン、構造、肌を調整します。WebGPUポートも存在し、ブラウザで実行可能ですが、テンソルコアやFP8は使用しません。
全文翻訳
OpenDLSS-NR
NVIDIAのDLSS 5ニューラルレンダリングネットワークのVulkan再実装で、オリジナルとバイト単位で一致します。
DLSS-NRビルド310.8.0と同じ71ブロックのスウィン/ViTネットワークを使用し、テンソルコア上でFP8で実行されます。中間結果も一致しており、最終画像だけでなく、75ブロック全ての境界がバイト単位で一致します。
ports/browser-webgpu/ には、ブラウザで動作する2番目の独立した実装があり、テンソルコアやFP8は使用しません。
重みはユーザーが提供します。レイアウトは以下で説明されています。
ネットワーク
シフトウィンドウ・トランスフォーマーブロックとボトムのグローバルViTからなるU-netです。6つのプーリングレベルにわたる71ブロック、FP8 (E4M3) アクティベーションとFP16累積、141 MiBの重みを使用します。これはジェネレーティブニューラルレンダリングネットワーク(NVIDIAの用語)であり、エンジンが既に描画したフレームを再レンダリングし、注入されたノイズからディテールを生成し、スタイル設定の下でトーン、構造、肌を調整します。入力と出力は同じ解像度であり、アップスケーラーではありません。
[画像: ニューラルレンダリングオフ(左)とオン(右)の同じフレーム]
WebGPUポート、2048x1152。左がNRオフ、右がNRオン。シーン: Muhammed IsmayilによるCowboy Gramps、CC0ライセンス.
1つのレンダリング済みフレーム(その低ダイナミックレンジプロキシ、3レーンのガウシアンノイズ、前のフレームの出力の再投影、および5つの条件付けスカラー)を入力とし、ピクセルあたり4つのf32チャンネル(RGB残差と1つの時間的ブレンドロジット)を出力します。docs/network.md にグラフ全体が記載されています。NVIDIAは、そのレポートDLSS 5: Generative Neural Rendering(プロジェクトページ)でこのモデルを説明しています。
ビルドと実行
powershell -File scripts\fetch_tools.ps1 [-Npm] # 一度だけ: tools/ (glslang, Vulkan-Headers, volk, CMake, Ninja)
powershell -File scripts\build.ps1 # シェーダー、PTX、build\dlss5vk.exe
powershell -File scripts\fetch_filament.ps1 # 一度だけ、デモ用: third_party\filament (+ パッチ)
powershell -File scripts\build_filament.ps1 # 一度だけ、デモ用: third_party\filament-install
powershell -File scripts\build_demo.ps1 # build\demo\dlss5-demo.exe
build\dlss5vk.exe bench --model <dir> --width 768 --height 768
build\dlss5vk.exe profile --model <dir> --width 768 --height 768 # ディスパッチごとのタイミング
build\dlss5vk.exe parity --model <dir> --fixture <dir> # フィクスチャとのバイト単位の一致性
build\dlss5vk.exe verify --model <dir> --fixture <dir> # ブロック0のカーネルごとのバイセクト
python scripts\ptx\test_fast_divmod.py # PTXディバイダー、全てのn < 2^24 (numpy)に対して
デモはダブルクリックで実行できます。デモシーンドロップダウンにbuild\scenes以下の全てのシーンが表示され、最初のシーンから開始するか、コマンドラインで指定されたglTFをロードします。モデルディレクトリは--model <dir>で指定し、指定がない場合はDLSS5VK_MODEL、それもなければこのREADMEの隣にあるmodels\nrが使用されます。レンダラー、キー、シーン、view.jsonについては、demo/README.mdを参照してください。
パフォーマンス
RTX 4070 SUPER、フレームごとの全ネットワーク、40フレームの最小値。全ての解像度で241ディスパッチ。
| 解像度 | 時間 |
|---|---|
| 768x768 | 2.8 ms |
| 1920x1080 | 7.8 ms |
| 2560x1440 | 12.6 ms |
| 3840x2160 | 29.3 ms |
GPUは持続的な負荷下で2つのクロックステートを交互に使用するため、中央値は数パーセント高くなります。最小値と比較してください。
内容
| 部分 | ファイル | 備考 |
|---|---|---|
| ホスト | src/ (C++20) | Vulkanコンテキスト、モデルロードと重み再配置、カーネルラッパー、ネットワークグラフ、算術演算のCPUリファレンス、dlss5vkツール |
| GLSLカーネル | shaders/ | リファレンスルート: Cooperative-matrix FP8 GEMM、融合32チャンネルブロック、融合QKV + ウィンドウアテンション、エキスパートMLP、グローバルアテンション、要素ごとの演算。単体で正確かつ完全です。 |
| PTXカーネル | scripts/ptx/ | 高速ルート用のPTXを生成するPythonジェネレーター: mma.sync E4M3 (f16累積付き)、cp.asyncリング、デバイスカウンタを介したバリアフリーチェイニング、Split-K GEMM、ストリーミンググローバルアテンション。ビルドによってbuild/ptxに生成されます。 |
| デモ | demo/, third_party/filament.patch | Filament (Apache-2.0) フレーム内のネットワーク: オブジェクトごとのモーションベクトルとVulkanインターロップフックのためにパッチされたFilament、gltfio経由のglTFシーン、ImGuiコントロール。 |
| WebGPUポート | ports/browser-webgpu/ | ブラウザ内の同じネットワーク、同じキャプチャとのバイト単位の一致性。テンソルコア、FP8、ブロック間の融合、チェイニングなし: 正確性はハードウェアではなく仕様にあります。ここでは2.7msに対し、512x512で72ms。 |
実装されていないもの: DLSS-SR(これは別のネットワークです)。時間的パスは実装されていますが、デモ内で行われます。ネットワークの履歴入力レーンとピクセルごとのブレンドロジットが、再投影されたフィードバックループを駆動します(docs/frame.md)。dlss5vkツールは履歴なしでシングルフレームを実行します。これはリファレンスキャプチャが作成された方法です。
要件
- Windows、NVIDIA Ada (またはそれ以降) GPU、および
VK_KHR_cooperative_matrix、VK_NV_cooperative_matrix2、VK_EXT_shader_float8、VK_NV_cuda_kernel_launchを公開するドライバー。 - C++ x64ツールセット(どのエディションでも、またはBuild Tools)を備えたVisual Studio 2022以降(vswhere経由で検索するか、
VCVARS64をvcvars64.batに設定)、git、PTXジェネレーター用のPython 3、およびシーンコンバーター用のNode.js + npmとPillow。 tools/下のポータブルツールチェーン(git管理外):scripts\fetch_tools.ps1はglslang 16.6.0、Vulkan-Headers v1.4.363、volk(ピン留めタグ)、CMake 3.31、Ninja 1.13をダウンロードします。Vulkan SDKのインストールは不要です。-Npmはシーンコンバーターのモジュールもtools\gltfにインストールします。- デモ用: Filament v1.77.0。
scripts\fetch_filament.ps1でクローンおよびパッチ適用され、scripts\build_filament.ps1で一度ビルドされます(両方ともgit管理外。約15分とビルドツリー6GB。%LOCALAPPDATA%\dlss5-vulkanまたはDLSS5_FILAMENT_BUILD_DIRに配置されます。DLSS5_BUILD_JOBSは並列コンパイルを制限します(デフォルト8)。MSVCはFilamentでジョブあたり最大1GBを消費するため)。
モデルディレクトリ
nr::Modelはmanifest.jsonを読み込みます。これはstages配列(各エントリ: id、ディレクトリからの相対パスfile、packedByteLength、sha256)とtensors配列(各エントリ: name、block、layer、parameter、stage、stageOffset、byteLength)で構成されます。ステージファイルにはE4M3重みがパックされたバイトとして格納されており、ホストがカーネルが消費する行列形式に再配置します(src/nr_model.cpp)。このリポジトリでは、そのようなディレクトリを生成するものは何もありません。
グラフは310.8.0の71ブロックネットワークのみであり、それ以外はありません。ブロック数が異なるモデルはロード時に拒否されます。
フィクスチャ
parityは、このリポジトリに含まれていないオリジナルの記録済みキャプチャと比較します。フィクスチャはmanifest.jsonを持つディレクトリです。
| キー | |
|---|---|
sourceDimensions, fullDimensions | 有効なサイズとパディングされたフィールド |
proxy または inputFeatures | 入力: RGBA f32画像(conditioning、seed、autoMask付き)、またはf32特徴量そのもの |
checks | フィクスチャがゲートするもの、"boundaries"、"head"、"output"のいずれか。必須で空ではありません |
blocks, transitions | "boundaries": E4M3参照(block / id、width、height、channels、file) |
omittedBoundaries | "boundaries": フィクスチャが参照を持たない比較可能な境界の{name: reason} |
referenceHead | "head": f32 RGBAヘッド |
nativeOutput | "output": 構成された画像、dtype "f32"(RGBAハーフ、proxyが必要)または"u8"(8ビットキャプチャ) |
GPUが実行する前に全てが検証され、いずれかの検証に失敗したフィクスチャは拒否されます。宣言されたチェックに対応する参照がない、参照が欠落している、短い、またはグラフ内の何も指していない、宣言されたチェックで使用されていない参照、または参照も理由もない比較可能な境界(ブロック0-69、5つのエンコーダー遷移)。判定はバイト単位で一致(合格)、ゼロの符号のみ一致(失敗)、コード値1以内(8ビットキャプチャのみ、別途報告)、または不一致です。詳細はdocs/numerics.mdを参照してください。ヘッドと出力は本番スケジュールで比較され、--repeat回(デフォルト3回)再送信されます。これもバリア下で同じグラフと一致する必要があります。境界はインストルメント化された実行から取得され、そのヘッドは本番のものと一致する必要があります。verifyはさらにinputFeaturesとblock-0参照が必要です。
チューニングスイッチ
全てデフォルトで高速かつ正確なルートを使用します。各スイッチは出力をバイト単位で同一に保ち、各スイッチ下でのparityチェックはゲートの一部です。カーネルをGLSLに戻すスイッチは、PTXカーネルのみが参加するため、カウンターチェイニングもオフになります。
DLSS5VK_UNFUSED=1はGLSLリファレンスルートを実行し、最大2560x1440まで対応します。全ての途中結果を具体化します。DLSS5VK_PTX_DIRはPTXディレクトリで、デフォルトはbuild/ptxです。DLSS5VK_CHAIN=0はカウンターチェイニングの代わりに、各起動間にバリアを配置します。DLSS5VK_PTX_GEMM、GEMMT、GEMMV、BLOCK32、FFN、QKV、ATTNを0に設定すると、1つのカーネルファミリーがGLSL表記に戻ります。DLSS5VK_ATTN_STREAMはストリーミンググローバルアテンションをオフ(0)またはオン(1)に強制します。DLSS5VK_SPLITK=0、DLSS5VK_VIT_CHAIN=0、DLSS5VK_NO_PTX_MLP=1は、Split-K、ViTチェーン、PTX MLPを無効にします。DLSS5VK_NO_FUSE_PRE、POOL、UPRES、POSTを1に設定すると、1つの融合がドロップされます。DLSS5VK_CHAIN_MASKはビットマスクです: 1はエキスパートステージ、2はc32ブロック、4はSplit GEMM。デフォルトは3です。DLSS5VK_DEFER_MAXは、その射影GEMMが融合される最も広いステージです。デフォルトは128です。DLSS5VK_VALIDATION=1はKhronosバリデーションレイヤー下で実行されます(インストールされていない場合拒否されます: Vulkan SDK、またはVK_LAYER_PATHがVulkan-ValidationLayersのビルドである場合)。それが報告するエラーは実行を失敗させます。DLSS5VK_DEBUG=1はドライバー自身のメッセージ(PTXコンパイラのものを含む)のみを表示します。DLSS5VK_LIST_EXTENSIONS=1は拡張機能をリストします。
ドキュメント
docs/README.mdがインデックスです: network.mdはグラフ、numerics.mdは正確性契約、weights.mdはレイアウト、execution.mdはスケジューリング、frame.mdはデモのフレームです。
NVIDIAとの提携はありません
このプロジェクトはNVIDIAと提携、承認、またはサポートされていません。NVIDIAのソフトウェア、重み、ヘッダー、またはそれらを取得するための指示は一切含まれていません。このリポジトリまたはそのライセンスによって、NVIDIAの知的財産権に基づく権利は付与または暗示されません。使用するモデルデータに適用されるライセンスについては、ユーザーの責任となります。
ライセンス
このリポジトリの全てはMITライセンスです(LICENSE)。サードパーティコンポーネントはNOTICEにリストされています。