Linux 7.3、VRAM不足時のパフォーマンスを改善
Linux 7.3 improves performance when running out of vRAM (pixelcluster.dev)
要約
この記事は、LinuxカーネルのVRAM管理に関する最近の改善について解説しています。VRAMが不足すると、GPUはCPU RAMにアクセスする必要が生じ、PCIバスの帯域幅制限によりパフォーマンスが大幅に低下します。しかし、キャッシュヒット率やアクセスパターンによっては、この影響を軽減できる可能性が示唆されています。Linux 7.3にマージされたカーネルパッチは、このような状況下での安定性とパフォーマンスを向上させることを目指しています。
全文翻訳
VRAM管理 Part 2: 物理VRAMの限界を超えて
2026年8月17日
今年の初めに、ゲームのVRAM管理を改善するための取り組みについてブログを書きました。そして今、数ヶ月にわたるメーリングリストでのやり取りを経て、カーネルパッチがついに取り込まれ、Linux 7.3に搭載されることになりました!やったー!
これを祝して、前回の投稿で書いた一文をもう少し深く掘り下げてみましょう。
(ゲームは)より安定したパフォーマンスを発揮するはずです――ゲーム自体が実際に持っているVRAM以上のVRAMを使用しない限りは。
では、こう尋ねる人もいるかもしれません。もし、実際に持っているVRAM以上のVRAMを使用したらどうなるのでしょうか?
これに対する一般的な予想は、そうなった時点でほぼ詰みだ、というものでしょう。ゲームは次々とクラッシュし始め、パフォーマンスはプレイ不可能なレベルまで低下し、良いゲーム体験は不可能になります。
しかし、それは本当に避けられない人生の事実なのでしょうか? VRAM不足がなぜこれほどまでにひどいのか? そして、最も重要なこととして、どうすればその苦痛を最小限に抑えられるのでしょうか?
期待値の設定
理論上、VRAM不足は安定性の問題ではなく、純粋にパフォーマンスの問題であるはずです。VRAMのオーバーコミットに対するサポートは、GPUドライバーが存在する限りずっと前からありました。ドライバーがVRAMをオーバーコミットする場合、一般的にいくらでもVRAMを要求でき、カーネルドライバーがGPU上の物理メモリに収まると判断した量だけ割り当てられます。
VRAM不足時のパフォーマンス低下の大きな理由は非常に単純です。ゲームが物理的に存在する量以上のVRAMを要求すると、ゲームのメモリの一部はCPU RAMに移動/退避させなければならなくなります。GPUにとって、CPU RAMへのアクセスはVRAMへのアクセスよりもはるかに遅いです。一般的なGPUのVRAMはCPU RAMよりも遅いだけでなく、すべてのメモリへのアクセスはPCIバスを経由しなければなりません。PCIバスはレイテンシを追加し、CPUメモリからフェッチする際の帯域幅のボトルネックになることが一般的です。
PCI速度の制限により、VRAMのオーバーコミット時には、いくつかの本当に避けられないパフォーマンス上の制約があります。GPUがPCIe 4.0x16接続で接続されていると仮定すると、帯域幅は32GiB/s弱になります。毎ミリ秒、そのPCIeバスは約32.2MiBのデータを転送できます。最低フレームレート30フレーム/秒(フレームあたり33.3ms)の場合、GPUがアクセスできるデータの絶対最大量は約1,075.5MiB、つまり1GiB強です。言い換えれば、メモリが大量に退避させられ、GPUが1フレームあたり1GiBを超えるデータを退避メモリからフェッチする必要がある場合、30FPSを達成することは不可能です。
すべてのメモリが同じではない
同時に、GPUがCPUメモリを少し読み込むだけで、パフォーマンスが即座に致命的になるわけではありません。実際、GPUドライバーは、VRAMが十分に空いている場合でも、コマンドバッファデータや関連する割り当てをCPU RAMに配置することがあります!GPUがこれらのコマンドを実行するたびにCPUメモリにアクセスする必要がありますが、これらのケースではすべて完全に問題なく動作します。では、これらのアクセスは何が違うのでしょうか?なぜ問題なく、VRAM不足は壊滅的に見えるのでしょうか?1
計算に大きく影響する要因の1つはキャッシングです。キャッシュヒットの場合のアクセスレイテンシは、キャッシュされたメモリがCPUにあるかGPUにあるかに関わらず同じなので、PCIバス経由でのフェッチの初期コストは、キャッシュヒットによって(ある程度)償却されます。CPU RAMとVRAMのフェッチ間のレイテンシの違いは、異なるバッファサイズへのアクセスレイテンシを測定するマイクロベンチマーク(キャッシュヒット率を可能な限り低くするための敵対的なアクセスパターンを使用)を書くことで推定できます。得られる結果は、RDNA3でキャプチャしたようなものになるかもしれません。
[画像: RDNA3 GPUのキャッシュマイクロベンチマーク。]
予想通り、バッファがL2(またはそれ以上のキャッシュレベル)に収まる場合、CPU RAMにバックされているメモリとVRAMにバックされているメモリのアクセスレイテンシはまったく同じです。なぜなら、データはどちらの場合もキャッシュから直接フェッチされるからです。6MB(RDNA3のL2キャッシュサイズ)のサイズでは、CPUメモリのレイテンシは約アクセスあたり2400サイクルまで上昇しますが、デバイスメモリのレイテンシは同じような範囲内に留まります。VRAMアクセスはInfinity Cacheも経由しますが、CPUメモリアクセスは(L2ミス時にPCIeに直接ヒットするため)経由しません。これは、Infinity CacheがVRAMの直上に配置されているため、VRAMにヒットしないアクセスはInfinity Cacheにも到達しないためだと推測します。
明らかに、メモリはどこにもキャッシュされていない状態から始まるため、最初のアクセスには依然としてかなりの高いレイテンシが伴います。また、Infinity Cacheを失うことも確かに痛手です。PCIeフェッチは、Infinity Cacheヒットよりも約7.3倍、VRAMからのフェッチよりも約4.6倍のレイテンシがあるようです。この増加したレイテンシは、PCIeを通過するコストを完全に償却するには非常に高いキャッシュヒット率を必要とします。つまり、CPUメモリを使用することによって、実際にVRAMの代わりにそれを使用することを積極的に決定するほどのわずかなスローダウンしかないユースケースはごくわずかです。VRAMからメモリを退避させる場合、少なくともある程度のパフォーマンス低下は避けられないでしょう。
それでも、スローダウンが避けられないとしても、退避が全体的なパフォーマンスに与える影響が大きいメモリと、影響が小さいメモリが存在します。キャッシュフレンドリーな方法でアクセスされるメモリは、CPU RAMのスローダウンの影響をそれほど受けません。アクセスパターンがキャッシュフレンドリーではなく、かつメモリがあまり頻繁にアクセスされない場合も、GPUがCPU RAMからデータをフェッチする必要がめったにないため、問題ないかもしれません。GPUが割り当てられた総サイズのごく一部しかアクセスせず、残りは決して読み取らないメモリ割り当てがたくさんあるかもしれません。これらの割り当てが退避された場合、数GiBのデータを退避させるかもしれませんが、フレームあたり実際にアクセスされるデータ量という1GiBのハードリミットをはるかに下回ったままになる可能性があります。
これらの変数のすべてが、メモリが退避されているときにパフォーマンスが実際にどうなるかを予測することを驚くほど難しくしています。しかし、要するに:退避されたメモリがどれだけアクセスされるか、そしてそれらのアクセスがどれだけキャッシュされるかに応じて、パフォーマンスを(完全に)台無しにすることなくVRAM不足を実行できるかもしれません!
現実との対峙
理論的な考察を重ねて、パフォーマンスの良いVRAMオーバーコミットができるようになりました。素晴らしい!SteamOSを起動して、ゲームを開始し、設定を最大にしてみましょう-
radv/amdgpu: Not enough memory for command submission.
おっと。
実際には、VRAM不足はかなりの安定性の問題を引き起こすことが判明しました。
このエラーは、通常の「メモリ不足で割り当てられませんでした」というエラーとは少し異なります。メッセージは特にコマンド送信について不平を言っています。RADVは、コマンドを送信しようとしたときにカーネルが-ENOMEMを返した場合にこのメッセージを表示します2が、コマンドを送信するだけで新しいリソースは割り当てられません!すべてのコマンドバッファは事前に割り当てられており、その割り当ては明らかに成功していました。すべてのメモリが正常に割り当てられていたにもかかわらず、GPU送信での使用は突然「メモリ不足」エラーを発生させます。
カーネルの冒険の時間です!カーネルが送信を受け付けるようにするのは、それほど難しくないはずです。結局のところ、カーネルはすでにすべての割り当てを受け入れています3!
カーネルロックの恐怖
amdgpuドライバーがコマンド実行を開始するようにGPUに指示する前に、すべての送信で実行しなければならないことの1つは、GPUコマンドによって参照される可能性のあるすべてのメモリにアクセス可能であることを確認することです。よりモダンなバインドレスグラフィックスAPIでは、割り当てられたすべてのメモリがいずれ参照される可能性があると仮定する必要があります。したがって、amdgpuは、割り当てられたすべてのメモリにアクセス可能であることを確認しようとします。
各メモリ割り当てには、どの種類のメモリ(ここではシステムRAMまたはGPU VRAM)から適切にアクセスできるかについての情報が含まれています。ほとんどの割り当てはCPU RAMまたはVRAMのいずれかからアクセスでき、amdgpuはメモリ割り当てがこれらのメモリタイプのいずれかに存在することに満足します。しかし、一部の割り当てはVRAM内でのみ配置する必要があります。これらのメモリ割り当てが、他のアプリケーションがその間にVRAMを割り当てたためにシステムRAMに退避されていた場合、amdgpuはそれらをVRAMに戻す必要があります。VRAMがまったく空いていないため、割り当てを戻すには何かを退避させる必要があります。何らかの理由で、それが失敗し、カーネルはメモリ不足条件を報告しました。
ランダムに何かを退避させるのが失敗する理由を説明するために、カーネルがGPU割り当ての(CPU側の)ロックをどのように処理するかを調べるために少し寄り道する必要があります。メモリ割り当てを退避させるには、その割り当てに関連付けられたロックを取得する必要があります。しかし、送信中には、他のアプリケーションがGPU作業の準備中に割り当てを移動するのを防ぐために、送信で参照されるすべての割り当てをロックする必要があります。しかし、別のGPU送信が同時に同じことを行っている場合、次のような状況に陥る可能性があります。
[画像: 同時送信が退避する際のデッドロック条件]
ある送信が、別の送信がすでにロックしている割り当てを退避させたいが、その別の送信も進捗のために最初の送信からの割り当てをロックする必要がある場合、これは典型的なABBAデッドロック条件です。
しかし、恐れることはありません。カーネルはデッドロックを検出し、解決する方法を知っています!デッドロック検出の仕組みの詳細はこのカーネルドキュメントページで説明されていますが、非常に大まかに言うと、カーネルはロック操作を「トランザクション」(基本的に取得したロックを追跡するだけ)に関連付けます。2つのトランザクションがデッドロックする場合、一方のトランザクションは「負傷」とマークされ、次にロックを取得しようとすると、-EDEADLCKエラーが返されます。このエラーはトランザクションの中止を要求します。トランザクション中に取得されたすべてのロックは解放され、トランザクションは最初から再開されます。コマンド送信のコンテキストでは、これはドライバーがすべてのメモリ割り当てを再度確認し、それらがアクセス可能であることを確認するプロセスを再開することを意味します。
では、問題は何でしょうか?問題はありません。このアプローチは非常に堅牢で、非常によく機能します。
少なくとも、それがすべての場所で実装されている限りは。
グラフィックスサブシステムでは、負傷-中止-再試行ループの複雑な内部処理は、drm_execと呼ばれる小さなヘルパーライブラリを使用して抽象化されています。どの割り当てがロックされているかを手動で追跡し、-EDEADLCKに遭遇したらロックを解放する必要がある代わりに、単にdrm_exec_lock_objヘルパーを使用します。TTMのロックコード(共有Linux GPUメモリ管理レイヤー)を調べると、drm_execの使用が著しく欠けていることに気づくでしょう。
それどころか、-EDEADLCKが発生すると退避が失敗するというコメントさえあります。そこで、問題を発見しました!コマンド送信中の激しいメモリ圧力のためにこのデッドロック条件が発生すると、カーネルは処理を中止し、再試行する代わりに送信を拒否します。
TTMにdrm_execヘルパーをフックするためのパッチセットは、2024年にさかのぼって送信されていますが、いくつかの理由でまだ取り込まれていません。その中には、まだ解決されていない残りのバグも含まれていました。私の仕事は、パッチセットを私のカーネルバージョンにリベースし、それらの残りのバグを特定することでした。
パッチセットのリベースはそれほど大変な作業ではなく、バグの特定には、ゲームがランダムに重いVRAM競合の3分後にハングアップするという激しい苦痛の1週間しかかかりませんでした。最悪ではありませんでした!
見つけたすべてのバグの修正を加えてパッチセットを再送信しましたが、マージされる前にさらに作業が必要になるでしょう。
これで、VRAM不足がランダムにアプリをクラッシュさせなくなるので、少なくとも設定を最大にしてパフォーマンスを確認できます。最初の結果は、次のような素晴らしいパフォーマンスグラフをもたらしました。
[画像: ひどいパフォーマンスグラフ]
待て、パフォーマンスはどこへ行った?
パフォーマンスがこれほどひどい理由を突き止めるには、システムが実際に何をしていて、それがなぜこれほど遅いのかを理解する必要があります。「カーネルドライバーは何をしているのか?」といった広範な質問には、gpuvisを使うのが好きです。gpuvisはカーネルトレースポイントを使用して、発生したイベントのタイムラインを構築します(「GPUワーク送信開始/停止」など、各送信にかかった時間を推測できます)。
VRAM不足の状態でシステムを実行しているときのトレースをgpuvisで起動すると、タイムラインは次のようになります。
[画像: SDMAがほとんどの時間ビジーであるひどいパフォーマンス]
ほとんどの時間は、送信の処理(gfx_0.0.0アクティビティ)ではなく、その送信の準備のためのメモリ移動(sdma0アクティビティ)に費やされていることが判明しました!
常に多くのバッファ移動が発生する理由は、gpuvisのイベントリストと、特定のバッファオブジェクトのキャプチャされた移動イベントのみを表示するフィルター(ここではランダムに1つ選択しましたが、ほとんどのバッファオブジェクトは同様のパターンです)を使用すると、より明らかになります。
[画像: gpuvisイベントフィルターは、バッファがピンポン、ピンポン、ピンポンと移動していることを示しています]
リストは、競合するプロセス(この場合はgamescopeとゲーム自体)が同じメモリの断片を絶えず交互に退避させ、元に戻していることを明確に示しています。これは非常に悪いことです!そして、私が最初のブログ記事で書いたことを強く思い出させます。
一般的に、2つの競合するアプリケーションは、GPUワークの実行をほぼ交互に行うと予想されます。まず一方のアプリケーションが作業を送信し、次に他方が送信し、そしてまた最初に戻る、といった具合です。このアプローチでは、メモリは各送信後に絶えず移動し続けるでしょう。一方のアプリケーションが追い出され、すぐに戻されて他方を追い出し(次のステップでメモリが戻される)、すべての移動が、メモリがまったく移動されなかった場合よりも悪いパフォーマンスにつながりました。
これは、過度に積極的なVRAM割り当てが絶え間ないピンポン移動につながる古い問題を示していました。しかし、その問題は、空きVRAMがない場合にVRAMを要求しようとしないだけで修正されており、カーネルがdmem cgroupでVRAM保護を実装したときにのみ、ある程度積極的になりました。明らかに、これは何らかの方法でピンポン現象を再導入したに違いありません。
概念的には、dmem cgroup VRAM保護の設計は、カーネルは保護されていないメモリのみを退避させるはずなので、ピンポン移動につながるべきではありません。保護されていない場合、通常は保護されたVRAMを退避させることは許可されないはずです。
このルールの唯一の例外は、システムが正常に機能するために絶対にVRAMに配置する必要があるメモリです。これらの種類のメモリ割り当ては、システム安定性を確保するために、常にVRAMに移動させることができます。通常、アプリケーションから来るほとんどのものは、正しい操作のために実際にVRAMにある必要があるわけではありませんが、アプリケーションから来るバッファオブジェクトが1つあります。それは、ディスプレイにスキャンアウトされる画像データを含むバッファです4。
ディスプレイハードウェアは奇妙だ
ディスプレイハードウェアは、スキャンアウトされる画像をVRAMに配置することを好むだけでなく、GPUの仮想メモリアーキテクチャを完全にスキップし、物理アドレスのみを扱います。結果として、スキャンアウトされる画像も物理メモリで連続している必要があります。
仮想メモリとページテーブルの力により、通常のアプリケーションバッファは仮想メモリでのみ連続しており、物理メモリ全体に散らばっている可能性があります5。仮想アドレス0x5000のバッファの最初のページは、ページテーブルで物理アドレス0x1234000を指すようにマッピングされるかもしれませんが、仮想アドレス0x6000の2番目のページは、物理アドレス0x4321000、つまりまったく別の場所を指すかもしれません!
VRAMが非常に少ない場合に典型的な断片化が多い場合の、仮想割り当てから物理割り当てへのマッピングを視覚化した図を次に示します。
[画像: 連続した仮想メモリが断片化された物理メモリにマッピングされています。]
矢印は、最初の割り当ての異なるセグメントの物理メモリセグメントへのページテーブルマッピングを示しています。読みやすさのために、他のすべての割り当てについては省略されています。
ディスプレイのスキャンアウトデータを割り当てる場合、物理メモリが連続している必要があるため、この断片化はオプションではありません。これは、特に他のデータの退避と非常に、非常に不幸な相互作用を引き起こします。スキャンアウトデータがすでに退避されたと仮定しましょう。しかし、そのデータがスキャンアウトされる時期が来て、VRAMに戻す必要があります。
単一のバッファを退避させるだけでは不十分です。たとえそのバッファがディスプレイのスキャンアウトデータと同じサイズであっても、それを退避させてもスキャンアウトデータを配置するのに十分な連続した物理スペースが得られないためです!さらに悪いことに、退避アルゴリズムは物理メモリの制約をまったく考慮していません。それは非常に単純なループです。
while (true) {
evict(getLeastRecentlyUsedBuffer())
if (tryAllocate(newBuffer) == SUCCESS)
break;
}
このアルゴリズム(割り当てがLRU順に配置されていると仮定)を使用すると、最初の3つの割り当て(緑、青、赤)を退避させても、スキャンアウトバッファを保持するのに十分な大きさのスペースは得られません!この更新された図に見られるように、可能な限り最大の空きスペースでさえ、わずかに小さすぎます。
[画像: まだスキャンアウトバッファのスペースがありません。]
私たちの例で十分な大きさの物理的に連続したメモリ領域を見つけるには、VRAM内のすべての割り当てが退避されることになります!実際のシナリオでは、スキャンアウト画像(R11G11B10ピクセルフォーマットで画像あたり約32MiBのピクセルデータ)のために最大4GiBのVRAMが消去されるのを確認しました。これは非常に痛いでしょう!上記のPCIe転送レートによると、すべてのデータをVRAMから移動するだけで少なくとも約130msのコストがかかります。
[画像: まあ。]
問題へのヒューリスティックの適用
スキャンアウトは確かに最もひどい失敗ケースですが、この問題はより一般的です。常に、VRAMに繰り返し移動される特定のメモリ割り当てが存在し、アプリケーションがVRAMに留まることを望む可能性のあるメモリを追い出す可能性があります。これに抵抗し、退避されたメモリを戻そうとしても、おそらく逆効果になるでしょう。
dmem cgroup保護がこの問題の完全な解決策ではないとしても、問題の範囲を大幅に縮小します。cgroup保護により、ランダムなアプリが重要なゲームリソースを無謀に追い出そうとしないことを確実にできます。強制的にVRAMに戻されたメモリは、おそらくVRAMにあるべき正当な理由があるでしょう。したがって、dmem cgroup保護があっても、注意して、強制的に退避されたメモリを回復しようとしないようにする必要があります。
反復的なテストにより、ゲームが実際に遭遇するほとんどのケースで比較的うまく機能するヒューリスティックのセットにたどり着いたと思います(重要なシステム割り当てによって退避されたときに攻撃的すぎないこと、そしてゲームが一時停止され、Steamメニューが代わりに実行されて大量のゲームメモリを退避させ、その後ゲームが再開された場合に、退避されたメモリを比較的迅速に回復すること)。
ヒューリスティックは次のように機能します。
- カーネルがアプリケーションのメモリが退避されていることを検出すると、数ミリ秒間「ハードスロットル」フェーズに入ります。このフェーズでは、そのアプリのメモリをVRAMに戻そうとはしません(もちろん、すべてのメモリに適切にアクセスできる限り)。
- この期間の後、「ソフトスロットル」フェーズに切り替わります。このフェーズでは、メモリをVRAMに戻すことで空きスペースを回復できますが、他のアプリが割り当てたメモリを退避させようとはしません。この期間は最大数秒続く場合があり、すべてが安定した状態に達したことを十分に確認します。
- 「ソフトスロットル」フェーズが、それ以上のメモリ退避なしに完了した場合、システムは比較的安定した状態に達したと見なされ、他のアプリケーションのメモリを退避させることに対する制限が解除されます。
私の経験では、これは他のアプリの過度に積極的な退避で自滅しないようにすることと、大量のメモリが突然退避された場合に比較的迅速に回復することの間の許容できるバランスを達成します。例えば、ゲームが一時停止され、ユーザーがSteamメニューを閲覧していた場合などです。
前進
これらのヒューリスティックを導入した上で、今回は本当に設定を最大にしてみましょう。
インディアン・ジョーンズ:ザ・グレート・サークルを選択しました。これは、ストリーミングプールサイズの設定を便利に公開しており、VRAM消費量を直接変更できます。
驚くべきことに、ゲームが8GiB VRAMに対して9GiBを要求する(つまり、CPUメモリに1GiBのオーバーコミットされたゲームリソースが存在する)という、ややばかげたレベルまで設定を上げても、パフォーマンスはもはや崩壊していません!フレームあたり19.6msの平均は、まだ十分にプレイ可能と言えるでしょう。
[画像: インディアン・ジョーンズ:TGC、VRAM 9GiB/8GiBにオーバーコミット]
さらにばかげたレベルに設定を引き上げ、オーバーコミットされたメモリの量を倍増させることもできます。この8GiBシステムでゲームがVRAM 10GiBを要求します(つまり、2GiBのリソースがオーバーコミットされています)。この時点ではフレームタイムのばらつきがかなり大きくなり、33.3msを超えるスパイクが頻繁に発生します。全体的な平均は約29.8msで、最悪ではありませんが、特にばらつきと組み合わせると、ゲームプレイで目立つようになります。
これはすでに大きな進歩ですが、まだ完全ではありません。VRAMオーバーコミット下の体験は、依然として一貫性がなく、ゲーム内のオブジェクトを見る場所によってフレームタイムが目立って変動することがあります。
実際には、良好な退避パフォーマンスを得るためには、退避されたメモリがGPUによってどのように使用されるかが非常に重要であることを忘れないでください。現在、これはまったく考慮されていません!アプリケーションのアクセスがCPUメモリでどれほどうまく機能するかを退避の決定の根拠にできれば、このばらつきの多くは単純に消えるかもしれません。
コントロールの引き渡し
アプリケーションのメモリアクセスパターンに関する複雑な点は、それらは実際にはアプリケーションのみが知っているということです。したがって、ドライバーはそれらをそのまま考慮することができません。理想的には、アプリケーションがドライバーに、特定のメモリ割り当てが退避に適しているかどうかについてのヒントを提供できるAPIがあるはずです。
まさにvkSetDeviceMemoryPriorityEXTのようなものです!VK_EXT_pageable_device_local_memory拡張機能は、アプリケーションが任意のデバイスメモリの任意の断片に対して任意の優先度を通信できるようにすることで、まさに私たちが求めているものを提供します。アプリケーションがこの拡張機能を通じて合理的なヒントを提供している限り、カーネルで優先度を実装し、アプリが提供する優先度を利用することは、物事を大幅に安定させる可能性があります!
カーネルでの優先度のフックは、予想よりもはるかに問題になりません。カーネルはすでにメモリ割り当てのLRU(Least-Recently-Used)リストを維持しており、退避時にリストの順序でトラバースされます。LRUリストのエントリごとに、退避が目的の十分な空きスペースができるまで退避が試行されます。
このLRUリストは、どのアプリケーションのメモリを最初に退避すべきかの良いヒューリスティックを提供します。しばらくの間何も送信していないアプリケーションは、すぐにメモリを必要としない可能性が高く、最近使用されていないメモリはLRUリストの早い段階に表示され、最初に退避されます。
アプリケーションがバッファのセットを使用すると、そのバッファのセットは1つのまとまりとしてLRUリストの非常に最後に移動されます。しかし、そのまとまり内の割り当ての順序はまったく明示的に制御されていません。これは、カーネルがアプリケーションのメモリを退避させようとすると、どの特定のメモリ断片が退避されるかは多かれ少なかれ未定義であることを意味します6。単純化された視覚化は次のようになります。
[画像: ソートされていないLRUリストの視覚化]
カーネルがこのようにLRUリストを歩くと、優先度値が2のバッファを最初に退避させるでしょう。たとえLRUリストの他の場所にずっと低い優先度のバッファが存在してもです。優先度2の最初のバッファのみが退避された場合、問題はないかもしれませんが、優先度4の非常に重要なバッファも退避された場合、問題が発生する可能性が高いです。
個々の割り当ての特定の優先度をすでに知っていることを考えると、このLRUリストはそれらを統合する非常に簡単な場所です。リストのエントリを、単一アプリケーション内の優先度で並べ替えるだけで済みます7。
[画像: ソートされたLRUリストの視覚化]
これで、カーネルがLRUリストを調べて退避させるものを探すとき、最初に見つけて退避しようとするのは、最低優先度のバッファです。最高優先度のバッファはリストの最後にあるため、すべての低優先度バッファの退避が十分でなかった場合にのみ退避されます。
アプリケーションでのメモリ優先度の採用
残念ながら、すべてのアプリケーションが実際にVK_EXT_pageable_device_local_memoryを介して優先度を設定しているわけではありません。ネイティブVulkanアプリケーションについては、少なくともidTechゲームが拡張機能を直接使用しているのを見たことがありません。
D3D側ははるかに良好に見えます。なぜなら、vkd3d-protonは利用可能な場合にすでにVK_EXT_pageable_device_local_memoryを使用しており、ID3D12Device::MakeResident/ID3D12Device::Evict API呼び出しとID3D12Device1::SetResidencyPriorityを介して設定された優先度の両方を、Vulkan vkSetDeviceMemoryPriorityコマンドを使用して設定された優先度値に変換するからです。多くのD3D12ゲームは、これらのAPIの少なくとも1つを利用しているため、これらのゲームが提供するヒントが利用されるようになります。
ほとんどのD3D12アプリがどれだけのメモリをオーバーコミットしているかについての確かな数値は持っていません。なぜなら、それらは通常、idTechのパフォーマンスオーバーレイのように簡単にアクセスできる方法で要求するVRAMの総量を公開しないからです。しかし、一般的にメモリ優先度を正しく尊重することは、体験を向上させる良い機会があるようです。パフォーマンスは一般的に時間とともに安定する傾向があります(カーネルがどのバッファを退避させるかについて運に頼らなくなるため)。いくつかの場所では、カーネルがランダムなものを退避させる場合と比較して、最良の場合で最大30%パフォーマンスが向上したと推測できます。しかし、これもまた、退避に関する運にほぼ完全に依存するため、この数値には山ほどの注意を払ってください。
結論
すべてが終わったとき、VRAM不足はどの程度持ちこたえるのでしょうか?
かなり良いと言えるでしょう!多くの場合、1ギガバイト以上のメモリを退避させても、どれだけのパフォーマンスを維持できるかに驚くかもしれません!しかし、それはもちろんかなり楽観的なケースであり、CPU RAMに間違ったものが配置されると、非常に深刻なスローダウンを引き起こす可能性があります。退避は、すべてを正しく行うのが難しく、ある程度、パフォーマンスは常に低下します。ゲームがVRAM内のすべてを有効にしても30fpsを達成するのに苦労している場合、それに加えて何かを退避させる必要があると、その30fpsの目標を達成できなくなる可能性があります。
それにもかかわらず、この記事が示すことができることを願っているのは、たとえシステムRAMにメモリが退避されたとしても、スローダウンは管理可能であるということです。ドライバー(特にカーネルドライバー)がオーバーコミットを可能な限り高速に行うために取ることができる対策があり、アプリケーションもドライバーのスタックと連携して、メモリが退避された影響を軽減するために役割を果たすことができます。すべてが整えば、VRAMオーバーコミットは、最初に考えるほど大きな問題ではありません。
ここで説明したすべての作業は、すでにSteamOSでしばらくの間リリースされています(StableとPreviewの両方にあります。システムが最新であれば、問題なく使用できます!)。
アップストリームに関する注記
もちろん、私はこのすべての作業をアップストリームして、誰もが利用できるようにするためにすでに作業しています!しかし、多くの可動部分と、いくつかの非常にコアな概念の深いリファクタリングが関わっているため、すべてがマージされるまでには時間がかかるでしょう。
同時に、クールなコードがたくさんあるのに、「実際には自分で見ることができません。すべてアップストリームされるまで待ってください lol」という結末でブログ記事を終わらせたくはありません。
中間的な解決策として、カーネル作業を最近のアップストリームカーネルバージョンにリベースし、gitブランチをここに公開しました。理論的には同様の効果が得られるはずですが、SteamOSカーネルほど厳密なテストは受けていません。SteamOSバージョンにはなかったバグや不安定性が存在する可能性が高いです。基本的に、自己責任でご使用ください。パッチを適切にアップストリームすることに集中したいので、このブランチを大幅に保守するつもりはありません。
アプリケーションの優先度ヒントをカーネルに渡すには、カスタムMesaブランチも必要です。これはここにプッシュしました。カーネルブランチと同様の考慮事項がここにも適用されます。
私自身の質問
ドライバー側のメモリ管理についてはかなり良い概要を主張できますが、アプリケーションが内部でメモリ管理ヒューリスティックをどのように供給するかについては、まったく詳しくありません。VRAMが不足している場合の最適化は、開発者のTODOリストのトップ項目ではないと推測します(メモリ不足がそれを変えているのかもしれませんね?:P)。そのため、パフォーマンス改善の未開拓の余地があるかもしれません。
もしあなたが、読者の皆さん、大規模なゲーム/エンジンのVRAM管理(特に不足した場合)についてご存知でしたら、ぜひお話ししたいです!アプリとドライバーがより連携することで、まだパフォーマンスを向上させる余地があるという感触がありますが、アプリケーション開発者の視点から物事がどのように見えるかにも純粋に興味があります。
注釈
- 理由の1つは、コマンドバッファが特に小さいことであり、これは退避されたVRAM(退避する量を選択できない)には関係ありません。それだけが理由ではありません。キャッシング/アクセスパターンの考慮事項は、コマンドバッファと退避されたVRAMの両方に適用されます。↩
- RADVソースはこちらを参照してください。↩
- CPU RAMとVRAMの両方を使い果たした場合、すべての割り当てが成功しても、実際にそのメモリを送信で使用することが不可能な場合があります。これは正常であり、同じエラーが表示されますが、今回はそうではありませんでした。私のケースでは、実際に十分なメモリがありました。↩
- 技術的には、ディスプレイハードウェアはシステムRAMからのスキャンアウトを処理できます!しかし、VRAMとシステムRAMの間を移動することには厄介なトレードオフがあるため、簡単のために無視しましょう。↩
- バッファが物理的に連続している方がパフォーマンスは良いですが、連続性は厳密な要件ではありません。↩
- 実際には、最初に割り当てられたバッファが最初に退避されるバッファの1つであり、最も最近に割り当てられたバッファが最後になる可能性が高いです。↩
- 優先度値は同じコンテキスト内の他の優先度との関係でのみ意味があるため、ソートは単一アプリケーションの優先度値でのみ現実的です。異なるアプリケーションは、特定の絶対優先度値が何を意味するかについて、異なる解釈/スケールを持っている可能性が非常に高いです。↩