HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

LinuxでPCIeスイッチの背後に4つの32GBリサイザブルBARをフィットさせる

Fitting Four 32 GB Resizable Bars Behind a PCIe Switch on Linux (doug.sh)

63 pointsby dougcalobrisi23 コメント

要約

この記事では、Linux環境でPCIeスイッチの背後に4つの32GBリサイザブルBAR(Resizable BAR)を持つGPUを搭載する際の課題と解決策について解説しています。特に、LinuxカーネルのウィンドウサイジングバグによりBARの割り当てに失敗する問題に対し、initramfsから実行されるカスタムカーネルモジュールを用いたパディングによる解決策が紹介されています。

全文翻訳

LinuxでPCIeスイッチの背後に4つの32GBリサイザブルBARをフィットさせる

私のPCIeスイッチは、ボードのx16スロットにあるBroadcom PEX88096で、その背後に4つのAMD Radeon AI PRO R9700と、私のPCIeスプリッター投稿からの2つのRTX 3090があります。そして、ビルド投稿にはこのボックス全体の情報があります。

このスイッチは各カードに8レーンを提供し、カード間コピーがCPUを経由せずに実行できるようにします。AMDのROCmではこれをピアツーピア(P2P)と呼び、各カードの32GB全体がマッピングされている場合にのみ有効になります。Linuxでは、これはすべてのカードに32GBのリサイザブルBARがあることを意味します。ベースアドレスレジスタ(BAR)は、CPUのアドレス空間の範囲をデバイスのメモリにマッピングします。リサイザブルBARは、BIOSオプションで、カードのBARをデフォルトの256MBではなくフル32GBに設定できます。

ビルド投稿の後、数人がモジュールを求めたため、GitHubでgpu-rebar-layoutとして公開しています。これはカーネルの内部に依存しているため、リリースごとに変更される可能性があります。ロードする前にREADMEを読んでください。メーリングリストへのパッチシリーズでサイジングバグが修正されていますが、このボードでは、パディングを無効にした(pad=0)状態で、モジュールのリサイズとリスキャンが引き続き必要になります。

BIOSが6つの32GB BARをマッピングできない理由 🔗

3090を追加すると、ボードはPOST LEDの白いVGAライトで停止しました。なぜなら、32GBのBARはそれぞれBIOSのアドレス空間の64GBを占有するからです。アドレス空間の投稿にその計算があります。

Linux 7.0のブリッジウィンドウサイジングバグ:割り当て不可、スペースなし 🔗

このボードのBIOSには、カードごとのリサイザブルBAR設定がありません。Linuxは、GPUドライバーがロードされる前に実行される限り、一部のカードに大きなBARを割り当て、他のカードは小さくすることができます。6枚のカードすべてを挿入し、リサイザブルBARをオフにした状態で、Linuxに割り当てを行わせたいと考えていました。計画は、各R9700のBARサイズレジスタを32GBに設定し、スイッチが接続されているCPUポートを削除し、リスキャンして、カーネルが新しいサイズからスイッチ全体を再レイアウトすることでした。

各R9700の32GB BARの後には、ドライバーがカードに新しい作業があることを伝えるためのレジスタ書き込み用のドアベルBARがあります。リサイザブルBARがオンの場合、BIOSはこれを256MBにします。Linuxはこれを2MBのままにします。

カーネルはスイッチに約128.6GBのウィンドウを割り当てました。Linux 7.0のレイアウトでは、ドアベルが各BARの後ろに配置されるため、4つのウィンドウは合計224GB(3つの64GBスロットと最後のカードの32GBおよびそのドアベル)を占有します。2つのR9700はBARを取得しましたが、スイッチの残りは何も取得しませんでした。

pci 0000:1b:00.0: bridge window [mem size 0x800200000 64bit pref]: can't assign; no space

これは7.0.6での話です。パッチ未適用のv7.4-rc1カーネルは、コントロールランに4つのうち3つを配置しました。これは、Linuxカーネルパッチテスト投稿(近日公開)でカバーする内容です。

[[画像:Cartoon: a fenced parking lot under a sign reading switch window has four bays, each painted 32 GB. Two blue stretch limousines labelled R9700 are parked inside, each towing a small orange trailer labelled 2 MB that sits in its own bay, so the two of them fill the lot. Two more R9700 limos with trailers wait outside the gate, sweating. A grey robot attendant in a cap smiles at the gate holding a clipboard reading 4 x 32 GB = fits.]]

0x800200000は32GBプラス2MBで、1枚のカードのウィンドウです。カーネルはスイッチのウィンドウを、その子デバイスのサイズの単純な合計としてサイズ設定していました。4つの32GB+2MBのウィンドウと、2つの3090の288MBウィンドウの合計です。

関数はdrivers/pci/setup-bus.cのpbus_size_mem()です。ブリッジの子デバイスごとに、子デバイスのサイズ、またはそれが大きい場合はアライメントを合計に追加します。

r_size = resource_size(r);
size += max(r_size, align);

これにより、すべての子デバイスのサイズがアライメントの倍数である場合にギャップが残らなくなります。これは通常のBARでは、それらが2のべき乗であるため当てはまります。GPUのウィンドウはここでは32GBプラス2MBで、32GBのアライメントを持つため、合計ではドアベルと次のカードの開始との間の約32GBのギャップが除外されます。

[[画像: Three rows on one scale of the switch’s 64-bit window from 160 GB, with dashed lines at 224, 288 and 416 GB. Legend: 32 GB BAR in blue, 2 MB doorbell as a dark sliver, padding in pale blue, got no BAR in orange, 3090 windows as grey slivers. The first row, What the kernel added up: 4 × (32 GB + 2 MB) + 2 × 288 MB = 128.6 GB, packs card 1 to card 4 end to end, each a 32 GB BAR plus its doorbell, and an orange dashed line marks window ends here just past 288 GB. The second row, Doorbell after each BAR, BARs on 32 GB boundaries: 224 GB, puts card 1 at 160 GB and card 2 at 224 GB with a dashed gap after each, while card 3 and card 4 sit past the end of the window in orange, with the note two R9700s placed, and the rest of the switch got nothing. The third row, The module’s padding: every window a multiple of its alignment, has each card followed by its doorbell and a padding block, card 1 to card 4 filling 160 to 416 GB, then two grey 3090 slivers, with the note each R9700 window exactly 64 GB, then two 3090 windows of 512 MB. Footer: Linux 7.0.6. Unpadded, the switch window was 0x2800000000-0x48247fffff. Doorbells and 3090 windows are drawn wider than to scale.]]

これは既知の回帰です。Nikolas Brittonが9月にlinux-pciで報告しました。スレッドのタイトルは私の問題をほぼそのまま表しています。

このコードのメンテナーであるIlpo Järvinenは、14パッチシリーズのリソース配置修正に修正を含んでいます。11月6日時点でv5であり、まだマージされていません。私はそれをテストし、linux-pciメーリングリストにTested-byを送信しました。これを使用すると、4つのR9700すべてが32GBを取得できます。

修正後も、GPUドライバーがロードされる前にBARサイズを設定しリスキャンする必要があるため、このボードでは引き続き何らかの処理が必要です。なぜなら、amdgpuのロード時のリサイズでは、他のカードが既に配置されているウィンドウを拡張できないからです。

BARをパディングするカーネルモジュール 🔗

カーネルは既にBARのアライメントをサイズを変更せずに引き上げる方法を知っていますが、pci=resource_alignment=ブートオプションでデバイスを指定すると、リサイジングモードが使用されます。R9700で32GBのアライメントを要求すると、512KBのレジスタBARを含む小さなBARも拡張され、4GB未満では32GBにアライメントできません。

回避策は、アウトオブツリーモジュールです。これはinitramfs(カーネルが起動する非常に小さな初期ブートファイルシステム)から実行され、GPUドライバーがロードされる前に行われます。一致するカードごとにBARサイズレジスタを設定し、その後スイッチの上位のルートポートを削除してリスキャンします。スキャンとアドレス割り当ての間で、スイッチ下のすべてのバスセグメントをウォークします。各小さな64ビットプリフェッチ可能BARのアライメントを、そのセグメント上の最大の64ビットプリフェッチ可能BARのサイズに引き上げ、他のメモリBARについても同様に別のグループとして処理します。各R9700ウィンドウは正確に64GBになり、各3090ウィンドウは正確に512MBになります。すべてのウィンドウがアライメントの倍数になると、カーネルのアロケータが残りを処理します。

再起動後、R9700は160GB、224GB、288GB、352GBに配置され、3090はそのすぐ上に配置され、amdgpuはカード全体を認識しました。

amdgpu 0000:14:00.0: [drm] Detected VRAM RAM=32624M, BAR=32768M

ボックスに既にあったACSリダイレクト設定(R9700スイッチポートでのpci=disable_acs_redir=)を使用すると、R9700間のP2Pはペアごとに14.0GB/sで実行されました。これは8レーンのGen4リンクの実効値であり、4つすべてが同時にリング状にコピーすると54.7GB/sを移動しました。

GPUがすべてBARを取得できない場合 🔗

  1. まず、linux-pciメーリングリストでcan't assignエラーを検索してください。誰かが既に報告または修正している可能性があります。
  2. GPUドライバーがロードされる前に、initramfsから実行してBARをリサイズし、リスキャンしてください。
  3. ドライバーがロードされているGPUを削除またはリスキャンしないでください。私のボックスはそれでロックアップしました。
  4. 1つのカードがBARを取得し、次のカードが取得できない場合は、大きなBARの隣にある小さなBARを確認してください。
  5. カードがスリープに入り、復帰しない場合があるため、起動後数分経ってから再度確認してください。

この件では協力を得ました。Claudeは私と一緒にモジュールを作成し、SSH経由でボックス上でコマンドとテストを実行し、この投稿のドラフト作成を手伝ってくれました。物理的な作業、すべての文章の確認、数値のチェック、チャットボットのように聞こえるものをすべて書き直したのは私です。したがって、間違いは私のものです。

ソース 🔗