Xenのdom0 I/OパスをNUMA対応にする
Making Xen's dom0 I/O path NUMA aware (edera.dev)
要約
この記事は、Xenハイパーバイザーのdom0(管理ドメイン)におけるI/OパスのNUMA(Non-Uniform Memory Access)対応の改善について解説しています。以前のNUMA対応の課題を克服するため、dom0自身のメモリ配置を最適化し、SRAT、SLIT、CPUIDといったNUMAトポロジー情報を正確に生成することで、dom0内のワークロードがホストの物理的なNUMAトポロジーを正しく認識できるようにしました。これにより、ストレージやコンテナなどのI/Oパスのパフォーマンスが向上し、自動NUMAバランシングが有効になることで、システム全体の効率が改善されます。
全文翻訳
NUMAパート4: Xen dom0 I/Oギャップの解消
本シリーズのパート3では、Xenのパラ仮想化I/Oアーキテクチャと、それがNUMA(Non-Uniform Memory Access)ホストで高コストになる理由を説明しました。具体的には、NUMAメタデータを持たないフォアグラウンドマッピングされたページ、スケジューラが配置を決めるだけのkthread、dom0カーネルとホストの実際のトポロジー間の情報ギャップなどが原因でした。その際、この問題の解決には構造的なものとコンポーネントごとのものの2つの要素があり、パート4で両方を提供する約束をしました。
このパートではその約束を果たします。その過程で、本来修正する予定ではなかった2つの問題にも対処しました。1つは、実際の作業を開始する前に直面した問題です。dom0自身のメモリ配置が非常に偏っていたため、まずそれを修正せずにdom0用のトポロジーを合成しても、カーネルに裏付けとなるメモリがない状態での嘘をつくようなものになるでしょう。これは迂回路ではなく前提条件です。もう1つは、作業が名目上完了した後で直面した問題です。それは、私たちのツールスタックにおけるメモリ配置のバグで、マルチvnode vNUMAがツリーに存在して以来、サイレントに壊れており、メモリ帯域幅ベンチマークでのみ表面化しました。これは真の迂回路であり、最後の方で扱います。
まず前提条件から始めましょう。
最初の発見: dom0のメモリが間違った場所に配置されていた
標準のXenは、dom0をブートする際に、ホストのBIOSメモリマップ(E820)をdom0が所有すべきメモリのサブセットにトリミングする必要があります。このトリミングは、ホストのE820を物理アドレス順にウォークし、dom0_memを満たすのに十分なメモリが確保されるまで領域をdom0のものとしてマークします。シングルノードホストではこれは無害です。dom0のメモリは利用可能な唯一のノードから取得されます。マルチソケットホストでは、同じコードが深刻な問題を引き起こします。ホストのメモリ領域は通常、物理アドレス順にNUMAノードごとにグループ化されているため、E820を順にウォークすると、dom0は最もアドレスの低いノードからすべてのメモリを取得します。
最悪のケースは深刻です。128 GiB、8ノードのホストでdom0_mem=35%(ラボのボックスの設定)の場合、dom0は最もアドレスの低いノードのRAMを100%使用し、他のノードは0%使用します。ノード0から2はほぼ完全にdom0に消費され、ノード3から7にはdom0が所有するページは全くありません。dom0がリモートノードで割り当てを試みることさえできない状況では、dom0をNUMA対応にしても、カーネルが実行できないトポロジーを合成することになります。生成されたSRATは、60%のdom0メモリが6つのノード(何も持たない)と共に存在する1つのノードを記述することになります。
私たちのトリミングは、この順次取得を比例取得に置き換えます。これは、私たちのツリーがアップストリームXenから分岐する場所の1つです。2パスで実行されます。パス1でホスト全体のRAM合計を計算し、パス2で各領域にdom0_mem予算の比例配分を与えます。計算はBresenhamスタイルで行われ、丸め誤差は累積されるため、合計は正確にdom0_memと一致します。dom0のメモリは、各ノードの物理RAMシェアに比例して、すべてのホストノードに分散されます。
dom0が実際にすべてのホストノードにメモリを所有するようになったことで、残りの作業を開始できるようになりました。
dom0をNUMA対応にする
任意のXenドメインのための3つのNUMAトポロジー要素
パート2で触れたように、NUMA対応のXenドメインは3つのトポロジー要素を認識します。
- ACPI System Resource Affinity Table (SRAT): CPUとメモリ範囲をNUMAノードにマッピングします。
- ACPI System Locality Information Table (SLIT): ノード間の距離行列を提供します。
- CPUIDのx2APIC ID: CPUごとのパッケージ/コア/スレッド識別子をエンコードします。
正確なNUMA認識を求める任意のXenドメインには、これら3つすべてが存在し、一貫している必要があります。アップストリームXenは、ツールスタックがXEN_DOMCTL_setvnumainfo経由でvNUMAレイアウトを要求する際に、PVHおよびHVM domUのほとんどの作業を行います。SRATとSLITは要求されたトポロジーに合わせて合成されます。しかし、アップストリームXenはCPUIDのx2APIC IDをvNUMAレイアウトから合成しません。この3番目の要素は、この投稿で説明されている作業が開始される前からEderaの拡張機能であり、マルチノードdomUでの2のべき乗でないvCPU数に対応するために、さらに拡張しました。
dom0は状況が異なります。この投稿で説明されている作業が行われるまで、アップストリームXenはdom0に対してこれら3つのいずれも合成しませんでした。dom0は、ホストにいくつの物理ノードがあっても、単一のフラットなNUMAノードとして認識されていました。このセクションで説明する作業は、特定の条件下で、これら3つの合成をdom0にも拡張します。
条件は以下の通りです。dom0はPVHであること。dom0_vcpus_pin=1でブートし、各dom0 vCPUが特定のホストpCPUに1:1でハードピン留めされること。dom0 vCPU数がホストpCPU数と等しく、すべてのpCPUに対応するdom0 vCPUが存在すること。そして、ホストが複数のNUMAノードを持つこと。これらの条件は、実装にも有用な副作用をもたらします。すべてのdom0 vCPU NがpCPU Nにピン留めされているため、vCPU NのvNUMAノード割り当ては、pCPU NのホストNUMAノードに単純にマッピングされます。レイアウトアルゴリズムを設計する必要も、ブート時に配置決定を行う必要も、部分的にカバーされたホストトポロジーのエッジケースもありません。なぜなら、dom0は定義上ホスト全体をカバーするからです。実装は、ホストのcpu_to_nodeテーブルの直接ウォークになります。
条件が満たされると、dom0は以下を取得します。
- dom0が跨ぐ各ホストNUMAノードごとに1つの近接ドメインを記述する合成SRAT。各ドメインには、適切なCPUセットとメモリ範囲が含まれます。
- ホスト自身のSLITから直接スライスされた合成SLIT。dom0が見る距離は、LinuxがSLIT不在時に代わりに使用するデフォルトの「ローカル10、リモート20」のスタブではなく、実際のノード間距離です。
- domUケースを処理するのと同じメカニズムを使用して、合成トポロジーに一致するようにエンコードされたCPUIDのx2APIC ID。
これにより、Ederaデプロイメントのすべてのdom0シェルが、初めて正確な情報に基づいて動作するようになります。
また、dom0のNUMA対応が混合ノードで本当に重要であることも注目に値します。多くのEderaデプロイメントはすべてEderaではありません。同じマシンで、通常のコンテナとしてデフォルトランタイム下で(dom0内で直接)実行されるポッドと、Ederaランタイム下で(それぞれ独自のゾーンに封印された)実行されるポッドがあります。これらの通常のコンテナは、他のdom0ワークロードと同様であり、この作業が行われる前はNUMAを認識せずに実行されていました。Edera以外のポッドは、プレーンなLinuxとして同じボックスで実行されていたときよりも、Ederaホスト上で遅くなる可能性があります。なぜなら、マシンをXen dom0にしたことで、ワークロードが見ていたトポロジーが隠されてしまったからです。dom0をNUMA対応にすることで、そのギャップが埋まります。dom0に残るコンテナは、ベアメタルで見ていたトポロジーを取得するため、Ederaを採用しても、最初にサンドボックス化されなかったワークロードに静かに負担をかけることはありません。
なぜSRAT、SLIT、CPUIDのすべてが重要なのか
ACPIテーブルだけで十分だと仮定するのは魅力的です。カーネルはブート時にそれを読み込み、NUMAインフラストラクチャがトポロジーを取得し、完了です。一部のコンシューマーにとっては、それで十分です。hwlocライブラリは、ほとんどのNUMA対応ユーザー空間ツールが構築されているもので、カーネルのsysfsビュー(カーネルはそれをSRATとSLITから populat します)からトポロジービューを導き出します。これら2つを正しく設定すれば、sysfsサーフェスは正しく populat され、hwlocは満足します。
他のコンシューマーはさらに進んでおり、CPUIDをスキップすると静かに問題が発生します。LLVM OpenMPランタイムは、コンパイル言語で並列ループが多いワークロードで使用され、x2APIC CPUIDリーフからソケットとコアのトポロジーを導き出します。sysfsからではなく。XenゲストでCPUIDがデフォルトのシングルソケットレイアウトのままで、SRATとSLITが正しい場合、OpenMPはマシンをシングルソケットと結論付け、ワーカーをそれに応じて割り当てます。これはマルチソケットホストでは、すべてのワーカーを1つのノードのコアに詰め込むことを意味します。カーネルスケジューラは時間とともに再バランスしますが、OpenMPの初期割り当ては石に刻まれ、結果の配置はベンチマーク結果が目に見えて悪化するほど悪いです。
(LLVM OpenMPには、CPUIDを直接読み取る代わりにトポロジー検出にhwlocを使用するためのコンパイル時オプションがありますが、デフォルトでは有効になっておらず、それを有効にしているバイナリディストリビューションは見つかっていません。CPUIDパスは、プロダクションビルドが対抗するものです。)
都合の良いことに、ランタイムは理由を示してくれます。LLVM OpenMPランタイムを使用してKMP_AFFINITY=verboseでOpenMPワークロードを実行すると、ランタイムは検出したトポロジーと選択したスレッド配置の両方を出力します。Ederaゲストでは、x2APIC IDが実際のレイアウトに一致するように合成されているため、両方とも正しく出力されます。ワークロードがdom0で実行されてもdomU内で実行されても同じです。
この教訓はOpenMPを超えて一般化されます。トポロジーをすべてのコンシューマーに表示できるようにすることが、実際に役立つ唯一の方法です。SRATのみ、SLITのみ、CPUIDのみ — これらは単独では十分ではありません。なぜなら、異なるエコシステムの異なるコンシューマーは異なるソースを読むからです。3つのうち2つを行うことは、どのクラスのワークロードを静かに失望させるかを選択することを意味します。
dom0 vNUMA構築中に見つかったバグ
合成を正しく行う過程で、予期していなかったいくつかのバグが見つかりました。
最初のバグはノード番号付けのバグでした。Xenはブート中に近接ドメイン識別子を、SRATスキャン順に密な内部ノードID空間に再番号付けします。dom0 vNUMAビルドコードの最初のバージョンは、これらの内部Xen側ノードIDをvNUMAノードインデックスとして使用しました。これが、dom0用に生成されたSRATとエンコードされたAPIC IDに漏洩しました。結果として、ホスト近接ドメイン1のpCPUにピン留めされたdom0 vCPUが、Xenの再番号付けによって近接ドメイン1がXenの内部スロット3に配置された場合、dom0内では「ソケット3」として表示される可能性があります。dom0内で実行されるツールは、近接ドメイン番号をキーにしていた場合、間違った物理ソケットをターゲットにするでしょう。修正は、Xen内部ノードIDではなく、ホスト近接ドメインで直接インデックスを付けることでした。これにより、SRAT、APIC ID、SLITはすべて同じホストファームウェア番号付けを一貫して使用します。
2番目のバグは、生成されたSRATのメモリ範囲の構築方法に関するものでした。最初のバージョンでは、各ホストメモリ領域をdom0が持つすべてのvNUMAノードに均等に分割し、分割を比例として扱いました。これは2つの点で間違っていました。各ホストメモリ領域は物理的に正確に1つのNUMAノード上に存在するため、それをvノードに分割すると、メモリが実際にはホストできないノード上に存在すると主張することになります。また、LinuxのNUMA登録コードは、メモリ親和性エントリがmemblockビューを完全にカバーしないSRATを拒否します。均等分割エントリはホストE820全体をカバーせず、dom0のdmesgは単一ノードレイアウトへのフォールバックの前に「NUMA: no nodes coverage for 170175 MB of 261441 MB RAM」と不平を言いました。修正:各物理NUMA memblkごとに1つのvmemrangeを発行し、dom0が実際に跨ぐノードにフィルタリングします。完全なカバレッジ、正直な所有権。
3番目のバグは微妙なもので、新しい隠れ場所での元のメモリスキューでした。比例E820トリミング自体です。このトリミングは、各ホストメモリ領域が1つのNUMAノード上に完全に存在すると仮定します。これはマルチソケットホストでは真実ですが(ファームウェアは高位メモリをノード境界で分割します)、シングルソケットサブNUMAレイアウト(Intel Sub-NUMA Clustering、またはAMD NPSが2以上)では偽です。これらのレイアウトでは、連続した領域が2つのノードに跨ぐことがあります。トリミングパスがそのような領域をそのシェアに削減すると、保持されるメモリはすべて最初のノードに配置され、2番目のノードにはほとんど何も残りません(SRATが32を約束した場所に約1 GiB)。そのため、dom0のノードごとのバインディングはそのノードで割り当てるメモリがなくなります。スキューは戻ってきましたが、サブNUMAハードウェアでのみ表面化するため、見つけにくくなりました。修正:シェアを取得する前に、NUMAノード境界で各領域を分割します。
これらの修正とトポロジー合成に加えて、dom0はシリーズ全体で仮定されてきた方法でNUMA対応になりました。これは修正の半分です。もう半分は、dom0バックエンドがトポロジーを便利に利用するために必要な、リクエストごとの情報です。
dom0にフォアグラウンドフレームの場所を示す
dom0が完全にNUMA対応になったとしても、パート3からのリクエストごとの配置問題は残ります。domUがdom0にリングページへのアクセスを許可したとき、dom0カーネルはそのページがどのホストノードにあるかを知る方法がありません。dom0のmem_map内のリングを表すstruct pageは、xen_alloc_unpopulated_pagesから描画されたプレースホルダーです。そのアロケータの標準Linuxバージョンは、基盤となるメモリセクションをNUMA_NO_NODEとして登録するため、グラントマップされたリングページの任意のpage_to_nidは、フォアグラウンドフレームが実際にどこにあるかに関わらずNUMA_NO_NODEを返します。
この1つの欠けている数値が問題のすべてです。dom0はホストの正確なマップを持っていますが、すべてのバックエンドの配置を決める質問「このリングはどのノードにあるのか?」は「わからない」と返ってきます。そのため、リングをサービスするkthread、それをウェイクアップするIRQ、そしてその背後にあるdom0 I/Oスタックはすべて、リングが実際にどこにあるかを参照せずに配置され、パスはパート3の「すべてのホップがクロスする」ケースにまっすぐ戻ります。これは、完全にNUMA対応で必要なすべての事実を持っているが、この1つだけが欠けているdom0上でのことです。
dom0が必要とする情報、特定の機械フレームのホスト近接ドメインは、ハイパーバイザー内にあります。まだdom0に公開されていません。答えは、特権境界の1つ先に存在します。構造的修正の最初の半分は、それを公開することです。私たちは新しいXenハイパーコールXENMEM_get_mfn_pxmsを追加しました。これは、機械フレーム番号のバッチを受け取り、それぞれの近接ドメイン識別子を返します。権限はハードウェアドメインのみです。信頼できないゲストがこの情報を必要とする正当な理由はありません。それを広範囲に公開すると、物理ホストトポロジーの詳細が漏洩します。
このコードの周りには3つのNUMA識別子名前空間が浮遊しており、簡単な余談に値します。ホスト近接ドメイン(ファームウェアレベルの識別子、ACPI SRATが使用するもの)、Xen内部ノードID(SRATスキャン順に割り当てられる)、およびLinuxノードID(dom0自身のNUMAノード番号付け)。ハイパーコールは近接ドメインを返します。なぜなら、それはdom0自身のSRATがすでに使用している値空間だからです。pxm_to_node()は、結果をLinuxノードIDに変換するための単一の標準カーネル呼び出しです。Xen内部ノードIDを返すことは、すべての呼び出し元に独自の変換テーブルを維持することを強制することになります。
ハイパーコールが導入されたことで、構造的修正の2番目の半分は、dom0のアンポピュレートページアロケータにノードごとのプールを保持するように教えることです。アロケータは現在、Linuxノードごとに個別のフリーリストを保持しており、各セクションサイズのバックグラウンド領域はmemremap_pages(pgmap, node)を介して正しいノードIDで登録されます。ノードNのプールから取得されたページは、構築によりpage_to_nid() == Nを報告します。リングページのホストノードを要求するバックエンドドライバはpage_to_nidを呼び出し、実際の回答を得ます。
互換性を保つための重要な要素が2つの修正を結びつけます。ハイパーコールは、EderaのXenビルドで出荷されるダウンストリームの追加機能です。新しいNUMA対応コードを含むdom0カーネルは、ハイパーコールを持たない標準アップストリームXenに対して正しくブートする必要があります。私たちはまさにそれを手配します。dom0カーネルは起動時にハイパーコールをプローブします。欠落している場合、カーネルはバックエンドドライバスタック全体で既存のNUMA非対応動作にフォールバックします。古いXenに対する新しいLinuxは、パッチがないのと同じバイト等価です。これは、顧客のデプロイメント全体でロックステップのXenアップデートを要求しないLinux側のNUMA作業を出荷できる唯一の方法です。
バックエンドにNUMAアフィニティを教える
構造的修正が完了したことで、dom0のバックエンドドライバはついに「このリングページはどのホストノードにあるのか?」という有意義な回答を読み取り、それに応じて配置できるようになりました。xen-blkbackとxen-netbackの両方に共通するパターンは同じです。
- リングマップ時に、リングのホストノードの
page_to_nidを問い合わせます。 kthread_create_on_nodeを使用して、リングごと(またはキューごと)のバックエンドkthreadを作成し、task_structと初期カーネルスタックが最初から正しいノードに割り当てられるようにします。kthread作成後に単にset_cpus_allowed_ptrを使用すると、スタックは呼び出し元のノードに残り、コンテキストスイッチごとにコストが発生します。set_cpus_allowed_ptrを使用して、kthreadをそのノードのcpumaskにピン留めします。- イベントチャネルIRQを同じノードにバインドし、IRQのアフィニティヒントをノードのcpumaskに設定します。
このパターンは元の設計でした。それは完全には機能しませんでした。
最初に機能しなかったのはIRQアフィニティでした。私たちはirq_set_affinity_and_hintを正しく呼び出していましたが、irqbalance(ほとんどのLinuxディストリビューションでデフォルトで出荷および実行されるユーザー空間IRQ負荷分散デーモン)が、ほぼ即座に私たちのアフィニティ選択を上書きしました。根本原因は、XenのイベントチャネルドライバによってIRQディスクリプタ自体がNUMA_NO_NODEで割り当てられていたことです。そのため、/proc/irq/N/nodeは-1を読み取り、irqbalanceはノード非対応IRQを、設定したアフィニティヒントに関わらずグローバル再バランスの候補として扱います。
修正は、Xenフロントエンド/バックエンドドライバが使用する4つのイベントチャネルバインドヘルパーの_on_nodeバリアントを追加することでした。新しいバリアントは、呼び出し元のノードを新しいxen_allocate_irq_dynamic_nodeにスレッド化するため、IRQディスクリプタは最初から正しいノード属性で割り当てられます。この変更後、/proc/irq/N/nodeは呼び出し元が要求したノードを反映し、irqbalanceはアフィニティヒントをNUMAローカルCPUセットとして尊重し、IRQ全体をフローティングとして扱うことをやめます。
2番目の問題は、ティアダウン時の相互作用でした。free_irqは、解放されるIRQにまだアフィニティヒントが設定されている場合に警告します。これは、IRQが解放された後ではヒントが無効であるという理論に基づいています。私たちの接続パスはヒントを設定していましたが、切断パスはそれをクリアせずにunbind_from_irqhandlerを呼び出していました。すべてのdomUティアダウンで、xenwatchコンテキストでカーネルのWARNが生成されました。セットアップサイトとペアになるすべてのティアダウンサイトに明示的なirq_update_affinity_hint(irq, NULL)呼び出しを追加しました。華やかではありませんが、必要です。
これらの修正後、dom0バックエンドkthreadは、それがサービスするリングと同じホストノードで確実に実行され、そのリングのIRQはそのノードのCPUで発生し、バックエンドが触れるページ(リングとゲストペイロードのマッピング)もそのノードに配置されます。I/Oパスのdom0側は、エンドツーエンドで完全にNUMAローカルになります。
フロントエンド(およびXPSステアリングトラップ)の修正
これによりdom0側が修正されます。domU側には対称的な問題があり、両端が正しく配置された場合にのみ重要になる3番目の問題があります。
対称的な問題:標準Linuxフロントエンドドライバ(xen-blkfront、xen-netfront)は、マルチキューデバイスのすべてのリングを、デバイス接続時にxenbusウォッチハンドラが偶然いるCPUから割り当てます。シングルノードdomUでメモリが適切に配置されている場合、これは問題ありません。リングが存在できるノードは1つだけです。マルチvnode domUでは、各キューのリングが同じvnodeに配置され、それが同じホストノードにマッピングされ、そのデバイスのすべてのdom0バックエンドkthreadが1つのホストノードに集中します。マルチキューの並列処理が失われます。
新しいxenbusヘルパーxenbus_setup_ring_nodeを追加しました。これは明示的なLinuxノードIDを受け取り、そのノードのアロケータからリングページを取得します。フロントエンドは、オンラインCPUを持つノードのセットをキューインデックスでローテーションする小さなコンパニオンヘルパーを呼び出します。これにより、キュー0のリングはノード0に配置され、キュー1のリングはノード1に配置されます。cpumask_local_spread(i, NUMA_NO_NODE)を使用した自然に見える実装は、実際にはローテーションせず、cpu_online_maskの線形ウォークにフォールバックし、すべてのキューを最初のノードのCPUに収束させることが判明しました。動作する実装は、明示的にfor_each_node_state(node, N_CPU)を使用します。
バックエンド側のアフィニティ作業と組み合わせると、マルチvnode domU上のマルチキューデバイスの各キューは、異なるゲストノードにリングを持ち、対応するホストノードにdom0バックエンドkthreadを持ち、そのホストノード内のCPUにIRQを持ちます。マルチvnode domUでのマルチキュー並列処理が意図したとおりに機能するようになります。
両端が正しく配置された場合にのみ重要になる3番目の問題は、ネットワークの送信側です。Linuxカーネルのキューセレクタ__netdev_pick_txは、CPUごとのステアリングマップがインストールされていない場合にパケットヘッダをハッシュしてTXキューを選択します。vnode 0の送信者がキュー7(そのリングはvnode 7にある)にハッシュする可能性があり、ペイロードは送信者のCPUからリングにノード間を移動してからdomUを出発します。キューごとのリング配置は、送信者からキューへのペアリングが事実上ランダムであるため無駄になります。
Transmit Packet Steering (XPS)は、キュー選択をCPU認識にするカーネルメカニズムです。xen-netfrontは現在、接続時にXPSマップをインストールし、各キューのインデックスをそのリングを所有するノードのcpumaskにマッピングします。vnode Nの送信者はキューNを選択します。そのキューのリングはvnode Nにあり、それはホストノードNにマッピングされ、キューNのdom0バックエンドkthreadもそこにピン留めされています。送信パスは、domU内の送信者プロセスから、domUカーネル、netfront、dom0のnetback、そしてdom0がパケットを物理ハードウェアに引き渡す時点まで、NUMAローカルのままです。
ブロックストレージにはXPS相当のものは必要ありません。ブロックマルチキューレイヤー(blk-mq)は、リング配置が使用するものと同じcpumask_local_spread-スタイルの分散を使用して、ハードウェアコンテキストをCPUにマッピングします。CPU Cの送信者はCPU Cにマッピングされたハードウェアコンテキストを介してI/Oを送信します。そのハードウェアコンテキストのリングはCPU Cを所有するノード上にあり、そのリングのdom0バックエンドkthreadも対応するホストノード上にあります。送信者、リング、バックエンドは、追加のステアリングレイヤーなしで構築によって整列されます。
パス全体、エンドツーエンド
これらすべてをまとめ、単一のdomU側パケット送信をパラ仮想化ネットワークドライバ(netfront/netback)を通して追ってみましょう。dom0の観点から、上から下へ、次のようになります。
- イベントチャネルIRQがバックエンドをウェイクアップします。
netbackのNAPIポールが実行されます。- I/Oを学習するために共有TXリングを読み取ります。
- ゲストの送信パケットページをマップします(「ゼロコピー」送信を容易にするため、一時的に)。
- パケットをdom0の出口キューイング規律(qdisc)にプッシュします。
- パケットを物理ネットワークインターフェイスコントローラ(NIC)に渡します。
これを分解すると、1つの実行コンテキスト(netbackのスレッド)が、2つの別々のマッピング(リングとペイロード)を介してゲストメモリにアクセスし、その結果をdom0側のネットワークスタックに渡し、最終的にホスト側の物理NICを介して送信されます。
スレッドがどこで実行され、そのメモリがどこにあるかは、2つの別々の配置決定です。パート1でカバーした2つのアフィニティです。Xenは、このプロセスの1つの部分、イベントチャネルIRQのみを単一のdom0 CPUにピン留めします。残りはすべてdom0カーネルスケジューラとdom0メモリマネージャに任されます。もちろん、ゲストメモリはdom0のアドレス空間にマップされますが、ページはゲストが配置された場所に常駐します。これらのページは移動せず、dom0から参照されるだけです。そして、そのメモリはnetbackスレッドが実行されるCPUからアクセスされます。
ネットワークは、これらのコンポーネントが不適切にアフィニティ設定された場合に最もコストを払うスタックです。ディスクI/O(パート3のblkback/blkfrontドライバ)はリングを永続的にマップして再利用します。ネットワークドライバは、各パケットバッチごとにペイロードを再マップおよびアンマップします。
それでも、イベントチャネルIRQがピン留めされていたとしても、そのピン留めは長くは続かないかもしれません。irqbalanceデーモンは、CPU間で割り込み負荷を分散しようと最善を尽くし、IRQを好きな場所に移動させます。NUMA対応ホストでは実際のトポロジーから移動しますが、NUMA非対応dom0ではそのトポロジーは隠されているため、その選択は事実上盲目です。
ネットワークI/Oの処理に関わる他のコンポーネントはどうでしょうか?NAPIポールはdom0スケジューラが選択したCPUで実行されます。メモリ側では、TXリングはゲストからグラントマップされるため、ゲストのノードに存在します。出口qdiscはdom0自身のメモリであり、通常はそれを割り当てたコンテキストのノードローカルになります。しかし、NUMA非対応のdom0はノードの優先度なしでそれを割り当てるため、フリーリストが偶然使用していたノードに配置されます。
Ederaと標準Xen構成の違いも注目に値します。dom0_vcpus_pin=1フラグ(dom0セクションから)は、少なくともIRQとNAPIポールを安定したコアに維持しますが、デフォルトではありません。典型的なXenインストールでは、すべてのdom0 vCPUがローカリティを考慮せずにすべての論理CPUを自由に移動できるため、配置の散らばりに加えて、キャッシュラインの所有権変更や、ゲストメモリのマッピング/アンマッピングに伴うクロスソケットTLBシュートダウンのコストが発生します。
しかし、そのピン留めがあっても、NUMA対応の変更がなければ、dom0のパラ仮想化ネットワーク処理に残りのコンポーネントはどのCPUでも実行され、どのホストノードからでもゲストメモリにアクセスし始める可能性があります。運が良ければ、すべてのコンポーネントが偶然同じNUMAドメインから実行/割り当てられるかもしれませんが、カーネルまたはハイパーバイザーレベルのインテリジェンスはありません。
運が悪い場合、5つのコンポーネントすべてが異なる場所に配置され、すべてのホップが相互接続を横断します。下の図に示します。
この図は少し単純化されています。すべてのトラバーサルが同じコストをかけるわけではありません。パート1から、2つのノード間のトラバーサルのコストは、ACPI SLITテーブルによって数値的な「距離」値として与えられることを思い出してください。最も「遠い」ノードへのホップは、「近い」隣接ノードへのホップの2〜3倍のコストがかかる可能性があります。
NUMA非対応(標準Xen):最悪ケースのネットワークTXパス
dom0のワーカーとゲストのメモリが異なるノードに配置されるため、すべてのアクセスが相互接続を横断します
ローカルアクセス
クロスノードアクセス
netbackスレッド
dom0メモリ
リング(永続)
ペイロード(一時的)
物理デバイス
ノード0
ノード1
ノード2
ノード3
domU
ゲスト(ノード3上)
TXリング(永続)
ペイロード(一時的)
netbackスレッド
そのIRQによってウェイクアップ
リング(マップ済み)
ペイロード(マップ済み)
出口qdisc
物理NIC
ノード2に固定
現代のCPUでは、相互接続をホップごとに横断するのは過酷です。上記の図は、それを過小評価しているかもしれません。
最も明白なコストは、あるノードのメモリから別のノードへ移動するバイトです。あまり明白でない部分は、ハードウェアが行うブックキーピングです。2つのノードからアクセスされるリングは、キャッシュラインを行き来し、各読み取りはリモートのスヌープを伴います。間違ったノードでウェイクアップされたバックエンドはコールドスタートし、必要なキャッシュラインはすべてマシン全体からプルされます。
ネットワークは、ブロックストレージにはないコストを追加します。パート3から、送信グラントマップはゲストの送信パケットページをマップし、パケット送信後にそれらをアンマップする必要があることを思い出してください。マッピングを解除するとTLBシュートダウンが発生します。古いエントリを持つ可能性のあるすべてのCPUにプロセッサ間割り込みが発火し、それぞれがスピン待機します。これらのCPUが他のノードにある場合、シュートダウンも相互接続を横断し、トラフィックの各バッチで繰り返されます。ブロックは一度マップして再利用しますが、送信は継続的にこの料金を支払います。
また、図は単一のリクエストを追跡していることを思い出してください。実際のホストは一度に多くの仮想NICとディスクを実行し、それぞれが独自のパスを同じファブリックに散らばらせます。コストは単に加算されるだけでなく、衝突します。相互接続には帯域幅の制限があります。クロスノードトラフィックが多すぎるとインターフェイスが飽和し、コヒーレンシとシュートダウンのオーバーヘッドは競合下で大幅に増幅します。1つのゲストは気づかないかもしれませんが、ファブリックに多数のビジーなゲストを配置したり、1つのゲストに多数のビジーなブロックおよびネットワークキューを配置したりすると、一定のホップごとの税金は、近隣の負荷によって変動するスループットとレイテンシになります。そのどれも単一の劇的な停止として現れません。ほとんどの場合、それは非常に変動しやすいレイテンシと帯域幅として現れます。
では、このクロスインターコネクトトラフィックをすべてどうやって修正するのでしょうか?dom0カーネルがNUMA対応になったら、パラ仮想化ドライバにその情報を尊重するように教えることができます。そして、修正は一度見ればほとんど退屈ですが、非常に満足のいくものです。
NUMA対応(Edera):ドメイン間パスはノードローカルのままです
ワーカー、マッピング、qdiscはすべてゲストのノード上に配置されます。NICへのホップのみがクロスします。
ローカルアクセス
クロスノードアクセス
netbackスレッド
dom0メモリ
リング(永続)
ペイロード(一時的)
物理デバイス
ノード0(アイドル)
ノード1(アイドル)
ノード2
ノード3
domU
ゲスト(ノード3上)
TXリング(永続)
ペイロード(一時的)
netbackスレッド
そのIRQによってウェイクアップ
リング(マップ済み)
ペイロード(マップ済み)
出口qdisc
物理NIC
ノード2に固定
パスに触れるすべてのレイヤーが1つのノードで合意します。
netbackNAPIポールは、ゲストをバックアップするホストノードにアフィニティ設定されます。- イベントチャネルIRQは、同じノードのCPUにステアリングされます。
- TXリングアクセスは、domUがそこに常駐しているため、ノードローカルです。
- ゲストのペイロードページもそのノードでマップ/アンマップされるため、シュートダウンはローカルに留まります。
- 出口qdiscはそのノードから割り当てられ、ホストNICのXPSは送信をノードローカルキューにステアリングします。
ドメイン間の会話全体(ゲストからリング、バックエンド、出口キューまで)は、ノードを離れることなく完了します。コヒーレンシトラフィックはオンダイに留まり、キャッシュはウォームに保たれ、アンマップシュートダウンは同じノードのCPUでのみ発生します。
しかし、上記の図で、デバイスのローカリティのためにアフィニティ設定できない残りのステップが1つあることに気づくかもしれません。「物理NIC」は、PCIパススルーネットワークカードと考えることができます。各PCIスロットには独自のNUMAローカリティがあり、そのカードにローカルなプロセッサを介してトラフィックを配信するしかありません。
つまり、最低限のコストは、単一の意図的な相互接続トラバーサル、つまり実際のハードウェアに触れる正直なコストであり、4つの偶発的なものに代わるものです。デバイスと同じノードに常駐しているゲストは、その1つさえも支払いません。
パート2から、EderaのdomU配置ポリシーは、ゲストを接続されたPCIパススルーデバイスのローカルに配置することを優先し、そうでなければ最も空いているNUMAノードに配置することを思い出してください。NICをゲストに直接接続するためにPCIパススルーを使用することは可能であり、それはその配置に含まれます。しかし、共有PVパスはホップが残るケースです。物理NICはdom0に属し、複数のゲストにサービスを提供するため、単一のゲストをそれにコプレイスすることはできません。その1つの意図的なクロスが、カードを専用にするのではなく共有する代償です。(ストレージはさらに曖昧です。ゲストにアタッチされたブロックデバイスは、複数のコントローラーに跨るホストボリューム上のファイルによってバックアップされる可能性があるため、単一のノードが存在しない可能性があります。そのため、配置はパススルーデバイスのローカリティのようにディスクのローカリティを追いかけません。)
NUMAホストでのNICおよびHBA割り込みステアリング
デバイスのローカリティは、その単一のデータホップよりも深くなります。物理NICは単一のキューであることはめったにありません。最新のサーバーNICは多数のハードウェアキューを公開しており、それぞれが独自のメッセージシグナル(MSI-X)割り込みを持ち、受信および送信処理をCPUに分散できます。本格的なSASまたはSATAホストバスアダプタ(HBA)も同様です。これらの割り込みとカーネルの送受信パケットステアリング(RPSおよびXPS)をカードの近くのCPUに分散することは、通常のLinux NUMAチューニングであり、インツリーコードはそれを自動的に行います。x86割り込みアロケータはデバイス自身のノードを優先し、ステアリングマップがそれに従います。
これらすべては単一の数値に依存します。デバイスのNUMAノードです。カーネルはファームウェア(dev_to_node)からそれを読み取ります。NUMA非対応のdom0では、すべてのデバイスに対して「不明」と返されるため、割り込みアロケータは優先するものがなく、ステアリングマップはターゲットにするノードがありません。デバイスが接続されているノードはカーネルから実際に見えないため、オペレーターは手動でカバーできません。しかし、dom0に実際のホストトポロジーを与えれば、その数値は解決されます。dom0はデバイス自身の割り込みとキューのステアリングをローカルノードに配置します。これはベアメタル上で行うのと同じ方法です。これは、PVパスを通して追跡したのと同じローカリティであり、ハードウェア自身のメカニズムに適用されるもので、ドメイン間ホップに適用されるものではありません。
最後に見つかった潜在的なvNUMAメモリ配置バグ
フルスタックの検証を実行中に、散布戦略ゾーンのメモリ帯域幅数値が期待よりも低いことに気づきました。他のすべての指標は正しく見えました。ゾーン内のlscpuは期待通りのマルチvnodeトポロジーを示し、APIC IDは要求したレイアウトと一致し、SRATも一致していました。残りのすべてと矛盾する唯一の数値は帯域幅でした。
このバグは、マルチvnode vNUMAがツリーに追加されて以来、サイレントに壊れていました。各vmemrangeの割り当てフラグを構築するツールスタックコードは、vnodeインデックスをXenのpopulate_physmapインターフェイスに渡していました。Xenはこのインターフェイスでは物理ノードIDを期待しています。Xenはこのインターフェイスでは仮想ノードを認識しません。ハイパーコールはホストノードIDのみで通信します。結果として、vnode Nのメモリは、配置アルゴリズムが実際に選択した物理ノードに関わらず、常に物理ノードNに配置されました。散布戦略によって物理ノード2と5に配置された2vnodeゾーンは、実際には物理ノード0と1にメモリを取得していました。
このバグが幸運な理由で隠されていたのは、フィールドで最も一般的な構成である2ソケット、1NUMAノード/ソケットのホストでは、vnodeインデックスと物理ノードIDがデフォルトで一致するためです。vnode 0は物理ノード0に、vnode 1は物理ノード1に対応します。このバグは、配置アルゴリズムが不連続な物理ノードセットを選択する場合にのみ現れます。例えば、ラボのボックス(散布戦略を実行する8ノードEPYCホスト)です。そのため、問題は長期間プロダクションテストで見過ごされていましたが、常に潜在していました。
もう1つの理由で、それは隠されたままでした。トポロジーの他のすべての部分は正しかったからです。CPUピン留めは配置選択された物理ノード配列を直接使用しました。APIC IDはCPUピン留めから導出されました。SRATはAPIC IDから導出されました。これらすべては、配置が要求したものを報告しました。矛盾したのは物理メモリの実際の場所だけであり、矛盾を検出する唯一の診断は、クロスソケットDRAMトラフィックに気づくほど感度の高いメモリ帯域幅ベンチマークでした。
ここから得られる教訓は、CPU配置に影響しないトポロジーバグは、CPUから派生したすべての診断が配置決定と一致し続けるため、実際のメモリが誤ったノードに静かに存在する間、長期間隠れる可能性があるということです。
コードの場所
このシリーズで説明されていることのほとんどは公開されています。
ハイパーバイザー側 — 比例dom0メモリトリミング、dom0 vNUMA合成、SLITスライス、x2APICエンコーディング — はEderaのXenブランチにあります。
- edera-dev/xen, branch edera/4.21 - Ederaパッチを上に重ねたXen 4.21。定期的にリベースされます。
それを読む前に知っておくべきこと:Ederaは独自のRustツールスタックからXenを駆動しているため、これらを追加してもアップストリームCツールスタック(xl / libxl)に新しいハイパーコールは追加されません。誰かが独自のツールスタックに配線したい場合、ハイパーバイザー部分はすべてそこにありますが、標準的なものでは公開されていません。
カーネル側 — キューごとのフロントエンドリング配置、xenbus_setup_ring_nodeヘルパー、XPSマップ、およびバックエンドアフィニティ作業 — は、Linux 6.18 LTSブランチに対するパッチシリーズであり、domUとdom0の両方をカバーしています。
- edera-dev/linux-kernel-oci - 分割されたシリーズ(今日のパッチセットであり、ブラウズ可能なツリーではありません)。
コンポーネントを連携させるオーケストレーション — ゾーンがいくつのノードを取得するか、最初のノードのシード、コンパクトおよび散布戦略 — は、いずれかのアップストリームツリーではなく、Ederaのツールスタックにあります。ほとんどは、それほど問題なく標準Xenツールスタックにポートできるでしょう。ポートできない部分は、配置ヒューリスティクス自体です。つまり、最も空いているノードへのシードと、コンパクト/散布の選択です。これらはEdera固有のブックキーピングに依存しています。
まとめ
これが技術的な物語の終わりです。シリーズ全体を通して、NUMAがメモリ配置をなぜ重要にするのか、EderaがデフォルトでゾーンのCPUとメモリをどのように配置するのか、Xenのパラ仮想化I/Oパスがなぜそれらすべてを認識していなかったのか、そして最終的にそのギャップを埋めて配置決定がワイヤ上のバイトとディスクまで伝わるようにしました。
このパートで開いたテーマが、ここでの作業がEderaのNUMA配置を実際に価値あるものにしているということです。パート2はアルゴリズムを説明し、このパートは、その決定が実際のI/Oとの接触を生き残るようにするものです。顧客に見える効果は意図的に地味です — I/Oレイテンシの変動が少なく、負荷下でのヘッドルームが増え、同じハードウェアでの密度が向上します — そして誰もそれを理解するためにNUMAについて考える必要はありません。
配置は設計により起動時に固定されるため、負荷下での再バランスが安全かつ予測可能であるかどうかは、私たちが繰り返し立ち返る質問です。配置をシードするヒューリスティクスは意図的にシンプルであり、ワークロードが実際にメモリをどのように使用するかについて、それらにさらに教える余地があります。それらのどれも約束ではありません。それは単に興味深い質問がある場所です。
XenでNUMAに敏感なワークロードを実行している場合、またはこの種の問題に取り組んでいる場合は、ぜひお聞かせください。