NUMA: コア、メモリ、そしてそれらの間の距離
NUMA: Cores, memory, and the distance between them (edera.dev)
要約
この記事は、NUMA(Non-Uniform Memory Access)アーキテクチャについて解説しています。UMA(Uniform Memory Access)との違いから、マルチソケットサーバーの登場、さらには単一ソケット内のNUMAノード化(AMD EPYCのCCDやIntel XeonのSNC)に至るまでの進化を歴史的背景とともに説明します。NUMA環境下でのメモリアクセスのコストと、それがワークロードのパフォーマンスに与える影響について深く掘り下げています。
全文翻訳
NUMA パート1: コア、メモリ、そしてそれらの間の距離
同じホスト上で、同一構成で、同一ワークロードを実行している2つの仮想マシンがあります。そのうちの1つは、一貫してもう一方よりも20%遅いです。ワークロードに問題はなく、ホストにも問題はなく、他のテナントからの競合もありません。遅い方のメモリが、それを実行しているCPUからのインターコネクトの「間違った側」にあるだけで、オペレーターが修正できるゲスト内の設定はありません。
このシリーズで語るのは、まさにこの話です。Ederaは、Xenベースの仮想化をエンドツーエンドでNUMA対応にする一連の変更をリリースしました。ゲスト内、パラ仮想化I/Oドライバー経由、dom0内、そしてホストハードウェアのハイパーバイザービューに戻るまでです。それらのうちのいくつかは、我々が知る限り、どこでも初のインプリメンテーションです。それらがなぜ重要なのかを説明するために、まずNUMAが実際何であるかから始めなければなりません。
NUMAはどこから来たのか: UMAからマルチソケットサーバーへ
NUMAはNon-Uniform Memory Accessの略です。その定義上の特性は名前にあります:NUMAマシンでのメモリアクセスのコストは均一ではありません。どのCPUがアクセスを行っているか、データが存在する物理メモリバンク、そしてそれら2つの関係によってコストが決まります。
NUMAの歴史的な対義語はUMA(Uniform Memory Access)です。これは、すべてのCPUが同じメモリコントローラーを通じて、同じコストで、すべてのメモリバイトにアクセスできるものです。UMAは、シングルソケットの汎用サーバーや多くの組み込みシステムの時代でした。概念的にシンプルで、ある限界までスケールします。その限界とは、おおよそ「1つのシリコンチップと1セットのメモリチャネルに収まるコア数」です。
その限界を超えてプッシュする必要がある場合はどうなるでしょうか?UMAは止まるまでスケールし、「止まる」には、絡み合ったいくつかの理由があります。電気的なトレース長が長くなります。信号が端から端まで伝播するのに時間がかかり、最新のメモリバスのデータレートでは、長いトレースは信号整合性を保つためにバスの速度を落とす必要があり、レイテンシの上にレイテンシが積み重なります。(これはL1 / L2 / L3キャッシュ階層の背後にあるのと同じ物理法則です:L1が小さいのは、キャッシュを小さく保ち、コアに物理的に近づけることが、それを高速に保つ理由の一部です。)単一のメモリコントローラーは、任意の数のコアにフル帯域幅で供給することはできません。パッケージのピン数は、1つのソケットに配線できるメモリチャネルの数にハードな上限を設けます。多くのCPUが同時にメモリを読み取ろうとすることによるバスの競合は、無視できないレベルになります。業界の答えは、各ソケット(またはダイ)に独自のメモリコントローラーを与え、メモリが対称的な単一プールであるという見せかけをやめることでした。マシンはNUMAになります。各ノードは独自のCPUと独自のメモリのスライスを持ちます。CPUは依然としてどのノードにも読み取れますが、リモートノードへの読み取りはインターコネクトを横断する必要があり、インターコネクトは絶対的な速度では高速ですが、ローカルDRAMアクセスと比較すると遅いです。
graph TD
UMA[
UMA
CPU 0
CPU 1
CPU 2
CPU 3
memory controller
memory
one pool, shared by all CPUs
every access has the same cost
]
NUMA[
NUMA
node 0
CPU 0
CPU 1
memory controller
memory
node 1
CPU 2
CPU 3
memory controller
memory
interconnect
local access is cheap; remote access crosses the interconnect
]
インターコネクトを隣接する2つの町の間の橋と考えるのが役立ちます。空いている道では、渡ることはローカルトラフィックよりもわずかに遅いだけです。ラッシュアワーには、誰もが同じ橋を使おうとするとき、コストはキュー次第です。NUMAが、賑やかな本番ワークロードと静かなマイクロベンチマークでどのように見えるかについて話すときに、この区別に立ち戻ります。
それを理解するための簡単な年表です。商用NUMAは1990年代に、1つのバスでは供給できないコア数が必要だった少数のバイヤーを対象としたハイエンドシステムに登場しました:SGIのOriginライン、Sequent NUMA-Q、CompaqのAlphaServer GSシリーズなど、すべてカスタムのノード間ファブリックを備えていました。NUMAは2003年にAMDのOpteronとともに汎用x86に登場し、各ソケットに独自のメモリコントローラーを与え、ソケットをHyperTransportで接続しました。Intelは2008年にNehalemとQuickPath Interconnect(QPI)で追いつきました。それ以前は、フロントサイドバスチップセットで長らくUMA(すべてのCPUがノースブリッジへの単一バスを共有し、ソケットごとのメモリは全くありませんでした)でした。今日のIntel製品はQPIの後継であるUltra Path Interconnect(UPI)を使用しており、今日のAMD製品はHyperTransportの後継であるInfinity Fabricを使用しています。各世代で絶対帯域幅は大幅に向上しましたが、リモート対ローカルDRAMコストの比率は、ほぼ同じ範囲で頑固に維持されています。
これまでのすべてを見て、各ソケットが1つのNUMAノードだと考えてしまうかもしれません。Opteron登場後のほとんどの10年間は、それが正しかったです。当時のソケットあたりのコア数では、単一のメモリコントローラーがソケット全体を問題なく供給できたため、オペレーターはNUMAを「トポロジーはソケットを反映する」と学びました。そのメンタルモデルは機能しました。
それは2010年代後半頃から真実ではなくなりました。AMDのZenベースのEPYCは、ソケットあたりのコア数を十分に増やし、巨大なモノリシックダイの製造上のトレードオフを魅力のないものにしたため、パッケージは小さなチップレットの集合体になりました:1つのソケット内に複数のCore Complex Dies(CCDs)があり、それぞれが独自のL3キャッシュとメモリコントローラーのスライスを持ち、Infinity Fabricで接着されています。ひねりは、Infinity Fabricがソケット 内 のCCD間で使用されるようになったことで、ソケット間だけでなく、同じファブリックが同じジョブをより小さなスケールで実行していることです。したがって、単一のEPYCソケットは、パーツとBIOS設定に応じて、OSに複数のNUMAノードを提示できます。「Nodes Per Socket」(NPS)ノブ、現在の世代ではNPS1からNPS4までです。
Intelの同様のアイデアはSub-NUMA Clustering(SNC)です。デフォルトではオフですが、最近のXeonパーツのBIOSで利用可能で、SNCはオンダイのメモリコントローラーメッシュをパーティション化し、その結果をソケットあたり複数のNUMAノードとして提示します。
「1ソケット、1ノード」は有用な最初の近似でしたが、数年前から汎用ハードウェアでは正しくなくなりました。2つ以上のソケットを持つx86サーバーは、特殊なニッチを除いてまれになりました。最新システムでの興味深いNUMAの複雑さは、単一のデュアルソケットボックスの内部から来ており、そこでは4つから8つのノードが一般的になっています。
「遅い」とはどのくらいか?
正確な数値はプラットフォーム固有であり、正確な方法論については議論がありますが、有用な経験則として、最新サーバーでのリモートDRAMアクセスは、ローカルアクセスの約1.5倍から3倍のコストがかかります。帯域幅も低く、時には同様の比率で低下します。これらの数値は、アイドル状態のマシンでマイクロベンチマークを実行して測定するものです。
graph TD
node 0
CPU 0
CPU 1
memory controller
node 0 memory
node 1
CPU 2
CPU 3
memory controller
node 1 memory
interconnect
local
remote
実際のワークロードでは、インターコネクトが共有されているため、ギャップは通常さらに悪化します。多くのコアが同時にクロスノードアクセスを行っている場合、それらは同じインターコネクト帯域幅を競合するため、リクエストあたりのレイテンシが増加します。これは、「なぜこのサーバーは高負荷時に遅いのか」という多くの謎の背後にあるメカニズムです。マイクロベンチマークではクロスノードは2倍悪いと言います。本番ワークロードでは、誰もが同じパイプを奪い合っているため、4倍または5倍悪くなります。
その対偶も言及する価値があります:NUMA効果は、影響を受けるワークロードを遅くするだけでなく、それらのパフォーマンスを予測不可能にします。同じリクエストが、その瞬間にインターコネクト上で他に何が起きているかによって、80ナノ秒または250ナノ秒かかることがあります。平均レイテンシは有用な数値ですが、テールレイテンシはNUMAの苦痛が最初に現れる場所です。
インターリーブ: ピークを犠牲にしてフロアを確保する
メモリがどこに配置されるべきかを理解する作業を一切行わずに、コストカーブを平坦化するよく知られた方法があります:メモリインターリーブです。要求しているタスクがどのノードにあるかに関係なく、すべてのノードにラウンドロビンでページを割り当てます。Linuxではこれはnumactl --interleave=allです。一部のデータベースやJVMは、独自のアロケーターで同等のことを行います。一部のハイパーバイザーは、他に賢いフォールバックがない場合に、ゲストメモリに対してこれを暗黙的に行います。
同様のアイデアのBIOSレベルのバージョンも存在します。ほとんどのデュアルソケットサーバーファームウェアには、「Node Interleaving」または「Memory Interleaving Across Nodes」トグルがあり、キャッシュラインまたはページ粒度で物理メモリをソケット全体に分散させます。これがオンになっていると、OSはNUMAトポロジーではなく、単一の大きなUMAプールを認識し、NUMA対応コードはすべて無効になります。認識すべきトポロジーが残っていないためです。
そのトグルはデュアルソケットボックスで最も一般的ですが、根本的な問題はどこでも同じです:インターリーブはうまくスケールしません。ノードが多いほど、任意のコアと任意のメモリバンク間の最悪ケースのパスが長くなり、そのすべてのラウンドロビントラフィックを処理するためにインターコネクトにかかる圧力が増します。インターリーブが行うトレードオフ(予測不可能な混合に対する予測可能な平凡さ)は、トポロジーが広がるにつれてさらに厳しくなります。
graph TD
NUMA_aware[
the same task on node 0; its pages, placed three ways
NUMA-aware
fast and consistent
every access is local
]
NUMA_oblivious[
NUMA-oblivious
unpredictable
no pattern, varies by run
]
Interleaved[
interleaved
consistent, but mediocre
"makes everything equally bad"
page on node 0 (local)
page on node 1 (remote)
]
インターリーブは、単一の割り当ての期待コストを、マシン上のすべてのノード間コストの平均にほぼ等しくします。2ノードホストでは、構築上、約半分のアクセスがローカルで、約半分がリモートになります。レイテンシのばらつきは解消されます。なぜなら、ワークロードはどのページに触れるかによって勝ったり負けたりしなくなるからです。
元同僚がこのトレードオフを最も簡潔に表現した一行があります:インターリーブはすべてを等しく悪くする。それはピークのコストで得られる一貫性です。単一ノードに収まり、ローカルメモリのみにアクセスできたワークロードは、毎回割り当ての半分でリモートアクセスコストを支払うことになります。
これは実際のツールであり、それを使うべき現実的な理由があります。NUMAホストで実行されるNUMA非対応ソフトウェアは、インターリーブから予測可能なパフォーマンスを得ます。「予測可能な悪さ」は、「予測不可能な混合」よりも運用しやすいことが多いです。マシン全体にまたがるメモリ帯域幅バウンドのワークロードは、単一のメモリコントローラーを飽和させるのではなく、すべてのメモリコントローラーの帯域幅を統合できるため、実際には有利になることさえあります。
しかし、それは多くの可能性を残します。自身のアクセスパターンを理解しているワークロードが、正しいトポロジーを提供し、配置要求を尊重するスタックで実行される場合、レイテンシとスループットの両方でインターリーブよりも大幅に優れたパフォーマンスを発揮できます。このシリーズで説明する作業の全体的な目的は、Xenゲストが「盲目と希望」と「盲目とインターリーブ」のどちらかを選択する必要がなくなったことです。ゲストは自身の位置を知ることができ、それに基づいて行動できるようになります。
2つのアフィニティ、1つではない
多くの開発者は、キャリアを通じてNUMAについて考えることなく過ごします。もしあなたのデプロイターゲットがラップトップ、シングルソケットワークステーション、または単一ホストノードから切り出されたクラウドVMであったなら、あなたは事実上常にUMAマシン上にいたことになり、NUMA対応ツールはあなたの視野の周辺にしか存在しなかったでしょう。それはワークロードがより大きなボックスに移行した日に現れ、通常は「これは奇妙に遅い」という警告音以外は何もありません。そして標準的な開発者の反応は、誰も言及しなかった別の配置軸全体を発見することです。
最初の軸、馴染みのあるものです:もしあなたがtasksetやsched_setaffinityでプロセスを特定のCPUにピン留めしたことがあるなら、あなたはすでに絵の半分を知っています。タスクにはCPUへのアフィニティがあります。カーネルスケジューラは、それらを配置した場所に留めようとします。CPUアフィニティは、チュートリアルやブログ記事によく登場する半分です。
もう半分はメモリのアフィニティであり、これははるかに頻繁には登場しません。Linuxでは、mbind()、set_mempolicy()、およびnuma_alloc_onnode()のようなlibnumaヘルパーによって制御されます。これらはすべて、割り当てがどのNUMAノードから行われるかを決定します。numactl(8)のマニュアルページが実用的な入り口です。カーネルは独自の自動NUMAバランシングも行います - NUMA_BALANCINGノブ - ページを最も頻繁にアクセスするCPUの方へ移行させます。
メモリ配置に関するデフォルトのLinuxの動作は知っておく価値があります。なぜなら、それが人々を悩ませるからです。これは「ファーストタッチ」と呼ばれます。ユーザー空間がページを要求するとき(malloc()、mmap()、ページフォルトに帰結するあらゆるもの経由)、ページは実際にはすぐに割り当てられません。それは、あるCPUがそれに触れた最初の時に割り当てられます。ページが配置されるノードは、要求したCPUのノードではなく、触れたCPUがあったノードです。これは、メモリを割り当てて使用するスレッドが同じであるプロセスには問題ありません。しかし、一般的なパターンでは静かな悲劇となります:初期化スレッドが大きなバッファを割り当ててゼロクリアし、その後他のノードのワーカー・スレッドがそれを使用します。すべてのページは初期化スレッドのノードに配置されます。すべてのワーカーアクセスはリモートになります。オペレーターは「このベンチマークは期待よりも遅く、理由がわからない」と見ることになります。
CPUアフィニティとメモリアフィニティの衝突が、最も興味深い動作が発生する場所です。最適化が機能するためには、それらが一致する必要があります。タスクがノード0にピン留めされていて、そのメモリがノード1にある場合、ピン留めしないよりも悪化しています。リモートアクセスが保証されるからです。逆に、ノード0にメモリを割り当てたのに、タスクがノード1にスケジュールされた場合も同じ結果になります。ファーストタッチは、オペレーターが気づかずに2つが不一致になる特定の原因の1つです。
リモートNUMAアクセスを引き起こす可能性のある3つの要因があります:
- タスクがデータに対して間違ったCPUで実行されている
- データがタスクに対して間違ったメモリバンクにある
- またはその両方
プレーンなLinuxは、ユーザー空間が制御するプロセスに対して、これらすべてを処理するためのツールを提供します。より難しい質問は、その上のレイヤーに関するものです:OS自体がトポロジーについて何を知っているか、誰がその情報を誰に公開しているか、そしてレイヤーの1つが盲目になったときに何が起こるかです。
OSが見るもの - そしてXenのdom0が見落とすもの
A NUMA対応カーネルは、トポロジーが存在することを知る以上のことを行います。物理メモリマップをノードごとのチャンクに分割し、各ノードにどのCPUがローカルであるかを追跡し、その情報をユーザー空間に公開します。numastat、numactl -H、および/sys/devices/system/node/階層は、その仕組みの可視的な終端です。ユーザー空間プロセスは、「ノード0の空きメモリはどれくらいか?」や「割り当てたばかりのメモリにローカルなCPUはどれか?」と質問し、実際の回答を得ることができます。根本的な真実の情報源は、ファームウェアのSystem Resource Affinity Table(SRAT)とSystem Locality Information Table(SLIT)であり、これらはどちらもこのシリーズの後半で再び登場します。
同じ仕組みには、別の驚きも潜んでいます。歴史的な「1ソケット、1ノード」のボックスは、ノードあたりのメモリが豊富でした:256 GiBのデュアルソケットサーバーは、2つの128 GiBノードを持っており、「ワークロードを1つのノードに収める」のは簡単でした。マルチノードソケットは、その直感をすぐに壊します。同じデュアルソケットボックスを取り、EPYCパーツで構成し、ファームウェアをNPS4に設定します:ソケットあたり4ノード、ホストあたり8ノード、ノードあたり32 GiBです。かつて明らかにシングルノードだったワークロードは、CPUフットプリントが1つのノードに簡単に収まる場合でも、ノードあたりのDRAMの計算だけで、突然2つまたは3つのノードを必要とする可能性があります。その計算は容赦なく、初めてそれに遭遇した人々を驚かせます。
ここに関わる認識のレイヤーについて具体的に説明する価値があります。なぜなら、それを間違えるコストは、どのレイヤーが知らないかによって異なるからです:
- NUMAハードウェア上の、NUMA対応カーネル上の、NUMA対応アプリケーション。 1990年代から誰もが目指してきた設計ポイントです:レイテンシは低く、ばらつきは低く、アプリケーションは必要であれば自身をチューニングできます。
- NUMA対応カーネル上の、NUMA非対応アプリケーション。 実運用では一般的なケースです。カーネルはアプリケーションの代わりにベストエフォートのバランシングを行うため、アプリケーションは平均パフォーマンスに近くなりますが、ばらつきは大きく、ヘッドルームは残ります。
- NUMA非対応カーネル上の、NUMA非対応アプリケーション。 すべてが「アロケーターがたまたま配置した場所」にフォールバックします。カーネルは持っていない情報を公開できず、ユーザー空間ツールは答えのない質問をすることができず、NUMA対応を望んでいたアプリケーションは運が悪いです。
最後のケースは最悪の状況であり、そして - 驚くかもしれませんが - これらのスタックを2つ重ねた瞬間に到達する場所です。アップストリームXenのdom0は、昔からそのコーナーに座っています。それはNUMAホスト上の特権ゲストですが、XenはそれにNUMAトポロジーを全く与えません - ハードウェアが実際にいくつのノードを持っているかに関わらず、1つの均一化されたマシンです。それは単なる美的なギャップではありません:dom0のメモリはホストの物理ノード上にあり、そのvCPUはホストのCPU上にありますが、相談すべきトポロジーがないため、dom0内のストレージデーモンやコンテナランタイムは、ローカルページとリモートページを区別できません。そのため、そのアクセスのかなりの割合がインターコネクトを横断しますが、dom0内のnumactl -Hは1つの整然としたノードを報告し、その中の何も気にかけることを知りません。これが仮想化を次に話すべきものにします。
2つのスタック、それぞれが半分を見る
通常のLinuxマシンには、1つのカーネル、1つのスケジューラ、1つのメモリアロケーターがあります。それらは状態を共有します。配置決定を行うとき、少なくとも調整するオプションがあります。
仮想化システムは、それらを2つ重ねています。ハイパーバイザーはホストメモリを割り当て、vCPUをピン留めまたはフローティングさせます。ゲストカーネルはゲストメモリを割り当て、独自のスレッドをvCPUにスケジュールします。2つのスタックは、同じ物理リソースについて同じ種類の決定を下そうとしていますが、それぞれが絵の半分しか見ていません。
その不一致がどのように展開するかは、ハイパーバイザーの下に何があるかによって異なります。KVMでは、下に完全なLinuxカーネルがあります:VMは単なるqemuプロセスであり、ホストカーネルのスケジューラ、ページアロケーター、NUMAバランサーはそれを他のプロセスと同様に扱います。そのため、ほとんどのNUMA関連の仕組みは、誰かが新しいものを作成する必要なしに、無料で適用されます。Xen、ESXi、またはHyper-Vの親パーティションでは、基盤となるOSはありません - ハイパーバイザーがハードウェアを直接駆動し、NUMAを理解しない場合、ホスト上の何も理解しません。
この区別は、このシリーズにとって負荷の高いものです。KVMでは、ホストLinuxはすでにNUMAを認識しておりKVMでは、ホストLinuxはすでにNUMAを認識しています、関連インフラストラクチャのほとんど(qemuプロセス上のnumactl、cgroup CPUピン留め、自動NUMAバランシング)は、誰かが新しいものを作成する必要なしにすぐに機能します。Xenでは、特権管理ゲストは一般的にdom0(「ドメインゼロ」)と呼ばれます - それは物理デバイスドライバーと、他のすべてのゲストを起動するツールスタックを所有します。特権のないゲストは一般的にdomU(「ドメインU」、特権なしのため)と呼ばれます。このシリーズの残りの部分では、これらの2つの用語を自由に使いいます。Dom0自体はハイパーバイザーのゲストであり、その下のハイパーバイザーはこれらの配置決定を自身のために行う必要があります。このシリーズの多くの内容は、Xenがそのベースラインに追いつき、場所によってはそれを超えていることです。
「KVMは無料で手に入れる」ということの裏側も慎重に検討する価値があります:自律的なホスト側スケジューラにNUMAをバランスさせることを多くのテナントに許可することは、まさに「うるさい隣人」問題を引き起こすような「賢い」動作です。VM Aのメモリは、VM Bの配置が変更されたために移行され、VM AのテールレイテンシはVM Aが見ることのできない理由で揺らぎます。コントロールプレーンによってワークロードが開始される前に明示的に行われた配置決定は、そのクラスの問題を回避します - ただし、コントロールプレーンが決定を行うための正確なトポロジーを持っている場合に限ります。これは、1つ上のレベルでの元の2スタックの不一致に戻ります。
特にXenでは、その不一致は、ゲスト自体が決定できない、ゲストのNUMAエクスペリエンスに関する3つの別々の決定として現れます:
- ゲストのメモリはホストのどこに配置されますか?ツールスタックが起動時に選択し、ハイパーバイザーが配置を尊重します。ゲストは、vNUMAトポロジーを持っている場合、決定されたことを読み取ることでそれを学びます。ゲストはその問題について発言権を持ちません。
- ゲストのvCPUはホストのどこで実行されますか?ハイパーバイザーのスケジューラが選択します。または、vCPUがピン留めされている場合、オペレーターが起動時に選択しました。
- ゲストはそのトポロジーをどのように認識しますか?何もしないと、ゲストはメモリとvCPUが実際にホスト全体にどのように分散されているかに関わらず、単一の均一なアドレス空間を認識します。ゲスト内の
numactl -Hは、ホストが8つ持っているかもしれない場所に1つのフラットなノードを表示し、ゲスト自身のNUMA対応コードは、実際の行動を起こすものが何もありません。
3番目の項目が最も深刻な問題を引き起こします。なぜなら、それはゲスト自身の最適化を裏目に出させるからです。ハイパーバイザーはゲストのメモリとvCPUを完璧に同じノードに配置したかもしれません。しかし、ゲストのユーザー空間は、カーネルが表示するフラットマップを信頼して、ホットスレッドをvCPUにピン留めし、そのスレッドのバッファを好きな場所に割り当てます。そして、「好きな場所」がソケットから離れたvnodeに配置された瞬間、そのスレッドからのすべてのアクセスは、スレッドが実行されている間、静かにインターコネクトを横断します。ほとんどの場合、ゲストは幸運です。残りの時間は、慎重に最適化された結果、遅いパスに乗ってしまい、「残りの時間」がオペレーターがデバッグすることになるものです。
配置だけがXenの分割設計がその価値を発揮する場所ではありません。スケジューラがもう一つであり、NUMAホスト上では、それらは異なる帽子をかぶった同じ問題です。KVMホスト上では、Linuxスケジューラがすべてを一度に担当します:ゲストvCPUスレッド、それらの周りのqemu I/Oおよびエミュレータスレッド、ホストカーネル自身の作業、すべてのユーザー空間デーモン、他のすべてのテナントのワークロード。それらはすべて同じスケジューラ上で同じCPU時間を競合します。負荷の下で1つのテナントに信頼性があり公平なCPU時間を確保するには、多くの明示的な手動操作が必要です - isolcpusまたはcgroup cpusets、すべてのスレッドカテゴリのtasksetピン留め、スターベーションと戦うためのスケジューラクラスの変更 - そして統合された設計は、それらのどれだけを行っても、チューニングの問題であり続けます。
その同じ不透明さが、KVMスタックでNUMAを正しく扱うことを難しくしています。ゲストのvCPUとそのメモリを同じノードに着地させるには、まずqemu(またはcloud-hypervisor)プロセス内のどのスレッドがvCPUであるか(I/Oスレッド、エミュレータスレッド、マイグレーションヘルパーとは対照的に)を特定し、次にスレッドとメモリの両方を手動でピン留めし、プロセスがさらにスレッドを生成する際にそれらを一致させ続ける必要があります。それは可能であり、人々はそれをやっていますが、それは非常に細かく、微妙に間違えやすいです。これはまさに、vCPUが1つのノードにあり、それらがアクセスするメモリが別のノードにあるという状況になる方法です。
Xenの分割スケジューラモデルは、両方の側面を回避します。XenはハイパーバイザーレイヤーでゲストvCPUをホストpCPUにスケジュールします。dom0内のLinuxスケジューラは、dom0自身のスレッドのみをdom0のvCPUにスケジュールします。2つのレイヤーは、異なるリソースを異なる抽象化レベルで見ているため、競合することはありません。そして、ハイパーバイザーが直接vCPU対pCPUの配置を所有しているため、ゲストのコアとメモリを1つのノードに配置することは、ツールスタックが一度、事前に決定することです - オペレーターがcgroupプリミティブとスレッドの探求から再構築する必要があるものではありません。配置作業と同じ、1つ下のレイヤーでの意図的な事前決定の本能です。
これらの3つの決定だけがすべてではありません。パラ仮想化I/Oを開始すると現れる4番目の次元がありますが、それはそれ自身のセットアップを必要とします。今のところ、2スタックの不一致は、後続のすべてを動機付けるのに十分です。
このシリーズの次の内容
このシリーズの次のパートでは、Ederaが上記の決定1と2を、ゲストが開始される前に自動的にどのように行うかを見ていきます。短いバージョン:一般的なケースではゼロ設定、ワークロードが望むものを知っている場合は明示的なエスケープハッチ、そしてピークパフォーマンスよりも一貫したパフォーマンスを優先することです。長いバージョンは、物事が面白くなる場所です。
NUMAシリーズ全体を読む
NUMAパート2: NUMA対応ゾーン配置 — Ederaの決定方法