タスクは成功したが、失敗した:NICとディスク帯域幅の飽和
Task Failed Successfully: Saturating NIC and Disk Bandwidth (blog.mrcroxx.com)
要約
この記事は、AIエージェントによるシステムパフォーマンス最適化の過程で「タスクは成功したが、失敗した」事例を分析しています。AIはシステムのスループットを半分の状態から完全に飽和させましたが、その理由の説明は間違っていました。筆者は、この最適化の背後にある分析とデバッグプロセスを、io_uringのバッファ登録機能を使用してDirect I/OのCPUオーバーヘッドを解消し、NIC帯域幅を飽和させる方法を中心に詳細に解説しています。
全文翻訳
タスクは成功したが失敗した:NICとディスク帯域幅の飽和
0. “タスクは成功したが失敗した”
AI時代は、多くの人が予想していたよりも早く到来しました。エージェント型コーディングは、私の日常業務の進め方を完全に変えました。正直に言うと、しばらくの間、仕事で一行のコードも書いていません。そうです、本当です。一行たりとも!! それでも、コードが数百台のHPCサーバーを持つクラスター全体でピークパフォーマンスで実行されるのを止めることはありませんでした。
もちろん、コードを書かない(あるいは完全にレビューしない)ということは、モンキータイピングのように、ランダムに触っているということではありません。要件の分析、エージェントとの設計の洗練、デモの構築、モック実験の実行、小規模テストの結果の学習、見つかった問題の反復、そして完全で堅実なテストプロセスの維持など、 blah blah blah は依然として必要です。
[画像: モンキータイピング]
Monkey Typing
しかし、AIとエージェント型コーディングにより、すべてがより速くなりました。時には、コードは私たちが完全に理解できるよりも速く生成されます。そして時には、AI自身がそれを理解できるよりも速いことさえあります。はい、その通りです。そして、この記事はそのような例の一つから来ています。
私のエージェントにシステムのパフォーマンスを最適化するようにプロンプトを与えた後、AIはそれを約半分のスループットからフルサチュレーションまで素早く引き上げました。しかし、それがなぜ機能したのかについての説明は完全に間違っていました。それは典型的なタスクは成功したが失敗したのケースでした。
[画像: タスクは成功したが失敗した]
Task Failed Successfully
この記事では、AIが「成功裏に失敗した」理由については触れません。これは、このシステムパフォーマンス最適化の背後にある分析とデバッグプロセスのウォークスルーです。
1. 1つのNICと8つのディスクでデモを最適化する
複雑なビジネスではなく、パフォーマンス最適化に焦点を当てるために、システムを単純な抽象化にしましょう。
単一のスレッドが8つのNVMeドライブ全体で1 MiBのランダムダイレクトI/O読み取りを発行し、その後RDMA WRITEを介してデータをリモートホストに送信します。次に、NIC帯域幅を飽和させます。
具体的には、各ドライブは最大7 GiB/sの読み取りスループットを提供でき、NICは400 Gb/sのネットワーク帯域幅を提供します。すべてのデバイスは同じNUMAノードに接続されています。ワーカー スレッドは非CPU0コアにピン留めされています。ホストはパススルーモードでIOMMUを実行しており、関与するI/OデバイスはIOMMUを介して変換されません。
実装については、私(実際には私のAIエージェント)が非常に単純なイベントループを構築しました。クライアントはサーバーに読み取り要求を送信します。サーバーはRDMA CQで受信要求をポーリングし、io_uringを介して読み取りをサブミットし、結果のCQEをポーリングしてから、RDMA WRITEを介してデータを返送します。
[画像: シンプルなトポロジー]
Simple Demo Topology
このデモセットアップは非常に直接的であり、干渉源をほぼすべて排除します。飽和させようとしているNIC以外は、すべてのコンポーネントに十分なヘッドルームがあります。NICの理論上の最大スループットは46.6 GiB/s、各ドライブの平均読み取りスループットは6 GiB/s未満、総IOPSは50,000未満、CPUにも十分な容量があります。
すべてが整ったので、結果を見てみましょう。
| inflight | GiB/s | avg µs | p50 µs | p90 µs | p99 µs | p99.9 µs |
|---|---|---|---|---|---|---|
| 4 | 8.87 | 440 | 430 | 519 | 632 | 759 |
| 8 | 15.56 | 501 | 486 | 616 | 784 | 955 |
| 16 | 22.69 | 688 | 670 | 850 | 1118 | 1436 |
| 32 | 22.53 | 1386 | 1384 | 1696 | 1934 | 2272 |
| 64 | 22.15 | 2821 | 2819 | 3133 | 3366 | 3691 |
驚くべきことに、システムはわずか16のI/O深度でボトルネックに達し、集約スループットはNIC帯域幅の約半分にしか達しませんでした。そしてCPU使用率は100%に達しました。
何かが間違っていることは明らかだったので、I/O深度16でperfを使用してシステムをプロファイルしました。これがフレイムグラフです。
[画像: シンプルなデモのフレイムグラフ (iodepth=16)]
Simple Demo Flamegraph (iodepth=16)
フレイムグラフが示すように、CPU時間のほとんどはio_submit_sqesに費やされており、これは総CPUコストの81.62%を占めています。デモではダイレクトI/Oを使用しているため、各I/Oサブミッションでは、カーネルがブロックデバイスが消費するためのユーザー空間バッファからDMAメタデータを構築する必要があります。このパスの最もコストのかかる部分は次のとおりです。
__bio_iov_iter_get_pages:iovをbioページに変換します。pin_user_pages_fast: ユーザー空間仮想アドレス範囲をstruct pageポインタの配列に変換し、デバイスがDMAを実行している間それらのページが再利用、移行、またはスワップアウトされないようにピン留めします。
bio_set_pages_dirty: バッファページをダーティとしてマークします。ダイレクトI/Oでは、NVMeデバイスはユーザー空間バッファをバックアップするページに直接データをDMA書き込みします。これらのページは、VMがクリーンページとして扱わないように、ダーティとしてマークする必要があります。folio_*: 参照カウント、ダーティ状態、マッピング、ロック、および再利用関連の状態を含む、folioに関連付けられたVM状態を更新します。Linux VMでは、folioは物理的に連続したページのセットの統一された抽象化です。
一言で言えば、io_submit_sqesの広いフレームは、ダイレクトI/O DMAのためにユーザーメモリを準備する累積コストを表しています。各SQEには、ユーザー空間ポインタと長さのみが含まれます。カーネルはページテーブルをウォークし、バックグラウンドのstructページを見つけてピン留めし、bio_vecエントリを構築し、folio状態を更新し、結果のbioをサブミットする必要があります。
その作業のほとんどはページごとに支払われます。4 KiBページでバックアップされた1 MiBの読み取りは、約256ページに触れ、1つの論理読み取りを数百のページテーブルルックアップ、ページピン、folio更新、およびbioベクター操作に変換します。毎秒20,000から50,000回の読み取りで、システムは毎秒約500万から1300万ページをGUP(Get User Pages)経由で処理します。仮想アドレス範囲が高度に断片化された物理メモリによってバックアップされている場合、folioメタデータ更新とアトミック参照カウント/ピンカウント更新、およびクロスコアキャッシュライン所有権転送の同等の数が発生する可能性があります。
したがって、各I/Oでユーザー空間バッファを処理するコストを回避できれば、パフォーマンスを向上させることができるはずです。幸いなことに、liburingはまさにそれを行う方法を提供します。io_uring_register_buffers(3)を使用すると、I/Oバッファを事前に登録でき、このメタデータ準備作業をペリI/Oパスから移動できます。具体的には、io_uring_register_buffers(3)は、アップフロントで次の作業を実行します。
- アドレス範囲、長さ、アラインメント、およびカウント制限をチェックして、
iovecsを事前に検証します。 - バッファに対してGUPを実行し、ユーザー空間仮想アドレスを対応するstructページ/folioに変換し、登録期間中それらのページをピン留めします。
- カーネル側バッファメタデータを構築および保持し、登録済みバッファごとに
io_mapped_ubufを構築します。
これらはまさに、フレイムグラフで観察された主要なコストです!試してみましょう。デモでは、64 MiBの読み取りアリーナを導入し、I/Oサイズに合わせて1 MiBスロットに分割します。起動時に、64個のio_uring固定バッファとして64 MiB読み取りアリーナをio_uring_register_buffers(3)で登録します。各読み取りでは、オペコードをopcode::Readからopcode::ReadFixedに切り替え、対応するスロットにbuf_indexを設定します。これにより、I/Oパスは登録済みバッファを使用できます。結果は次のとおりです。
| inflight | GiB/s | avg µs | p50 µs | p90 µs | p99 µs | p99.9 µs |
|---|---|---|---|---|---|---|
| 4 | 9.09 | 429 | 421 | 519 | 641 | 767 |
| 8 | 16.78 | 465 | 447 | 590 | 775 | 966 |
| 16 | 28.08 | 556 | 514 | 774 | 1119 | 1425 |
| 32 | 39.87 | 783 | 705 | 1229 | 1754 | 2184 |
| 64 | 46.00 | 1358 | 1248 | 2089 | 3195 | 4214 |
I/O深度が増加するにつれて、スループットは上昇し続けます。I/O深度64では、NIC帯域幅をほぼ飽和させます。
| inflight | Baseline GiB/s | READ_FIXED GiB/s | Δ | Baseline p99 µs | READ_FIXED p99 µs |
|---|---|---|---|---|---|
| 4 | 8.87 | 9.09 | +2% | 632 | 641 |
| 8 | 15.56 | 16.78 | +8% | 784 | 775 |
| 16 | 22.69 | 28.08 | +24% | 1118 | 1119 |
| 32 | 22.53 | 39.87 | +77% | 1934 | 1754 |
| 64 | 22.15 | 46.00 | +108% | 3366 | 3195 |
ベースラインと比較して、CPUがボトルネックになっていない低I/O深度ではスループットは同等です。I/O深度16までに、ベースラインはすでにCPU負荷を示しており、それ以降はペリI/Oバッファ処理が完全にCPUバウンドになります。READ_FIXEDはこのボトルネックを解消し、スループットがNICを飽和させるまでスケールし続けることを可能にします。
フレイムグラフもこれを裏付けています。
[画像: シンプルなデモのフレイムグラフ (iodepth=16, READFIXED使用時)]
Simple Demo Flamegraph (iodepth=16, with READFIXED)
2. より大規模なデプロイメントへのスケールアップ
単純なデモが解決したので、実際のデプロイメントにより近い、より大規模なデモに進むことができます。
大規模デモでは、クライアントは8つの400 Gb/s NICを備えた単一ノードで構成されます。サーバー側は4つのノードで構成されます。各サーバーには2つのNUMAノードがあり、各NUMAノードには1つの400 Gb/s NICと、前のデモで使用されたものと同じNVMeドライブが8つあります。
I/Oサイズは、メタデータを格納するために追加の4 KiBが必要なため、1 MiBから1,028 KiBに増加します。
イベントループは以前のバージョンと同様ですが、実際のワークロードをより良く近似するために、サーバーは送信前に各読み取りのCRCを検証します。CRC計算には、AVX-512 VPCLMULQDQ命令で最適化された実装を含むcrc-fastクレートを使用します。これは、単一コアで約50 GiB/sのチェックサムスループットを提供できます。
CRC計算のスループットは、このワークロードに対して単独では十分ですが、CPUコアはイベントループを実行し、他のアプリケーションロジックも処理する必要があります。したがって、NUMAノードあたりの1つのワーカー スレッドではもはや十分ではありません。代わりに、各NUMAノードは、同じインデックスと8つのローカルNVMeドライブを共有する複数のワーカー スレッドによってサービスされます。インデックスもシャーディングされており、グローバルインデックスロックがパフォーマンスのボトルネックになるのを防ぎます。
各ワーカー スレッドは、クライアントノードのすべてのNICに接続します。各接続には独自のQPがありますが、同じワーカーが所有するすべてのQPは、完了処理のために単一のCQを共有します。
[画像: 大規模デモのトポロジー]
Large Demo Topology
以下の議論をより明確にするために、サーバー側のさまざまなレベルのシャーディングに次の用語を使用します。
| 用語 | 説明 |
|---|---|
| Cluster | 4ノードデプロイメント。 |
| Node | 物理サーバー。各ノードには2つのNUMAノードがあり、合計2つの400 Gb/s NICと16個のNVMeドライブが含まれます。 |
| Shard | 物理サーバー内の1つのNUMAノード。各シャードは1つの400 Gb/s NICと8つのNVMeドライブを所有し、複数のワーカー スレッドによってサービスされます。 |
| Worker thread | CPUにピン留めされたワーカー スレッド。同じシャード内のワーカー スレッドは、NIC、インデックス、およびローカルNVMeドライブを共有します。各ワーカー スレッドは、接続ごとに専用のQPを使用してすべてのクライアントNICに接続しますが、すべてのQP間で単一のCQを共有します。 |
大規模デモの全体像が(うまくいけば)明確になったところで、負荷をかけてみましょう!結果は次のとおりです。Tはシャードあたりのワーカー スレッド数を示し、すべてのスループットはGiB/sです。
| Config | iodepth=16 | iodepth=32 | iodepth=64 |
|---|---|---|---|
| T=4 | 181.9 | 204.9 | 209.2 |
| T=8 | 183.2 | 207.1 | 209.8 |
| T=16 | 181.4 | 206.0 | 211.2 |
理論的には、システムは全8つのNIC全体で372.5 GiB/sの集約スループットに達するはずです。しかし、実際には、そのスループットの約半分しか達成できませんでした。
新たなボトルネックが出現!
次に、ボトルネックを特定するために、フレイムグラフをステップバイステップで見ていきましょう。
2.1 iou-wrkの影響の除外
ボトルネックを見つけるために、I/O深度64、T=8の実行からキャプチャされた新しいフレイムグラフを見てみましょう。
ヒント:完全なフレイムグラフは大きすぎてここに埋め込めません。SVGをダウンロードしてブラウザで直接開くと、詳細を確認できます。
[画像: 大規模デモのフレイムグラフ、T=8、iodepth=64]
Large Demo Flamegraph, T=8, iodepth=64
マルチシャードのフレイムグラフは非常に複雑ですが、左側の16個のiou-wrkスレッドと右側の16個のワーカー スレッドの2つのクラスターにかなり明確に分割されます。
単純なデモのフレイムグラフをキャプチャしたとき、ワーカー スレッドは1つだけだったので、そのスレッドのみをプロファイルし、iou-wrkスレッドは含めませんでした。また、単純なデモはすでにNICを飽和させることができたため、iou-wrkの影響を見落とすのも簡単でした。
このボトルネックはiou-wrkのオーバーヘッドによって引き起こされる可能性はありますか?それに答えるために、まずiou-wrkスレッドがどこから来るのかを見てみましょう。
iou-wrkは、サブミットするスレッドがI/O要求をすぐに完了できない場合にio_uringが使用するカーネルワーカー スレッドです。これは、カーネルサブミッションまたは潜在的なブロッキングパスを通じて要求を非同期に続行します。
では、なぜ私たちの読み取りがiou-wrkにオフロードされているのでしょうか?
大規模デモは、単純なデモの読み取りアリーナ設計を引き継いでいます。バッファはio_uringに登録され、読み取りはREAD_FIXEDを使用します。これにより、ペリI/Oページテーブルウォークとページピン留めのコストは回避されますが、基盤となる物理メモリは依然として断片化された4 KiBページによってバックアップされています。bioと要求を構築する際、1,028 KiBバッファをバックアップする257個の4 KiBページが非連続なPFNを持つ場合、それらをより大きな物理的に連続した範囲にマージすることはできません。ブロックレイヤーとDMAエンジンの観点から見ると、I/Oはしたがって約257個の散布/収集セグメントとして表されます。しかし、ハードウェアとシステムの制限により、すべての257セグメントを単一のbioでサブミットすることはできません。次のパラメータがbioの分割を引き起こす可能性があります。
| パラメータ | 意味 | 影響 |
|---|---|---|
max_segments | 単一ブロック要求で許可される最大セグメント数。セグメントは通常、物理的に連続したメモリ範囲を表します。 | バッファが断片化しすぎてこの制限を超えると、bio/要求が分割されます。 |
max_segment_size | 単一セグメントの最大サイズ(バイト単位)。 | セグメント数が制限内であっても、個々の物理的に連続した範囲は依然としてこの最大サイズによって制約される可能性があります。 |
max_sectors_kb | 現在ブロックレイヤーで許可されている最大要求サイズ(KiB単位)。通常は設定可能ですが、ハードウェア制限を超えることはできません。 | この値より大きいI/Oは複数の要求に分割されます。 |
max_hw_sectors_kb | デバイスまたはドライバがサポートする最大要求サイズ(KiB単位)。 | これはmax_sectors_kbの上限です。ユーザーは通常、max_sectors_kbをこれより高く設定できません。 |
nr_requests | blk-mqソフトウェアキューが保持できる要求数。 | キュー深度とキューイング容量に影響します。個々のI/Oが分割されるかどうかは決定しませんが、浅いキューは同時実行性を制限する可能性があります。 |
サーバーでは、これらのパラメータは次のように設定されています。
> dev=nvme0n1
> for f in \
max_segments \
max_segment_size \
max_sectors_kb \
max_hw_sectors_kb \
nr_requests
> do
> printf "% -24s " "$f"
> cat "/sys/block/$dev/queue/$f"
> done
max_segments 128
max_segment_size 4294967295
max_sectors_kb 1280
max_hw_sectors_kb 4096
nr_requests 1023
128で257を割ると1の余りが残るため、1,028 KiBの各要求は3つのbioに分割されます。最初の2つはそれぞれ128セグメント(512 KiB)、最後は1つの4 KiBセグメントを含みます。これにより、平均bioサイズは342.67 KiBになります。これは、iostatのrareq-szメトリックで確認できます。
> iostat -x -d /dev/nvme0n1
Device ... rareq-sz ...
nvme0n1 ... 342.65 ...
したがって、1,028 KiB要求のトリガーチェーンは次のようになります。
1,028 KiBバッファ(hugepagesなし)
→ 257個の物理4 KiBセグメント
→ `max_segments = 128`を超える
→ マルチbio/分割パスに入る
→ `io_uring`は最初に`NOWAIT`でサブミットする
→ ブロックダイレクトI/Oパスは、イテレータに処理すべきデータがまだ残っており、インラインで続行できないことを発見する
→ `-EAGAIN`を返す
→ `io_uring`は`io_queue_async` / `io_queue_iowq`を呼び出す
→ `iou-wrk`が引き継ぐ
この時点で、iou-wrkをトリガーしているものを特定しました。次の質問は、iou-wrkが実際にスループットがそれ以上スケールしないのを妨げているボトルネックなのかどうかです。
残念ながら、ここでの答えはNOです。いくつかの追加実験により、それを除外できます。大規模デモを実行しながら、CRCを無効にした別の実験も実行しました。結果は次のとおりです(GiB/s)。
| Config | iodepth=16 | iodepth=32 | iodepth=64 |
|---|---|---|---|
| T=16, CRC=on | 181.4 | 206.0 | 211.2 |
| T=16, CRC=off | 218.6 | 290.5 | 305.5 |
示されているように、CRCを無効にするとパフォーマンスが大幅に向上しますが、bio分割とiou-wrkは依然として存在します。単純なデモも同様の結論を示しています。iou-wrkのオーバーヘッドをまったく考慮せずにNIC飽和を簡単に達成しました。
いくつかの追加の観察結果がこの結論を支持しています。
io_uring_queue_async_workからio_wq_submit_workへのハンドオフをトレースしたところ、キューイング遅延はわずか数マイクロ秒でした。
| Run | Average io-wq queue wait |
|---|---|
| CRC=on, T=8 | 8.30 µs |
| CRC=off, T=8 | 8.22 µs |
リトルの法則をio-wqキューに適用すると、
Lq = λ × Wq
平均キュー深度は1未満になります。つまり、平均して、io-wqキューで待機しているディスク読み取りは1つもありません。これは強力な反証です。iou-wrkのバックログがスループットの壁である場合、キューはこれほど浅く保たれることはありません。
ワーカープールもスレッド不足ではありません。飽和状態では、システムは多くのトランジェントなiou-wrkスレッドを作成しますが、それらのほとんどは実際には実行可能ではありません。
| Run | Average concurrent iou-wrk threads | Average runnable iou-wrk threads |
|---|---|---|
| CRC=on, T=8, inflight=64 | 145 | 0.90 |
| CRC=on, T=16, inflight=256 | 107 | 0.74 |
したがって、これはワーカープールを使い果たすケースではありません。ディスクキューも飽和していません。ディスクあたりのaqu-szは約3ですが、nr_requestsは1023です。
最後に、分割操作自体を分離するために、ブロックキューのmax_sectors_kbのみを下げた別のコントロールを実行しました。
低いrareq-sz値は、要求がより積極的に分割されていることを確認します。342.67 KiBから205.60 KiBに。したがって、コントロールは実際に分割数を3要求/GETから5要求/GETに増やしました。しかし、スループットは変化しませんでした。
| CRC=on, T=16, inflight=64 | max_sectors_kb | rareq-sz | requests / GET | aggregate throughput |
|---|---|---|---|---|
| default | 1280 | 342.67 KiB | 3.00 | 211.2 GiB/s |
| forced more splits | 256 | 205.60 KiB | 5.00 | 211.2 GiB/s |
これにより、要求分割自体、ペリセグメントCPUオーバーヘッド、および非同期対インライン遷移が、スループットギャップの十分な説明ではないことが除外されます。これらはすべて実際の効果ですが、そのどれも単独では壁ではありません。
2.2 fgetの影響の除外
単純なデモと大規模デモの両方のペルシャードフレイムグラフで、io_uring_enterの別の主要なオーバーヘッド源が見つかりました。そのコストの大部分はfgetが占めていました。大規模デモの実行からのシャード48の例を見てみましょう。
[画像: 大規模デモのフレイムグラフ (shard=48)]
Large Demo Flamegraph (shard=48)
fgetは2つの場所から来る可能性があります。ディスクSQE(実際のディスクI/Oごとに1回)のターゲットファイルディスクリプタのルックアップ、およびio_uring_enter呼び出しごとにリングファイルディスクリプタ自体のルックアップです。fgetがパフォーマンスボトルネックの原因である可能性はありますか?
READ_FIXEDと同様に、io_uringは両方のオーバーヘッド源を排除するメカニズムを提供します。登録済みファイルはディスクI/Oパスでのfdルックアップを削除し、登録済みリングfdは各io_uring_enter呼び出しでのリングfd自体のルックアップを削除します。これらを組み合わせることで、fgetのすべてのカテゴリが排除されます。
[画像: 大規模デモのフレイムグラフ (shard=48, regfiles=on, regring=on)]
Large Demo Flamegraph (shard=48, regfiles=on, regring=on)
フレイムグラフから、fgetオーバーヘッドがほぼ完全に削除されたことを確認できます。しかし、ボトルネックは依然として残っています。以下のスループット数値はGiB/sです。
| Config | inf=16 | inf=32 | inf=64 |
|---|---|---|---|
| T=8 | 183.2 | 207.1 | 209.8 |
| T=8, regfiles=on, regring=on | 180.6 | 206.6 | 210.2 |
これは、fgetがパフォーマンスボトルネックの原因ではないことを示しています。フレイムグラフは、fgetがなくなったにもかかわらず、io_uring_enterのコストが残っていることも明らかにしています。なぜでしょうか?
その残りのコストは、ビジーループによるものです。I/Oが完了しておらず、CPUがアイドル状態の場合、io_uringのポーリングパスは単にスピンします。これも、現在のボトルネックがCPUバウンドではない間接的な証拠です。
2.3 CRC計算の影響の除外
セクション2.2は、ボトルネックがCPUバウンドではないことを示すのに十分ですが、念のためCRC計算を競合源として除外します。以前の実験でCRCを無効にするとパフォーマンスがボトルネックを突破したためです。
今回は、次の3つの構成で仮説をより徹底的にテストします。
- CRC有効
- CRC無効
- CRC無効、ただし読み取り後に64Bストライドで読み取りバッファにアクセスする
ここでtouch=onはキャッシュライン単位のスキャンを意味します。各読み取り後、ワーカーは1,028 KiBバッファ全体で64 Bごとに1回のロードを実行しますが、CRC計算は行いません。
| Config | agg GiB/s |
|---|---|
| T=16, CRC=on | 208.6 |
| T=16, CRC=off | 305.9 |
| T=16, CRC=off, touch=on | 209.3 |
驚くべきことが起こります。CRCを完全に無効にするとパフォーマンスはボトルネックを突破しますが、CRC計算を無効にして読み取りバッファ全体を64 Bごとに1回スキャンするだけの場合、パフォーマンスは再びボトルネックに達します!
これは、CRC計算自体がボトルネックの原因ではないことを示すのに十分です。さらに重要なことに、それを再現する主要な操作を特定したようです。
3. 真のボトルネック:TLBミス
セクション2.3で、興味深い現象を観察しました。読み取り後にバッファに64 Bストライドでアクセスする限り、計算を実行しなくても、システムは依然としてボトルネックに達しました。第1章とセクション2.1の実験を振り返ると、4 KiBページによって引き起こされる問題に繰り返し遭遇しました。ここのボトルネックは、計算バウンドでもI/Oバウンドでもなく、4 KiBページのアドレス変換の遅延によって引き起こされる可能性はありますか?
この仮説をテストするために、4 KiBページでバックアップされた64 MiB読み取りアリーナを1 GiBのhugepageバックアップ読み取りアリーナに置き換えて結果を比較します。以下のスループット数値はGiB/sです。
| Config | inf=16 | inf=32 | inf=64 |
|---|---|---|---|
| T=8, CRC=on, hugepage=off | 183.2 | 207.1 | 209.8 |
| T=8, CRC=off, hugepage=off | 220.3 | 291.9 | 306.3 |
| T=8, CRC=off, hugepage=on | 229.8 | 309.3 | 355.3 |
| T=8, CRC=on, hugepage=on | 209.7 | 298.4 | 350.7 |
| T=16, CRC=on, hugepage=off | 181.4 | 206.0 | 211.2 |
| T=16, CRC=on, hugepage=on | 210.1 | 298.0 | 347.6 |
結果は、hugepagesが有効になっている場合、CRCが有効になっていても、T=8でNICをほぼ飽和させることができることを示しています。
これは、hugepagesがボトルネックの効果的な解決策であることを確認するのに十分です。また、第2章で除外した3つの要因が根本原因ではないことを検証します。
しかし、ボトルネックを除外したとはいえ、アドレス変換によって引き起こされたと断定することはまだできません。それを証明するには、まだ確固たる証拠が必要です。そのため、実験を再実行し、perf statを使用してCPU L1DミスとdTLBミスを測定しました。
| state | aggregate GiB/s | L1D load misses / GET | dTLB load misses / GET | 4 KiB page-walk reloads / GET |
|---|---|---|---|---|
| HP=off, CRC=off, touch=off | 306.1 | 2045.0 | 6.7 | 3.6 |
| HP=off, CRC=off, touch=on | 210.3 | 18472.7 | 88.5 | 78.7 |
| HP=off, CRC=on, touch=off | 209.7 | 19214.5 | 81.0 | 66.0 |
| HP=on, CRC=off, touch=on | 350.2 | 17005.4 | 5.1 | 2.9 |
結果は、状況を明確にします。4 KiBページでは、CRC有効実行と64 Bストライドスキャン(CRC無効)の両方で、GETあたり平均80を超えるdTLBミスが発生します。hugepagesが有効になると、dTLBミス数は完全にCRC無効の場合と同じレベルに低下します。これは、dTLBミスがスループットボトルネックの根本原因であるという直接的な証拠を提供します。
対照的に、より高いL1Dミス数は、テストされた構成のいずれにおいても、低いスループットと相関しません。これはL1Dミスをボトルネックとして除外します。
TLBミスはなぜこれほど大きなパフォーマンス低下を引き起こすのでしょうか?
TLBはCPUのアドレス変換キャッシュです。最近の仮想ページから物理ページへの変換を格納します。CPUがメモリからロードまたはストアする前に、どの物理ページが仮想アドレスをバックアップしているかを判断する必要があります。TLBヒットは高速です。ミスの場合、CPUはページテーブルをウォークする必要があります。
TLBミスは、実際のデータアクセスが続行される前に実行を停止させるため、重要です。4 KiBページのアドレスを変換するには、PGD、PUD、PMD、PTEなどのエントリを介した多段階のページテーブルウォークが必要になる場合があります。これらのページテーブルエントリ自体は、キャッシュまたはメモリからフェッチする必要があり、それ自体がキャッシュミスを引き起こす可能性があります。
1,028 KiB値をストリーミングするパスでは、CPUは4 KiBページ境界を繰り返し横断しながらキャッシュラインを読み取ります。1,028 KiB値は257個の4 KiBページにまたがります。アクティブな変換がdTLBに収まらなくなると、CPUはページウォークを繰り返し実行し、スループットを直接低下させます。
Hugepagesは、アドレス変換の粒度を増やすため役立ちます。4 KiBページでは、1,028 KiB値には257回のページ変換が必要です。1 GiB hugepagesでは、同じ1,028 KiB領域は通常、1つの大きなページ変換でカバーされます。したがって、少数のTLBエントリでより多くのデータをカバーできるため、dTLBミスと4 KiBページウォークリロードが大幅に減少します。
この時点で、ストーリーは最終的に最初から最後まで一致します。READ_FIXEDは、ユーザーページを発見してピン留めするカーネル側の繰り返しコストを排除しましたが、アプリケーションが後でデータをスキャンしたときにCPUが支払う必要のあるものを変更しませんでした。4 KiBページでは、1,028 KiB値ごとにCPUは数百のページ変換を横断する必要がありました。CRCは単にそのスキャンを明示的にしましたが、touch=onは計算作業を行わずに同じ圧力を再現しました。Hugepagesは、データパスも変換フレンドリーにすることで、欠けていたピースを修正しました。ボトルネックはディスク、NIC、io_uringオフロード、fdルックアップ、またはCRC演算にはありませんでした。それは、それらのコンポーネントすべてが移動していたメモリを変換するコストでした。
X. “ひっくり返った惑星”
実際、AIを使ってこのパフォーマンスボトルネックをデバッグし始めたとき、その最初の提案は読み取りアリーナをhugepagesで最適化することでした。そしてそれはNICを飽和させるのに十分でした。しかし、それは真の根本原因であるTLBミスを特定しませんでした。代わりに、すでに明らかになったさまざまな問題の周りをぐるぐる回っていました。
HPCとストレージパフォーマンス最適化の経験を持つエンジニアにとって、問題の性質は経験から認識できるかもしれません。しかし、残されたデバッグトレースはおそらくまばらだったため、AIはそれを再構築するのに十分な証拠を持っていませんでした。答えを生成することはできましたが、それに至る完全な推論チェーンはできませんでした。
それが、この記事が書く価値がある理由の1つかもしれないと思います。
正直に言うと、AIが最初のパフォーマンス最適化を終えたら、私の仕事は終わっていたはずです。皮肉なことに、最適化がなぜ機能したのかを理解することは、元のタスク自体よりもはるかに多くの時間を私自身に費やすことになりました。AIモデルがより有能になるにつれて、根本原理を真に理解していなくても、驚くほど良いシステムを構築できます。
しかし、それらの原理を掘り下げることは、プログラマーとしての私のささやかな執着の1つであり続けています。AIの洪水の中で、それは私が無意味さの感覚に陥るのを防ぐ方法の1つかもしれません。
最後に、最近聴いている曲から数行を共有したいと思います。この時代に地に足をつけようとしているすべての人に乾杯します。
You used to wonder why,
but now you wonder how.
…
But you’re still trying hard to understand,
to comprehend,
to wrap your head around
all the things that don’t make sense,
that don’t mix in
a planet upside down.
— A Planet Upside Down (Pearl & The Oysters)
[画像: A Planet Upside Down]
A Planet Upside Down - Pearl & The Oysters