ページテーブルのメモリ消費
Page Table Memory Consumption (frn.sh)
要約
ページテーブルは、仮想メモリのアドレス変換に使用されるデータ構造ですが、特に多数のプロセスが同じメモリ領域を共有する場合や、メモリを頻繁に解放・再割り当てする場合に、予想外に多くのメモリを消費することがあります。この問題は、特に大規模なシステムや特定のワークロードで顕著になり、パフォーマンスの低下やメモリ不足を引き起こす可能性があります。この課題に対処するため、共有ページテーブルや巨大ページ(huge pages)などの技術が提案・実装されています。
全文翻訳
ページテーブルのメモリ消費量
先日、私はLinus Torvaldsがハッシュ化されたページテーブルについて人々を叱責している記事を読みました。彼の主張はこうです。ツリー構造では、隣接するページの項目は隣接しているため、1つのキャッシュラインで複数のTLBエントリを一度に格納できます。一方、ハッシュテーブルは、隣接するものをバケットに散らばらせます。
あなたは実際には「良い」ものが何であるかを知らない。
教えてあげよう:良いTLBフィルとは、1つのキャッシュラインに収まるすべてのエントリをTLBに事前にロードすることだ。標準的なIntel CPUは一度に8つのTLBエントリを取得することを知っているか?自己マッピング(あるいは、Andyが指摘するように、他のレベルを専用キャッシュにキャッシュすることもできる)と組み合わせると、単一のメモリアクセスで、あの愚かなPowerのハッシュテーブルが得る8倍のカバレッジが得られるのだ。
この議論は2003年に行われましたが、1997年には、彼の修士論文で、カーネルへの3段階マルチレベルページテーブルの採用について説明しています。彼はレイテンシに非常に興味を持っていたようですが、メモリサイズにはあまり興味がなかったのかもしれません。
また、二次的な懸念事項もある。仮想マシンメモリマッピングはメモリ効率が良くなくてはならない。マッピング情報が、ファイルシステムキャッシュやユーザープログラムの実行に有効活用できる物理メモリを大量に消費しないようにするためだ。
2020年、Shakeel Buttは、メモリ効率が決して二次的な懸念ではないというまさにそのケースを発見しました。Shakeelは、memory.statにページテーブルメトリックを追加するパッチを送信しました。Roman Gushchinは、その統計情報のユースケースを尋ね、ページテーブルはマッピングされたメモリの約1/512であり、ほとんどのcgroupの1%未満であると主張しました(「非常に大きなcgroup以外では、値はper-cpuカウンターのノイズの範囲内になるだろう」)。しかし、Shakeelは、ユーザー空間ネットワークドライバが、大きなpgtables使用量でゼロコピーのためにアプリケーションメモリをマッピングしているという興味深いケースに言及しました。
Those 1/512 make sense when each page is mapped only once. But if N processes[1] map the same page, each process needs its own PTEs for it. So the page tables cost about N/512 of memory they map. In general terms, this means that if you are running 512 processes with identical PTEs, the page tables cost as much as data pages.[2]
他のShakeelのものと同様の問題を、検索中に見つけました。
Andrea Arcangeli, 2002年。 Andreaは、64 GiBのx86マシンを持つユーザーが、システムに大量の空きメモリがあるにもかかわらずメモリ不足に陥る理由を発見しました。彼らのワークロードは、数百のプロセスがそれぞれ同じ1 GiBの共有メモリをマッピングしていました。データページは共有されていましたが、各プロセスはそれらをマッピングするために独自のページテーブルを必要としました。PAE[3]では約2 MiBでした。ページテーブルは「lowmem」領域に存在し、32ビットx86では約896 MiBの物理メモリに対応します。パッチはページテーブルをlowmemからhighmemに移動させました。これは、ユーザーが32ビットマシン(lowmemの制約を含む)を物理アドレスを拡張できる機能とともに使用していたためにのみ発生したエッジケースシナリオでした。非常に巧妙です。
Khalid Aziz, 2022年。 20年後、Khalidは同様の問題を報告しました。512 GBのRAMを持つOracleデータベースサーバーが、1500以上のクライアントが300 GBのSGA(共有メモリ)に接続したときにOOMでクラッシュしました。Andreaのケースと同様に、データページは共有されていましたが、各プロセスはそれらをマッピングするために独自のページテーブルを必要としました。8バイトPTEを使用すると、同じ4 KiBページをマッピングする2千プロセスは、そのページに対して16 KBのPTEを必要とします。最悪の場合、すべてのプロセスがSGA全体をマッピングすると、PTEだけで878 GBを消費します。彼は、プロセス間でページテーブルを共有できるようにするためにmshareを提案しました。私が確認した限りでは、mshareのどのバージョンもまだマージされていません。
Qi Zheng, 2021年。 Qiは、590 GiBのRSSと110 GiBのページテーブルを持つプロセスを報告しました(!)。それほど多くのメモリをマッピングする場合、約1.2 GiBのPTEしか必要としないはずです。そのワークロードはjemallocとtcmallocを使用しており、これらはmunmap()の代わりにmadvise(MADV_DONTNEED)でメモリをカーネルに返します[4]。MADV_DONTNEEDはデータページを解放しPTEをクリアしますが、ページテーブルは割り当てられたままなので、空のページテーブルが積み重なりました[5]。AndreaやKhalidのケースとは異なり、共有マッピングはなく、単一のプロセスが解放されたメモリのページテーブルを保持していました。このパッチは数回の書き直しを経て、2025年にマージされました。
これらはカーネルメーリングリストからのエッジケースのように読めるかもしれませんが、パターンは一般的です。多数のプロセスが大きな共有メモリセグメントをマッピングし、それぞれがそれに対する独自のページテーブルを持つというものです。データベースに関連する2つの記事を見つけました。
Percona, 2021年。 Jobin Augustineは、本番インシデントで繰り返し発生していた障害を再現しました。PostgresがOOMキルに遭遇しました。192 GBのマシン、共有バッファ138 GiB、接続数80。バックエンドがキャッシュに触れるにつれて、ページテーブルは45 MiBから25 GiB以上に増加しました。メモリが圧迫され、マシンはスワップを開始しました。彼はHuge Pagesで問題を解決しました。同じワークロードでページテーブルは61 MiBにとどまりました。
ClickHouse, 2026年。 Kaushik Iskaは成長を直接測定しました。128 GiBのマシンと共有バッファ32 GiB。各バックエンドが15.6 GiBのキャッシュテーブルをスキャンすると、31 MiBのページテーブルが追加されました。200接続で、ページテーブルは6.1 GiBを消費しました。Huge Pagesを使用すると、200接続でわずか111 MiBでした。
しかし、Huge Pagesは無料ではありません。それらを予約するには断片化されていないメモリが必要です。ClickHouseは、負荷のかかったマシンでは「同じリクエストが定常的に失敗する」と指摘しており、THPは割り当てで停止する可能性があります。2016年、Mel Gormanは、カーネルがTHP(Transparent Huge Pages)のデフォルトでのデフラグを停止することを提案しました。「何年も経ったので、タオルを投げ込む時だ」。Nelson Elhageは、THPが引き起こす可能性のあるメモリリークやCPU使用率の問題について書いています。
NUMAマシンにおけるページテーブルの問題
NUMAマシンでは、レイテンシとメモリサイズに関連する新しい問題が発生しました。複数のノードがある場合、別のノードで実行されているスレッドは、TLBミス時にリモートメモリ内のページテーブルをウォークする必要があります。Mitosis(ASPLOS 2020)は、リモートページテーブルがアプリケーションをリモートデータと同じくらい遅くする可能性があることを示しました。そしてHydra論文(USENIX ATC 2024)は、8 TBのRAMを搭載した8ソケットマシンでこれを再現しました。
Mitosisの選択は、ページテーブルツリー全体を各ノードに複製することでした。これはメモリを消費し(ページテーブルサイズ * ノード数)、すべての変更はすべてのコピーを更新する必要があります。Hydraでは、PTEはそのノードのスレッドのいずれかがそれにフォルトした場合にのみノードにコピーされ、各ページテーブルページはコピーを保持しているノードのリストを保持します。
複数のノードを持つマシンでは、ページテーブルのコピーを1つだけ保持してTLBミス時にリモートテーブルを読み取るコストを支払うか、各ノードにコピーを保持して同期を維持するためのコストを支払うかのどちらかです。
-
公平を期すために言うと、Nは「プロセス」ではなく「アドレス空間」であるべきです。すべてのタスク
task_structはmm_structへのポインタを持っています。↩︎ -
データページは4 KiBです。各PTEは8バイトです。512個のプロセスが同じページをマッピングする場合、512個のPTEが必要です:512 * 8 = 4 KiB。↩︎
-
物理アドレスを36ビットに拡張し、64 GiBのRAMを可能にするx86-32の機能です。↩︎
-
munmap()は、ある時点でfree_pgtablesを呼び出し、最終的にfree_pgd_rangeを呼び出します。↩︎ -
SopelはHNで、「Windowsでは「ゾンビプロセスはメモリを消費しないかもしれないが、依然として>=32KiBのページテーブルを保持する」と指摘しました。彼は自身もAMD iGPUドライバーのバグでこれを経験しました:「作成されたすべてのプロセスが終了しない。」100,000個の
cmd.exeプロセスが終了した後、RAMMapは約3.5 GiBのページテーブルを示しました。」↩︎