HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Preempt_none は廃止されました。あなたのPostgresはたぶん気にしないでしょう

Preempt_none Is Dead; Your Postgres Probably Doesn't Care (thebuild.com)

6 pointsby ryantsuji2 コメント

要約

Linuxカーネルのバージョン7.0でpreempt_noneモードが廃止され、一部のPostgreSQLベンチマークでスループットが大幅に低下するという報告がありました。しかし、この問題は特定のベンチマーク設定と巨大ページを使用しない場合に顕著になるものであり、ほとんどのPostgreSQLユーザーには影響しないと筆者は解説しています。根本原因は、カーネルのスケジューリングモード変更と、4KBページでの共有メモリ使用時に発生するスピンロック内のマイナーページフォールトの組み合わせにあります。

全文翻訳

PREEMPT_NONE は廃止、あなたの Postgres はおそらく気にしない

[画像: 青い象とペンギンが、困惑した表情で大量の電子機器の山を調べている。]

今月初め、AWS から Linux 7.0 上の PostgreSQL スループットが Linux 6.x で得られたワークロードの 0.51 倍に低下するというベンチマーク結果が出ました。Phoronix の見出しは自ずと決まりました。Hacker News は Hacker News らしく振る舞いました。その週の終わりまでに、3 件の異なるクライアントから、カーネルのアップグレードを保留する必要があるかどうか尋ねられました。

必要ありません。ほとんどの人は必要ありません。このリグレッションは現実のものですが、96 vCPU のボックスで 100 GB 以上の共有メモリを持つベンチマーク構成の、狭く、騒がしいアーティファクトです。この見出しは、これが「それをやってはいけない」という話である度合いを過小評価し、Linux が Postgres を壊した話である度合いを過大評価しています。

何が実際に起こったのかを説明しましょう。その説明自体が興味深いからです。スケジューラ、TLB、ページフォールト、そしてバッファマネージャ以外誰も気にしない Postgres の唯一のスピンロックに触れます。そして、多くの Postgres パフォーマンスの話が終わるところで終わります。それは巨大ページです。

Lætitia Avrot は 4 月 15 日に My DBA Notebook で、同じリグレッションについて、彼女自身の明晰な解説を書きました。もしこの件についてこの記事だけを読むなら、彼女の記事を読んでください。以下は、メカニズムにより多くの時間を費やし、いくつかの図を追加した、私のバージョンの物語です。

Linux 7.0 で実際に何が変わったのか

Linux 7.0 より前は、3 つのプリエンプションモードのいずれかでカーネルをビルドまたはブートできました。

  • PREEMPT_NONE — カーネルは実行中のユーザースレッドをほとんど中断しません。スレッドは自身のスライスを使用し、システムコールやスリープ時にそれを譲ります。これは、サーバーで歴史的に望まれていたものです。バッチスループットに優れ、コンテキストスイッチのオーバーヘッドが最小限です。
  • PREEMPT_FULL — カーネルは、ほぼすべての安全なポイントでユーザースペースを中断できます。低レイテンシ、多数のコンテキストスイッチ、歴史的にデスクトップのデフォルトでした。
  • PREEMPT_LAZY — 新しい中間的なアプローチ。スケジューラは中断できますが、可能な場合は「自然な」境界まで待機します。

Linux 7.0 は、Peter Zijlstra のプリエンプションクリーンアップシリーズを通じて、arm64、x86、powerpc、riscv、s390、loongarch で PREEMPT_NONE を完全に削除しました。現在得られるのは PREEMPT_FULL または PREEMPT_LAZY です。ほとんどのディストリビューションでは、デフォルトが PREEMPT_LAZY に移行しました。

ほぼすべてのワークロードでこれは問題ありません。PREEMPT_LAZY は、スループット指向の負荷下で PREEMPT_NONE の動作を近似するように設計されています。ほとんどの場合、それはうまくいきます。例外は、ユーザースレッドがクリティカルセクションに入り、そこでプリエンプションされることが壊滅的であり、かつスケジューラが予想するよりも少し長くそのクリティカルセクションに留まる場合です。

つまり、スピンロックです。

ベンチマーク

AWS の Salvatore Dipietro は 4 月 3 日に、“sched: Restore PREEMPT_NONE as default.” というタイトルの 1 パッチシリーズとして、このリグレッションを LKML に投稿しました。セットアップは以下の通りです。

  • m8g.24xlarge — 96 vCPU Graviton4 — Amazon Linux 2023 を実行。
  • カーネル: next-20260331、linux-next スナップショット。7dadeaa6e851(arm64 で PREEMPT_NONE を削除した 7.0-rc1 の変更)のロールバックありとなし。
  • ストレージ: 12 × 1 TB io2 ボリューム、各 32,000 IOPS、RAID0、XFS。
  • PostgreSQL 17、pgbench simple-update、1,024 クライアント、96 スレッド、準備済みプロトコル、スケールファクタ 8,470、fillfactor=90、1,200 秒実行。

結果は、それぞれ 3 回の実行の平均です。

設定平均 tps比率
ベースライン (linux-next, PREEMPT_LAZY)50,751.961.00x
7dadeaa6e851 ロールバックあり98,565.861.94x

ベースラインがヘッドラインを飾ったものです。プリエンプションモードの変更をロールバックすると、スループットが 2 倍近くになります。逆の言い方をすれば、このワークロードでは Linux 7.0 は 0.51x の性能しか出ません。

perf は、リグレッションがほぼそのまま、単一のコールチェーンに存在することを示しました。

1|- 56.03% - StartReadBuffer
2   |- 55.93% - GetVictimBuffer
3      |- 55.93% - StrategyGetBuffer
4         |- 55.60% - s_lock          <<<< CPUの55%
5         |- 0.08%  - LockBufHdr
6         |- 0.07%  - hash_search_with_hash_value

マシンの CPU 時間の半分以上が、1 つのユーザースペーススピンロックで消費されています。これは、ホットスポットが着地するのに非常に特異的で、非常に示唆に富む場所です。

なぜそのスピンロックなのか、そしてなぜ今なのか

StrategyGetBuffer は、バックエンドがバッファを必要としており、まだ持っていない場合に Postgres が呼び出す関数です。これは 2 つのケースで 1 つのスピンロック — StrategyControl->buffer_strategy_lock — でシリアライズします。コールドバッファプールでは、フリーリストからポップします。フリーリストが枯渇すると、クロックスイープを実行し、nextVictimBuffer を進め、候補を返します。どちらのパスも同じスピンロックを取得します。1,024 クライアントを持つ 96 vCPU マシンでは、どのようなシリアライゼーションポイントでも目立つようになりますが、このロックには特別な性質があります。ロックで保護されたセクションは、間違った構成下ではマイナーページフォールトを引き起こす可能性があります。

それが、悪いが許容できるシリアライゼーションポイントを、CPU の 55% を消費する破局に変える部分であり、カーネルの変更が重要になる場所です。この高い並列性では、競合は現実のものです。問題は、なぜ PREEMPT_LAZY の下でそれが 2 倍悪化したのかということです。その答えは、Andres Freund が -hackers や Hacker News で解明したように、スケジューラそのものではなく、直接的にはそうではありません。

真の原因:スピンロック内のマイナーページフォールト

ここが、ゆっくり時間をかける価値のある部分です。

huge_pages=off の場合、Postgres の共有メモリは通常の 4 KB ページでマッピングされます。120 GB の shared_buffers は、PTE の観点からは約 3100 万ページです。これらの各ページは、最初にアクセスされたときにマイナーページフォールトを引き起こします — VM サブシステムは物理ページをワイヤリングし、PTE をインストールする必要があります。そのマイナーフォールトはマイクロ秒かかり、スピンロックの観点からは永遠です。そして、スケールファクタ 8,470 での 1,200 秒のベンチマークは、最初の数秒だけでなく、実行中に以前にマップされていないページに継続的にアクセスします。pgbench の一様ランダムアクセスパターンは、127 GB の pgbench_accounts テーブルに対して、新しいページが長期間ワーキングセットに入り続けます。

ここでホットパスのシーケンスを考えてみましょう。バックエンドは buffer_strategy_lock を保持しています。フリーリストからバッファをポップするため、またはバックエンドがまだアクセスしていないページ上にあるバッファヘッダに対するクロックスイープを進めるために、フォールトされていない共有メモリを読み書きする必要があります。そのアクセスはマイナーページフォールトを引き起こします。スピンロックの保持者は、カーネルのフォールトハンドラで停止します。他のすべてのバックエンド — 1,024 クライアント下で 96 vCPU ボックス上の数十または数百 — はユーザースペースでスピンし、CPU を消費し、待機しています。

sequenceDiagram
    participant A as Backend A<br/>(lock holder)
    participant K as Linux kernel<br/>(VM + scheduler)
    participant B as Backends B..N<br/>(spinning, ×1000)

    A->>A: acquire buffer_strategy_lock
    A->>A: touch unmapped 4 KB page
    A->>K: minor page fault
    Note over K: allocate physical frame<br/>install PTE (~µs)
    B->>B: s_lock() spin
    B->>B: s_lock() spin
    B->>B: s_lock() spin
    Note over B: 1,000+ CPUs<br/>burning cycles<br/>waiting for A
    K-->>A: PTE installed, resume
    A->>A: finish critical section
    A->>A: release lock
    B->>B: one backend acquires, rest keep spinning

ここで PREEMPT_LAZY を重ねてみましょう。PREEMPT_NONE は、スピンロックを保持している間に Backend A をプリエンプトすることはありませんでした。ユーザースペースで要求されていない限り、誰もプリエンプトしませんでした。PREEMPT_LAZY はそうするかもしれません。そうすると、スピンロックの保持時間は、「ページフォールトサービスのマイクロ秒」から「ページフォールトサービスのマイクロ秒に、スケジューラが保持者に制御を戻すのにかかる時間」に膨れ上がります。スピナーのキューが増加します。無駄な CPU 時間が複利で増加します。

プリエンプションモードの変更はバグを作成しているわけではありません。それは、既存のバグ — 巨大な並列性下で 100 GB 以上の共有メモリで 4 KB ページでマッピングされたスピンロック内でページフォールトを起こすこと — を 2 倍にする形で可視化しています。

なぜ巨大ページが問題を取り除くのか

ここに TLB 密度の話があります。同じ 120 GB の shared_buffers が 3 つの異なる方法でマッピングされています。

flowchart LR
    S["shared_buffers = 120 GB"]
    S --> A["4 KB pages<br/>~31,457,280 PTEs<br/>~31M possible first-touch faults<br/>TLB thrashes under load"]
    S --> B["2 MB huge pages<br/>~61,440 PTEs<br/>~61K first-touch events<br/>TLB fits the working set"]
    S --> C["1 GB huge pages<br/>120 PTEs<br/>~120 first-touch events<br/>TLB is effectively free"]

    classDef small fill:#fdd,stroke:#933,stroke-width:1px
    classDef mid fill:#ffd,stroke:#a90,stroke-width:1px
    classDef big fill:#dfd,stroke:#393,stroke-width:1px

    class A small
    class B mid
    class C big

巨大ページに切り替えると、2 つのことが起こります。第一に、最初のアクセス時のフォールト数は約 3100 万から約 61,000 または約 120 になります。これは、カーネルが巨大ページの最初のアクセス時に巨大ページ全体をマップし、それらのマッピングは通常 MAP_HUGETLB を使用して mmap 時に行われるためです。コールドスタートのフォールトストームは消滅します。第二に、TLB 圧力は 4 から 6 桁低下するため、バッファマネージャのホットパスは TLB をスラッシングする代わりに、実際にホットな状態を保ちます。

Freund 自身の再現の試みでの発見:huge_pages=on(あるいは THP が正しく機能している場合)では、リグレッションは現れません。同じハードウェアで huge_pages=off の場合、リグレッションが現れます。変数となっているのはカーネルではありません。変数となっているのは共有メモリのマッピングです。Dipietro のパッチは PREEMPT_NONE をデフォルトに戻すことを提案しています。Freund の応答は本質的にこうです。「カーネルはあなたが求めたことをしています。あなたの shared_buffers は正しくマッピングされていません。」

flowchart LR
    A[pgbench starts<br/>cold buffer pool]
    --> B{huge_pages?}
    B -->|on / THP| C[few faults<br/>dense TLB]
    B -->|off| D[~31M minor faults<br/>thrashed TLB]
    C --> E[spinlock holder<br/>never stalls on fault]
    D --> F[spinlock holder<br/>stalls on fault]
    F --> G{PREEMPT mode?}
    G -->|NONE Linux 6.x| H[holder resumes<br/>quickly: ~0.51x stays ~1x]
    G -->|LAZY Linux 7.0| I[holder may get<br/>scheduled out<br/>→ 0.51x]
    E --> J[steady-state tps<br/>unaffected by kernel]

このベンチマークは、Linux 7.0 の変更が重要になる狭いシナリオにまっすぐ飛び込みました。それは、巨大な共有メモリ、小さなページ、新しいページを引き込み続けるワーキングセット、そしてスピンロックキューを飽和させ続けるのに十分な並列性です。これらの変数のいずれかを変更すると、リグレッションは再現しません。

カーネルコミュニティの対案

カーネル側から提案された修正 — Postgres に rseq ベースの時間スライス拡張を使用させて、スケジューラに「今すぐ私をプリエンプトしないでください」と伝える — は、データベースを出荷したことがない人の自信をもって到着しました。Freund の応答は慎重で、まさに正しかったです。7.0 で導入された新しいカーネル機能を、7.0+ でのみ存在するリグレッションを隠すためにユーザースペースソフトウェアに採用させることは、良い取引ではありません。また、「ユーザースペースを壊さない」という原則とも不快に並びます。この原則は通常、これよりも積極的に発動されます。

Postgres は最終的にそのようなことをするでしょうか?おそらく。この特定のリグレッションとは無関係に、LWLockAcquire とバッファ戦略ロックの周りでスライス拡張セマンティクスを望む他の理由があります。しかし、それは PG20 または PG21 の思慮深いパッチに属するものであり、緊急のバックポートではありません。その間、すでに機能する緩和策があり、この問題が提起される前から推奨される構成でした。

実際に何をすべきか

実際のサーバーでセルフホストしている場合

postgresql.conf で huge_pages = on を設定し、実際に巨大ページをプロビジョニングしてください。難しくありません。

1# 2 MB ページがいくつ必要か Postgres に尋ねる:
2postgres -D $PGDATA -C shared_memory_size_in_huge_pages
3
4# それらを割り当てる(/etc/sysctl.conf に永続化する):
5sysctl -w vm.nr_hugepages=<N>
6
7# 確認する:
8grep -E 'HugePages_Total|HugePages_Free' /proc/meminfo

次に huge_pages = on を設定します。try ではありません。on です。十分なページを割り当てなかったために Postgres を起動できない場合、それは有用な失敗です — 正しくプロビジョニングしていないことを教えてくれます — 静かに 4 KB ページにフォールバックする理由ではありません。「なぜ遅いのか?」というチケットで、その答えが「huge_pages = try が 3 ヶ月前にフォールバックし、誰も気づかなかった」となったのを何度も見てきました。

カーネルをアップグレードしてください。あなたは影響を受けていません。

コンテナ下でセルフホストしている場合

ここでリグレッションが牙をむき、Linux 7.0 とは特に関係ありません。100 GB 以上の shared_buffers を持ち、ホストレベルの巨大ページ予約がない Kubernetes 上の大きな Postgres は、長年遅くなっていました。7.0 の変更は、すでに悪い状況に二次的な遅延を追加します。

2 つのパスがあります。コンテナランタイムとホストが巨大ページを Postgres ポッドに公開するように構成されているか(Kubernetes には hugepages-2Mi リソースがあります。ホストはページを予約している必要があります。ポッド仕様はそれを要求する必要があります)、あるいはそうでないかです。そうでない場合、shared_buffers を縮小するか、Postgres をコンテナから移動してください。どちらにしても不快な経験をするでしょう。カーネルのアップグレードは、それに気づく日を早めるだけです。

RDS、Aurora、Cloud SQL、Azure Flexible Server、Neon などを使用している場合

カーネルを管理しません。巨大ページを設定しません。ベンダーがこれを正しく行うことに依存しています。AWS は、Graviton RDS インスタンスでの巨大ページに関するベンチマーク駆動コンテンツを十分に提供しており、Aurora Postgres および RDS Postgres インスタンスでこれが問題となるサイズで既に有効になっているとすれば、驚くでしょう。Supabase、Neon、Crunchy Bridge などは独自のストーリーを持っています。ベンダーに尋ねてください。

それらのどれも、自分で huge_pages を設定させることはありません。それは問題ありません。それはベンダーの問題です。

ベンチマークでリグレッションが表示された場合

それは、巨大ページをオフにしたか、オンにしなかったために表示されました。それが重要となる十分な大きさのマシンで。huge_pages = on と適切に割り当てられたプールでベンチマークを再実行してください。リグレッションが消えれば、答えはそこにあります。消えなければ、perf 出力を送ってください。興味があります。

本当の教訓

Linux 7.0 が Postgres スループットを半分にしたという見出しは、特定の種類のベンチマークアーティファクトです。100 GB 以上の共有メモリを実行しているすべての人が過去 10 年間設定しておくべきだった構成パラメータを無視するベンチマーク設定は、やがてプラットフォームが暗黙的に依存していたことを行うことになります。PREEMPT_NONE の削除はその糸を引き出しました。糸の残りは、誰かが 100 GB 以上の共有メモリと 96 vCPU を持つ本番ボックスで huge_pages = off を設定し、大丈夫だろうと願ったその日からそこにありました。

巨大ページを設定してください。カーネルをアップグレードしてください。次に進んでください。