HN 日本語サマリー

← 一覧へ戻る
プログラミング

PostgreSQLとOOM Killer:なぜStrict Memory Overcommitを使用する必要があるのか

PostgreSQL and the OOM Killer: Why You Must Use Strict Memory Overcommit (ubicloud.com)

150 pointsby furkansahin85 コメント

要約

この記事では、LinuxカーネルのOOM Killer(Out-Of-Memory Killer)がPostgreSQLに壊滅的な影響を与える理由を説明しています。PostgreSQLは共有メモリ構造を持つため、OOM Killerによるプロセスの強制終了はデータ破損のリスクを伴い、サーバー全体のダウンタイムを引き起こす可能性があります。これを防ぐため、著者は「Strict Memory Overcommit」設定の使用を強く推奨し、その設定方法と適切なメモリ制限の決定方法について解説しています。

全文翻訳

PostgreSQLとOOM Killer:Strict Memory Overcommitを使う理由

[画像]

すべてのブログ記事

[画像]

2026年4月27日 · 10分で読めます

[画像: Burak Yucesoy]

Burak Yucesoy

プリンシパルソフトウェアエンジニア

過去15年間、私たちは5つのマネージドPostgreSQLサービスを構築・運用してきました。そのすべてにおいて、一つの設定は一貫して維持されてきました。それが「strict memory overcommit」です。

この記事では、strict memory overcommitがデータベースを壊滅的なOOM(Out of Memory)キルからどのように保護するかを説明します。また、3文字のカーネルバグがどのようにして一時的にこの設定を無効にせざるを得なくなったかについても共有します。最後に、ワークロードに適したmemory overcommit制限を決定するためのヒューリスティックについて説明します。これにより、皆さんのワークロードに最適な設定を見つける手助けができれば幸いです。

なぜPostgreSQLはOOM Killerに耐えられないのか

Linuxでは、プロセスが物理的に利用可能なメモリ量を超える仮想メモリを割り当てることができます。プロセスがmalloc()などでメモリを割り当てると、カーネルはそのための仮想アドレス空間を予約します。しかし、カーネルはその空間をすぐに物理メモリで裏付けるわけではありません。物理ページが消費されるのは、プロセスが実際にそのメモリにアクセスしたときだけです。

カーネルは、割り当てられたメモリのすべてが同時にアクティブに使用されるわけではないという仮定に依存しています。通常、この仮定は成り立ちます。しかし、成り立たない場合、カーネルはメモリを解放するためにプロセスを終了させるOOM Killerを呼び出します。

ほとんどのプロセスにとって、OOMキルへの対応は簡単です。プロセスは再起動し、再接続し、中断したところから処理を再開します。PostgreSQLは異なります。

PostgreSQLのpostmaster(メインのスーパーバイザープロセス)は、接続ごとにバックエンドプロセスをフォークします。これらのバックエンドは、共有バッファ、WALバッファ、ロックテーブル、その他の共有状態を保持する共有メモリセグメントを共有します。OOM Killerはこのアーキテクチャを理解しません。それは単にヒューリスティック(通常は最も多くのメモリを使用しているプロセス)に基づいてプロセスを選択し、それを終了させます。もしそのバックエンドが共有メモリセグメントを更新中であった場合、そのセグメントは不整合な状態のまま残される可能性があります。共有メモリにはOSレベルでのトランザクション保証はありません。共有バッファ内の半端に書き込まれたページは、サイレントなデータ破損を意味します。

PostgreSQLのpostmasterはこれを認識しています。子プロセスのいずれかがキルされたことを検出すると、最悪の事態を想定します。共有メモリが破損した可能性があると。共有メモリが破損した場合、格納されているデータも破損するリスクがあります。これを防ぐために、postmasterは残りのすべてのバックエンドを終了させます。アクティブなすべての接続が切断され、進行中のすべてのトランザクションが中止されます。次に起動するとき、データベースはクラッシュリカバリを実行します。

これは正しい動作です。PostgreSQLはデータを保護しています。しかし、これは単一のOOMキルが1つの接続に影響するだけでなく、サーバー上のすべての接続をダウンさせることを意味します。さらに、書き込み量が多い場合、クラッシュリカバリのためにすべてのWALファイルをリプレイするのに時間がかかることがあります。これは、単一のメモリ不足ケースが長時間のダウンタイムを引き起こす可能性があることを意味します。

Strict Overcommit:破滅的ではなく、早期に失敗する

プロセスがメモリを要求したときのカーネルの動作を構成することは可能です。Linuxはvm.overcommit_memoryを通じて3つのovercommitポリシーを提供しています。

  • モード0(ヒューリスティック):デフォルト。カーネルは、システムが現実的に提供できる量(おおよそ、空きメモリ + スワップ + 回復可能なページキャッシュとスラブ)を超える単一の割り当てを拒否しますが、それ以外の場合は自由にovercommitを許可します。実際には、これは単一のプロセスがシステム全体のメモリよりも多くのメモリを要求するような不条理な要求のみをブロックします。
  • モード1(常に):カーネルは、要求の大きさや既にコミットされたメモリ量に関係なく、割り当て要求を拒否しません。すべてのmalloc()とmmap()は成功します。後でプロセスがシステムが実際に提供できる量を超える物理メモリをフォールトした場合、OOM Killerがプロセスを終了させてメモリを解放します。
  • モード2(Strict):カーネルは、すべてのプロセスにわたるコミットされた仮想メモリの合計をCommitted_ASで追跡し、CommitLimitと呼ばれる上限を強制します。Committed_ASをCommitLimitを超えさせるような割り当ては、直ちにENOMEMで拒否されます。

strict overcommitの下では、カーネルはCommitLimitを設定するための2つのノブ、overcommit_kbytesとovercommit_ratioを持っています。CommitLimitは次のように計算されます。

CommitLimit = overcommit_kbytes + swap

または、overcommit_kbytesが設定されていない場合:

CommitLimit = overcommit_ratio / 100 * available_memory + swap

割り当てがENOMEMエラーコードで失敗した場合、PostgreSQLはこれを優雅に処理します。メモリを割り当てられないバックエンドは、クライアントにエラーを報告し、トランザクションをキャンセルして継続します。postmasterは稼働したままです。他の接続は影響を受けません。これは通常の、破滅的なエラーではなく、ルーチンエラーです。トレードオフは、strict overcommitが遅延して破壊的な失敗を、早期で優雅な失敗に変換することです。

このトレードオフは、マシンがPostgreSQLと少数の既知のサイドカープロセス専用である場合に最も効果的です。そのシナリオでは、コミットされたメモリプロファイルは予測可能であり、制限を自信を持って調整できます。多様なワークロードを実行する共有マシンでは、コミットされたメモリの予測が困難になります。無関係なプロセスがコミット予算を使い果たす可能性があります。これにより、データベースの負荷が正常であっても、PostgreSQLがENOMEMエラーを受け取る可能性があります。

カーネルバグと648 GBのファントムメモリ

私たちは常にPostgreSQLのためにstrict overcommitを支持してきました。以前構築したマネージドPostgreSQLサービスや、Ubicloud PostgreSQLでも使用していました。しかし、今回有効にした後、すぐに問題に直面しました。strict memory overcommitをオンにしてから数週間後、一部のデータベースで障害が発生し始めました。マシンの空き物理メモリは十分にありましたが、メモリ不足のエラーが表示されました。strict memory overcommitを無効にし、調査を開始しました。

発見

最初の手がかりは、8 GBメモリを搭載したサーバーで/proc/meminfoを定期的にチェックしたときに見つかりました。

$> cat /proc/meminfo | grep "Committed_AS"

Committed_AS: 683547672 kB

8 GBのマシンで651 GBのコミット済みメモリ! 比較のために、同じサイズの正常なサーバーは次のように表示されました。

$> cat /proc/meminfo | grep "Committed_AS"

Committed_AS: 2703940 kB

カウンターは桁違いにずれていました。

特定

最初にpsの出力を確認しました。

$> ps -C postgres -o pid,vsz,rss,cmd --sort=-vsz

PID   VSZ     RSS   CMD
96622 2242244 95416 postgres: 18/main: postgres postgres...
95721 2241668 94708 postgres: 18/main: postgres postgres...
96414 2241436 94892 postgres: 18/main: postgres postgres...
96619 2241076 93308 postgres: 18/main: postgres postgres...
96417 2240900 94300 postgres: 18/main: postgres postgres...
95728 2240736 93864 postgres: 18/main: postgres postgres...
96620 2240736 92852 postgres: 18/main: postgres postgres...
95727 2240428 93640 postgres: 18/main: postgres postgres...
96623 2239840 93164 postgres: 18/main: postgres postgres...

VSZはプロセスがマッピングしている合計仮想アドレス空間であり、RSSはそのプロセスが実際に使用している物理メモリです。上記の出力では、各バックエンドは約2 GBのVSZを示しており、これはマッピングされたアドレス空間全体をカバーしていますが、実際に使用しているメモリははるかに小さいRSS(約95 MB)です。この8 GB VMでは、shared_buffersを2 GBに設定しており、もし~2 GB VSZがshared_buffersサイズに疑わしいほど近いと思うなら、その通りです。各バックエンドのVSZの大部分は、実際にはshared_buffersを保持する共有メモリセグメントです。各バックエンドは同じ2 GB領域を自身の仮想アドレス空間にマッピングするため、各バックエンドのVSZに表示されます。多くのバックエンドがあると、VSZの数値は急速に積み上がります。

とはいえ、これらはどれもCommitted_ASを過大に計上するはずではありません。共有メモリセグメントは各バックエンドのアドレス空間に表示されますが、物理的には一度しか存在しないため、一度だけカウントされるべきです。それに加えて、私たちはhuge_pages = onでPostgreSQLを実行しているため、shared_buffersはhugetlbから割り当てられます。Hugetlbマッピングは独自の予約アカウンティングを持っており、Committed_ASには全くカウントされないはずです。それでも、各バックエンドの2 GB hugetlb領域は、圧倒的に最大のマップであり、hugetlbアカウンティングはカーネルの特別なケースです。それが、調査を開始するのに最も自然な場所となり、カーネルがこれらのマッピングをプロセスごとに一度ずつ課金しているのではないか、という仮説が最初の仮説となりました。

検証するために、/proc/<pid>/smaps経由でhugetlbマッピングのVMA(Virtual Memory Area)フラグを確認しました。各VMAにはフラグのセットがあり、acフラグ(VM_ACCOUNT)は、その領域がコミット済みメモリとしてカウントされることを示します。

$> sudo cat /proc/321784/smaps | grep -A 25 "hugepage"

7fce75000000-7fcef0c00000 rw-s 00000000 00:10 10723551  /anon_hugepage (deleted)
Size:            2027520 kB
Shared_Hugetlb:   393216 kB
Private_Hugetlb:       0 kB
...
...
VmFlags: rd wr sh mr mw me ms de ht sd

acフラグはありません。Huge Tablesはコミット済みメモリアカウンティングから正しく除外されていました。この仮説は却下されました。

次に、マシン上のすべてのプロセスにわたるアカウンタブルメモリ(acフラグを持つVMA)を合計しました。

$> sudo awk '/^Size/{size=$2} /VmFlags:/ && / ac/{sum+=size} END{printf "%.2f GB\n", sum/1048576}' /proc/[0-9]*/smaps

2.43 GB

2.43 GBのアカウンタブルメモリに対して651 GBが報告されており、648 GBのファントムコミット済みメモリです。vm_committed_asカウンターがリークしていました。メモリは割り当て時に課金されたが、再クレジットされなかったのではないかと疑いました。これは、コミット済みメモリ計算における潜在的なカーネルバグを考慮させることになりました。

フリート全体での分析

当時、私たちはフリートで2つの異なるカーネルを使用していました。PostgreSQLサーバーのフリート全体をチェックし、Committed_ASとMemTotalの比率をカーネルバージョンと稼働時間と比較しました。

メトリックカーネル 6.5.0カーネル 6.8.0
中央値比率0.550.27
平均比率24.970.32
最大比率3,4051.86
比率 > 1.0 のサーバー23%< 1%

残りのコンテンツを表示するには、テーブルを左右にドラッグしてください。

統計分析を実行したところ、6.5カーネルを実行しているサーバーは、コミット済みメモリが膨張している可能性が52倍高いことがわかりました。

6.5サーバーでは、稼働時間が膨張と正の相関がありました。リークは、稼働時間に比例して、週あたり約4.7%の複利で増加しました。6.8サーバーでは、相関関係はありませんでした。

この分析は、これがカーネルバグであるという仮説を大幅に強化しました。

1文字のバグ

決定的な証拠を得るために、LLMに6.5.0と6.8.0の間のすべてのコミットを調査させ、コミット済みメモリ計算における潜在的なバグ修正を見つけさせました。それはすぐに以下のものを見つけました。

このバグは、Linux 6.5のコミット 408579c で導入されました。このコミットはdo_vmi_align_munmap()の戻り値の規約を変更しました。

  • 以前:0 = 成功、1 = ロックがダウングレードされて成功、負の値 = エラー
  • 以後:成功の場合は常に0、負の値 = エラー

このコミットはmmサブシステム全体で呼び出し元を更新しました。しかし、mm/mremap.cのmove_vma()内では、エラーチェックが誤って変換されました。

BEFORE(正しい):エラーハンドラは負の戻り値(エラー時)で実行されます。

if (do_vmi_munmap(&vmi, mm, old_addr, old_len, uf_unmap, false) < 0) {
   /* OOM: unable to split vma, just get accounts right */
   if (vm_flags & VM_ACCOUNT && !(flags & MREMAP_DONTUNMAP))
       vm_acct_memory(old_len >> PAGE_SHIFT);
}

AFTER(壊れている):エラーハンドラは戻り値が0(成功時)の場合に実行されます。

if (!do_vmi_munmap(&vmi, mm, old_addr, old_len, uf_unmap, false)) {
   /* OOM: unable to split vma, just get accounts right */
   if (vm_flags & VM_ACCOUNT && !(flags & MREMAP_DONTUNMAP))
       vm_acct_memory(old_len >> PAGE_SHIFT);
}

< 0から!への変更は条件を反転させました。これがなぜ重要なのかを理解するために、move_vma()が何をするのかを考えてみましょう。まず、移動の一部として古い領域のCommitted_ASをデクリメントし、次にdo_vmi_munmap()を呼び出して実際にアンマップします。アンマップが失敗した場合、カーネルはアカウンティングを正しく保つためにカウンターをインクリメントし直す必要があります。結局、アンマップは失敗し、古い領域はまだ存在します。その課金は復元されなければなりません。反転した条件では、この再インクリメントは失敗時のみではなく、すべてのメモリremap操作で実行されます。カウンターは、メモリremap操作ごとに単調に増加しました。

このバグはこちらで報告され、こちらでビスケットされました。Linus自身が根本原因を分析し、1行の変更でそれを修正しました。条件を< 0に戻しました。

-  if (!do_vmi_munmap(&vmi, mm, old_addr, old_len, uf_unmap, false)) {
+  if (do_vmi_munmap(&vmi, mm, old_addr, old_len, uf_unmap, false) < 0) {

Linus Torvaldsが修正で書いたように:

これは、vmaに'VM_ACCOUNT'が設定されている場合を除き、実際のVMの動作には何も変更しませんでした。これにより、すべてが引き続き機能するため、間違った戻り値のテストはかなり微妙になりました。

あるいは、機能はしますが、「コミット済みメモリ」アカウンティングはめちゃくちゃになり(/proc/meminfoのCommitted_AS値)、設定によっては、VMが偽の統計情報に依存してヒューリスティックを実行するため、はるかに後で問題を引き起こします。

これは、そのまま隠れているタイプのバグです。ヒューリスティックovercommit(デフォルト)の下では、Committed_ASは純粋に情報提供のみです。カーネルは割り当てを制限するためにそれを使用しません。このバグは非デフォルトのstrict overcommitモードでのみ障害を引き起こすため、見過ごされていました。障害も間接的です。Committed_ASが最終的にCommitLimitを超えて割り当てが失敗し始めるまで、アカウンティングは何週間も静かにドリフトします。

コミット制限の設定

カーネルバグも解消されたので、strict memory overcommitを段階的に再度有効にすることができます。ここで、皆さんもワークロードで有効にしたい場合に、コミット制限を決定する際の私たちのヒューリスティックについて説明する良い機会です。

私たちは次の式を使用します。

overcommit_kbytes = total_memory_kb × 0.8 + 2 × 1048576

平易な言葉で言えば:総物理メモリの80%プラス2 GBです。

なぜ80%なのか

20%の保持分は、ユーザー空間では見えないカーネルデータ構造(ページテーブル、スラブキャッシュ、ネットワークバッファ、カーネル自身の割り当てなど)に使用されるメモリをカバーします。

20%が無駄ではないことに注意することが重要です。カーネルはそれをページキャッシュ(つまり、カーネルがファイルI/Oをキャッシュするために空き物理メモリを使用する)に使用します。これは最大の消費者であり、PostgreSQLの読み取りパフォーマンスに直接利益をもたらします。ページキャッシュは、プロセスが実際にメモリを必要としたときにいつでもカーネルがキャッシュされたページを追い出すことができるため、Committed_ASにはカウントされません。

なぜ+2 GBなのか

私たちのフリートのすべてのPostgreSQLサーバーは、いくつかのサイドカープロセスを実行しています。例としては、prometheus、node_exporter、postgres_exporter、wal-gなどがあります。これらはGoプログラムであり、Goのランタイムはmmapを介して大きな仮想メモリ領域を事前に予約しますが、ページは必要に応じてのみフォールトインします。それらのコミット済みメモリへの寄与は、実際の常駐メモリよりもはるかに大きくなります。

フリート全体でこれらのサイドカープロセスのコミット済みメモリを調査しました。

サイドカーのコミット済みメモリサーバーの割合
0.0 – 0.5 GB~64%
0.5 – 1.0 GB~32%
1.0 – 1.5 GB~1%
1.5 – 2.0 GB~1%
2.0 – 2.5 GB~1%
2.5 – 3.0 GB~1%
3.0 – 3.5 GB~1%

残りのコンテンツを表示するには、テーブルを左右にドラッグしてください。

サーバーの96%が1 GB未満です。vCPU数とサイドカーのコミット済みメモリの間には弱い正の相関(r = 0.22)が見つかりました。これは、Goのランタイムが利用可能なCPUに合わせてスケーリングすることによるものと思われますが、比例スケーリングを正当化するほど強くはありません。

固定の2 GBは、99%以上のサーバーをカバーします。これは意図的に余裕を持たせています。このオフセットが小さすぎると、サイドカーが残りのコミット予算を静かに消費し、PostgreSQLがENOMEMにヒットする原因となり、サイドカーではなくPostgreSQLが問題を引き起こすことになります。

実装

どのように実装したか興味がある場合は、実際には非常に簡単です。GitHubリポジトリのコードをこちらで読むことができます。便宜のために、コア部分を以下に追加します。

def configure_memory_overcommit(strict: false)
  if strict
    total_mem_kb = File.read("/proc/meminfo").match(/MemTotal:\s+(\d+)/)[1].to_i
    # メモリの25%はhugepages用に予約されており、これはコミット制限にはカウントされないため、
    # 残りの75%のみがovercommitに利用可能です。
    non_hugepage_mem_kb = total_mem_kb * 0.75
    overcommit_kbytes = (non_hugepage_mem_kb * 0.8 + 2 * 1048576).round
    safe_write_to_file("/etc/sysctl.d/99-overcommit.conf", "vm.overcommit_memory=2\nvirtual.overcommit_kbytes=#{overcommit_kbytes}\n")
  else
    r "sudo rm -f /etc/sysctl.d/99-overcommit.conf"
  end

r "sudo sysctl --system"
end

vm.overcommit_ratioではなくvm.overcommit_kbytesを使用していることに注意してください。私たちの式には固定の2 GBコンポーネントが含まれており、これはパーセンテージで表現できないため、overcommit_kbytesが必要です。4 GBサーバーでは、2 GBバッファは物理メモリの50%ですが、64 GBサーバーでは3%です。単一の比率では両方を捉えることはできません。

結論

Strict memory overcommitは、PostgreSQLに意味のある安全性の向上をもたらす小さな設定変更です。壊滅的なOOMキルを、優雅な割り当てエラーに変換します。これにより、各バックエンドはシステム全体を中断することなく問題を管理できます。カーネルバグのために一時的に無効にしなければならなかったとしても、これは健全なPostgreSQLデプロイメントにとって引き続き重要な設定です。

本番環境でPostgreSQLを実行している場合は、vm.overcommit_memory=2を有効にすることを推奨します。ただし、これを慎重に構成することが重要です。CommitLimitが低すぎると、アプリケーションで頻繁なOOMエラーが発生する可能性があります。逆に、高すぎると、strict memory overcommitが提供する保護を十分に享受できません。私たちの推奨は、時間の経過とともにメモリ使用量を監視し、ワークロードのメモリ特性を十分に理解した後にのみこの設定を有効にすることです。