HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Postgresの障害の背後にある4つの原因

The four horsemen behind Postgres outages (malisper.me)

29 pointsby craigkerstiens12 コメント

要約

Postgresは優れたデータベースですが、本番環境での障害につながる一般的な問題がいくつか存在します。特にデータベース担当者がいないチームでは、VACUUMとトランザクションIDラップアラウンド、接続制限とクエリ並列処理、不適切なクエリプラン、JSONの扱いの4つが主な原因として挙げられます。これらの問題に対処するために、RustでPostgresを再実装するpgrustプロジェクトが進められています。

全文翻訳

Postgresの障害を引き起こす4つの要因

Postgresは素晴らしいデータベースですが、非常に一般的な問題がいくつかあり、これらがPostgresの障害に容易につながる可能性があります。これらは単なる理論上の問題ではありません。多くのスタートアップと話す中で、これらが本番環境で実際に障害を引き起こす原因となっていることを知りました。特に、専任のデータベース担当者がいないチームでは顕著です。これらは、私がpgrust、つまりPostgresの再実装で改善したいと考えている4つの主要な領域です。


VACUUMとトランザクションIDのラップアラウンド

PostgresのVACUUMは、おそらくPostgres関連の障害の第1位の原因です。Postgresで行を削除しても、Postgresは実際にはそれを削除しません。Postgresはその行を残しておき、削除済みとしてマークします。これは、必要に応じて簡単にトランザクションをロールバックできるようにするなど、多くの理由で行われます。削除された行を実際に削除してスペースを解放するために、PostgresにはVACUUMというバックグラウンドジョブがあり、削除済みとしてマークされた行を物理的に削除します。

これにより、いくつかの問題が発生します。まず、VACUUM自体です。VACUUMはすべてのデータを読み取る必要があるため、大量のI/Oを消費する可能性があります。このI/Oは、クエリが必要とするI/Oと競合し、クエリを遅くする可能性があります。VACUUMの設定をI/Oをあまり消費しないように調整しようとすると、遅れが生じ、VACUUMがクリーンアップするよりも速く削除済み行が増加する可能性があります。VACUUMは、データの更新速度に追いつくのに十分な積極性を持たせつつ、クエリのI/Oと競合しないように、非常に厄介なゲームをプレイする必要があります。

2つ目の問題はトランザクションのラップアラウンドです。どの行がライブでどの行がデッドかを追跡するために、Postgresはそれらの行にトランザクションIDを付けます。Postgresは32ビットIDを使用してトランザクションIDを表します。これは、PostgresがトランザクションIDの再利用を開始する前に、最大40億トランザクションしか持てないことを意味します。VACUUMのジョブの1つは、古いトランザクションIDを回収して再利用できるようにすることです。ここで、VACUUMがトランザクションIDの回収に遅れすぎると、PostgresはライブトランザクションIDの再利用を防ぐためにDBをシャットダウンします。これは愚かに聞こえるかもしれませんが、そうでなければデータが破損する可能性があるため、必要です。これはおそらく、数千から数万件のPostgres障害の原因となっていると推測します。

pgrustが異なる点:

これに対処するために、2つの異なる方法を検討しています。

  1. Postgresに64ビットトランザクションIDを追加するパッチが存在します。いくつかの理由で、そのパッチをマージすることには抵抗があります。以前のバージョンのPostgresとの互換性がなくなり、すべての行に32ビットのオーバーヘッドが追加されます。個人的には、これほど多くの障害を引き起こしていることを考えると、この変更を行う価値は十分にあると思います。
  2. VACUUMをまったく必要としない代替アーキテクチャを検討しています。Oracleは、UNDOログと呼ばれる、VACUUMを必要としない行の削除マーク付けにまったく異なるアプローチを採用しています。Postgresにこのようなサポートを追加することを検討しているプロジェクトがあります。

コネクション制限とクエリ並列処理

Postgresインスタンスを起動する際、Postgresが作成できる最大コネクション数を設定する設定変数があります。コネクション制限を超える数のエンティティがPostgresに接続しようとすると、接続できなくなり、データベースがダウンします。コネクション数を変更するにはDBの再起動が必要なため、データベースを最初に作成する際にこの設定について非常に慎重に検討する必要があります。事前にこのことを知らないと、コネクション数が低すぎることが判明する可能性が高いです。多くの人がPgBouncerのようなソフトウェアを実行していますが、これは問題を部分的に解決しますが、依然として大きな問題です。

なぜPostgresにはそもそもコネクション制限があるのか疑問に思うかもしれません。その答えは、主にPostgresがクエリをどのように並列処理するかにあります。Postgresに新しいコネクションを作成するたびに、Postgresは新しいプロセスを作成します。並列処理の他の方法と比較して、プロセスはCPUリソースを消費するだけでなく、新しいプロセスを起動するのにかかる時間という点でも非常にコストがかかります。

プロセスは、クエリ間で並列処理するPostgresの能力を制限するだけでなく、クエリ内で並列処理する能力も制限します。Postgresが単一クエリを並列処理したい場合、Postgresは複数のプロセスを起動し、それぞれにクエリを処理させます。新しいプロセスを起動するのはコストがかかるため、Postgresは長時間実行されるクエリに対してのみこれを行います。

Postgresをプロセスモデルからスレッドモデルに切り替えることについて、長年議論されてきましたが、具体的な進展はありません。大きな課題の1つは、それが非常に大規模なリファクタリングであり、実行が非常に困難であり、安全に実行することも非常に困難であるということです。

pgrustの対応:

pgrustは、最初からスレッドベースのモデルで設計されています。Postgresがプロセスモデルを使用する大きな理由の1つは安全性です。プロセスはスレッドよりも互いに分離されているため、プロセスで何か問題が発生しても、Postgresは他のプロセスに影響を与えません。pgrustはRustで書かれており、Rustはコンパイル時に安全性の保証を提供するため、pgrustにとってこれはリスクではありません。


不適切なクエリプラン

Postgresのクエリオプティマイザは非常に賢いですが、扱いにくい場合があります。ご存知ないかもしれませんが、Postgresはクエリを実行するために数十種類もの異なるアルゴリズムを使用できます。クエリを実行すると、Postgresはそれを調べ、テーブル内のデータに関する統計情報を調べ、クエリを最も速く実行できるアルゴリズムを特定しようとします。

多くの場合、Postgresは正しく処理します。問題は、Postgresが間違った判断を下した場合、それが非常にひどいものになる可能性があることです。良いクエリプランと悪いクエリプランの違いは、クエリが10ミリ秒で完了するか10分で完了するかの違いになり得ます。さらに悪いことに、Postgresはクエリオプティマイザに対して意味のある制御を提供しません。つまり、悪いクエリプランが得られた場合、ほぼお手上げ状態です。

悪いクエリプランが得られた場合、唯一の本当の選択肢は、Postgresのアルゴリズムのいくつかを完全に無効にすることです。MySQLのような他のデータベースでは、「プランナーヒント」が提供されており、特定のクエリの実行方法に影響を与えることができます。Postgresには同様のものはありません。

以前私が働いていた会社では、Postgresが常にネストループ結合を使用しようとしてすべてのクエリを非常に遅くしていたため、ネストループ結合をグローバルに無効にする必要がありました。これは、JSONの使用が原因でPostgresがデータを理解できなくなったことが大きな理由でしたが、それについては後ほど説明します。

pgrustが目指していること:

これはpgrustのより理論的な部分の1つですが、適応型クエリオプティマイザを構築したいと考えています。アイデアはこうです。通常10ミリ秒かかるクエリが突然10秒かかった場合、pgrustはそのリグレッションを検出し、プランが変更されたかどうか、基になる統計情報がドリフトしたかどうかを確認し、DBAがそれに気づいて手動で介入するのを待つのではなく、修正を行います。

これはまだpgrustに組み込まれていませんが、これが存在できない理由はないと思います。


JSON

PostgresとJSONの関係は愛憎入り混じったものです。非構造化データを取り扱う場合、PostgresのJSONはデータを簡単に保存でき、クエリも簡単に実行できます。残念ながら、JSONでは問題が発生しやすいこともあります。

Heapでは、私たちはJSONを多用しており、それは大きな頭痛の種でした。私のマネージャーはそれについてのブログ記事全体を書きました。最大の課題は、PostgresがJSONの統計情報をキャプチャしないことです。ほとんどの型に対して、Postgresはヒストグラム、最も一般的な値など、多くの統計情報を収集します。JSONの場合、Postgresは意味のある統計情報をまったく収集しません。代わりにPostgresが行うのは、JSON列でフィルタリングする際に、フィルタが0.1%の行に一致すると推定することです。この0.1%は、データに基づいて計算されるのではなく、マジックナンバーです。正しい数値は80%であったり、0.0001%であったりする可能性があります。

これらすべてを合わせると、JSONでフィルタリングを開始すると、すぐに不適切なクエリプランが発生することがほぼ保証されます。

JSONのもう1つの大きな問題については触れません。PostgresはJSONの圧縮を行いません。つまり、同じキーと値を再利用している場合、Postgresはこれらの完全なキーと値を毎回最初から保存します。JSONが占めるスペースを削減するために、辞書圧縮のようなことを行う大きな機会があります。

pgrustの対応:

最初に行いたいのは、JSONの実際の統計情報を組み込むことです。これにより、JSONに関する問題点の80%が解決されます。JSONの統計情報を追加するためのパッチがいくつか出回っており、そのうちの1つを完成させたいと考えています。実験が必要ですが、いくつかアイデアがあります。

また、JSONが占めるスペースを問題にしにくくするための何らかの圧縮を導入することも検討したいです。これは、行間圧縮を導入するか、辞書圧縮を導入することのいずれかになります。


pgrustのロードマップ

現在の優先事項は以下の通りです。

  1. Postgres互換性を100%に近づけるための取り組みを継続します。現在、Postgresの回帰テストスイートの96%をパスしており、残る問題はわずかです。
  2. 安定性とバグ修正。pgrustを人々が信頼し始められる状態にする。
  3. 上記で議論したアーキテクチャ改善の着手。64ビットトランザクションIDから開始します。

pgrustへのリンク