HN 日本語サマリー

← 一覧へ戻る
プログラミング

なぜ私たちはまた別のPostgres接続プーラーを構築したのか

Why we built yet another Postgres connection pooler (pgdog.dev)

228 pointsby levkk58 コメント

要約

PgDogはPostgresのスケーリングのためのプロキシであり、その機能の一つに接続プーリングがあります。既存の接続プーラー(PgBouncerなど)は、UNIX哲学に従い単機能で優れていますが、「リーキー抽象(leaky abstraction)」を生み出し、データベースの使用方法を変更したり、アプリケーションコードの修正を必要としたりすることがあります。PgDogは、SETコマンドやLISTEN/NOTIFYといったPostgresのセッション状態やPub/Sub機能を透過的に扱い、アプリケーションコードの変更なしに接続プーリングの恩恵を受けられるように設計されています。

全文翻訳

なぜ我々はまた別のPostgresコネクションプーラーを構築したのか

2026年7月6日 Lev Kokotov

PgDogはPostgresのスケーリングのためのプロキシです。その機能の一つにコネクションプーリングがあり、これにより多数のクライアントアプリケーションがデータベースのコネクション制限を超えずに同じデータベースを使用できます。

世の中には、特にPgBouncer、RDS Proxy、Pgpool-II、Supavisorなど、多くのコネクションプーラーが存在します。では、なぜ我々はまた一つ構築したのでしょうか?

リーキーアブストラクション

Postgresエコシステムのツールの多くは、UNIX哲学を非常に真剣に受け止めています。「一つのことを行い、それをうまく行う」という哲学です。一般的に、これは信頼性の高いソフトウェアを構築するための良い方法であり、それが今日PgBouncerが非常に人気がある理由です。それは機能します。

しかし、それは我々が業界で「リーキーアブストラクション」と呼ぶものを導入することによって機能します。

PgBouncerやRDS Proxyをデプロイすると、データベースの使用方法を変更するインフラストラクチャを追加したことにすぐに気づくでしょう。それは、しばしばアプリケーションコードを変更することによって、トレードオフを要求します。

もしあなたがしばらくの間アプリを構築してきたなら、コネクションプーリングを追加する必要がある場合によくあることですが、これは通常、テストカバレッジが非常に少ない数千行のプロダクションコードを変更することを意味する可能性があります。

PgDogを使えば、それはもはや必要ありません。

コネクションステート

コネクションプーラーを追加したときに最初に失われるのはセッションコントロール、つまりSETコマンドです。これらは、例えば遅いクエリを実行するために、データベース設定を一時的にオーバーライドするために使用されます。

SET statement_timeout TO '5m';
SELECT * FROM users WHERE banned IS true;

コネクションプーラーはクライアント間でコネクションを再利用するため、あるクライアントのコネクションステートが別のクライアントのコネクションステートに「漏れ」ます。

本番環境では、これは非常に悪い結果を招く可能性があります。最良の場合、遅いクエリがしばらく実行され続け、データベースインシデントを引き起こします。最悪の場合、セッション変数に依存するRow Level Security(RLS)ポリシーが機能しなくなり、行がサイレントに消えてしまいます。

したがって、コネクションプーリングに移行する際の一般的なアドバイスは、もはやSETを使用しないことです。

しかし、SETは実際のPostgresの機能です。データベース機能の使用が許可されていない場合、あなたはトレードオフを行っており、アプリの書き方を変えなければなりません。そして、RLSのような重要な目的で使用している場合、コネクションプーリングを全く使用できません。

SETステートメントの処理

PgDogには、組み込みのSQLパーサーが付属しています。これはSETステートメントを検出し、変数名と値を抽出し、それらをプロキシ内の各クライアントコネクションに保存します。

クライアントがクエリを実行すると、PgDogはまずそのステートがサーバーのステートと一致するかどうかを確認し、一致しない場合は、独自のSETステートメントのシリーズを実行してそれを更新します。

[画像: How SET statements work in PgDog]

SETステートメントを検出するために使用するアルゴリズムは非常に高速です。複数の変数が異なる場合、クエリパイプラインを使用して1回のラウンドトリップでそれらを更新します。

これによりパフォーマンスへの影響は小さくなり、スケーリングする際に、あなたが依存してきたPostgresの機能を引き続き使用できます。

LISTEN/NOTIFY

LISTENとNOTIFYは、Postgres内にパブリッシュ/サブスクライブキューを実装するPostgresコマンドです。これは便利な機能であり、スタックに別のデータベースを追加することなく pretty well 機能します。

また、トランザクションモードを使用したい場合は、プーラーを追加したときに諦めなければならない機能でもあります。

過去10年以内にアプリを構築した場合(PostgreSQL 10は2017年にリリースされました)、SQSやRedisに移行する前に、おそらくそれを使用したでしょう。

PgDogはそれも機能させます。これは、メッセージを複数のPgDogプロセス間で移動させながら、両方のコマンドを内部的に処理します。クライアントから見ると、PgDogがブローカーであるように見えますが、実際にはまだPostgresです。

また、一部の友人がデータベースを停止させたようなトランザクションのすべてのNOTIFYのセマンティクスを保持するようにしています(ちなみに、我々はそれを修正しました)。

内部実装は興味深いものです。同じPgDogプロセス内のクライアント間でメッセージを移動するためにTokioのbroadcastチャネルを使用しています。複数のPgDogプロセス(例えば、本番環境では複数のコンテナを実行するでしょう)をサポートするために、すべてのLISTENおよびNOTIFYコマンドを専用のコネクションを介してPostgresにも送信します。

したがって、実質的にPgDogは、Postgresをブローカーとして使用し、他のパブリッシュ/サブスクライブクライアントをプロキシする、パブリッシュ/サブスクライブクライアントとして機能します。Postgresをスケーリングする際に、我々が使用する機能を「ただ機能させる」ために、少しクリエイティブなエンジニアリングを行いました。

[画像: How SET statements work in PgDog]

マルチスレッド

PgDogは、Rustの非同期ランタイムであるTokio上に構築されており、マルチスレッドワーカーを備えています。各クライアントは独自の非同期タスクによって処理され、コネクション数に対して線形にスケーリングします。

Tokioを使用することで、複数のCPUを活用し、1つのPgDogプロセスから毎秒より多くのクライアントとクエリを提供できます。

しかし、PgBouncerがSO_REUSEPORTをサポートし、RDS Proxyが「サーバーレス」オートスケーリングを備えているのに、なぜこれが重要なのでしょうか?

どちらのツールも、コネクションプールの「シャーディング」を必要とします。各プロキシプロセスは独自のPostgresコネクションセットを持っています。クライアントが接続すると、それ以上インスタンスを変更できなくなるため、過負荷になると他のすべてのクライアントも立ち往生します。

複数のCPUでマルチスレッド化することにより、PgDogプロセスははるかに多くのトラフィックを処理できます。これにより、より少ないサーバーコネクションでより多くのクライアントをプールでき、コネクションの利用率と効率を高めることができます。

マルチスレッドプロセスは、オートスケーリングを待つ必要がないため、クエリの突然のバーストもより良く処理できます。アプリにレイテンシSLAがある場合、プロキシが邪魔になることを望みません。

最後になりましたが、マルチスレッドプロセスを管理するためのランブックは短いです。LinuxカーネルやAWS RDSコントロールプレーンのようなデバッグが難しい場所に複雑さを押し込むことなく、単一のメトリクスとヘルスチェックのソースで済みます。

まとめ

PgBouncerのような20年前のプロジェクトを置き換えるのは難しいかもしれませんが、何かが間違っていると思えば、我々はそれを修正します。PgDogは1年以上本番環境で使用されており、毎秒200万クエリでコネクションをプールしています。

これは無料(使用と変更の自由という意味で)であり、オープンソースであり、どこにでもデプロイできます。