PgBouncerのスループットを4倍にスケールさせた方法
We scaled PgBouncer to 4x throughput (clickhouse.com)
要約
PgBouncerはデフォルトではシングルスレッドでCPUコアを一つしか使用しないため、スループットのボトルネックになりがちです。この記事では、`so_reuseport`と複数のPgBouncerプロセスを連携させ、さらに「ピーリング」機能でクエリキャンセル問題を解決することで、スループットを4倍に向上させるスケーリング手法を解説しています。この手法はClickHouse Managed Postgresでデフォルトで採用されています。
全文翻訳
ClickHouse Managed PostgresにおけるPgBouncerのスケーリング方法
PgBouncerはシングルスレッドです。マシンにいくらCPUコアがあっても、単一のプロセスは1つのCPUコアしか使用しません。16vCPUのボックスであっても、接続プーリングは1つのコアで行われ、他の15コアはアイドル状態になります。そして、Postgresがリソース不足になるずっと前に、プーラーはスループットの上限に達し始めます。
ClickHouse Managed Postgresでは、利用可能なコア数に比例してサイズ設定されたPgBouncerプロセスのフリートを実行しています。
フリート内の各プロセスは、so_reuseportを有効にして同じポートにバインドします。カーネルは、クライアントが単一のエンドポイントに接続し、その背後に複数のPgBouncerがあることを認識しないように、受信接続をプロセス間でロードバランシングします。これは、PgBouncer自身のドキュメントで複数のコアを使用する方法として示されているメカニズムです。プロセスごとにシングルスレッドであり、so_reuseportによってすべてのコアを活用できます。
[画像: pgbouncer_jul2026_image5.png]
課題:クエリのキャンセル
Postgresのキャンセルリクエストは、クエリを実行している接続とは別に、キャンセルキーを持つ新しい接続で到着します。so_reuseportを使用している場合、カーネルはその新しい接続を、セッションを保持しているプロセスとは異なるプロセスに自由に割り当てることができます。キャンセルは、クエリのことを全く知らないプロセスに届き、何も起こりません。
ピーリング(Peering)がこの問題を解決します。プロセスはお互いを認識しているため、誤ったプロセスに届いたキャンセルは、セッションを実際に所有しているプロセスに転送されます。キャンセルはフリート全体で機能しますが、どのリクエストもどこにでも到着する可能性があります。
プーリングはトランザクションモードで実行されるため、トランザクションがコミットされた瞬間にサーバー接続はプールに戻されます。そして、接続予算はフリート全体で分割されます。max_client_connとmax_db_connectionsはプロセスの数で割られるため、フリート全体でPostgresをオーバーサブスクライブすることはありません。
実機での確認
同一のAWS EC2インスタンスで両方の構成を実行しました。プーラーには16vCPUのc7i.4xlarge、Postgresには別のボックス、そしてpgbenchでセレクトオンリー、トランザクションプーリングモードで負荷をかける3台目のボックスを使用しました。1つのプーラーボックスは単一のPgBouncerプロセスを実行し、もう1つは16個のプロセスからなるフリートを実行しました。インスタンスタイプ、Postgres、ワークロードはすべて同じです。唯一の変数は、1プロセス対16プロセスです。
クライアント接続を8から256まで増やし、スループットと、各プーラーが16コアのボックスのどれだけを使用するかを測定しました。
[画像]
単一プロセスは87kトランザクション/秒あたりでピークに達し、それ以上の負荷ではさらに悪化して256クライアントで77kに低下します。これは、すべてのリソースが1つのコアに集中するためです。フリートは、より多くのコアを活用できるため、約336kトランザクション/秒、つまり約4倍まで上昇し続けます。
[画像]
単一プロセスは1コア分の作業量を超えることはありません。負荷がかかると、pidstatはPgBouncerプロセスが約97%のCPUで固定され、フルコアを使用していることを示しますが、16vCPUボックス全体の使用率は10%未満のままです。フリートはマシン全体に分散し、約8コアをビジー状態にし、Postgresとロードジェネレーターがボトルネックになる時点でもまだヘッドルームがありました。
[画像]
256クライアントを各ボックスに対して安定させると、単一プロセスのボックスは実行中ほぼ9%のCPUしか使用しませんが、フリートは約52%を保持します。インスタンスタイプ、Postgres、ワークロードは同じです。一方の構成はマシンをアイドル状態のままにし、もう一方はマシンを稼働させます。
[画像]
EC2自身のCloudWatchメトリックも、ゲストの外側から同じことを示しています。負荷中、単一プロセスのインスタンスは平均約16%のCPU使用率ですが、フリートは約60%です。CloudWatchの数値はゲスト内の数値より少し高めですが、同じギャップがあります。16vCPUのために支払っているマシンの場合、単一のPgBouncerではそのほとんどが活用されません。
接続の上限も同様に動作します。単一プロセスはmax_client_connを独自に強制し、それを超えると新しいクライアントは拒否されます。
FATAL: no more connections allowed (max_client_conn)
フリート全体で予算を分割することが、各プロセスとPostgresを安全な制限内に保ちながら、集約された上限を引き上げることを可能にします。
| クライアント数 | 単一プロセスTPS | 単一プロセスボックスCPU | フリートTPS | フリートボックスCPU |
|---|---|---|---|---|
| 8 | 8,910 | 0.8% | 6,450 | 2.9% |
| 32 | 54,203 | 5.2% | 64,244 | 12.3% |
| 64 | 86,570 | 8.3% | 219,439 | 31.9% |
| 128 | 83,463 | 8.1% | 320,547 | 45.9% |
| 256 | 76,893 | 7.7% | 336,469 | 48.9% |
接続数が少ない場合、単一プロセスは実際には問題なく、並列化するものがなくフリートの接続が分散しているため、むしろわずかに高速です。ギャップが開くのはまさに重要な点、つまり1つのコアが壁となる実際の並行処理下です。
まとめ
単一のPgBouncerは、プーラーがPostgresではなくスループットの上限となるまで、デフォルトとしては十分です。フリートをコア数に合わせてサイジングし、so_reuseportで1つのポートを共有し、ピーリングでプロセスを連携させることで、プーラーはボトルネックではなく配管に戻ります。
ClickHouse Managed Postgresサーバーはすべて、デフォルトでこのセットアップを備えています。Postgresをプロビジョニングして、その動作を確認してください。