Multigresは、プールされた接続全体でListen/Notifyをサポートします
Multigres Supports Listen/Notify Across Pooled Connections (multigres.com)
要約
PostgresのLISTEN/NOTIFY機能は、多数のクライアントがリスニングするとパフォーマンスが大幅に低下するというスケーリングの問題を抱えています。Multigresはこの問題を解決し、接続プーリングを使用しながらも通知速度を一定に保ちます。この記事では、Multigresがどのようにしてこのスケーリング問題を克服し、Postgresネイティブの動作と完全に互換性のあるリスニング/通知メカニズムを実現しているのか、その仕組みとエッジケースについて解説しています。
全文翻訳
Multigresがコネクションプーリング環境でのLISTEN/NOTIFYをサポートする方法
PostgresのLISTEN/NOTIFYにはスケーリングの問題があります。クライアントが増えるほど、通知は遅延し、数千に達するとその遅延は桁違いに大きくなります。Multigresは、このラインをフラットに保ちます。これは、機能が依存している唯一の要素であるコネクションプーリングからクライアントのコネクションをプールしているにもかかわらず実現されます。どのようにしてそれを成し遂げ、Postgresと全く同じように動作させるために正しい挙動をさせる必要があるエッジケースについて、この記事で解説します。
LISTEN/NOTIFYの簡単な復習
LISTEN/NOTIFYはPostgresに組み込まれたPublish/Subscribeメカニズムです。セッションは名前付きチャンネルを購読します。
LISTEN events;
別のセッションがそれに発行します。
NOTIFY events, 'cache invalidated: user:42';
現在eventsをリスンしている全てのセッションは、通知元のバックエンドのPID、チャンネル名、ペイロードを含む非同期メッセージを受け取ります。通信上では、サーバーは通常の要求/応答フローの外側で、NotificationResponse(メッセージタイプ'A')としてクライアントにプッシュします。アプリケーションは、ポーリングを回避できるという理由から、キャッシュ無効化、ジョブキュー、リアルタイムファンアウトのためにこれに依存しています。
LISTENは現在のセッションをリスナーとして登録し、その登録はそのセッションが終了した瞬間にクリアされます。つまり、コネクションごとの状態です。一方、配信はより広範です。NOTIFYは、どのバックエンドコネクション上にあるかに関わらず、同じデータベース内のチャンネルをリスンしている全てのセッションに到達します。Postgresはこれを単一のクラスタワイドなディスク上のキュー(pg_notify/)で実装し、各通知に送信元のデータベースOIDをタグ付けしてデータベースローカルに保ち、リスンしている全てのバックエンドにそれを読み取るようにシグナルを送ります。要するに、登録はセッションごと、配信はデータベースごとです。
プーリングがこれを壊す理由
Postgresがこの機能と結びつけているものに注目してください:セッションです。そして、プーラーの仕事はクライアントがセッションを所有することを阻止することです。Multigresは意図的にクライアントコネクションを単一のPostgresバックエンドから切り離します。クライアントのクエリは、ステートメントごとに異なるバックエンドコネクションに着地する可能性があります。永続的なセッションが存在しないため、LISTENはアタッチするものがありません。
LISTENは借りたコネクションでは実行できません。LISTEN eventsが利用可能なバックエンドで実行された場合、次のステートメントは別の場所にルーティングされる可能性があり、登録はそのクライアントがもはや保持していないコネクション上に置き去りにされます。- 通知はクライアントが見えない場所に届く可能性があります。 Postgresは、
LISTENを実行したバックエンドに忠実に配信しますが、プーラーではそのバックエンドはクライアントが保持するものではありません。メッセージは、すでにプールに返却され、他の誰かによって再利用されたコネクションに着弾します。
Postgres自体に問題があるわけではありません。同じインスタンス上の同じデータベースを共有している限り、異なるバックエンドコネクション間で通知を完全に配信します。Multigresはまさにその動作に依存していますが、上記のセッション所有権の問題を解決した後です。単純な修正(リスンしている各クライアントを専用のバックエンドコネクションに固定する)は、プーリングが最も重要であるワークロード(多数の長時間リスンするクライアント)に対してプーリングを無効にしてしまいます。リスナーはプール可能である必要がありました。
中心的な考え方:クライアントはリスニングのためのPostgresセッションを決して所有しません。プーラーが所有します。
各プーラーは、クエリプールとは別に、Postgresバックエンドへの単一の長時間実行されるリスナーコネクションを維持します。これは遅延して取得され(いずれかのクライアントが最初にLISTENを発行したとき、それより前ではない)、予約されているため、プールはリスンしている限りそれを永久にチェックアウトされたものとして扱い、決して再利用しません。
この単一のコネクションが、そのプーラーに接続されている全てのクライアントの代わりにリスンします。リスナーはリファレンスカウントでチャンネルを追跡します。チャンネルの最初の購読者は実際のLISTEN channelをバックエンドに発行し、最後の購読解除は対応するUNLISTENを発行するため、クライアントがそれを求めている数に関わらず、各ユニークなチャンネルに対してバックエンドへの購読は1回だけ発行されます。
リスナーコネクションは、サブスクリプション変更のたびにコネクションの切断と再確立を回避するために、単一ソケット上で読み書きを分割して実行する必要があります。これは、通知の損失のウィンドウになる可能性があるためです。イベントループはサブスクリプション変更を書き込み、リーダーゴルーチンは着信メッセージをドレインします。
[画像: Subscribe: クライアントのLISTENはゲートウェイによって記録され、ゲートウェイはプーラーへのStreamNotificationsストリームを開きます。プーラーはバックエンドのLISTENを発行し、Postgresからの確認を待ち、準備完了をシグナルします。その後、ゲートウェイはクライアントにOKを返します]
これでNOTIFYは自然に処理されます。Multigresは実行時にそれを特別なものとして扱いません。プランナーはそれを通常のクエリとして単一の固定ターゲットにルーティングします。この固定ルーティングは意図的です。Postgresの通知は、あるインスタンスから別の別個のインスタンスを横断することはないため、すべてのNOTIFYは、リスナーコネクションが監視しているのと同じインスタンスに着弾する必要があります。NOTIFYは通常のバックエンドコネクションで実行され、Postgresは、そのチャンネルをリスンしているそのデータベース内の全てのセッションに通知を配信します。これには、同じインスタンス上の別のバックエンドにすぎないプーラーの共有リスナーも含まれます。これは、Postgresネイティブのクロスバックエンド配信に完全に依存するステップです。発行者とリスナーは異なる物理コネクションであり、Postgresがそれらをブリッジする役割を果たします。通知はリスナーコネクションに着弾し、そこからMultigresが配信を引き継ぎます。
ファンアウトパス
Postgresバックエンドから適切なクライアントに通知を取得するには、2段階のファンアウトが必要です。プーラー内での1回、ゲートウェイ内での1回です。
[画像: Publish and deliver: クライアントのNOTIFYは固定ターゲットへの通常のクエリとしてルーティングされ、Postgresはそれをプーラーのリスナーコネクションにネイティブに配信します。リスナーはそれをgRPC StreamNotificationsストリーム経由でゲートウェイにファンアウトし、ゲートウェイはクライアントごとにキューイングして、通信線上のNotificationResponse 'A'を発行します]
下から上に歩いてみましょう。
プーラー → ゲートウェイ。 ゲートウェイは、チャンネルセットを受け入れる長時間実行されるgRPCストリームStreamNotificationsを介してプーラーを購読します。プーラーのリスナーが通知を受信すると、そのチャンネルに登録されている各購読者にファンアウトし、ストリームはそれを各関心のあるゲートウェイに運びます。
ゲートウェイ → クライアント。 ゲートウェイは、各クライアントのコネクションごとの状態を保持します。各リスニングコネクションには独自の通知キューがあり、ゲートウェイの通知マネージャーは受信ストリームをそのチャンネルに購読しているコネクションにファンアウトします。各キューはバウンドされており、数百件の保留中の通知まで深さがあります。
通知配信は非同期であり、遅いクライアントは他の全員のための共有配信パスをブロックしてはなりません。コネクションのバッファがいっぱいになった場合、オーバーフローはPostgres自身のNOTIFYに対するファイアアンドフォーゲットの姿勢(通知は発行されたらベストエフォートであり、永続的なメッセージではない)に一致するように、ブロックを許可するのではなくドロップされログに記録されます。
通信線へ。 各クライアントコネクションは、通知チャンネルからプルしてNotificationResponse 'A'メッセージを発行するバックグラウンドライターを実行します。通知は、クエリの途中を含む、いつでも到着する可能性があるため、ライターはソケットに書き込まれている他のものとの'A'メッセージのインターリーブを防ぐために、パケットごとにコネクションのバッファロックを取得します。クエリが実行中であった間にバッファリングされた通知は、コネクションがReadyForQueryを送信する前にフラッシュされるため、クライアントはトランザクション境界でサブスクリプションの古いビューを決して見ません。
エッジケースの正確な処理
共有リスナーとファンアウトツリーは、ハッピーパスを機能させます。残りの作業は、互換性が通常壊れるコーナーケースでPostgresと全く同じように動作させることです。
トランザクション内のLISTEN
Postgresでは、LISTENとUNLISTENはトランザクション内で行われます。BEGIN内で発行すると、トランザクションがコミットされた場合にのみ有効になり、ロールバックすると実行されなかったかのようになります。Multigresは、実際のサブスクリプション作業がクライアントのトランザクション内にはない共有コネクション上で行われるにもかかわらず、これを尊重する必要があります。
ゲートウェイはこれをバッファリングで解決します。トランザクション内で発行されたLISTEN/UNLISTENはすぐに適用されず、コネクションの状態に対する保留中のアクションとして記録されます。コミット時に、Multigresは保留中のアクションを順序通りにリプレイし、トランザクション前のサブスクリプションセットに対する正味の変更を計算します。
したがって、1つのトランザクション内でLISTEN a; LISTEN b; UNLISTEN a;を実行すると、コミット時にbへの単一の正味サブスクライブに解決され、ロールバックは何も解決しません。正味の差分が計算された後でのみ、ゲートウェイは実際にプーラーとサブスクリプションを同期します。
LISTENと最初の通知の間のギャップを埋める
微妙な競合があります。クライアントのLISTENがOKを返すと、それ以降に発行された全ての通知を受け取ることを期待します。ゲートウェイがバックエンドのLISTENが実際にアクティブになる前にOKを返した場合、そのウィンドウ中に発行された通知は失われ、クライアントはそれに気づく方法がありません。
Multigresは、準備完了ハンドシェイクでギャップを埋めます。ゲートウェイがStreamNotificationsストリームを開くと、プーラーはバックエンドLISTENを発行し、Postgresからの確認を待ち、その後初めてストリーム経由で初期準備完了シグナルを送信します。ゲートウェイは、クライアントにLISTENの成功を報告する前に、このシグナルでブロックします。クライアントがOKを見る頃には、サブスクリプションはPostgresまで実際にライブになっています。
プーラー側もこれを強化します。LISTEN/UNLISTENを送信した後、コマンド完了確認をドレインしてから続行し、そして最も重要なこととして、そのドレイン中に到着した通知を破棄するのではなく転送し続けます。
再接続の生存
リスナーコネクションが切断された場合(バックエンド再起動、ネットワークの瞬断)、それがリスンしていた全てのチャンネルを再確立する必要があります。さもないと、クライアントはサイレントに通知の受信を停止します。リスナーはアクティブなチャンネルのセットをメモリ内に保持しているため、復旧は単なるリプレイです。再接続時に、参照されている全てのチャンネルに対してLISTENを再発行します。
Postgresの癖に合わせる
些細な詳細ですが、互換性はそれらの合計です。
- チャンネル名の長さ。 Postgresはチャンネル識別子を
NAMEDATALEN - 1(63文字)に切り捨てます。ゲートウェイは計画時に同じ切り捨てを適用するため、長い名前をリスンしているクライアントとそれを通知しているクライアントは、切り捨て後も同じチャンネルに同意します。 - 識別子の引用。 チャンネル名は、バックエンドの
LISTEN/UNLISTENで送信される前にSQL識別子として引用され、大文字小文字が混在するチャンネル名や特殊文字を含むチャンネル名を保持します。
次は何
LISTEN/NOTIFYは、コネクションプーリングの上にそれをサポートしようとすると、Postgresが想定する単一の安定したセッション(リスナーごと)が、あなたが取り除いたものになるため、小さな機能に見えます。Multigresは、セッションをプーラーに移動することでこれを処理します。単一の共有された予約済みリスナーコネクションが全員の代わりに購読し、チャンネルをリファレンスカウントして各バックエンドLISTENが1回だけ実行されるようにし、通知をゲートウェイ経由で各クライアントのワイヤーコネクションにファンアウトします。これにより、単一インスタンスのPub/Subが正しく機能します。まだ構築すべき表面積は多くあります。
- 再接続ギャップの解消。 共有リスナーまたはgRPCストリームがドロップした場合、再接続ウィンドウ中に発行された通知は失われ、購読者にはギャップがあったことが通知されません。現在、再接続時に再購読し、ギャップの持続時間を追跡しています。そのウィンドウを狭めるか、シグナルを出すことが次のステップです。
- 単一シャードを超えるNOTIFY。
NOTIFYは現在、1つの固定ターゲットにルーティングされるため、常にそのインスタンスを監視しているリスナーと一致します。シャーディングされたクラスタ全体にPub/Subを拡張することは将来の作業です。 - 通知ストリームの統合。 現在、ゲートウェイはチャンネルごとに1つの
StreamNotificationsストリームを開きます。動的なチャンネルの追加/削除を伴う単一の双方向ストリームは、チャンネル数が多い場合にチャンネルごとのオーバーヘッドを削減します。
LISTEN/NOTIFYは、Multigresが構築しているより広範なPostgres互換性表面積の一部であり、今後の投稿でさらに取り上げます。