HN 日本語サマリー

← 一覧へ戻る
プログラミング

Postgres Queues Actually Scale

Postgres Queues Actually Scale (dbos.dev)

99 pointsby KraftyOne24 コメント

要約

Postgresをキューシステムとして利用する際の従来の常識は、スケーラビリティに限界があるというものでした。しかし、適切な最適化を施すことで、Postgresは大規模なワークロードにも対応可能であることが示されています。本記事では、Postgresベースのキューを最適化し、数千台のサーバーで毎秒3万件のワークフロー実行を達成した方法を解説します。`FOR UPDATE SKIP LOCKED`句の活用、トランザクション分離レベルの調整、そしてインデックスの効率化が鍵となります。

全文翻訳

Postgres Queues Actually Scale

Postgresをバックエンドにしたキューシステムはスケーリングしないというのが一般的な認識です。大量のワークロードを処理するには、RabbitMQ + CeleryやRedis + BullMQのような専用のキューイングシステムが必要だと考えられています。そう言われるのには理由があります。キューはPostgresにとって非常に負荷の高いワークロードなのです。大規模になると、数千ものワーカーが同時にキューテーブルをポーリングし、競合やインデックスの断片化を引き起こします。しかし、適切な最適化を行えば、Postgresでも対応可能です。この記事では、Postgresバックエンドのキューを大規模に最適化した方法を紹介し、数千台のサーバーにわたる毎秒3万件のワークフロー実行を達成しました。

Lesson 1: SKIP LOCKED の(再)発見

Postgresバックエンドのキューを機能させるための最初の問題は、複数のワーカーが同じワークフローをデキューしようとする際の競合を解決することです。大まかに言うと、Postgresバックエンドのキューの仕組みは、クライアントがキューテーブルにワークフローを追加してエンキューし、ワーカーが最も古いエンキューされたワークフローをデキューして処理する(FIFOキューを想定)というものです。単純な方法では、各ワーカーは以下のようなクエリを実行して、最も古いN個のエンキューされたワークフローを見つけ、それをデキューします。

[画像: Use Postgres for queueing - SQL example]

複数のワーカーがこのクエリを同時に実行すると、すぐに競合が発生します。すべてのワーカーが同じ最も古いキューイングされたワークフローを見て、同時にデキューしようとします。しかし、各ワークフローは単一のワーカーによってのみデキューできるため、ほとんどのワーカーは新しい作業を見つけられず、再試行することになります。大規模になると、この競合はシステム全体のボトルネックとなり、タスクのデキュー速度を制限します。

[画像: Use Postgres for queueing - architecture diagram]

幸いなことに、Postgresにはこの問題を解決するために必要なプリミティブ(ロック句)が用意されています。以下は、FOR UPDATE SKIP LOCKED を使用したクエリの例です。

[画像: Use Postgres for queueing - SQL for Dequeueing]

このように行を選択すると、2つのことが行われます。第一に、他のワーカーがそれらを選択できないように行をロックします。第二に、既にロックされている行をスキップし、最も古いN個のエンキューされたワークフローではなく、他のワーカーによって既にロックされていない最も古いN個のエンキューされたワークフローを選択します。これにより、多くのワーカーが競合なしに同時に新しいワークフローを取得できます。1つのワーカーが最も古いN個のワークフローを選択してロックし、2番目のワーカーが次に古いN個のワークフローを選択してロックするという具合です。

[画像: Diagram: Worker A locks the Workflow 1 row and Worker B locks the Workflow 2 row, so two workers dequeue different workflows without contention]

ロック句はPostgresバックエンドのキューを可能にします(だからSKIP LOCKEDは、繰り返し再発見される古いPostgresのトリックの1つなのです)。これらがなければ、ワーカー間の競合により、毎秒約100ワークフロー以上にスケーリングすることはできません。これらがあれば、Postgresははるかにスケーリングできますが、そのスケーリングを実現するにはさらなる最適化が必要です。

Lesson 2: トランザクション分離レベルに注意する

ロック句によってパフォーマンスは劇的に向上しましたが、すぐに別の競合関連のボトルネックに到達しました。大規模になると、デキュー操作がPostgresの「Serialization Failure」(シリアライゼーション失敗)例外で頻繁に失敗し、再試行が必要になりました。毎秒約1000ワークフロー以上をデキューすると、デキュー操作の大部分がシリアライゼーション失敗に遭遇し、パフォーマンスのボトルネックとなりました。

原因はPostgresのトランザクション分離レベルにあることが判明しました。デキュートランザクションは当初、REPEATEABLE READレベルで実行されていました。これは、「全ワーカーで同時に実行されるワークフローは最大N個まで」といったグローバルなキュー制限をサポートするためです。これらのグローバル制限を強制するには、ワーカーがキュー状態のグローバルに一貫したビューを共有する必要があります。そして、REPEATEABLE READ(Postgresでは)は、トランザクションが開始された時点のデータベースのスナップショットに対して操作を行い、トランザクション実行中に完了した同時トランザクションの影響を「見ない」ことを保証します。

問題は、REPEATEABLE READは高い同時実行性では高価になるということです。複数のワーカーが重複する行を同時に変更すると、Postgresはそれらのうちの1つをシリアライゼーション失敗で中止します。大規模になると、ワーカーはワークフローを処理するよりもトランザクションを再試行するのに多くの時間を費やしました。

重要な気づきは、最大のキューではグローバルなフロー制御がほとんど使用されないということでした。大規模になると、ユーザーは通常、「ワーカーあたり最大10ワークフロー」のようなローカル制限を好みます。これらはワーカー間の調整を必要としません。

そこで、分離レベルを条件付きにしました。

[画像: Postgres Transaction Isolation Level affects scaling]

グローバルフロー制御を持つキューはREPEATEABLE READを使い続け、それを持たないキューはREAD COMMITTEDを使用します。これにより、シリアライゼーション失敗が完全に排除され、スループットが劇的に向上します。

Lesson 3: インデックスは無料ではない

ロック句と低い分離レベルの両方により、数千のワーカーを使用しても競合は事実上なくなりました。しかし、毎秒約8000ワークフロー以上を実行すると、新しいボトルネック、つまり高いCPU使用率が見られました。これは、デキュークエリ自体とPostgresの自動バキュームという、一見無関係な2つの場所から発生しました。両方の原因は同じ根本原因、つまり非効率なインデックスを共有していることがわかりました。

ワークフローステータス テーブルには、クエリを高速化するためにいくつかのセカンダリインデックスがありました。1つのインデックスはデキュークエリ専用に設計されており、queue_name と status をインデックス化することで、Postgresが特定のキューのすべてのENQUEUEDワークフローを迅速に見つけられるようにしていました。

[画像: Use Postgres for queueing - Indexing]

その他のインデックスは、主にオブザーバビリティのために存在していました。例えば、ワークフロー階層のワークフローIDを効率的にクエリできるようにするための、親ワークフローIDのインデックスです。

[画像: Use Postgres for queueing - Index example]

大規模になると、これらのインデックスは非効率的でした。

デキューインデックスは、すべてのエンキューされたワークフローを見つけるのに役立ちますが、特定の順序では返しません。その結果、Postgresがデキュークエリを実行する際に、最も古いエンキューされたワークフローを見つけるために返されたワークフローをタイムスタンプでソートする必要があり、クエリのCPU使用率が増加します。

一方、多くのインデックスを維持するのはコストがかかります。すべてのワークフローステータスの更新(エンキュー、デキュー、完了)は、すべてのインデックスの更新を必要とします。さらに、インデックスが更新された後、Postgresの自動バキュームは古いインデックスエントリをクリーンアップする必要があります。高いスループットでは、インデックスのメンテナンスとバキューム処理がデータベースCPUのかなりの部分を消費します。

解決策は、インデックスをより選択的にすることです。

まず、メインのデキューインデックスを更新し、特定のキュー名のすべてのエンキューされたワークフローを返すだけでなく、それらを優先度とタイムスタンプでソートするようにしました。さらに、ワークフローステータスがENQUEUEDの場合にのみメンテナンスされる部分インデックスに変換しました。

[画像: Use Postgres for queueing - Make indexes selective]

これは2つの理由でパフォーマンスを向上させます。第一に、デキュークエリは高価なソートステップを必要としなくなりました。第二に、ワークフローがデキューされるときに、Postgresはインデックスエントリを維持する代わりに単純に削除できるため、メンテナンスと自動バキュームのコストが削減されます。

この原則をほとんどのオブザーバビリティインデックスにも適用しました。例えば、親ワークフローIDのインデックスは、実際に親を持つワークフローに対してのみメンテナンスされます。

[画像: Use Postgres for queueing - SQL example for observing queues]

これらの最適化を組み合わせることで、CPU使用率が劇的に削減され、キューは毎秒3万件以上のワークフロー(月間800億件)にスケーリングできるようになりました。

Learn More

スケーラブルで信頼性の高いシステムを構築することに興味があるなら、ぜひお話ししましょう。DBOSでは、Postgresバックエンドの耐久性のある実行を可能な限りシンプルかつ高性能にすることを目指しています。ぜひご覧ください。