HN 日本語サマリー

← 一覧へ戻る
その他

Postgres のロックはスケーリングしない

Postgres locks do not scale (recall.ai)

5 pointsby timetoogo0 コメント

要約

この記事は、Recall.ai が経験した PostgreSQL データベースの CPU 使用率 100% のインシデントについて解説しています。原因は、GIN インデックスに対する特定のクエリが、ロック競合とシステム時間の大幅な増加を引き起こしたことにありました。通常 20-40% の CPU 使用率であるデータベースが突然 100% に達し、API 応答不能や psql 接続不能といった深刻な問題が発生しました。このインシデントから、ロック競合、特に GIN インデックスにおけるロックの挙動と、システム時間への影響について学びました。

全文翻訳

Postgresのロックはスケールしない

普段、私たちのPostgresデータベースはCPU負荷が20〜40%で推移しています。しかし、3月24日はそうではありませんでした。

[画像]

突然、原因不明のまま、データベースはCPUを100%使い切り、そのすべてがシステム時間でした。ボットは通話に参加できなくなり、顧客はAPIにクエリを実行できなくなり、ダッシュボードは応答せず、データベースにpsqlで接続することさえ不可能になりました。

まず、よくある原因が検討されました。その朝に新しいデプロイはなく、AWSのインシデントも発生しておらず、スワップ使用量も正常で、インシデント前のすべてのメトリクスは正常に見えました。

私たちはPostgres DBをAWS RDSで実行しており、ほとんどの場合、それは快適な体験でした。高可用性があり、スケーリングは簡単で、優れた組み込みの災害復旧機能があります。しかし、マネージドサービスであるため、データベースにシェルアクセスして、このシステム時間がどこへ行っているのかを詳細に分析することができませんでした。単純なvmstatを実行できたら、どんなに良かったことか!AWSからデータベースメトリクスは取得できましたが(巨大なシステム負荷にもかかわらず、毎秒の粒度で提供されていたのは奇妙なことでした)。

ダウンタイムが発生すると、顧客もダウンタイムを経験します。それは顧客からの信頼を損ないますが、それ以上に、エンドユーザーが顧客に対して抱く信頼を損ないます。チームの誰もがこのダイナミクスを痛感しており、この深刻なインシデントの重大さは、その瞬間のストレスをさらに増幅させました。

明白な原因が見つからないため、システムを復旧させる方法に焦点を当てました。最初の行動は、データベースを再起動することでした。これにより、データベースがデッドスパイラルから解放されることを期待しました。データの耐久性を確保するために、私たちは通常のPostgresの機能(WAL、fsync、data_checksums、synchronous_commit、full_page_writes)をすべて使用しています。これにより、顧客データを失ったり、破損させたりするリスクなしにデータベースを再起動できることがわかっています。私たちは「データベースの再起動」ボタンを押し、メトリクスダッシュボードに釘付けになりながら、システムがオンラインに戻るのを待ちました。

そして… 何も起こりませんでした
[画像]

システムが再起動するのを60分間待ちました。私たちのビジネスのあらゆる側面が停止していた間、RDSは何をしているのか不明でしたが、単に電源を引き抜くだけでも十分だったはずです。通常のEC2インスタンスは、インスタンス内でどんな呪われたコードが実行されていようとも、コンソールから数分で再起動できます。RDSが何を待っていたのかは、今でも謎です。

再起動が効果がないとわかったため、データベースへの圧力を軽減する他の方法を探す必要がありました。私たちのデータベースにアクセスしようとしていた数万のEC2インスタンスがありました。それぞれが壊滅的な負荷を増大させていました。

あるエンジニアが、それらのインスタンスのセキュリティグループを変更して、データベースへのアクセスを拒否するという賢いアイデアを思いつきました。すでに送信されたクエリは引き続き実行されますが、少なくとも接続数は減少し、新しいクエリを制限できるようになります。

これを実装した後、接続はゆっくりと減少し始め、40分後にはDBは再起動できるほど健全になりました。インスタンスから追い出されて、これほど幸せだったことはありません。

データベースが復旧した後、CPUはユーザー時間で占有されるようになりました。

[画像]
進歩!

もちろん、これははるかに扱いやすい問題です。内部にはタスクのバックログがあり、顧客は以前失敗したクエリを再試行しており、すべてのボットが予期したとおりにデータベースとやり取りしなくなっていたため、データベースは不健康な状態でした。高コストなクエリを特定し、可能であれば削除し、DBの操作を調整して負荷を安定した状態に戻しました。

次に問題となったのは、インスタンスのネットワークセキュリティグループを安全に再有効化する方法でした。再有効化すると、インスタンスはキューに入れられたDBイベントの処理を試み、負荷の突然の復活が再びデータベースをダウンさせる可能性があります。解決策は、Postgresのボットロールの最大接続数を少数に制限し、その後、セキュリティグループを通じてネットワークを再有効化することでした。これにより、最大接続数をバルブとして使用し、DBの使用量を安全に増加させることができました。

[画像: 3月24日の18時15分から18時20分の間に、CPU使用率が約100%から25%未満に低下したグラフ]
ハッピーDB

どうしてこうなったのか?

Postgresのログを調べると、すぐに目に留まったものがありました。

LOG:  process 44916 still waiting for ExclusiveLock on extension of relation 24882112 of database 16398 after 1000.035 ms
DETAIL:  Process holding the lock: 91014. Wait queue: 4552, 41114, 64350,....

巨大なロックコンボイです。15,000のプロセスすべてが、単一のインデックス拡張を待っていました。そのリレーションは、ボットのメタデータのためのGINインデックスです。

もう一つ興味深い手がかりがあります。RDSメトリクスは、インシデントの直前に短いIOスパイクを示しており、ディスクIOが完全に利用されていました。

しかし、なぜあれほど多くのシステム時間を消費したのか?

15,000の接続すべてが、関連するインデックス拡張でWaitLatchを保持していました。

(void) WaitLatch(MyLatch, WL_LATCH_SET | WL_EXIT_ON_PM_DEATH, 0,
                             PG_WAIT_LOCK | locallock->tag.lock.locktag_type);

内部的には、これはepoll_wait()になります。これは、ウェイクアップされるまでは非常に軽量です。通常、これは次の待機者へのハンドオフ中にのみ発生し、それはシステムコールSIGURGですが、ロックを受け取る待機者のみを対象としています。しかし、本当の殺し屋はCheckDeadlockです。

Postgresはデッドロックを検出し、処理できなければなりません。そうでなければ、単一の不正なクエリがPIDをリークする可能性があります。これはタイムアウト(私たちのデータベースでは1秒)を設定することで行われます。その後、16個のパーティションロックを取得し、ロックグラフをナビゲートしてデッドロックを検出します。可能であれば待機キューを並べ替えてデッドロックを解決します。

for (i = 0; i < NUM_LOCK_PARTITIONS; i++)
        LWLockAcquire(LockHashPartitionLockByIndex(i), LW_EXCLUSIVE);
result = DeadLockCheck(MyProc);
for (i = NUM_LOCK_PARTITIONS; --i >= 0;)
        LWLockRelease(LockHashPartitionLockByIndex(i));

私たちの問題は、これらのPIDがすべてほぼ同時に開始されたため、すべてが同時にデッドロックタイマーにヒットしたことでした。そのロック競合により、LWLockAcquireは以下のような状態になりました。

mustwait = LWLockAttemptLock(lock, mode);
...
LWLockQueueSelf(lock, mode);
...
for (;;)
{
    PGSemaphoreLock(proc->sem);
     if (!proc->lwWaiting)
        break;
     extraWaits++;
}

今、私たちは2番目のコンボイを持っていました。

最初のコンボイはリレーション拡張ロックにありました。2番目のコンボイは、デッドロックチェックに使用されるロックマネージャーのパーティションロックにありました。15,000のプロセスすべてが同時にウェイクアップし、すべてがCheckDeadLock()を実行しようとし、すべてが同じ少数のLWLocksを取得しようとしました。これらのロックは通常非常に短時間保持されるため、実装は一般的なケースに最適化されています。アトミックな比較・交換を試み、失敗した場合はキューに入れ、プロセスセマフォでスリープし、ウェイクアップ時に再試行します。

リレーション拡張ロックは、実際にはデッドロックサイクルに参加できません。Postgresはこれを知っています。

if (LOCK_LOCKTAG(*lock) == LOCKTAG_RELATION_EXTEND ||
      (LOCK_LOCKTAG(*lock) == LOCKTAG_PAGE))
      return false;

その結果、データベースは、数千のバックエンドを繰り返しウェイクアップさせ、グローバルなロックマネージャーパーティションロックを取得し、デッドロックが発生しないことを証明するために、膨大なCPU時間を費やしました。

そして、log_lock_waitsが有効になっていたため、長持ちした各バックエンドは待機キューをウォークし、保持者と待機者を含む巨大なログ行をフォーマットしました。各ログ行は、待機キュー内のすべてのPIDを文字列フォーマットし、10KB以上にもなりました!

私たちはこの障害モードをローカルで2つの部分に分けて再現しました。Postgresの再現は、拡張ロックコンボイと15,000以上のPID待機キューを作成しました。簡略化されたラッチ/シグナルストームは、CPU不足の症状を直接再現しました。システム時間がおよそ86%に固定された100%の総CPUを観測し、perfはホットパスがシグナル配信、epoll_wait、タイマー割り込み、スケジューラ作業、パイプ書き込みにあることを示しました。

なぜGINインデックスで発生したのか?

GINインデックスの拡張は、通常のB-treeインデックスの拡張よりもコストがかかるわけではありません。問題は、同時書き込みがある場合、GINインデックスの拡張はB-treeインデックスの拡張よりもはるかに頻繁に発生する可能性があることです。

  • B-tree: ページ分割でFSMに再利用可能なページが見つからない場合にのみ拡張されます。分割は、挿入に対してO(1/fanout)の頻度で発生します。典型的なリーフページでは、約200挿入ごとに1回程度です。
  • GINペンディングリスト: makeSublistが新しいペンディングリストページを必要とするたびに拡張されます。同時挿入の場合、テールページをオーバーフローさせる各挿入はGinNewBufferをトリガーします。ペンディングリストは、ginInsertCleanup(デフォルト4MB = 約512ページ)がトリガーされるまでページを蓄積し、その後FSMにドレインされます。クリーンアップ前の書き込みバースト中、FSMは空であり、各オーバーフローは実際のファイル拡張をトリガーします。

しかし、なぜ今だったのか?

事後分析を実行する上で最も興味深かったのは、メインメトリクスのほとんどが日常的であったことですが、一つを除いては:同時ボットの新しいピーク負荷に達していました。

私たちのシステムの仕組みは、各ボットがライフサイクルの進行に合わせてBotEventを発行することです。基盤となるサーバーがreadyになったとき、ボットがin_waiting_roomになったとき、そしてボットがjoining_callになったときのイベントです。BotEventsは独自のテーブルですが、トリガーを通じてボットのステータスフィールドを更新します。このフィールドは、ライフサイクルのどこにいるかに基づいてボットを頻繁にクエリするため、インデックスが付けられています。

データベースの静かなる殺し屋は、そのjoining_callイベントでした。人々は通常、毎時ちょうど、またはそれより少し少ない頻度で30分ごとに会議を開催します。そのため、数万のインスタンスが、すべてがまったく同じ時間にBotEventを書き込むのです。これにより、Botインデックスが変更され、対応するすべてのインデックスを突然変更・拡張する必要が生じます。通常は問題ありません。BotEventの追加は通常非常に速いため、メトリクスには登録されません。しかし、異常に大きな負荷がかかると、基盤となるボリュームのプロビジョニングされたIOを超過しました。これが起こると、AWSはIOをプロビジョニングされた割り当て内に収めるためにレイテンシを挿入します。その遅延したトランザクションがインデックス拡張であった場合、すべてがそのトランザクションの後ろに積み重なります。スケールで動作するシステムでは、それはデータベース全体をダウンさせるのに十分です。

私たちが学んだこと

  1. 待機キューの監視を設定し、ロックコンボイが存在するかどうか、そのサイズを把握できるようにします。小さなコンボイがシステムをダウンさせることはめったにありませんが、会社全体に損害を与える可能性のある不当なレベルに急増させるには、それほど多くはありません。
  2. GINインデックスが必要なフィールドは、メインテーブルの変更がGINインデックスの更新を必要としないように、独自のテーブルに保持します。
  3. バースト性の高いシステムをスケールで設計することは、エンジニアリングの課題です。同期される可能性のある操作はすべて、特別な注意が必要です。たとえ小さな操作であっても、同期されてスケールすると、破滅的になり得ます。

これらは、Recall.aiで私たちが解決するような、厄介なエンジニアリングの課題です。私たちは問題の最も困難な側面に焦点を当てています。なぜなら、それが顧客に最大の価値を提供する方法だからです。私たちのチームのエンジニアは皆、多くの権限を与えられ、困難な問題に取り組み、設計、実装、サポートまで主導しています。例えば、私は現在、コスト削減を目標にインフラ全体を再設計しています。これまでのところ、コストを月あたり約10万ドル削減しました。このプロジェクトが完了すれば、月あたり約40万ドルのコスト削減を達成できると考えています。これはほぼ一人で達成しましたが(同僚の素晴らしい仕事の上に成り立っています)。

もしこれがあなたの仕事に合っているなら:高影響力のある役割で、意欲的なエンジニアと共に、急速に拡大する市場で困難な問題を解決する。 お問い合わせください!私たちは最高のチームと共に働きたいと考えています。