HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

「健全なアップストリームがない」は、あなたが思うアップストリームに関するものではない場合

When "no healthy upstream" isn't about the upstream you think (sahansera.dev)

4 pointsby sahan4 コメント

要約

この記事は、システム障害時に発生する「no healthy upstream」エラーの原因を、CPUスロットリングという一般的な誤解から、依存関係にあるデータストアへの接続タイムアウトとそれに伴うリトライの連鎖という、より根本的な問題へと深掘りします。筆者は、表面的な症状に惑わされず、ログやシステムの状態を注意深く分析することで、見過ごされがちな根本原因を特定し、根本的な解決策を見出すプロセスを解説しています。この問題は、システムが自己回復するように見えても、実際には不安定な状態に陥っている警告であると警鐘を鳴らしています。

全文翻訳

When "no healthy upstream" isn't about the upstream you think

no healthy upstreamとは、プロキシが現在、リクエストを受け付ける資格があると判断できるバックエンドエンドポイントを持っていない状態を意味します。Envoyでは、エンドポイントがヘルスチェックに失敗したり、除外されたり、到達不能であったり、サービスディスカバリから欠落している場合があります。このメッセージはプロキシのルーティング決定を示すものであり、すべてのアップストリームプロセスがクラッシュしたことを証明するものではありません。

このインシデントでは、アップストリームのPodはまだ実行されていました。遅いデータストアの呼び出しとリトライがすべてのワーカーを占有し、ヘルスチェックがその背後でキューイングされ、ロードバランサーは徐々にインスタンスをローテーションから外していきました。エッジのエラーは現実でしたが、それはメカニズムではなく最終的な症状を指していました。

ダッシュボードでは、その区別を見落としがちでした。CPU使用率は低く、Podはクラッシュしておらず、最後のデプロイは数時間前でした。私がページをリフレッシュする頃には、サービスは自己回復していました。

私たちはすでに、簡潔な説明と1行の修正策を備えた、確実な根本原因分析(RCA)を持っていました。しかし、それは間違ったサブシステムを指していました。この記事は、Envoyのエラーから、ほぼ健全なフリートがサービスから徐々に自身を削除していく一般的な障害モードへと証拠を追っていきます。

なぜEnvoyはno healthy upstreamを返したのか

セットアップは普通でした。ロードバランサーの後ろに検索バックエンドがあり、各インスタンスには固定されたワーカープロセスのプールがありました。

時折、明確なスケジュールなしに、リクエストのバーストが失敗しました。ブラウザには単純なno healthy upstreamが表示され、1〜2分後にすべてが再び機能するようになりました。

手がかりは毎回現れました。バックエンドのp99レイテンシは、ロードバランサーのタイムアウトにほぼ正確にまで上昇し、平坦になり、その後通常に戻りました。

[画像: バックエンドのp99レイテンシがロードバランサーのタイムアウトまで急上昇し、障害発生中は平坦を保ち、その後ベースラインに戻る]

その形状が重要です。有機的なスローダウンは不均一になりがちです。これは崖であり、平坦な頂上があり、そして回復がありました。リクエストは徐々に遅くなっていたのではなく、デッドラインにぶつかり、カットオフされていました。

私が引き継いだ理論はCPUスロットリングでした。重い周期的なジョブがPodのCPUを占有し、スケジューラがそれをスロットリングし、リクエスト処理が飢餓状態になり、ロードバランサーが最終的にインスタンスをエビクトするというものでした。

それは首尾一貫していました。さらに良いことに、それは1行の修正策を伴っていました:CPUリミットを引き上げる。インシデント発生時には魅力的な組み合わせです。しかし、根本原因理論は予測を立てますが、これらの予測は証拠との接触に耐えられませんでした。

RCAを結論ではなく仮説として扱う

既存のRCAを結論として扱うのではなく、仮説として扱いました。CPUスロットリングがインシデントを引き起こしたとすれば、他に何を観察できるはずでしょうか?

3つのチェックが間違っていました。

サービングパスにCPUバウンドの作業はありませんでした。 コンピュータ負荷の高いバッチインデクサーは別のマシンで実行され、ネットワーク経由でデータストアにアクセスしていました。それらはリクエストを処理するPod内で実行されることはありませんでした。Podのcgroupの外にあるプロセスは、そのPodがCPUスロットリングされる原因にはなり得ません。グラフも一致していました:コンテナのスロットリングカウンターは、すべてのイベント中に平坦なままでした。

タイミングはスケジュールされたトリガーに合いませんでした。 バッチジョブは粗いスケジュールで実行され、1つの持続的な利用率の増加を生み出しました。インシデントは任意の分に発生し、ジョブの実行頻度よりもはるかに頻繁に発生しました。タイマーが原因であれば、障害はタイマーに従うはずでした。そうではありませんでした。

障害はインスタンスとバージョンの境界を無視しました。 同じ症状が異なるPodやデプロイSHA全体で現れました。リグレッションは通常、バージョンに従います。共有された外部イベントは通常、フリート全体を同時に襲います。これらの障害はどちらでもありませんでした。パターンは、各インスタンスが自身のトラフィックによってトリガーされ、自身に対して何かを行っているように見えました。

CPU理論を維持するためには、トポロジー、タイミング、および障害の分布を説明する必要があったでしょう。その時点で、理論は答えるよりも多くの疑問を生み出していたので、それを捨ててログに戻りました。

ログの一行と、なぜそれがモデルを変えるのか

イベントウィンドウには、1つの繰り返し発生するエラーが含まれていました。

ConnectionTimeout: Connection timed out

スタックはデータストアクライアントで終了し、決して返ってこないソケット読み取りでブロックされていました。

その一行がモデルを反転させました。

CPUスロットリングされたワーカーは実行準備ができていますが、十分なスケジューラ時間を取得できません。I/OでブロックされているワーカーはCPUオフであり、ワーカーのスロットを占有したままネットワークを待っています。外部からは、どちらも「レイテンシが上昇し、その後リクエストがタイムアウトした」ように見えます。しかし、その下では反対です。

I/O停止にCPUを追加しても、ソケットのブロックは解除されません。最良の場合、それは同じ遅い依存関係の背後に駐車するためのより多くのワーカーを提供します。これが、エッジの症状が調整する上で危険なものである理由です。リソース飽和と依存関係のブロックは、同じ熱を発生させながら、完全に異なる治療法を必要とする可能性があります。

なぜ1つの遅い依存関係がインスタンス全体を飽和させるのか

メカニズムは、危険な組み合わせであった2つの通常のクライアント設定に帰着しました。

  1. 個々のデータストア呼び出しにタイムアウトがない。 ユーザーが諦めた後でも、1回の呼び出しがワーカーを占有し続ける可能性があります。
  2. 接続タイムアウト時のリトライ。 一度長すぎる時間を待った後、ワーカーはバックオフを挟んで再度待機します。

何も異常なことはありません。それが、この障害モードが見過ごされやすい理由の一部です。

リトルズの法則は、固定ワーカープールにとってなぜそれが致命的であるかを示しています。同時実行性は L = λW です。ここで、λ は到着率、W は各リクエストがシステム内で費やす平均時間です。

サービスが毎秒200リクエストを受信し、通常は40ミリ秒で応答すると仮定します。

L = 200 req/s × 0.04 s = 8 concurrent requests

8件の同時リクエストは、プールが吸収するには容易です。しかし、データストアが遅くなり、リクエストが数十秒待機すると、W は3桁増加します。リトライはそれをさらに引き伸ばします。必要な同時実行性はすぐに利用可能なワーカー数を超えます。

プールは次のような状態になります。

[画像: 十分な容量を持つ健全なワーカープールと、すべてのワーカーがデータストアを待機しており、リクエストとヘルスチェックがキューイングされている飽和状態のプールの比較]

これはヘッド・オブ・ライン・ブロッキングを作成します。データストア呼び出しで駐車されているワーカーは、その背後にある高速なリクエストを処理できないため、遅い依存関係に到達したリクエストだけでなく、すべてのリクエストのレイテンシが上昇します。

ヘルスチェックも同じキューに捕まります。それらはタイムアウトし、ロードバランサーはインスタンスをローテーションから削除し、残りのインスタンスはより多くのトラフィックを受け取ります。十分なインスタンスがヘルスチェックに失敗すると、ロードバランサーは次のリクエストを送信する場所がなくなります。その時点で、ユーザーはno healthy upstreamを目にします。

もう1つのひねりがありました。クライアントの合計リトライ時間がロードバランサーのデッドラインを超える可能性がありました。

[画像: ロードバランサーのデッドライン後もクライアントのリトライが続き、ユーザーが既に諦めた後もワーカーを占有しているタイムライン]

ロードバランサーはエラーを返しましたが、ワーカーは誰も受信できない結果のリトライを続けていました。外部デッドライン以降のミリ秒は無駄な作業であり、その無駄な作業が希少なワーカーのスロットを占有していました。

これはデッドライン伝播の障害です。内部操作は、外部リクエストのデッドライン内に完了する必要があります。さらに良いことに、外部デッドラインを呼び出しチェーン全体に伝播させ、各レイヤーがその結果が役に立たなくなった時期を知れるようにすることです。

なぜ自己回復したのか

回復は当初安心できるものでした。今になって思えば、それは心配な部分でした。

データストアの瞬間的な遅延がリトライを引き起こしました。それらのリトライは、すでに苦労しているデータストアに負荷を追加し、さらにタイムアウトを引き起こし、したがってさらにリトライを招きました。

[画像: 遅いデータストアがタイムアウト、リトライ、およびデータストアへの追加負荷を引き起こし、遅延を強化するフィードバックループ]

これがメタステーブル障害の始まりです。短いトリガーがシステムを健全な状態からノックアウトし、その後フィードバックループが元のトリガーが過ぎ去った後もシステムを不健全な状態に保ちます。

私たちは幸運でした。データストアの瞬間的な遅延は十分に短かったため、リトライループが自己維持的になる前にトラフィックがティッピングポイントを下回りました。もう少し長い遅延があれば、フリートを再起動するか、トラフィックを十分に減らして脱出するまでループを維持していた可能性があります。

自己回復はレジリエンスの証明ではありませんでした。それは警告信号でした。

修正策と、なぜ小さく保ったのか

可用性のインシデント中の本能は、ヘッドルームを追加することです。CPUリミットを引き上げる、ワーカープールを増やす、レプリカを追加するなどです。これは実際の容量問題には役立つかもしれません。しかし、ここではリトライループが占有するワーカーを増やすだけです。

有用な修正策は、1回の呼び出しのコストにハードバウンドを設けることでした。

まず、すべての下流呼び出しに明示的なタイムアウトを追加します。 満足のいく丸い数字を選ぶのではなく、依存関係の健全なレイテンシ分布から選択します。健全なp99.9を快適に上回り、ロードバランサーのデッドラインよりはるかに下にあるべきです。永遠に待てる呼び出しは、永遠に失われる可能性のあるワーカーです。

次に、リトライを通常のトラフィックの割合として制限し、すべてのリクエストに対する無条件のカウントとしてではなく、制限します。 「3回リトライする」のようなルールは、依存関係が最も処理できないときに各クライアントがトラフィックを正確に乗数倍にすることを可能にします。トークンバケットリトライ予算は、追加される負荷を制限します。Google SREのガイダンスでは10%を例として使用しています。クライアントが同期した波でリトライするために目覚めることができるように、ジッターも追加してください。

第三に、接続タイムアウトのリトライには特に慎重になります。 飽和状態では、タイムアウトはしばしば依存関係がすでに限界を超えていることを意味します。別の即時の試行が役立つ可能性は低いです。リトライは、独立した一時的な障害、および冪等な操作に最も適しています。検索リクエストは少なくとも冪等だったので、重複した副作用は私たちを待つ別の問題ではありませんでした。

各失敗した呼び出しの決定は簡単になります。

[画像: 依存関係の呼び出しが成功で返る、デッドラインと予算が残っている間のみリトライする、それ以外の場合はワーカーを解放するために速やかに失敗する]

サーキットブレーカー、ロードシェディング、バルクヘッドはすべてこの設計を強化できます。

  • サーキットブレーカーは、呼び出し元が同じ障害を繰り返し再発見するのを停止します。
  • ロードシェディングは、サービスを応答可能に保つために、過剰な作業を早期に拒否します。
  • バルクヘッドは、依存関係に独自の制限された同時実行プールを提供し、すべてのワーカーを占有するのを防ぎます。

これらすべてはコード、チューニング、および運用状態を追加します。私たちはまだそれらが必要であるという証拠を持っていませんでした。一度小さなタイムアウトと制限されたリトライポリシーがアンプを取り除くと、さらに多くの機械を追加することは、目の前のインシデントではなく、仮説上の問題を解決することになったでしょう。

「速やかに失敗すると、エラーが呼び出し元に移動するだけではないか?」

これが即座の反論でした。バックエンドがより早く諦めると、ユーザーは単純にもっと多くエラーを見るだけではないでしょうか?

それは、速やかに失敗することを、最終的にすべてのリクエストが成功する世界と比較した場合のみです。それは私たちが持っていた世界ではありませんでした。

ハングした呼び出しで満たされたワーカープールでは、すべてのリクエストが最終的に失敗しました。遅い依存関係を必要としなかったリクエストでさえ、検索機能全体がno healthy upstreamページになりました。

速やかに失敗することは、インスタンスを応答可能でローテーション内に保ちます。それは、相関したフリート全体のアウトエージを、実際に悪いパスにヒットしたリクエストという、より小さな独立した障害の数に変換します。それらは、呼び出し元がキャッシュされた結果、空の状態、またはリトライボタンで吸収できる障害です。

必要不可欠でないコンポーネントがページ全体をダウンさせられるべきではありません。それに独自のデッドラインとグレースフルフォールバックを与えれば、遅い依存関係はドキュメント全体をエラーページに置き換える代わりに、エクスペリエンスの一部を低下させます。

境界の検証、断言ではない

ホワイトボード上でのみ機能する修正策をリリースしたくなかったので、検証は意図的に機械的でした。

健全な依存関係では、通常のトラフィックは通常通りであるべきです。同じレイテンシ分布で、新しいエラーはありません。タイムアウトが健全なp99.9リクエストをクリップする場合、それは攻撃的すぎ、防止しようとしているまさにその障害を作成することになります。

到達不能な依存関係では、リクエストは設定された境界の近くで、かつ外部ロードバランサーのデッドライン前に失敗するはずです。さらに重要なのは、ワーカーの占有率とインフライトリクエストの数が、上昇するのではなく平坦なままであるべきということです。

誘導された障害下でのその平坦な線が、真の受け入れテストです。それはアンプがなくなったことを示します。

飽和ケースには独自の負荷テストが必要です。ハッピーパスは、すべての下流呼び出しがスタックしているときにサービスがうまく動作することを決して証明しません。

実際に得たもの

技術的な教訓は監査しやすいです。デッドラインのない下流呼び出しと、リトライ予算のない熱心なリトライは、フィードバックループが付随した潜在的な障害です。それは、依存関係が30秒間調子が悪くなるまで、数ヶ月間静かに座り、すべてのダッシュボードで緑色を保つことができます。そして、それはその瞬間的な遅延をフリート全体にわたるイベントに変えます。

デッドラインのない下流呼び出しと、共有された予算のないリトライがないか、ご自身のサービスを検索する価値があります。それらの2つの設定は一緒にレビューする価値があります。なぜなら、それらが一緒になると、障害の形状を変えることができるからです。

しかし、私に残った教訓は診断についてでした。

CPU理論はクリーンでした。それは機械的でした。それは満足のいく1行の修正策を伴っていました。そして、それを答えとして扱い始めていたため、3つの矛盾する証拠に耐えました。

有用な根本原因は、チェックできる予測を立てます。障害のトポロジー、タイミング、および分布がすべてストーリーと一致しない場合、エレガンスは数えなくなります。この場合、すでに愛着を持っていた整然とした説明よりも、ログファイルの一行の鈍さが私たちに多くのことを教えてくれました。

それがインシデントの費用のかかる部分でした。最終的な3行の修正策ではなく、証拠に良い話を台無しにさせることを学ぶことでした。

読んでくれてありがとう✌️

参考文献

  1. Metastable Failures in Distributed Systems - Bronson et al., HotOS ‘21
  2. Timeouts, retries, and backoff with jitter - Amazon Builders’ Library
  3. Addressing Cascading Failures - Google SRE Book
  4. Handling Overload - Google SRE Book
  5. The Tail at Scale - Dean & Barroso, CACM 2013
  6. no healthy upstream - Envoy load balancing FAQ
  7. Circuit Breaker - Martin Fowler