HN 日本語サマリー

← 一覧へ戻る
Web開発

毎秒100万リクエストを処理するクライアントサイドロードバランシング

Client-side load balancing at a million requests per second (engineering.zalando.com)

35 pointsby cjbooms5 コメント

要約

ZalandoのProduct Read API (PRAPI)は、毎秒数百万のリクエストを処理し、単一桁ミリ秒のレイテンシを実現しています。当初、共有のIngressロードバランサーであるSkipperを経由して内部トラフィックをルーティングしていましたが、レイテンシスパイクの原因特定が困難でした。この問題を解決するため、バッチ処理におけるファンアウトトラフィックに特化したクライアントサイドロードバランシングを導入。これにより、Skipperと同じハッシュリングアルゴリズムをプロセス内で実装し、KubernetesのEndpointSlice APIをウォッチャーベースで利用してポッドのディスカバリーを行い、高パフォーマンスと信頼性を実現しました。

全文翻訳

毎秒100万リクエストにおけるクライアントサイド負荷分散

[画像: Client-Side Load Balancing]

当社の最もトラフィックの多いAPIは、クラスターの共有エッジインプレースメントロードバランサーを経由して高負荷の内部トラフィックを処理していました。長年、レイテンシのスパイクが自社コードに起因するものなのか、それとも内部で共有エッジルーターを再利用したことによるものなのか、確信が持てませんでした。

以前の投稿で、ZalandoのProduct Read API (PRAPI) をどのように構築したかを説明しました。これは、25の欧州市場全体で、毎秒数百万リクエストをシングルディジットミリ秒のレイテンシで処理します。すべての商品ページ、検索結果、チェックアウトがこれに依存しています。わずかなパフォーマンス低下でも売上に測定可能な影響を与えるため、高いパフォーマンスと可用性が要求されます。低レイテンシは、一貫性ハッシュルーティングによって達成されます。Skipper(クラスターのエッジロードバランサー)は、同じ商品IDを同じPodにルーティングし、基盤となるアプリケーションのPodローカルキャッシュを活用するのに役立ちます。このAPIのルーティングインフラストラクチャは重要です。

ローンチ時、Skipperはエッジルーティングと、バッチ処理コンポーネントおよびシングル取得コンポーネント間の内部トラフィックの両方を処理していました。クライアントサイド負荷分散(CSLB)が後者を置き換えることを常に意図しており、迅速なフォローアップを期待していました。しかし、Skipperは高速で、各リクエストに数百マイクロ秒しか追加しないため、チームは動作中のシステムに大きな変更を加えることに当然ながら消極的でした。長年にわたり、根本原因が常に不明確であった(Skipperか、PRAPIか?)インシデントが蓄積するにつれて、構造的な問題を無視することが困難になりました。100件のバッチリクエストの場合、PRAPIはSkipperに対して100倍の露出がありました。Skipperがくしゃみをすると、PRAPIは風邪をひきました。

後に、それらのインシデントの一部は、SkipperでもPRAPIでもないことが判明しました。しかし、ルーティングの決定権とそれに付随する詳細なログを所有するまで、それを知る方法はありませんでした。

Skipperとファンアウト問題

SkipperはZalandoのオープンソースKubernetesインプレースメントコントローラーおよびHTTPルーターです。エッジ負荷分散を驚くほどうまく処理します:一貫性ハッシュルーティング、バウンド負荷保護、新しいPodのためのフェードイン。私たちは、スケーリング中のキャッシュ損失の最小化や人気商品の過負荷防止など、Skipperに重要な機能を貢献しました。現在でも、すべての単一商品GETリクエストにSkipperを使用しています。

問題はバッチエンドポイントでした。PRAPIのプロダクトセットコンポーネントは、単一のバッチリクエストを、個々の商品Podへの最大100件の並列ダウンストリーム呼び出しに展開します。これらの100件の呼び出しのそれぞれがSkipperを通過します。Skipperはホップごとに数百マイクロ秒しか追加しませんが、バッチは最大100件のホップを同時に待機するため、そのレイテンシは平均的なものではなく、100件の中で最も遅いものに追従します。そしてSkipperは共有インフラストラクチャです:私たちはクラスターの他の部分と同じフリートで、設定するのではなく継承するグローバル設定で実行しています。

[画像: Product-sets fan-out diagram]

プロダクトセットのファンアウト(インプレースメントロードバランサー経由)

インシデント中、レイテンシのスパイクがSkipperから発生したのか、それとも自社コードから発生したのか、確信が持てませんでした。それはすべてのリクエストのホットパスにあり、私たちはそれを実行しておらず、その動作を自社のものと明確に分離できませんでした。Skipperが高速であっても、その共有された運命が問題でした。

高ファンアウトの内部トラフィックについては、ルーティングの決定は呼び出しプロセス自体内に存在すべきだと判断しました。Skipperが得意とするエッジトラフィックは、そのままにしておくべきです。Skipperを置き換えるのではなく、内部ファンアウトパスをプロセス内で実行されるクライアントサイドロードバランサーに移行したのでした。

[画像: Direct routing diagram]

プロダクトセットのルーティング(プロダクトPodへ直接)

同じハッシュリングの構築

抽象的な意味でのクライアントサイド負荷分散は必要ありませんでした。プロセス内のライブラリに、Skipperと全く同じリングが必要でした。したがって、最も重要な制約はハッシュパリティでした。移行中、Skipperとクライアントサイドロードバランサーの両方が、同じ商品Podプールにリクエストをルーティングします。ハッシュリングが一致しない場合、SkipperがPod Aにルーティングする商品は、ライブラリによってPod Bにルーティングされる可能性があります。これはキャッシュを分割し、DynamoDBの負荷を倍増させることになり、まさに私たちが望まないことでした。

Skipperが使用するのと同じアルゴリズムを実装しました:設定可能な仮想ノードリング上のxxHash64。各エンドポイントURLは、Skipperのデフォルトに一致する64ビットハッシュリング上の100の位置に配置されます。リクエストが来ると、商品IDがハッシュされ、リング上のバイナリ検索で時計回りに最も近いエンドポイントが見つかります。

これは、エンドポイントの追加または削除がキーの約1/Nのみを再マッピングすることを意味し、キャッシュの乱れを最小限に抑えます。そして、Skipperと私たちのライブラリの両方が同じハッシュ関数と仮想ノードの同じ数を使用するため、同じPodセットに対して同一のリングを生成します。単体テストのバンクがこれを固定します:それらは、ビルドごとに実行される、Podセットに関わらず私たちのリングがSkipperのアルゴリズムと同じエンドポイントに同じキーを配置することをアサートし、後からの変更がサイレントにドリフトしないようにします。カナー中に本番環境でもこれが維持されていることを確認しました:キャッシュヒット率は両方のパスで同一のままでした。

サービスから独立した、フレームワークフリーのJVMモジュールとして作成しました。長期的には、このサービスから切り離すことを意図しています。唯一の実際の依存関係は、Skipperに一致するxxHash64のための小さなゼロアロケーションハッシュライブラリです。それ以外は、リング、占有率計算、バウンド負荷計算はJDK標準ライブラリです。KubernetesクライアントとMicrometerがエッジにあり、ディスカバリとメトリクスに使用されます。

Kubernetesディスカバリ

ロードバランサーは、存在するPodを知る必要があります。最初の方法は、数秒ごとにKubernetes EndpointSlice APIをポーリングすることでしたが、ポーリングは注意して扱うべきパターンであることが判明しました。Zalandoは以前、Akka Clusterデプロイメントが高頻度でKubernetes APIをポーリングしたために、コントロールプレーン全体をダウンさせたインシデントを経験していました。PRAPIは数百のプロダクトセットPodで実行されています。数百のPodが独立して、それぞれ独自のスケジュールでポーリングすることは、それらのインシデントを引き起こす集計のまさにその種類です。

WatchベースのKubernetesインフォーマーに切り替えました。起動時に現在のEndpointSlicesをリストしてリングをシードし、その後、変更をリアルタイムでストリーミングする永続的なWatchを保持します。2秒のデバウンスは、スケールアップ中の急速な変更を単一のリング更新に集約し、リングがPodごとに再構築されるのを防ぎます。

インフォーマー (リスト + Watch)
  |-- 起動時: 現在のEndpointSlicesをリストし、リングをシード
  +-- その後、追加/更新/削除イベントをストリーミング

各イベントで:
  |-- ローカルの各スライスキャッシュを更新
  +-- 2秒のデバウンスでapplyLocalState()をスケジュール
        +-- デバウンスは、ローリングデプロイの乱れを単一のリング更新に折りたたむ

Kubernetes APIが利用できなくなった場合、最後に正常だったエンドポイントセットがそのまま維持されます。ロードバランサーは、一時的なAPIの不具合のために空のリングを提示することはありません。古くなったデータは、HTTPレイヤーでの接続エラーと呼び出し元のリトライロジックによって処理されます。

まずパイプラインの修正

次に進む前に、一つだけ先にやらなければならないことがありました。それまで、以下のすべてが可能になるまで、この修正が必要でした。すべてのフェードインカーブ、負荷シグナル実験、ゾーントライアルには、多くの小さく高速なデプロイが必要でした。開始したパイプラインでは、せいぜい1日1回しか管理できず、それさえも出際にアラームをトリップさせることがよくありました。

パイプラインは、長年にわたる慎重さの蓄積によって劣化していました。すべての手動承認ゲートと180秒の待機時間は、過去のインシデントに応じて追加されてきましたが、累積の結果は、保護対象のシステムよりも遅く、壊れやすくなっていました。ビルドには21分かかりました。単一の機能デプロイは、一日の作業時間中、トラフィックステップの監視を必要としました。中央値の実行時間は4時間49分、記録上の最悪は4日21時間でした。

修正は3つのPRで行われました。ビルドキャッシュにより、壁時計時間が21分から12分に短縮されました。40以上の手動トラフィックステップを単一のCI/CDステップに統合しました。承認ゲートは削除され、シーケンス化されたマーケットグループロールアウト(test -> eu-0 -> eu-1 -> eu-2)に置き換えられました。これは、重要なeu-2マーケットグループの前に、より小さなリージョンをアラームバッファーとして使用します。中央値のデプロイ時間は289分から128分に低下しました。

[画像: CI/CD pipeline run durations before and after]

CI/CDパイプラインの実行時間:最悪で5日近くかかっていたものが、1~2時間に短縮

チームがパイプラインを信頼するようになると、ペースが変わりました。大きくてリスクの高いバッチの代わりに、小さく元に戻せるステップが取られるようになりました。そして、それは私だけが使えるものではありませんでした。数週間以内に他のエンジニアが、コストが崩壊した試みのために、キャッシュチューニングなどの実験を並行して実行していました。この投稿の以降の内容はすべて、その速度に基づいています。

安全なロールアウト

ロールアウトのために3つのトグルを作成しました。

  • CSLB_ENABLED: booleanのオフスイッチ
  • CSLB_PERCENTAGE: クライアントサイドルーティングを使用するトラフィックの割合を制御する0〜100のランプ。Skipperフォールバックとの比較。
  • 暗黙的なSkipperフォールバック: クライアントサイドでルーティングされなかったリクエスト、またはクライアントサイドルーティングの失敗は、透過的にSkipperにフォールバックします。

段階的にロールアウトしました:カナリアマーケットグループで1%、次に10%、50%、そして最終的にすべてのマーケットグループで100%にしました。各ステップで、レイテンシ、エラー率、キャッシュヒット率を両方のパスで比較しました。

効果は即効性がありました。レイテンシが低下しました。「ネットワーク」や「スタック内の何か」に起因すると考えていたスパイクが消えました。ピーク時には、毎秒100万リクエスト以上がSkipperからリダイレクトされました。

[画像: Requests per second through Skipper]

Skipperを通過するリクエスト数:100万に迫るピークがCSLBへの切り替え後ほぼゼロに低下

[画像: product-offers latency before and after CSLB]

product-offersのレイテンシ(CSLB前後):日中のスパイクが安定したベースラインに平坦化

100%では、Skipperフォールバックパスはコード上には残っていますが、決してヒットしません。緊急時のオフスイッチとして残っており、ConfigMapの変更(ブルーグリーンデプロイでロールアウト)で、すべてのトラフィックが再びSkipperを流れるようになります。

即時の勝利は安定性でした。しかし、共有インフラストラクチャから毎秒100万リクエストを削除したことには、予期せぬ副作用がありました:私たちのルート用のSkipperフリートは50以上のPodから最小8にスケールダウンしました。レイテンシと運用性のプロジェクトとして始まったものが、コストプロジェクトになったのです。そして、ロードバランサーを所有することで、私たちは継続することができました。

[画像: Daily Skipper node-group cost]

Skipperノードグループの1日あたりのコスト:CSLBへの切り替え後、約450ドルから約110ドルに低下

スケールアップスパイクの排除:Nリングフェードイン

これで迅速に出荷して測定できるようになりました。最初のターゲットはスケールアップスパイクでした。これは長い間、残念ながら避けられないものとして受け入れられていました。チームは、もっともな理由からオートスケーラーの感度について慎重でした。ファンアウトパスからSkipperを削除しましたが、スケールアップ時のコールドキャッシュ問題は残っていました。

Horizontal Pod Autoscalerが50個の新しいPodを追加すると、ナイーブな実装ではそれらにトラフィックの全シェアを即座にルーティングします。これらのPodはキャッシュがコールドなので、50個すべてが同時にDynamoDBにミスし、読み込みバーストがフリート全体のレイテンシをスパイクさせます。

Skipperにはこれを解決するためのフェードインメカニズムがあります:一貫性ハッシュリングの前に実行される確率的な事前フィルターで、フェード中に新しいPodを追加または削除します。これはうまく機能しますが、フェードが完了した後にPodが提供しない可能性のある商品でウォームアップされることがよくあります。

私たちの最適化はNリングフェードインです。各スケールイベントは、確立されたリングのスーパーセットである新しいリングを作成します。新しいリングは、設定可能なウィンドウ(デフォルト30秒)で、^2.5曲線(スロースタート、ラピッドフィニッシュ)を使用して独立してフェードインします。

経過時間進捗トラフィックシェア
3秒10%0.3%
9秒30%4.9%
15秒50%17.7%
21秒70%41.0%
27秒90%76.8%
30秒100%100%

最初のフェードイン中に2回目のスケールイベントが発生した場合、それぞれが独自の独立したウィンドウを取得します。完了に近いリングは、新しいスケールイベントがその上に着地しても中断されることはありません。トラフィックは、確立されたリングとフェード中のリングの間で共有され、各フェードリングは完了すると新しい確立されたリングになり、その前のものを置き換えます。Podの削除はすべてのリングに即座に適用されます。すべてが単一のアトミック参照の背後にあります:各変更は、新しい不変のスナップショットをスワップインするため、ルーティング決定は更新をブロックすることなく、一貫したバージョンを読み取ります。

[画像: N-ring fade-in diagram]

Nリングフェードイン:各スケールイベントは新しいリングを追加し、右側が最新で、確立されるにつれてトラフィックのシェアを増やしていく

Podはすべてのリングで同一の位置に割り当てられるため、フェードイン中にそれらが受け取るトラフィックは、定常状態で提供するトラフィックと正確に一致します。それらは正しい商品でウォームアップされます。無駄なキャッシュエントリやエビクションの乱れはありません。

[画像: Products cache size per pod during a scale-up]

スケールアップ中のPodあたりの商品キャッシュサイズ:新しいPodは空に近い状態から始まり、確立されたバンドまで上昇し、保持する商品のみをウォームアップする

バウンド負荷によるPod占有率の抑制

フェードインでスケールアップスパイクが排除された後、次のターゲットは定常状態の負荷でした。一部のPodは高負荷で、他のPodはほとんどアイドル状態でしたが、それを均等化するためには、まずPodが実際にどれだけビジーなのかを測定する必要がありました。明白なシグナルは間違っていることが判明しました。

明白なシグナルはインフライトリクエストです:任意の瞬間にPodへのオープンな呼び出し数。Skipperのバウンド負荷はまさにこれに基づいて動作しており、私たちはそれを短いリードで維持していました:バランスファクター1.10、つまりPodはフリート平均を10%しか超えられないため、リングはそのキーを再分散します。それをタイトに保つ必要がありました。なぜなら、インフライトは、ミリ秒単位で1000件のヒットを処理するホットキャッシュPodと、遅いキャッシュミスでバックアップされているPodを区別できないからです。生のカウントでは、両者は似ています。苦労しているPodがオーバーフローしないように、フリート全体を遅延させ、早期にスケールアウトしていました。これにより、ホットキャッシュを持つPodは、容易に吸収できる追加作業を行うことができませんでした。

インフライトには、より静かな盲点もあります:それはローカルで瞬間的な数値です。各ロードバランサーインスタンスは、自身の呼び出しのみを認識し、Podの真の負荷は認識しません。バースト間では、Podがずっとビジーであってもカウントはゼロに低下します。そこで、別のシグナルに手を伸ばしました:占有率、秒あたりの作業時間(秒)。ウィンドウ内のPodがリクエストを処理するのに費やす時間を蓄積し、ウィンドウの長さで割ります。1秒間に1秒間ビジーなPodは1.0を報告します。これはスナップショットカウントではなく時間に根ざしているため、バースト間でも安定しており、誰が送信したかに関わらず、Podが実際に行っている作業で増加します。

以前は占有率をグラフ化していませんでした。初めてグラフ化したとき、その差は歴然でした。インフライトでは、Podはタイトで均等に見えました。占有率では、0.40から1.30まで広がっていました:ホットキャッシュPodは床近くを滑走し、キャッシュミスPodは天井近くで動作していました。シグナルが見えなかったために、その不均衡は常に存在していました。その広がりが、CPU使用率50%でこれほど積極的にスケールしなければならなかった理由です。外れ値のPodを保護するためだけに、多くのPodを使用していませんでした。

[画像: Per-pod occupancy before optimisation]

最適化前のPodあたりの占有率:約0.4から1.3までの広い範囲、アイドルPodとホットなPodが混在

そのシグナルに基づいて動作するのがバウンド負荷メカニズムです:Podがバランスファクター倍の平均負荷を超えると、リングはより負荷の低い候補に時計回りに移動します。CSLB内にそれを再構築することで、インフライトよりも優れたものをフィードする機会を得ました。そして、そのシグナルを正しく取得するには2回の試行が必要でした。

スループットの間違い

最初のアプローチでは、バウンド負荷決定の負荷シグナルとして、スライディングウィンドウで秒あたりのリクエスト数(スループット)をカウントしました。理論は妥当でした:時間ウィンドウ内でPodが処理するリクエスト数を測定し、カウントが高すぎるときにそれをスキップします。

このアプローチは実際には十分ではありませんでした。ルックバックウィンドウを提供することは、ローカルな視点からグローバルな負荷を近似するのに役立ちましたが、スループットは負荷の良い尺度ではありません。典型的なリクエストが約1ミリ秒で返される、キャッシュヒットが支配的なワークロードでは、リクエストレートは負荷を大幅に過大評価しました。毎秒1000件のリクエストを処理するPodは、スループットではビジーに見えますが、それぞれが1ミリ秒で完了するため、平均してインフライトリクエストは約1件で、占有率は1.0です。バウンド負荷ウォークは絶えずトリガーされ、リクエストをリング全体に散乱させ、キャッシュヒット率を低下させました。

リトルの法則

修正はキュー理論から来ました。リトルの法則は、平均同時実行数は到着率に平均サービス時間を掛けたものに等しいと述べています:(L = \lambda W)。リクエストの到着を数える代わりに、スライディングタイムウィンドウでリクエストの持続時間を蓄積し、ウィンドウの長さで割ります。

占有率 = 総占有時間 / ウィンドウ期間

これにより、秒あたりの作業時間(秒)が得られ、実際の負荷の最も正確な画像が得られます。

シグナル報告された負荷理由
インフライト0バースト間にサンプリングされ、何も開いていない
スループット1,000持続時間に関係なく、秒あたりのリクエスト数
占有率~1.01,000 x 1 ms = 秒あたり1.0秒の作業

ウィンドウ自体は短いです:150ミリ秒で、5つの30ミリ秒のバケットに分割され、時間が経過すると前方にスライドします。単一のリクエストのタイムアウトよりもわずかに長いウィンドウにサイズ設定したため、完了したばかりのリクエストは、次のルーティング決定がそれを読み取る際にまだウィンドウ内にあります。

max(inflight, occupancy) という複合シグナルを使用します。これは、完了していない遅いインフライトリクエスト(占有率ではまだ見えない)と、バースト間でインフライトがゼロに低下するバースト性の速いリクエスト(占有率がそれらを捉える)の両方を捉えます。

次に、そのシグナルをレイテンシで重み付けします。これはFinagleから借用したアイデアです:Podのコストは、その同時実行数にクラスター平均に対するレイテンシを掛けたものです。

effectiveLoad = max(inflight, occupancy) x min(podLatency / globalLatency, 5)

クラスター平均のPodは中立です。2倍遅いPodは2倍の重みを持つため、バウンド負荷ウォークはそれを回避し、ルーティングします。乗数は5倍でキャップされるため、単一の遅いPodが他のすべてのPodを比較対象として安価に見せることで、フリート全体を氾濫させることはできません。1つのケースが耐障害性にとって最も重要です:インフライトリクエストはあるが完了した応答がないPodは、測定するレイテンシがないため、スタックしているとみなし、一度に5倍をすべて適用します。

ウォークは常にPodをクラスター平均と比較するため、シグナルは2つのPodが同じウィンドウ内に並んでいる場合に最も明確になります。

                   100 ms ウィンドウ
         +-------------------------------+ 
  pod A  | [][][][][][][][][][]          |   10件の1 msキャッシュヒット
  pod B  | [][] [ M ][ M ][ M ]          |   2件のヒット、3件の遅いミス
         +-------------------------------+ 
            [] = 1 ms ヒット      [ M ] = 約100 msのDynamoDBへのミス

  クラスター平均レイテンシ = 1 ms;  Pod Bのミスが自身のレイテンシを60 msに引き上げる

  Pod A:  基本負荷 0.1  x  min( 1/1, 5) = 1.0   =   0.1   維持
  Pod B:  基本負荷 3.0  x  min(60/1, 5) = 5.0   =  15.0   リダイレクト

Pod BはPod Aよりも少ないリクエストを処理していますが、そのうち3件はそれぞれ約100ミリ秒のDynamoDBへのキャッシュミスです。これらは基本負荷を3.0に引き上げ、レイテンシをベースラインの60倍に引き上げ、乗数を5倍のキャップに固定するのに十分です。その実効負荷はPod Aの0.1に対して15となり、ウォークはPod Bをスキップし、そのキーをヘッドルームのあるPodにルーティングします。

これは、ハードニングセクションが後で依存するシグナルです。Podが一時的にフリーズしたノードにあり、応答しなくなった場合、スタックPodケースをトリップさせ、実効負荷がキャップまでジャンプし、トラフィックは自動的にオフになります。

ウォークのキャップ

ウォーク自体に隠された障害モードがあります。多くのPodが同時に遅くなった場合、例えば一時的なネットワーク障害がグループ全体を閾値を超えさせた場合、ナイーブなウォークは閾値以下のPodを見つけるためにリング全体をトラバースし、最悪の瞬間にリクエストをキャッシュホームからできるだけ遠くに投げ、すべてのリクエストに対して同時に行います。そのため、ウォークは10ホップにキャップされます。10ホップ以内に閾値以下のPodを見つけられない場合、停止し、見た中で最も負荷の低いPodにルーティングします。リクエストは本来の場所の近くに留まり、一時的な障害が遅いパッチをリング全体に広がるスタンプedeに変えることはなくなります。このすべてを見ることは、アルゴリズムを所有することの配当です。ウォークは以前は共有インフラストラクチャ内で発生していたため、その移動距離を測定できませんでした。現在、すべてのリクエストで距離をエミットし、グラフ化しています。定常状態では、キャップはほとんどバインドされていません:リクエストの99パーセンタイルでさえ、4ホップしか歩かず、10ホップのキャップ内に収まっています。キャップは設定可能なので、テレメトリが実際のトラフィックがそれに押し寄せていることを示した場合、引き上げることができます。今のところ、10ホップは十分なヘッドルームを提供します。

[画像: Bounded-load walk distance by percentile]

パーセンタイルごとのバウンド負荷ウォーク距離:すべてのリクエストの半分はまったく歩かず、p99でさえ4ホップで停止し、10ホップのキャップ内に収まっている

影響

Podの占有率は、0.40〜1.30の範囲から0.60〜0.90のバンドに引き締められました。

ばらつきがなくなったことで、盲点に対するガードを finally 外すことができました。バウンド負荷係数を、インフライト下で維持していた慎重な1.10から1.25に緩め、ホットキャッシュPodがキーを保持し、ヘッドルームがある分だけ多くの作業を行えるようにしました。また、Horizontal Pod Autoscalerの閾値をCPU 50%から65%に引き上げました。占有率が、実際にビジーなPodを正確に示してくれるようになったため、外れ値のPodを保護するために早期にスケールする必要がなくなりました。

65%でのスケーリングにより、Pod数が25%以上削減されました。占有率は1.0から1.5の健全なバンドにシフトし、コスト削減は1日あたり1,000ドルを超えました。

[画像: Per-pod occupancy after optimisation]

最適化後のPodあたりの占有率:タイトなバンド、すべてのPodがよりホットで均等に実行されている

これまでのところ、クライアントサイド負荷分散はSkipperのスケーリングコストを排除し、次に自社のPodフリートを削減しました。しかし、まだ対処していないコストがもう一つありました。

AZアウェアルーティング

最後のフロンティアは、アベイラビリティゾーン(AZ)アウェアルーティングでした。これには大きな期待を寄せており、この話の中で最終的に一時停止した部分でもありますが、プロジェクトの中で最も困難なエンジニアリングを必要としたため、歩く価値はあります。ファンアウトパスからSkipperを削除したことで、すでにコンピューティングコスト以上の削減がありました。共有Skipperホップがゾーン境界を越えることが多かったため、それを静かに削除したことで、AZ間データ転送の請求額も削減されました。それだけでも多くの節約になったなら、各プロダクトセットリクエストをそのゾーン内に留めることで、どれだけさらに節約できるでしょうか?

[画像: EC2-Other cost drop]

EC2-Otherコスト(主にAZ間データ転送)は、CSLBがSkipperホップを削除すると急激に低下し、DynamoDBはフラットなまま

3つのAZを持つKubernetesクラスターでは、約3分の2のホップがゾーン境界を越えます。各ゾーン間ホップにはデータ転送コストがかかり、毎秒数百万リクエストでは、これは1日あたり数百ドルになります。トラフィックを同じAZ内に留めることで、ゾーン間レイテンシと転送コストの両方が削減されます。課題は、ナイーブなゾーン分離が、ローカルゾーンのPod数が少ない場合にキャッシュの断片化を引き起こすことです。また、ローカルゾーンが悪化した場合(ノイジーネイバー、AZローカルの問題、デプロイ後のコールドキャッシュ)、それを検出し自動的にフォールバックする必要があります。

注意深いフェードイン

ゾーンアフィニティを一度にすべてオンにしたわけではありません。初期の全ゾーン遅延の後(ローカルキャッシュが実際のトラフィックでウォームアップされるように)、ローカルシェアは1%のフロアから、スケールアップフェードインと同じ^2.5曲線で天井までランプアップします。

レイテンシヘルスファクターがランプの上に実行されます。これは、平滑化されたローカルと全ゾーンの応答時間を比較し、ローカルレイテンシが設定されたマージン(設定では35%)よりも全ゾーンよりも大きくドリフトした場合、ローカルトラフィックを1%のプローブフロアに戻して抑制します。これらのプローブは比較を新鮮に保つため、レイテンシが回復するとシステムはオペレーターや外部ヘルスチェックなしで、自動的にローカルトラフィックを復元します。

その初期遅延は苦労して獲得されました。ゾーンアフィニティを初めて有効にしたとき、遅延もヘルスファクターもありませんでした:デプロイ時にスイッチがオンになり、ローカルPodが突然、そのゾーンのすべてのトラフィックを所有しました。クロスゾーンモードでは、Podはカタログの約3分の1をウォームアップします。ゾーンアフィニティが最初からオンになっていると、それらすべてを一度に必要としました。ブルーグリーントラフィック切り替え中、新しいスタックのキャッシュヒット率が低下し始め、アラームが発火しました。ランプが完了する前に、トラフィックを古いスタックに戻しました。ローカルPodは、クロスゾーントラフィックでウォームアップする必要があります。そのため、ゾーンアフィニティがそれを追加する前に、既存のキャッシュスライスがいっぱいになります。

2つのリングにまたがるバウンド負荷

最初は、注意深いフェードインが配置された状態で、ゾーントライアルは理論が予測したとおりに動作しました。ローカルトラフィックがランプアップするにつれて、キャッシュヒット率は低下し、各Podのキャッシュに保持される商品の数が増加し、DynamoDBの読み込みレートが上昇しました。これら3つすべてが予想されていました:モデルがそれを考慮していました。心配することはありません。

しかし、DynamoDBの読み込みレートは少ししか上昇しませんでした。モデルが考慮したものをはるかに超えて爆発しました。

犯人はバウンド負荷でした。これは、占有率のために以前に構築したメカニズムでしたが、誤ったベースラインを読み取っていました。バウンド負荷は、Podの負荷が平均の倍数を超えるとPodをウォークさせますが、比較すべき平均はルーティングモードに依存します:通常の全ゾーンルーティングでは、正しい除数はグローバルPod数ですが、完全なローカルゾーンルーティングではローカルPod数です。フェードイン中は、どちらでもありません。ローカルPodは正当に、グローバルのみのPodよりも多くの負荷を担います。なぜなら、それは両方のリングに同時に存在し、ローカルにルーティングされた部分のシェアと、まだすべてのゾーンに広がる部分のシェアの両方を処理するからです。私の最初のバージョンは、すべてのPodを単一のナイーブなクラスター全体の平均と比較して評価したため、ゾーンアフィニティが有効になるとすぐに、すべてのローカルPodが過負荷に見えました。ウォークは、存在しないヘッドルームを追いかけてリング全体にキーを散乱させ、キャッシュの局所性が崩壊し、ミスがDynamoDBに殺到しました。修正は、現在の分割でPodが実際に運ぶと予想される負荷からしきい値を計算することでした。

loadPerLocalPod  = (totalLoad x localWeight)        / localPodCount
loadPerGlobalPod = (totalLoad x (1 - localWeight))  / allPodCount
threshold        = (loadPerLocalPod + loadPerGlobalPod) x balanceFactor

ここでtotalLoadは、このクライアントプロセスがクラスター全体の数値ではなく、すべてのPodにわたって観測しているものです。ローカルPodの期待される負荷は、両方の項の合計です。なぜなら、それは両方のリングからトラフィックを引き出すからです。フェードイン中にローカルウェイトが1%から天井までランプアップするにつれて、しきい値もそれに追従するため、バウンド負荷は意図的にゾーンアフィニティが作成する非対称性ではなく、真の異常値でのみ発火します。

[画像: DynamoDB read capacity during the buggy zone-affinity trial]

バグのあるゾーンアフィニティトライアル中のDynamoDB読み込み:約50Kの穏やかなベースラインが400Kに向かって爆発し、しきい値が両方のリングを考慮した後、落ち着いた

2つのフェードインが衝突するとき

ゾーンフェードインは単独では実行されません。Podは常に常に追加および削除されており、新しいPodはそれぞれ独自のNリングスケールアップフェードインを運びます。そのため、任意の時点で、Podがリングにフェードインしている間に、リング自体が全ゾーンからローカルにフェードしている可能性があります。2つのメカニズムはクリーンに合成されなければなりません:新しく追加されたPodは徐々にウォームアップし、ローカル対全ゾーンの分割で正しい場所に配置される必要があります。その間、ゾーンランプとレイテンシヘルスファクターがその下でシフトします。

そのシームを正しく取得することは、個々の部分よりも困難でした。初期のトライアルでは、まさにこの接合部で微妙なバグが連続して発生しました:ヘルスが一時的に低下したときにゾーンランプが点滅する、解放されない抑制、完了したフェードインが上に着地したスケールイベントによって再トリガーされる。それぞれが単独では小さな修正でした。しかし、それらを表面化させたすべてのトライアルは、実際のプロダクションアラームをトリップさせました。私はこれらのロールアウトが自分で出かけるのを見ました、夜遅くまで、オフスイッチに指を当てて、すべてのアラームのためにそこにいましたが、それは意図的に支払う代償です。

だからこそ、ゾーンアウェアルーティングはこの話の中で現在本番環境で実行されていない唯一の部分なのです。アルゴリズムは機能し、セーフガードは配置されましたが、エッジケースのロングテールを追いかけるオンコールグッドウィルを使い続ける代わりに、それをオフにし、オンコールのチームヘルスが100%で連続数週間続いた後にトライアルを再開します。それがそれ自体の費用を賄うかどうかは、まだ答えが出ていない質問です。

ファンアウトパスの強化

直接通信することは、レジリエンスを所有することも意味しました。プロダクトセットがSkipperを介さずにプロダクトPodを呼び出すようになると、すべてのリトライ、すべてのタイムアウト、すべての過負荷決定は、私たちが調整するものでした。そこで、ファンアウトパスを強化しました。

リトライポリシーを、数ミリ秒のジッター付きバックオフを伴う単一の高速リトライに絞り込みました。トランスポート障害と5xxレスポンスでのみ発火し、4xxや404(これは回答であり、障害ではない)では決して発火しません。そして、各リトライは、すでに試行されたURLの除外セットに対して解決されるため、リトライが同じPodに2度着地することはありません。リトライは、異なるPodへのホップであり、多くの場合異なるノードへのホップです。

ファンアウトの前にFIFOバッファーを追加しました。単一のバッチは数十の並列呼び出しに展開でき、スパイク下ではそれらの呼び出しがアウトバウンド同時実行制限を超え、プロダクトフリートを圧倒する可能性があります。過負荷フィルターは、アウトバウンドインフライトリクエストがハードキャップを超えると、503とRetry-Afterで新しいインバウンドリクエストをドロップします。FIFOバッファーはそのキャップのすぐ下にあり、キューに入れられたファンアウトをワイヤーに直接積み上げるのではなく、一時的にキューに入れます。キューは自己ドレインします:インフライトリクエストが完了すると、次にキューに入れられたファンアウトが解放されます。

そして、以前のレイテンシ加重負荷シグナルに頼りました。遅くなるPodは実効負荷が乗算されるため、バウンド負荷ウォークは、ファンアウト全体をそのテールに引き込む前に、それを回避します。

最後の変更はありふれたものに聞こえますが、最も効果がありました:より多くのログを記録しました。すべてのアウトバウンドエラーは、正確な宛先、呼び出していたPod IP、およびそのPodが実行されていたノードを記録するようになりました。初めて、すべての障害がどこに着地したかを正確に見ることができました。

その可視性により、ノイズとしてしか見たことがなかったものが表面化しました。時折、短いタイムアウトのバーストが発生し、数秒間続き、自己解決します。各ログ行のノードにより、その形状は間違いなく、両側から見ることができました。時折、失敗したすべての呼び出しは、私たちが呼び出していたPodと同じノードを共有し、散在する正常な宛先にファンアウトしていました。他の times、失敗したすべての呼び出しは、クラスター全体から集まった、単一ノード上に配置された数個の商品Podに向けられていました。どちらの場合も共通の要因はPodではなくノードでした:数秒間、そのネットワークは停止し、インバウンドとアウトバウンドの両方が停止し、その後何もなかったかのように回復します。Skipperではありません。このトラフィックがまだそれを流れていたときと同じ形状を見ていたからです。アプリケーションの上部でもありません。JVMログはバースト中も静かで、PodはCPUヘッドルームを維持し、ソケットは正常なままです。何かが私たちの下にあり、ノードまたはネットワークレイヤーにあります。

[画像: product-sets timeouts grouped by source node]

ソースノードごとにグループ化されたプロダクトセットのタイムアウト:1つのノードが2秒間で1,909件のエラーを生成しました。ノードIPは部分的に編集されています

良いニュースは、PRAPIはほとんど気づかないということです。なぜなら、フリーズは両方向に作用し、ロードバランサーはそれぞれを処理するからです。フリーズしたノードがプロダクトPodをホストしている場合、それらに手を伸ばすすべての呼び出し元が同時にタイムアウトします。レイテンシ乗数とスタックPodキャップは、それらのPodがサイレントになったことを認識し、他の正常なPodにトラフィックを誘導し、リトライは別のノードの別のPodに着地します。フリーズしたノードが私たちのプロダクトセットPodをホストしている場合、私たちはそれを回避できません。それらのPodは、どの宛先を選んでもスタックしますが、それは封じ込められます:そのノード上の数個のPodのみが、それが続く2〜3秒間、残りのフリートは続行します。FIFOバッファーとインフライトキャップは、それらがフリーズを自己誘発性リトライストームに増幅するのを防ぎ、ノードが回復するまでバックログを保持します。フリーズはまだ発生しており、時折、数個のノードがロックステップでフリーズすることさえありますが、数週間、それらに起因するインシデントはありませんでした。かつては午前3時のページだったものが、グラフ上のわずかな揺らぎになりました。

ノードレベルでフリーズを引き起こすものは、インフラストラクチャチームが特定するものです。原因が何であれ、PRAPIにとっての違いは、もはやその答えに依存しないということです。

学び

キャッシュの局所性とトラフィックの分離は、反対方向に引っ張ります。 一貫性ハッシュは、その局所性を提供します:同じキーが常に同じPodに到達します。AZアフィニティは、ゾーンコスト削減のためにキャッシュの局所性とトレードオフします。バウンド負荷リダイレクションは、より均一な負荷分散のためにそれとトレードオフします。どちらかを有効にする前に、各パーティションにホットプロダクトセットをカバーするのに十分なノードがあるか確認してください。そうでない場合、一方のコストをもう一方とトレードオフしています。

遅いデプロイパイプラインは、すべてのデプロイをよりリスク高くします。 チームは、遅いパイプラインに対応して、各デプロイに多くの変更をバンドルするため、各苦痛な実行はより多くの作業を伴います。問題が発生した場合、より大きなバッチの診断は困難です。デフォルトでアクション(小さな増分、自動アラームバッファー、手動ゲートなし)を取るパイプラインは、デフォルトで不活性を取るパイプラインよりも構造的に安全です。

ルーティング決定を所有することは、テレメトリを所有することを意味します。 プロジェクト全体で最も価値のある単一の変更は、アルゴリズムではありませんでした。それは、宛先Podとノードを1つのエラーログ行に追加したことでした。これにより、共有インフラストラクチャが長年隠していた障害を最終的に見ることができました。

ルーティング決定を所有することは、新しい障害面を所有することも意味します。 Kubernetes APIが停止した場合、リングは古くなる可能性があります。数百のPodがWatch接続を保持し、EndpointSlicesの読み取りには独自のRBACが必要になり、ロードバランサーは別のチームではなく私たちにページを送信するようになりました。それらすべてを軽減しました。空にならない最後の正常なリング、ポーリングではなくWatch、Skipperへの即時フォールバック。しかし、複雑さは現実であり、それは永久に私たちのものです。

ルーティングをインプロセスに引き込むことは、そのパフォーマンスを所有することを意味します。 そのコードは現在、ピーク時には毎秒数百万リクエストのすべてのリクエストで実行されるため、CPUコストは私たちのものです。本番環境でJava Flight Recorderを使用して実行中のサービスをプロファイルし、ホットパスをロックフリーでアロケーションライトに保ち、共有キャッシュラインでの競合よりも、数ミリ秒のメトリクススタネスを許容しました。

共有インフラストラクチャから毎秒100万リクエストを削除したことで、Skipperのフリートは50以上のPodから8に減少しました。占有率ベースのバウンド負荷は、さらに25%のPodと、それらと共に1日あたり1,000ドル以上を削減しました。7週間未満で、再構築されたパイプラインは100件以上のプルリクエストを本番環境に運びました。それぞれがマージ時にデプロイされ、最も忙しい日には9件がデプロイされました。移行以来、ロードバランシングインシデントは発生しておらず、AZアウェアルーティングはまだテーブルにある唯一の賭けであり、一時停止されていますが、放棄されていません。

次は何?

明白な未解決のスレッドはゾーンアウェアルーティングです。最初のランプに後付けされたのではなく、最初のインシデント後にではなく、すべてのセーフガード(レイテンシヘルスファクター、強化されたリトライ、FIFOバッファー)を最初のランプから配置した状態で、クリーンな実行を提供できるようになったらトライアルを再開します。

経済性は不確実です。単一ゾーンにトラフィックを固定すると、各商品のキャッシュを共有するPodの数が少なくなるため、カタログが断片化し、DynamoDBの読み込みコストが増加します。これは、以前のすべてのトライアルで増加を測定しました。これに対して、AZ間データ転送の節約があります。どちらの数値が勝つかはまだわかりません。正直な答えは、それはスケールに依存するということです。ゾーンは、トラフィックが高くなるまで、ホットセットをカバーするのに十分なPodしか保持しないため、節約はロードとともに増加します。通常のボリュームではほとんど元が取れないかもしれませんが、サイバーウィークのようなピークイベント中、トラフィックとPod数が最大になるとき、同じメカニズムが多大な節約をもたらす可能性があります。それを注意深く、今回は静かに証明することが次の章です。

あなたは自分で構築すべきか?

ほとんどの人にとって、答えは「しない」です。SkipperやEnvoyのような成熟したプロキシは、箱から出してすぐに一貫性ハッシュルーティングを提供します。それらは誰かによって維持され、何千もの他のユーザーによって強化されています。Kubernetesクライアントライブラリは、メカニズムを簡単にします:EndpointSlicesを監視し、リングを立ち上げるのは、四半期ではなく週末です。しかし、その容易さはまさに「Not Invented Here」症候群の誘惑であり、構築は簡単な部分です。永遠に所有することがコストです。

私たちは、実際の例外的なケースに座っていました:毎秒100万リクエストを超える単一の内部パスで、1つの共有ホップが私たちの露出を100倍にしました。もしあなたが本当にそこにいるなら、いくつかのことが違いを生みました:それをランタイムトグルで、置き換えようとしているプロキシへのフォールバックを付けてください。そうすれば、悪いロールアウトは設定変更であり、インシデントではありません。本番環境で実際のものをプロファイルしてください、ベンチマークではなく。そして、プロキシ全体ではなく、それを必要とするパスのみを置き換えてください。私たちはまだすべてのエッジリクエストをSkipper経由でルーティングしています。

謝辞

SPP Product Data Servingチームに感謝します。彼らはリスクの高い変更をレビューし、すべてのランプでダッシュボードを監視し、ロールバックの準備ができていました。このような作業、本番環境での出荷とロールバック、そして再び出荷することは、実験を恐れるのではなく支持するチームがあって初めて可能です。また、SPPのプリンシパルエンジニアであるDomagoj TrsanとFrancis Moloneyにも感謝します。彼らは両方とも、短期間でこれらのプルリクエストの数十件を容認し、レビューしました。

採用募集中です!Zalandoのような進化し続ける組織で働くのは好きですか?バックエンドエンジニアとしてチームに参加することを検討してください!

関連記事

イベント駆動の混沌から超高速サービングAPIへ

この記事では、イベント駆動システムを、毎秒数百万リクエストを処理できる高性能APIにどのように置き換えたかを説明します... 続きを読む

[画像: photo of Conor Gallagher]

[画像: photo of Giorgio Carta]

2025年3月7日

Debeziumへの貢献:大規模な論理レプリケーションの修正

WALの増加と安全な論理レプリケーションを可能にするために、Debeziumに2つの機能を提供した方法... 続きを読む

[画像: photo of Conor Gallagher]

2025年12月19日

適用時に無効なインプレースメントルートを拒否

ZalandoがSkipperをバリデーションアドミッションウェブフックとして使用し、適用時に無効なフィルターと述語を拒否する方法... 続きを読む

[画像: photo of Veronika Volokitina]

2026年4月9日