GitHubのオートスケーリングとコンポーネント置換の誤謬
GitHub, autoscaling, and the component substitution fallacy (surfingcomplexity.blog)
要約
この記事は、GitHubの最近の障害の原因の一つとして指摘された、Istioサイドカーのオートスケーリング設定の誤りを分析しています。著者は、オートスケーリングの仕組みと、CPU使用率だけでは不十分な場合があることを説明し、障害の原因を特定する際には、個々のコンポーネントだけでなく、それらの相互作用全体を考慮することの重要性を強調しています。
全文翻訳
GitHub、オートスケーリング、そしてコンポーネント置換の誤謬
昨日の投稿で取り上げた最近のGitHubの障害について、書き込みの中に触れなかった詳細がありました。それは、Istioサイドカーが飽和したサービスにおけるオートスケーリングポリシーです。
当初、これはIstioサイドカーポッドが同時実行数の上限に達し、ホストサービスは監視するもののサイドカーの上限は監視しないという誤設定されたポリシーのために、正しくオートスケールできなかったことが原因でした。
このブログの読者はオートスケーリングとは何か、どのように機能するかをよく知っていると思いますが、念のため簡単な要約を以下に示します。サービスが必要とするコンピューティングリソースとメモリリソースは、そのサービスにかかる負荷によって異なります。ここで関連する負荷の発生源は、トラフィックとしても知られるサービスに対する外部からのリクエストです。トラフィックの量は時間とともに変動します。例えば、GitHubのような企業では、平日の勤務時間中は夜間や週末よりもトラフィックが多いと推測されます。
負荷は動的に変化し、サービスが必要とするコンピューティングリソースとメモリリソースは負荷の関数であるため、2つの一般的な戦略があります。1つは、ピーク負荷に合わせてサービスをプロビジョニングすることです。もう1つは、現在の負荷に基づいてサービスに割り当てられるリソースを動的に調整することです。これはオートスケーリングと呼ばれます。
サービスでオートスケーリングを使用したい場合は、オートスケーリングポリシーを定義する必要があります。特に、負荷を表すメトリクスを何にするかを選択し、そのメトリクスがどのように変化するかに基づいてリソースをどのように追加または削除するかを指定する必要があります。
CPU使用率は、オートスケーリングによく使用されるメトリクスです。しかし、CPU使用率が低い場合でもサービスが飽和する可能性があることに注意してください。例えば、スレッドプールでリクエストごとにスレッドを使用するシナリオを想像してみてください。下流のリクエストのレイテンシが増加し、スレッドプールのすべてのスレッドがブロックされてしまうとします。この場合、サービスは飽和していますが、CPU使用率は実際には低いです。なぜなら、スレッドはI/Oを待機してブロックされているからです(これは2021年のSlackで発生しました)。ここで、このようなケースを処理するためにオートスケーリングポリシーに追加のルールを追加することもできます(Slackはスレッド数に基づいて急速にスケールアップしました)。あるいは、サービスがCPUバウンドでない場合は、CPUではなく受信リクエストの量に基づいてスケールすることもできます。
GitHubの書き込みに基づくと、影響を受けたサービスのオートスケーリングポリシーは、サービス自体の負荷のみを考慮し、Istioサイドカーの負荷を考慮しないロードメトリクスを使用していたようです。
一般的に、各サービスは負荷の下で異なる振る舞いをします。これは、すべてのオートスケーリングポリシーが実質的にカスタムメイドであることを意味します。つまり、サービスを所有するチームは、ビジネスロジックだけでなく、カスタムパラメータを持つ運用制御システムにも責任を持つことになります。このシステムは、ロードテストを通じてのみチェックできます。(すべてのサービスでロードテストを実施していますか?)また、サービス所有者はオートスケーリングの専門家である可能性はほとんどありません。したがって、オートスケーリングポリシーの誤設定がこの件に寄与したことは、私にとって驚くことではありません。
しかし、オートスケーリングのリスクを認識してもらうために、このポリシーの特定の欠陥について議論することは価値があると思いますが、同時に、このインシデントに関わる他の要因を除外して、それに固執しすぎるのも簡単だと考えます。これは、David Woodsがコンポーネント置換の誤謬と呼んでいるものです。つまり、信頼性を向上させる方法は、欠陥のあるコンポーネントを特定して修正することに労力を集中させるという考え方です。
インシデントによって明らかになった欠陥を特定して修正すべきであると同時に、以下の点も認識すべきです。
- あなたのシステムは、現時点でも潜在的なコンポーネントの欠陥に満ちています
- これらの欠陥がすべて存在しているにもかかわらず、あなたのシステムは常に障害を起こしているわけではありません
これは、コンポーネントの欠陥だけではシステムをダウンさせることはできない、あるいはシステムは今頃ダウンしているはずだということを意味します。個々のコンポーネントを見るだけでなく、相互作用を第一級のものとして扱ってください。GitHubの障害では、トラフィックパターンの変化(スクレイパーを含む)、オートスケーリングポリシー、Istioサイドカーの飽和、リトライロジック、HAProxyノードの飽和、認証トラフィックなどの要因間の相互作用についての議論が見られます。
これは迅速に公開されたパブリックな書き込みであるため、詳細の多くが不明であることも考慮する必要があります。内部の書き込みには、より良い情報が含まれている可能性があります。私はこの投稿で、サービス所有者とオートスケーリングポリシーの関係について推測しましたが、この履歴(例えば、このポリシーはIstioサイドカーの使用より前から存在していたのか?)についてもっと知りたいです。また、問題のトラフィックについても詳しく知りたいです。(どのような種類のリクエストでしたか?突然の増加でしたか、それとも徐々に増加しましたか?トラフィックが増加した理由がわかりますか?)
これらの種類の質問に対する答えは、パブリックなインシデントの書き込みでは得られませんが、あなたの組織内の内部書き込みでは得られます。質問をすることはあなた次第です。