HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

KubernetesでCPU制限の使用を今すぐやめてください

For the love of god stop using CPU limits in Kubernetes (github.com)

35 pointsby iljanevo27 コメント

要約

この記事は、KubernetesにおけるCPU制限の使用がアプリケーションのパフォーマンス低下とコスト増加を招くという主張を展開しています。CPU制限は、ノードにCPUリソースの空きがある場合でも、アプリケーションを頻繁に一時停止(スロットリング)させ、レイテンシの増加や起動時間の遅延を引き起こします。著者は、CPU制限を削除し、CPUリクエストとメモリ制限のみを維持することを推奨しており、これによりパフォーマンスが向上し、ハードウェアコストが削減されると述べています。

全文翻訳

KubernetesのCPUリミット:間違い、その理由、そして証明

要約: requests.cpu、requests.memory、limits.memory を設定し、limits.cpu は削除してください。

これは新しいアドバイスではありません。Kubernetes自身やGoogleも推奨するベストプラクティスです。

"メモリリミット == リクエストを常に設定する。CPUリミットは設定しない" ~ Tim Hockin, Kubernetes共同創設者 (ソース)

GoogleのGKEドキュメントも同様のことを述べています。CPUリクエストについては、「SLOに従って、必要な最小CPUを指定し」、その後「無制限のCPUリミットを設定する」としています (ソース)。

ほとんどのチームはそれでもCPUリミットを設定し、その後に続くスロットリングとの戦いに時間を費やしています。この記事では、なぜこのアドバイスが正しく、なぜ多くの人が依然として間違った設定をしてしまうのかを説明します。ほとんどのチャートは、リクエストとリミットという2つのCPU数値を設定し、人々はそれらを少しのヘッドルームを持つ同じ設定のように扱います。

  • リクエストは、ポッドが必要とした場合に予約されるCPU量です。
  • リミットはハードキャップです。これに達すると、ノードにまだCPUの空きがある場合でも、カーネルはポッドをスロットリングします。

これがKubernetesで予期せぬCPUスロットリングが発生する最も一般的な原因です。CPUリミットは隣接するポッドを保護するものではありません。それらの保護は、ポッド自身の要求によってもたらされます。 CPUリミットを使用することには例外的なユースケースがありますが(理由があって存在します)、あなたの状況がそれに該当する可能性は低いです。つまり、CPUリミットを設定すべきではない可能性が高いです。詳細は結論を参照してください。

[画像: requests.cpuが250m、limits.cpuが500mのSample values.yamlを示し、リミットが危険な方であることを指し示す矢印]

目次: CPUリクエストで十分な理由、平均CPUが隠すもの、ベンチマーク、.NETとスレッドプール、CPUリミットとOOMKills、結論、よくある質問、自分で実行する。

CPUリクエストで十分な理由

Linuxは、ビジーなノードのCPUをポッド間で公平に共有しています。この共有はCFS(Completely Fair Scheduler)と呼ばれます。リクエストはcgroup内の重みであり、固定されたコアではありません。ノードがビジーな場合、CFSはそれらの重みに比例して時間を分割します。16 CPUのリクエストは、1 CPUのリクエストの約16倍のCPUを得ます。他のポッドがアイドル状態であれば、ポッドは余剰分を使用できます。それらが再びCPUを必要としたとき、それらのコアは返却されます。これにはCPUリミットは必要ありません。

一つの注意点:リクエストは時間あたりの割合を保証しますが、いつ正確にCPUが得られるかを保証するものではありません。激しい競合下では、シェアはスライスで提供されるため、正しいリクエストを設定してもテールレイテンシはわずかに変動する可能性があります。リミットはこれを修正するものではなく、スロットリングを追加するだけです。

[画像: 4コアノードの図で、ポッドAが1コアをリクエストし、ポッドBが3コアをリクエストしており、両方ともビジーでシェアを得ており、その後ポッドBがアイドルになり、ポッドAが余剰コアを使用している様子。CPUリミットは関与していない]

リミットはCFSによって強制される別のキャップです。カーネルは100ミリ秒ごとにポッドにCPU時間の予算を与え、ポッド内の各スレッドはその予算を共有します。予算がなくなると、ポッドは次の100ミリ秒までスロットリングされます。ノードがアイドル状態でもポッドは待機します。32コアノード上の1 CPUリミットでも、数ミリ秒間は全32コアで実行できますが、そのウィンドウの残りの時間は待機します。同時に4つのスレッドが動作すると、約12ミリ秒で500mの予算を使い果たします。これは平均値であり、予約されたコアではありません。

[画像: 500mリミットと4スレッドを持つポッドの単一100ミリ秒CFSウィンドウのタイムライン:50ミリ秒の予算が最初のスライスで使い果たされ、その後ポッドはウィンドウの残りの時間スロットリングされる]

[画像: 4コアノードでのトラフィックバーストの図で、ポッドが1コアをリクエストしている場合:リミットなしでは余剰コアを借りてバーストを処理するが、1.5コアのリミットでは代わりにスロットリングされる]

[画像: CPU枯渇とメモリ枯渇のサイドバイサイド比較:CPU枯渇はアプリが待機して追いつくため、リミットを削除してリクエストを維持する。メモリ枯渇はアプリがOOMKilledされるため、メモリリミットを維持する]

平均CPUが隠すもの

KubernetesダッシュボードのCPUグラフは通常、1分間の平均値を示します。CPUスロットリングは0.1秒間続きます。したがって、グラフは、アプリが常にスロットリングされていても、正常に見えることがあります。 平均CPUではなく、container_cpu_cfs_throttled_periods_total を監視してください。

[画像: 同じ30秒間の2つのビュー:平坦で正常に見える平均CPUグラフと、同じウィンドウでポッドが繰り返しリミットに達しているCPUスロットリンググラフ]

他のアプリが自分のポッドを枯渇させることを恐れて、人々はリミットを設定します。それはリクエストの役割です。気にかけているアプリは、その自身の要求によって保護されます。 隣で暴走しているポッドは余剰CPUを使用できますが、予約したシェアを奪うことはできません。ノード上の余剰が巨大な場合、リクエストが小さすぎます。チームがリクエストなしでデプロイできる場合、貪欲に見えるポッドにCPUリミットをかける代わりに、デフォルトのリクエストを与えてください。

[画像: ビジーなポッドのみにCPUリミットがかかっており、余剰CPUの使用を停止するだけで、隣接するポッドには役立たないことを示す図。一方、自分のポッドにリクエストを設定することが、実際にシェアを予約するものである]

同じ盲目が右サイジングを損ないます。CPUリミット下で記録された使用量は、リミットを超えることはできません。キャップは各バーストを切り取るため、履歴はアプリが望んだものではなく、カーネルが許可したものを表示します。その履歴からリクエストをサイズ設定すると、キャップの歪みをリクエストにコピーすることになります。まずリミットを削除し、アプリをしばらく実行させてから、自由に動くことができた数値から測定してリクエストを設定してください。

証明:CPUリミットありとなしで同じアプリを実行

制御されたバーストテストでは、CPUリミットを追加すると、典型的なレイテンシが23ミリ秒から約87ミリ秒(約4倍遅く)になり、リミット付きポッドはCFSウィンドウの半分でスロットリングされましたが、平均CPUグラフは常に正常に見えました。

ローカルの8 CPU minikubeで同じ.NETアプリを2回実行しました。両方とも250mを要求し、.NETを両方とも4 CPUにピン留めしたので、「アプリは1コアを持っていると思っている」対「アプリは8コアを持っていると思っている」という比較を意図せずに比較しているわけではありません。一方のポッドには500mのリミットがありました。もう一方にはありませんでした。

有用なテストは、平均して500mを下回るが、一瞬複数のスレッドを同時に使用するバーストです。これは100ミリ秒のウィンドウ内でリミット予算を使い果たします。これは意図したものです。この全体の記事が対象としているまさにその盲点である、平均CPUグラフが緑色のままでスロットリングが発生するパターンです。典型的な応答時間は約4倍になり、リミット付きポッドは半分の時間スロットリングされました。エラーはなく、通常のCPUグラフは正常に見えたでしょう。

[画像: 両方のポッドでのバーストテストの比較チャート:500mリミット付きポッドはp50が87ミリ秒、p99が102ミリ秒で、半分の時間スロットリングされた。一方、リミットなしのポッドはp50が23ミリ秒、p99が44ミリ秒で、スロットリングは一度もなかった]

また、キャップを超えた短いトラフィックのスパイクも送信しましたが、リミット付きポッドはほぼすべてのウィンドウでスロットリングされました。次に、同じマシンにリミットなしでCPUをループで消費する別のポッドを配置しました。リミットのないアプリは遅くなりませんでした。最初のテストではノードにまだCPUの空きがあったため、run.sh はそのビジーな隣接ポッドでノードを完全に満たし、その後、ノードに空きCPUが全くない状態で無制限のアプリを再度測定します。リクエストは十分でした。

さらに多くの数値とチャート:results/run.md。

.NETはリミットを見る

DOTNET_PROCESSOR_COUNT を設定しない場合、.NETはリミットからCPU数をカウントします。500mのリミット(または一般的な100mのデフォルト)は1 CPUとして表示されるため、スレッドプールとガベージコレクタはそのように動作し、1つのワーカー・スレッドから開始します。

このラボでは、テストがリミットに関するものであり、.NETが自身を縮小することに関するものではないように、両方のポッドでDOTNET_PROCESSOR_COUNT=4 を設定しました。実際のフリートでは、リミットを削除した後に1つのデフォルトを設定するか、同じサービスが4コアノードと16コアノードで異なる動作をすることになります。

- name: DOTNET_PROCESSOR_COUNT
  value: "4"

同じ考え方は、クォータを読み取る他のランタイムにも適用されます。GoはそれをGOMAXPROCSに読み込み、JVMには独自の同等機能があります。リミットを削除した後、プラットフォームレベルでこれらを一度設定してください。ランタイムを縮小するためだけにCPUリミットを維持しないでください。

タイトなCPUリミットはメモリの問題のように見えることもあります。ガベージコレクタはメモリを解放するためにCPUを必要としますが、ほとんどの時間スロットリングされている場合、メモリが増加し、何もリークしていないにもかかわらず、ポッドはOOMとして終了します。他の人も同じ壁にぶつかっています。FairwindsはスロットリングをOOMKilledの間接的な原因としてリストアップしています(「ガベージコレクションやその他のメモリ解放作業の遅延」)、そしてこのJVM on Kubernetesの解説は、GCバーストがリミットを超えるとスロットリングと長いポーズに変わる様子を示しています。メモリリミットを上げる前にcontainer_cpu_cfs_throttled_periods_totalを確認してください。

このリポジトリはそれを再現します。OOMKilledの証明を以下に示します。

CPUリミットがメモリ問題とOOMKillsを引き起こす仕組み

これは逆説的に聞こえるかもしれません。CPUは圧縮可能なリソースであり、枯渇すると待機するだけで何も死にません。しかし、メモリはCPU不足が蓄積する場所です。スロットリングされたポッドが処理できるよりも速く作業が到着する場所では、カーネルがポッドを終了するまで差分はRAMに留まります。ラボは、これら3つの一般的な形状をそれぞれA/Bペアで再現しています。同じアプリ、同じメモリリミット、同じ負荷で実行される2つのポッドで、YAMLの唯一の違いはlimits.cpuです。どれも何もリークしていません。ポッドがそれを解放することを許可されていれば、すべてのバイトは解放されたはずです。3つの証拠ファイルすべてがresults/oom.mdにあります。

形状1:バックログ

これは、インメモリキューの形状です。KafkaやRabbitMQからメッセージを処理速度よりも速く消費するコンシューマー、2つのコンポーネント間の無制限チャネル、ハンドラーが実行されている間にリクエストペイロードを保持するサーバーなどです。

作業は毎秒20ジョブで到着します。各ジョブは40ミリ秒のCPU時間(スロットリングで隠されないようにスレッドCPUクロックで測定)を必要とし、ワーカーが完了するまで2 MiBのメモリを保持します。これは、limits.cpu: 500mのキャップに対して約800mのCPU需要であり、両方のポッドには1Giのメモリがあります。

キャップされていないポッドは、完全な800mの作業を処理するため、キューは空のままでメモリはフラットです。500mに制限されたポッドは、毎秒12.5ジョブ(実際には、ペイロードの受信とコピーが同じ予算を消費するため、これより少し少ない)しかクリアできず、20ジョブが到着し続けます。バックログはメモリを保持し、ポッドが使用を許可されていないCPUでのみバックログが縮小し、カーネルは最終的にそれをOOMKilledします。

[画像: バックログ形状のアニメーション。KafkaやRabbitMQのようなメッセージコンシューマーバッファーとしてフレーム化:2つのポッドは同じ20ジョブ/秒と1 GiBのメモリリミットを受け取ります。CPUが500mに制限されたポッドは、毎秒10.3ジョブしか処理できず、バッファリングされたバックログとそのメモリが増加してポッドがOOMKilledされるまで続きます。一方、CPUリミットのないポッドは毎秒21.6ジョブを処理し、メモリはフラットなままです]

記録された実行(scripts/oom.sh)では、キャップ付きポッドは毎秒10.3ジョブを処理し、20ジョブが到着し、負荷の29秒後にOOMKilledされました(終了コード137、lastState.terminated.reason: OOMKilled)。このウィンドウ中、CFS期間の96%でスロットリングされていました。キャップされていないポッドは、空のキュー、フラットなメモリ、ゼロ再起動で毎秒21.6ジョブを処理しました。実行ごとに数値はわずかに変動します(results/oom.mdのSDKイメージページキャッシュに関する注を参照)。結果は変わりません。

バウンドされたワーカープールはこれを防ぎません。CPUの同時実行性を制限しますが、メモリは制限しません。一般的な形状は、無制限の手渡しキューによって供給されるバウンドされたプールです。ラボ自身のワーカープールはサイズ1です。RabbitMQのプリフェッチは、basic.qosが設定されていない限り無制限であり、Kafkaコンシューマーがmax.poll.interval.ms内でポーリングを維持し、再バランスを回避するためにインプロセスキューにレコードを手渡す場合、実質的に1層下に無制限バッファーを再構築しています。適切にバウンドされたバッファーでさえ、通常は正常な処理速度に合わせてサイズ設定されていますが、キャップはその速度を半分にカットしました。そして、すべてのバックプレッシャーを持つコンシューマーは deficit を除去しません。それは deficit を転送します。ラグはRAMではなくブローカーに積み重なります。CPUリミットは、どのリソースが不足を吸収するかを決定します。リミットを削除することだけが、不足自体を削除します。

形状2:GCスターベーション

これはキューやバッファーとは全く異なるシナリオで、ガベージコレクタが関与します。各リクエストは10,000個の小さなオブジェクト(約1.5 MiB)の参照密度の高いグラフを構築し、実際の作業中のみ保持します。リクエストが完了すると、グラフはガベージになります。意図的に何も保持されません。ここで不足するのは、ガベージコレクタ自身のCPU予算です。キャップ付きポッド(limits.cpu: 100m、これはテストの基になった本番インシデントと同じ値)では、インフライトリクエストが積み重なり、ライブオブジェクト数が増加し、各GCサイクルがより高価になり、コレクタは同じ縮小されたクォータのためにワークロードと競合します。

[画像: GCスターベーション形状のアニメーション:2つのポッドは同じ20リクエスト/秒を受け取ります。各リクエストは、作業中にのみ10,000オブジェクトのグラフを保持します。CPUが100mに制限されたポッドは、インフライトリクエストを蓄積し、ガベージコレクタは共有された100m予算で追いつけず、独自の統計エンドポイントに応答しなくなり、OOMKilledされます。一方、CPUリミットのないポッドは、1つのインフライトリクエストと9 MiBのヒープを維持します]

記録された実行(scripts/gc.sh、3回中3回、.NET 10で適応型DATAS GCが有効な場合)では、キャップ付きポッドは独自の統計エンドポイントへの応答を停止し、ロードジェネレーターがすでに停止した後もバックログを消化し続け、OOMKilledされました(終了コード137)。同一のキャップされていないポッドは、9.3 MiBのヒープと1つのインフライトリクエストで同じ負荷を完了しました。これは監視が最初に暗くなる形状でもあります。統計スクレイピングに応答するにはスロットリングされすぎたポッドは、ダッシュボードとプローブがすでに嘘をついているポッドです。

形状3:APIサーバー

キューなし、バッファーなし、バックグラウンドワーカーなし。各リクエスト:

  1. 作業メモリを割り当てます(例:デコード中の画像、構築中のレポート)。
  2. 下流の呼び出しを待ちます。
  3. CPU作業を実行します。
  4. すべてを解放して返します。

リクエストのメモリはリクエストを超えて保持されません。では、メモリがポッドを終了させるのはなぜでしょうか?同時に実行されているリクエストです。

インフライトリクエスト数 = 到着レート x リクエストあたりの時間
保持メモリ量 = インフライトリクエスト数 x リクエストあたりのメモリ量

クライアントが到着レートを決定します。コードがリクエストあたりのメモリ量を決定します。CPUリミットが変更できる唯一のことは、リクエストあたりの時間です。これにより、各リクエストが遅くなります。したがって、より多くのリクエストが同時に実行され、それぞれがメモリを保持します。積み重なりを止めるものはありません。Webフレームワーク(ASP.NET Core、Node、Goなど)は、同時に実行できるリクエスト数を制限しません。また、awaitはスレッドを返しますがバッファーは保持するため、スレッドプールもそれを制限しません。

ラボ:毎秒20リクエスト、各リクエストは40ミリ秒のCPUを消費し、200ミリ秒の下流呼び出しを待ち、実行中は8 MiBを保持します。これは、limits.cpu: 100mのキャップに対して約800mのCPUを必要とします。これはポッドが許可されている量の8倍です。両方のポッドには512Miのメモリがあります。

[画像: 2つのAPIポッドが同じ20リクエスト/秒を受け取るアニメーション:CPUが100mに制限されたポッドでは、各リクエストは約8倍遅く実行されるため、ますます多くのリクエストが同時に実行され、それぞれが8 MiBを保持し、メモリが512Miリミットに達してポッドがOOMKilledされます。CPUリミットのないポッドはリクエストを時間通りに完了し、同時に11リクエストでピークに達し、メモリはフラットなままです]

記録された実行(scripts/web.sh):キャップ付きポッドは負荷の24秒後にOOMKilledされました(終了コード137)。ほぼ100%の時間スロットリングされており、統計エンドポイントに一度も応答できないほど枯渇していました。キャップされていないポッドは、同時に11リクエストでピークに達し、40 MiBを保持し、再起動することはありませんでした。実行間で死亡までの時間は変動しました(23〜52秒)。ポッドが死亡するかどうかは決して変動しませんでした。

2つの正直な注意点:

  • リクエストあたりの8 MiBが、数秒で死亡する理由です。 これはエクスポート、画像、またはレポートのエンドポイントです。同じキャップ下の小さなJSON APIは、より遅く、より穏やかに失敗します。レイテンシの上昇、タイムアウト、プローブの無効化など、クラッシュではなくブラウンアウトです。原因は同じですが、症状は軽度です。
  • awaitの後でメモリを割り当て、メモリがプラトーになるようにしてください。 その場合、バックログはエントリーあたり数百バイトでスレッドプールキューに留まります。これがストリーミングがバッファリングよりも優れている理由であり、ラボはそのバリアントも測定しました(76 MiB保持、死亡なし)。

3つの形状すべてがグラフ上で同じように終わります。メモリがリミットまで上昇します。これはリークのように見え、通常の修正はより大きなメモリリミットですが、実際の原因はCPUリミットです。limits.memoryを増やす前にcontainer_cpu_cfs_throttled_periods_totalを確認してください。

結論:CPUリミットを削除し、リクエストを維持する

[画像: 設定すべきことの表:CPUリクエストを維持し、メモリリミットを維持し、CPUリミットを削除する(本当にわかっている場合を除く)]

  • requests.cpuを維持する:シェアを予約します。
  • limits.memoryを維持する:それがないとリークがノードを占有します。
  • limits.cpuを削除する:本当にわかっている場合のみ設定してください。

CPUリミットを削除した後、そのスロットリングメトリックとノードCPUを確認してください。limits.cpuの削除は、それ自体ではクラスターを縮小しません。それは、正直なrequests.cpuの右サイジングを妨げていた歪みを取り除くにすぎません。節約は、それに続くリクエストの右サイジングから得られるものであり、リミット行を削除することからではありません。

limits.memoryは残してください。 CPUが不足すると、アプリは待機します。メモリが不足すると、アプリ(またはノード)は死にます。

いくつかの狭い例外があります:

CPUリミットを使用する:
CPUリミットを使用しない:

  • ハードで再現可能な上限が必要なベンチマーク

  • 意図的にコア全体をピン留めするポッド

  • マルチテナントプラットフォーム(例:クラウドプロバイダー)

  • Webサービス(フロントエンドUI、BFF、APIなど)

  • バックグラウンドワーカーまたはcronジョブ

  • データベースおよびツール(Redis、Kafka、RabbitMQなど)

  • リストの左側にないその他のもの

左側のケースを実行している場合は、すでに知っているはずです。それ以外の場合は、CPUリミットを設定しないでください。

CPUでのオートスケーリングは、リミットではなくリクエストと比較して使用量を評価します。リミットを削除しても、この計算式は変わりません。使用量はより高くなる可能性があり、より多くのレプリカが得られるかもしれませんが、通常は問題ありません。

limits.cpuを削除すると、ポッドはGuaranteedからBurstable QoSに移行します。実際にはこれはほとんど問題になりません。kubeletはメモリ圧力のためにポッドをエビクトしますが、CPUのためではありません。また、リクエストをどれだけ超えているかに基づってポッドをランク付けします。メモリリクエストとメモリリミットを等しく保てば、エビクションのリスクはほとんど変わりません。完全な回答とエビクションドキュメントへのリンクはFAQにあります。

リミットを削除する前に:ランタイム自体のCPUカウントノブ(DOTNET_PROCESSOR_COUNT、GOMAXPROCS、JVMの-XX:ActiveProcessorCount)をピン留めして、消えようとしている数値に基づいてサイズ設定しないようにします。また、kubeletに--system-reserved / --kube-reservedが設定されていることを確認し、それ自身のデーモンがシェアを維持できるようにします。Rolloutには完全な段階的計画があります:ランタイムをピン留めし、オブザーバビリティを追加し、ガードレールを追加し、名前空間ごとにリミットを削除します。

Kubernetes CPUリミットに関するよくある質問

KubernetesでCPUリミットを設定すべきですか? ほとんどのサービスでは、いいえ。requests.cpuを維持してCFSがシェアを予約するようにし、limits.memoryを維持し、limits.cpuを削除してください。例外(ベンチマーク、ピン留めされたコア、顧客ごとの課金)は結論に記載されています。

KubernetesでCPUスロットリングを修正するにはどうすればよいですか? スロットリングされたポッドのlimits.cpuを増やすか削除してください。それ以外では止まりません。まずcontainer_cpu_cfs_throttled_periods_totalで確認し、次にポッドのリクエストが実際のベースライン使用量とほぼ一致していることを確認してください。

私の4倍のレイテンシは、単にリクエストが低すぎただけではありませんか? 部分的には、それがポイントです。リクエストを超えるバーストは機会主義的であり、保証されるものではありません。暗黙の天井はノードの容量と隣接するポッドです。ベースラインパフォーマンスのためにリクエストをサイズ設定し、バーストはボーナスとして扱ってください。しかし、完璧なリクエストであっても、リミットは減算するだけです。リミットなしの場合、最悪のケースは重み付けされたシェアであり、最良のケースはそれ以上です。リミットありの場合、最良のケースはノードがアイドル状態でもキャップです。「グラフ上でリミットを下回っている」ということがスロットリングがないことを意味するわけではありません。20ミリ秒の4つのスレッドは、1分間の平均が500mを快適に下回っていても、500mのウィンドウ予算を使い果たします。これはバーストテストが示すとおりです。

リクエストはどのように強制されますか? CFSの重み(cpu.shares / cpu.weight)です。Kubernetesスケジューラは、ノードにリクエストされたCPU以上のCPUを詰め込みません。ノードが実際にビジーな場合、CFSはその重みに比例して時間を分割します。16個の1 CPUリクエストの隣にある16 CPUリクエストは、マシンのおよそ半分を得ます。他に何も必要ありません。

リミットは、悪いポッドがノードを食い尽くすのを防ぎませんか? ノードの独占は神話です。余剰CPUは借りられるものであり、奪われるものではありません。他のポッドがCPUを要求した瞬間、CFSはミリ秒単位でそれらのコアを戻し、リクエストの重みに比例して再び時間を分割します。ビジーなポッドのリミットは、アイドル状態のCPUを使用するのを止めるだけです。それは他の誰にもCPUを与えません。隣接するポッドはリクエストによって保護されます。複数のポッドが同時にバーストした場合、余剰は先着順ではなく、CFSがリクエストに比例して分割します。ノード上の余剰が巨大な場合、そのノードのリクエストは小さすぎます。

Go / Java / .NETは、スレッドプールをサイズ設定するためにリミットを必要としませんか? それらはしばしばクォータを読み取り、それをCPU数として扱います。リミットを削除すると、ノード全体に合わせてサイズ設定される可能性があります。GOMAXPROCS、JVMの同等機能、またはDOTNET_PROCESSOR_COUNTを設定してください。ランタイムを縮小するためだけにCPUリミットを維持しないでください。

HPAはリミットを見ますか? いいえ。CPUオートスケーリングは、使用量をリクエストで割ったものです。リミットを削除した後、使用量はリクエストの100%を超える可能性があり、より多くのレプリカが得られるかもしれません。

静かなノードとビジーなノードでアプリの動作が同じになるように、リミットが欲しいと思いませんか? それがリミットが提供するもの、つまりどこでも同じキャップです。ノードがアイドル状態の場合でもです。その代償としてスロットリングが発生します。ほとんどのサービスは、利用可能な場合にアイドルCPUを使用すべきです。一貫性はデフォルトではなく例外です。

これは予約されたコアですか? ノードがコア全体をピン留めする場合のみです(cpuManagerPolicy: static、整数リクエスト、リクエストがリミットと等しい)。リクエストとリミットを等しく設定するだけではピン留めされません。ピン留めは、一部の大企業がポッドに排他的な物理コアを与えるために使用する別の設定です。それを使用していない限り、それに触れないでください。

リミットを削除するとGuaranteed QoSを失いますか? はい、ポッドはBurstableになります。実際には、これは聞くほど問題になりません。kubeletはメモリ圧力下でポッドをエビクトしますが、CPUのためではありません。CPUは圧縮可能であり、不足している場合は待機するだけで、何もキルされません。メモリリクエストとメモリリミットを等しく保てば、エビクションのリスクは実質的に変わりません。また、ノード圧力下では、kubeletはQoSクラスだけでなく、使用量がリクエストをどれだけ超えているかに基づいてポッドをランク付けします(docs)。プラットフォームがリクエストとリミットの等価性を強制する場合(GKE Autopilotのように)、このCPUリミットを削除するというアドバイスは適用されません。

JVM/Spring Bootポッドはアイドリング時は20mですが、起動には800m必要です。リミットなしでは、30個の再起動ポッドが互いに競合します。 これはどちらの場合もCPUの競合であり、リミットはそれを悪化させます。各ポッドはスロットリングされ、アイドルCPUは使用されません。実際の問題を解決してください:ロールアウトを段階的に行う(maxSurge/maxUnavailable)、恥ずかしい20mを超えるリクエストを設定する、またはkube-startup-cpu-boost(Kubernetes 1.33以降ベータ、1.35でGA)を使用して、起動中にポッドに一時的なブーストを与える。準備完了プローブにも注意してください。競合下での遅い起動はプローブを不安定にし、HPAを誤解させる可能性があります。

リミットを削除した後、バーストポッドがノード自体に損害を与える可能性がありますか? 他のポッドには影響しませんが、kubelet、containerd、CNI、ログシッパーはしばしば非常に小さいか、CPUリザーブなしで実行されます。バーストポッドがすべての余剰CPUにアクセスすると、execプローブが遅延し、準備完了が不安定になる可能性があります。修正策は、kubelet設定のsystem-reservedおよびkube-reservedであり、ノード自体のデーモン用にCPUを確保します。ポッドごとのCPUリミットは、このための間違ったツールです。

リミットを削除したら、ポッドが拒否されました。 名前空間のResourceQuotaがlimits.cpuに設定されていると、すべてのポッドがリミットを宣言する必要があります。また、LimitRangeのデフォルトがサイレントに挿入されます。これを展開する前に両方を確認してください。代わりにrequests.cpuにクォータを設定してください。これはスケジューラが実際に予約する数値です。

ベンチマークを自分で実行する

使い捨てのクラスターを使用してください。ポッドの1つが意図的にCPUを消費します。

minikube start --driver=docker --cpus=8 --memory=8192
kubectl config use-context minikube

./scripts/run.sh
./scripts/oom.sh
./scripts/gc.sh
./scripts/web.sh
./scripts/cleanup.sh

run.shはレイテンシ/スロットリングラボです。oom.sh、gc.sh、web.shは3つのOOMKilled証明(バックログ、スターベーションしたコレクタ、Web API)です。それぞれ、キャップ付きポッドが死亡するとすぐに終了します。web.shは負荷の1分以内に終了します。それらの間でcleanup.shを実行してください:gc.shは新しいポッドを要求します。

kubectlとpython3が必要です。最初の実行ではマルチGBの.NET SDKイメージがダウンロードされるため、1分ほどかかります。その後、全体で約5〜10分かかります。NSとKCTXは必要に応じて名前空間とクラスターを変更します。実行は、ビジーな隣接ポッドでノードを完全に満たし、その後無制限のアプリを再度測定することで終了し、新鮮な数値から結果チャートを再生成します。

実行中に次のような出力が期待されます。

[14:02:11] target context=minikube ns=cpu-lab
[14:03:47] waiting for app-limit
[14:09:02] === burst  ~400m average, 5 rps, 45s ===
[14:09:52] load job=burst-limit rps=5 45s -> http://app-limit/burst?threads=4&ms=20

リポジトリレイアウト

  • app/ - .NETテストアプリ(バースト、混合、エンキュー、GCワーク、レンダリング、情報エンドポイント)
  • k8s/ - ポッド、ロードジョブ、ビジー隣接ポッド、統計プローブのマニフェスト
  • scripts/ - run.shはレイテンシラボを駆動し、oom.sh、gc.sh、web.shはOOMKilled証明を駆動し、lib.shは共有ヘルパーを保持します。
  • results/ - 最後の実行の出力、run.md、oom.md、および生のJSONLを含む。
  • assets/ - このREADMEで使用されている図とチャート。
  • docs/ - 詳細なリファレンスチャプター(理論、ランタイム、データベース、測定、コスト、ロールアウト、異議申し立て)。

詳細な解説

READMEは議論であり、docs/はその背後にあるリファレンスマテリアルです。

  • 理論:CFSクォータメカニクス - クォータ/期間、マルチスレッドクォータ消費、なぜスロットリングが減速ではなく停止なのか、cpu.weightが実際に何を保護するのか。
  • ランタイム - CPUリミットが.NETのスレッドプールとGCに何をするか、GoのGOMAXPROCS、JVMのActiveProcessorCount、そしてGCスターベーションによるOOMKilledインシデント。
  • データベース - Postgresがクォータに関係なくノードコアからサイズ設定される理由、そしてそれが並列ワーカー、autovacuum、および接続数に何をするか。
  • 測定 - スロットリング比率、深刻度バンドのPromQL、および独自のクラスターで「後」がどのように見えるべきか。
  • コスト - なぜリクエスト(リミットや使用量ではなく)がノード数を駆動するのか、右サイジングモデルの作業例、そして節約のメモリフロア。
  • ロールアウト - 段階的で元に戻せる計画:ランタイムをピン留めし、オブザーバビリティを追加し、ガードレールを追加し、環境ごとにリミットを削除し、リクエストを右サイジングし、1行でロールバックする。
  • 異議申し立て - より深いFAQ:メッセージコンシューマー、プレーンHTTP API、ノイジーネイバー、サーキットブレーカーとしてのリミットのジレンマ、マルチテナントクォータ、QoS/エビクションのニュアンス、そしてリミットが意味をなす場合。

さらに読む


この分析は、Claude Fable 5とGrok 4.6との共同制作です。