HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Kubernetesのプローブの仕組み

How Kubernetes Probes Work (ngrok.com)

111 pointsby cyndunlop21 コメント

要約

Kubernetesのプローブ(Startup, Readiness, Liveness)は、コンテナのヘルスチェックを行い、アプリケーションの回復力と安定性を向上させます。これらのプローブを設定することで、コンテナの起動中やクラッシュ時の不要な再起動ループやリクエスト失敗を防ぎ、サービス提供の継続性を確保できます。本記事では、インタラクティブなデモを通じて、プローブの設定方法や誤設定による失敗例、デプロイ速度への影響などを解説します。

全文翻訳

Kubernetesのプローブの仕組み

Kubernetesにおけるプローブの仕組みを、アプリケーションをよりレジリエントにし、数時間かかる再起動ループやロールアウト中のリクエストドロップといった避けられるミスを防ぐ方法を、実際に見ていきましょう。

この記事のすべてのインタラクティブデモでは、webernetesを使用しています。これは、KubernetesのGoコードをTypeScriptに部分的に移植したもので、10万行以上のコードを含み、シミュレートされたクラスターをブラウザ内で実行できます。これらのデモの動作はk3sと比較して検証し、Kubernetesのバグも見つけました。詳細は後述します。

プローブのないPod

単一コンテナのPodを実行してみましょう。マニフェストは pod-a.yaml です。

pod-a.yaml
apiVersion: "v1"
kind: "Pod"
metadata:
  name: "pod-a"
spec:
  containers:
    - name: "app"
      image: "my-app:latest"

この my-app:latest イメージは、起動に数秒かかり、その後ポート8080でリッスンを開始します。これは、コンテナを再起動するシグナルを送信してクラッシュさせ、Kubernetesに再起動させることで確認できます。デモはいつでも一時停止またはリセットできます。

node-1

  • 0/2Restart container Not yet complete.

最初のクラッシュ後、コンテナはすぐに再起動します。2回目以降は、Kubernetesはコンテナを再起動する前にデフォルトでCrashLoopBackOffを適用します。この遅延はデフォルトで10秒ですが、クラッシュごとに倍増し、最大5分まで増加します。このデモでは3秒に短縮しています。

どちらの場合も、Kubernetesはコンテナが起動した直後にReadyとみなしますが、実際にはまだ起動中です。起動作業中で、ポート8080でリッスンしていません。

次に、2秒ごとにpod-aにリクエストを送信するpod-bを追加します。記事全体を通して、pod-bはクライアントトラフィックのソース(Ingressコントローラー、ロードバランサー、サービス間リクエストなど)として考えてください。

以下のデモでpod-aのコンテナを再起動すると、リクエストが送信されている最中であれば、そのリクエストは失敗します。

node-1

  • Cause a request to fail Not yet complete.

コンテナを再起動してから起動作業が完了するまでの間、コンテナはReadyとみなされているにもかかわらず、リクエストは失敗します。これは望ましくありません。Kubernetesにpod-aがトラフィックを受け入れる準備ができていることを知ってもらう必要があります。

このために、Kubernetesは プローブ を提供します。プローブは、コンテナのヘルス状態を判断するために定期的に送信されるチェックです。プローブには3つの種類があります。

  • Startup probes: コンテナ内のアプリケーションが起動したかどうかを判断します。
  • Readiness probes: アプリケーションがトラフィックを受け入れる準備ができているかを判断します。
  • Liveness probes: アプリケーションが再起動を必要とするかどうかを判断します。

上記のデモで示した問題には、Startup probesが最も適しているように思われるため、そこから始めましょう。

Startup probes

以下は、pod-a.yaml にStartup probeを追加したものです。

pod-a.yaml
apiVersion: "v1"
kind: "Pod"
metadata:
  name: "pod-a"
spec:
  containers:
    - name: "app"
      image: "my-app:latest"
      startupProbe:
        httpGet:
          path: "/startup"
          port: 8080
        periodSeconds: 1
        failureThreshold: 5

これは httpGet プローブで、Podのポート8080に対して GET /startup リクエストを送信します。ステータスコード200〜399は成功とみなされます。これは periodSeconds 秒ごとに実行され、failureThreshold 回連続で失敗するまでKubernetesはコンテナを停止しません。これにより、コンテナは約5秒で起動作業を完了できます。

Kubernetesは tcpSocket、exec、grpc プローブもサポートしています。これらはTCP接続を確立したり、コンテナ内でコマンドを実行したり、gRPCヘルスチェックプロトコルを呼び出してコンテナのヘルスを確立します。これらについては、Kubernetesドキュメントで読むことができます。この記事では httpGet を使用します。

プローブはkubeletと呼ばれるプロセスによって送信されます。クラスターの各ノードには独自のkubeletがあり、各ノードで適切なPodが実行され、プローブされていることを確認するのがkubeletの仕事です。

以下のデモでpod-aを再起動すると、NotReadyと表示されます。Kubernetesはpod-aがまだ初期化されていないことを認識しています。最初のStartup probeが成功するまでReadyになりません。

node-1

  • 0/2Restart container Not yet complete.

kubelet

Startup probeを持つコンテナの場合、NotReadyがPodのデフォルト状態です。しかし、Readyでなくても、pod-bは引き続きpod-aにリクエストを送信し、それらのリクエストはコンテナの起動中に失敗します。これは、pod-bが直接pod-aのIPアドレスにリクエストを送信するように設定されており、Readinessメカニズムをバイパスしているためです。

技術的には、Kubernetesには NotReady 条件はなく、Ready 条件があり、これは True、False、または Unknown になり得ます。デモでは Ready=True または Ready=False よりも短いため、NotReady と呼んでいます。

これらの失敗したリクエストを修正するには、より本番環境に適した設定に進む必要があります。つまり、複数のpod-aのコピーを用意し、それらの間でリクエストをロードバランシングします。ここでは、pod-aのレプリカを2つ実行するように設定されたReplicaSetと、それらの間でロードバランシングを行うServiceを作成します。

replica-set-a.yaml
apiVersion: "apps/v1"
kind: "ReplicaSet"
metadata:
  name: "replica-set-a"
spec:
  # `template`の下で定義されたPodのコピーを2つ実行します。
  replicas: 2
  selector:
    matchLabels:
      # このラベルを持つPodをこのReplicaSetの一部とみなします。
      app: "pod-a"
  template:
    metadata:
      labels:
        app: "pod-a"
    spec:
      # 前と同じPod specです。
      containers:
        - name: "app"
          image: "my-app:latest"
          startupProbe:
            httpGet:
              path: "/startup"
              port: 8080
            periodSeconds: 1
            failureThreshold: 5
service-a.yaml
apiVersion: "v1"
kind: "Service"
metadata:
  name: "service-a"
spec:
  selector:
    # このラベルを持つPod間でロードバランシングします。
    app: "pod-a"
  ports:
    # Podのこのポートにリクエストを送信します。
    - port: 80
      targetPort: 8080

今後は、pod-bは個々のPodのIPアドレスに直接リクエストを送信するのではなく、ServiceのためにKubernetesが作成するDNS名、この場合は service-a.default.svc.cluster.local にリクエストを送信します。KubernetesはPodの Ready 条件を使用して、Serviceのロードバランシングに含めるか除外するかを決定します。

以下のデモで、再起動ボタンをクリックして上のコンテナのみをクラッシュさせてください。上のコンテナが起動中に、リクエストは常に下のコンテナに送信されることに注意してください。コンテナがNotReadyの場合、Pod全体がNotReadyとマークされ、それが属するどのServiceからもトラフィックを受け取らなくなります。

node-1

  • 0/2Restart top container Not yet complete.

kubelet

それにもかかわらず、再起動ボタンがコンテナを突然クラッシュさせるため、リクエストがインフライト中に失敗する可能性があります。コンテナはインフライト中のリクエストを完了する機会を得られません。

ここでより良い方法は、Podを 削除 し、ReplicaSetに新しいPodを起動させることです。これは2つの理由で優れています。

  1. KubernetesはデフォルトでPodに30秒の終了猶予期間を与えます。この記事では2秒に設定しているため、待つ必要はありません。削除されると、Podは終了中とみなされ、Kubernetesはそれらを属するServiceから削除します。新しいリクエストは受け取らなくなります。
  2. ReplicaSetは、終了中のPodをアクティブなレプリカとしてカウントしないため、削除されたPodが終了中になるとすぐに新しいPodを作成します。

これら、正常終了とStartup probeを組み合わせることで、起動中または停止中のコンテナからリクエストを遠ざけます。次のデモでは、削除ボタンをクリックしてもpod-bからのリクエストは失敗しません。

node-1

  • 0/2Wait for containers to be ready Not yet complete.

kubelet

新しいリクエストを処理できるPodが常に存在するため、ユーザーのトラフィックを中断することなくPodを削除できます。

Startup probeの設定ミス方法

先ほど、failureThreshold を5、periodSeconds を1に設定することで、Podに約5秒で起動作業を完了させるようにしたと述べました。これらの値は、ご自身のコンテナに合わせて慎重に選択してください。時間が短すぎると、コンテナがクラッシュループに陥る可能性があります。

以下の failureThreshold を変更すると、コンテナは新しい値で再起動されます。1または2に設定して、何が起こるか見てみましょう。

node-1

[図: node-1 contents]

failureThreshold

5

数回の再起動後、pod-aはCrashLoopBackOff状態になります。Startup probeはコンテナが起動するのに十分な時間を与えないため、このデモは failureThreshold を3以上に設定するまでクラッシュループを続けます。ご自身のコンテナを設定する際は、最悪の起動時間に対応できる値を選択してください。

Readiness probes

Startup probeが成功した後、Readiness probeはコンテナの残りの期間を監視します。Readiness probeが失敗すると、コンテナはNotReadyとマークされ、それが属するどのServiceからもリクエストの受信から除外されます。

ここでは、pod-a.yaml をReadiness probeのみを持つように変更しました。

pod-a.yaml
apiVersion: "v1"
kind: "Pod"
metadata:
  name: "pod-a"
spec:
  containers:
    - name: "app"
      image: "my-app:latest"
      readinessProbe:
        httpGet:
          path: "/ready"
          port: 8080
        periodSeconds: 3
        failureThreshold: 1
        successThreshold: 1

これは3秒ごとに /ready エンドポイントに送信されます。1回の失敗後、コンテナはNotReady状態になります。以下のデモで /ready を200から503に変更し、コンテナがNotReadyになる様子を観察してください。

node-1

[図: node-1 contents]

/ready

200

503

上記のデモでは failureThreshold と successThreshold を1に設定していますが、一時的な単一障害でPodをServiceから除外したくはありません。以下では、しきい値を2に設定しました。再度 /ready を503に設定し、コンテナがNotReadyになるまでに2回の失敗が必要になることに注意してください。

node-1

[図: node-1 contents]

/ready

200

503

ここで、ReadyからNotReadyに切り替わる際に、帯域外プローブが実行される可能性があることに気づくかもしれません。これは以前と同じ理由です。PodはNotReadyであり、そのステータスが更新されたばかりです。

デフォルトでは successThreshold は1、failureThreshold は3です。これらは一般的に良いデフォルト値であり、特別な理由がない限り変更しないことをお勧めします。

Readiness probeがあるのにStartup probeが必要なのはなぜですか?

上記のデモではReadiness probeのみを使用しています。プローブはすぐに開始され、コンテナが起動作業を完了するまで成功しません。これはまさにStartup probeが行っていたことですが、なぜ両方のプローブタイプが必要なのでしょうか?

いくつかの良い理由があります。

  1. Startup probeは、初期化が完了するまでReadinessとLivenessの開始を遅延させます。
  2. これにより、起動には個別の periodSeconds と failureThreshold を設定でき、遅い初期化は定常状態のReadinessやLivenessよりも頻繁にプローブできます。
  3. 繰り返しの起動失敗はコンテナを停止させ、再起動ポリシーを適用します。Readinessの失敗はそうしません。再起動は、スタックしたコンテナをReadyにするのに役立つ可能性があります。

複数のプローブを同時に使用できます。例えば、1秒ごとにStartup probeを送信して初期化を迅速に検出し、その後、コンテナとkubeletへの定常状態のプローブ負荷を軽減するためにReadiness probeを5秒ごとに遅くすることができます。

pod-a.yaml
apiVersion: "v1"
kind: "Pod"
metadata:
  name: "pod-a"
spec:
  containers:
    - name: "app"
      image: "my-app:latest"
      startupProbe:
        httpGet:
          path: "/startup"
          port: 8080
        periodSeconds: 1
        failureThreshold: 5
      readinessProbe:
        httpGet:
          path: "/ready"
          port: 8080
        periodSeconds: 5

Readiness probeは、Startup probeが成功するまで開始されません。以下のデモは一時停止状態で開始されるため、最初から見ることができます。準備ができたら再生ボタンを押し、最初からやり直したい場合はリセットを押してください。

node-1

kubelet

/startup

200

503

/ready

200

503

この保証、つまりReadiness probeがStartupの成功まで開始されないという点は、/startup エンドポイントで起動固有のチェックを行うことを可能にします。初期設定がロードされたか、キャッシュがウォームアップされたかなどを確認できます。実際には、Startup probeはReadiness probeよりも一般的に使用されません。必要に応じてオプションとして利用できることを知っておくと便利です。

Readiness probeでコンテナを再起動したいと思った場合、ちょうど良いものがあります。

Liveness probes

最後のプローブタイプはLiveness probeです。このプローブはReadiness probeと似ていますが、コンテナが failureThreshold に達したときにコンテナをNotReadyとマークする代わりに、コンテナを停止します。KubernetesはPodの restartPolicy を適用し、デフォルトは `