Kubernetes 1.36におけるkubeletのメモリリークの修正
Fixing a kubelet memory leak in Kubernetes 1.36 (heyoncall.com)
要約
この記事は、Kubernetes 1.36におけるkubeletのメモリリーク問題の解決について解説しています。筆者は、自身の小規模なKubernetesクラスターでメモリ不足アラートが発生したことをきっかけに調査を開始。Goのpprofツールを用いて問題の根本原因を特定し、contextのライフサイクルに関するGoのバグを発見しました。最終的に、Kubernetesプロジェクトにパッチを提出し、問題の修正に貢献した経緯を詳しく説明しています。
全文翻訳
Kubernetes 1.36 の kubelet メモリリークの修正
Pod の startPodSync でコンテキストがリークする、Kubernetes kubelet の小さな Go のライフサイクルバグを特定した経緯。
数週間前、私は小規模な Kubernetes クラスタからアラートを受け取り始めました。これは、本番ワークロードを一切実行していない、単一ノードの Kubernetes テストクラスタでした。最近、このクラスタを v1.36 にアップグレードしたばかりで、DigitalOcean のマネージド DOKS サービスでホストされていました。私の倹約精神が予期せぬ恩恵をもたらしました。この小さな(というか、安価な!)2 GiB RAM のノードはメモリプレッシャーが非常に高かったため、Kubernetes 1.36 のより深い問題を迅速に明らかにしました。 メモリが豊富にあれば、もっと時間がかかっていたでしょう。
アラートを調査したところ、Pod は再起動されていましたが、kubectl top pods では異常に大きな Pod は表示されませんでした。ノードで実行されているアプリケーションはメモリの増加を経験しておらず、メモリ制限に近づいていませんでした。
Kubernetes のファサードを剥がし、ノード自体で root シェルを開き、短い htop と M の後、kubelet プロセス自体が肥大化し、成長し続けていることをすぐに発見しました!
ノードで systemctl restart kubelet を実行するとクラスタは再び正常になりましたが、根本的なリークはまだ存在しており、原因を特定しない限りすぐに再発する可能性がありました。
kubelet のヒープダンプ
Kubernetes は Go で書かれており、kubelet は Kubernetes の動作の中核となるコンポーネントです。これは各ノードで実行され、そのノードのコンテナを望ましいクラスタ状態と同期させる責任を負います。
Go の pprof パッケージを使用すると、実行中のプロセスからヒープメモリプロファイルをキャプチャできます。これをファイルに保存しました。
kubectl get --raw "/api/v1/nodes/${NODE}/proxy/debug/pprof/heap?debug=0" > "kubelet_pprof_heap.pb.gz"
その後、go tool pprof -top を使用して、合計サイズとオブジェクト数の両方で何が起こっているかを確認できます。
オブジェクト数別:
go tool pprof -top -sample_index=inuse_objects kubelet_pprof_heap.pb.gz
flat flat% sum% cum cum%
642456 45.52% 45.52% 918672 65.09% context.(*cancelCtx).propagateCancel
380137 26.93% 72.45% 380195 26.94% context.withCancel (inline)
276216 19.57% 92.02% 276216 19.57% context.(*cancelCtx).Done
10923 0.77% 92.80% 10923 0.77% container/list.(*List).insertValue (inline)
10923 0.77% 93.57% 10923 0.77% container/list.New (inline)
10923 0.77% 94.34% 10923 0.77% golang.org/x/net/http2.(*clientConnReadLoop).handleResponse
10923 0.77% 95.12% 10923 0.77% google.golang.org/protobuf/internal/impl.consumeStringValueValidateUTF8
10923 0.77% 95.89% 10923 0.77% k8s.io/api/core/v1.(*VolumeMount).Unmarshal
10923 0.77% 96.67% 10923 0.77% os.(*File).readdir
4681 0.33% 97.00% 16833 1.19% k8s.io/apimachinery/pkg/watch.(*StreamWatcher).receive
19 0.0013% 97.00% 21865 1.55% k8s.io/utils/internal/third_party/forked/golang/golang-lru.(*Cache).Add
0 0% 97.00% 10923 0.77% container/list.(*List).PushFront (inline)
0 0% 97.00% 380195 26.94% context.WithCancel
0 0% 97.00% 918614 65.08% context.WithDeadline (inline)
0 0% 97.00% 918614 65.08% context.WithDeadlineCause
0 0% 97.00% 918614 65.08% context.WithTimeout
... 0 0% 97.00% 918206 65.06% k8s.io/apimachinery/pkg/util/wait.PollUntilContextTimeout
... 0 0% 97.00% 918215 65.06% k8s.io/kubernetes/pkg/kubelet.(*Kubelet).SyncPod
... 0 0% 97.00% 22742 1.61% k8s.io/kubernetes/pkg/kubelet.(*Kubelet).syncLoopIteration
0 0% 97.00% 1309333 92.77% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).UpdatePod.func1
0 0% 97.00% 1309333 92.77% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).podWorkerLoop
0 0% 97.00% 929138 65.83% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).podWorkerLoop.func1 (inline)
0 0% 97.00% 380195 26.94% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).startPodSync
... 0 0% 97.00% 907283 64.28% k8s.io/kubernetes/pkg/kubelet/volumemanager.(*volumeManager).WaitForAttachAndMount
合計ヒープメモリ使用量別:
go tool pprof -top -sample_index=inuse_space kubelet_pprof_heap.pb.gz
flat flat% sum% cum cum%
86.33MB 51.28% 51.28% 115.83MB 68.80% context.(*cancelCtx).propagateCancel
29.50MB 17.52% 68.80% 29.50MB 17.52% context.(*cancelCtx).Done
29MB 17.23% 86.03% 30.54MB 18.14% context.withCancel (inline)
1.66MB 0.99% 87.02% 1.66MB 0.99% google.golang.org/grpc/mem.(*sizedBufferPool).Get
1.50MB 0.89% 87.91% 2.50MB 1.49% github.com/google/cadvisor/container/libcontainer.newContainerStats
1MB 0.59% 88.50% 1MB 0.59% reflect.unsafe_New
1MB 0.59% 89.10% 1MB 0.59% github.com/google/cadvisor/container/libcontainer.diskStatsCopy
1MB 0.59% 89.69% 1MB 0.59% k8s.io/apimachinery/pkg/util/sets.Set[go.shape.string].Insert (inline)
1MB 0.59% 90.28% 1MB 0.59% internal/bytealg.MakeNoZero
... 0 0% 91.48% 30.54MB 18.14% context.WithCancel
0 0% 91.48% 114.29MB 67.89% context.WithDeadline (inline)
0 0% 91.48% 114.29MB 67.89% context.WithDeadlineCause
0 0% 91.48% 114.29MB 67.89% context.WithTimeout
... 0 0% 91.48% 103.52MB 61.49% k8s.io/apimachinery/pkg/util/wait.PollUntilContextTimeout
... 0 0% 91.48% 104.04MB 61.80% k8s.io/kubernetes/pkg/kubelet.(*Kubelet).SyncPod
... 0 0% 91.48% 135.08MB 80.24% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).UpdatePod.func1
0 0% 91.48% 135.08MB 80.24% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).podWorkerLoop
0 0% 91.48% 104.54MB 62.10% k8s.io/kubernetes/pkg/kubelet.(*podWorkers).podWorkerLoop.func1 (inline)
... 0 0% 91.48% 103.02MB 61.19% k8s.io/kubernetes/pkg/kubelet/volumemanager.(*volumeManager).WaitForAttachAndMount
kubelet の実装を覗いた経験はなかったものの、ほぼ 100 万個のコンテキストがメモリ使用量の大部分を占めているのを見て、すぐに驚きました。これは正しくないように思えます。
Codex がリグレッションを発見
慣れない新しいコードベースに飛び込み、質問できることは、最近の AI コーディングツールの最も強力なスーパーパワーの 1 つです。私は kubelet/volumemanager.(*volumeManager).WaitForAttachAndMount の行を疑っていましたが(exec ベースの readiness および liveness プローブが問題だったのかもしれません)、Codex はすぐに正しい問題に導いてくれました。Kubernetes 1.36 で 2026-02-19 に導入された変更で、このコードが原因でした。
// initialize a context for the worker if one does not exist
if status.ctx == nil || status.ctx.Err() == context.Canceled {
status.ctx, status.cancelFn = context.WithCancel(context.Background())
}
ctx = status.ctx
これは、各 Pod のコアとなる調整ループである、すべての startPodSync で実行されます。それ自体では、新しい行は無害に見えるかもしれません。キャンセル可能な新しいコンテキストを作成し、キャンセル関数を格納します。
問題は、2 回目のパスで何が起こるかです。
status.cancelFn が既に前のキャンセル関数を指している場合、この代入はその関数を上書きします。古いキャンセル関数が呼び出されなかった場合(通常の成功ケースではそうなりません)、古い子コンテキストはその親にアタッチされたままになります。Go のコンテキストドキュメントでは、CancelFunc を呼び出すと親から子への参照が削除されると明示されており、呼び出しを怠ると、親がキャンセルされるまで子コンテキストはリークします。
これはすべての Pod 調整ループで呼び出されるため、数日間で約 100 万個のリークしたコンテキストにまで増加し、よりビジーなクラスタではさらに多くなっていたでしょう!
報告とパッチ
私は Kubernetes プロジェクトにコミットしたことはありませんでしたが、新規参入者としての私の経験では、彼らは問題を迅速にトリアージし、パッチのマージをサポートする素晴らしいプロセスを実行していました。
さらに複雑さを増すことに、私の最初のパッチ試行はローカルテストをパスしましたが、Kubernetes CI 環境で実行される E2E 統合テストで失敗しました。これらは、readiness および liveness プローブを処理する prober worker が、コンテキストをあまり正しく使用していなかった別の問題も明らかにしました!メモリリークを解決するという観点から、チームは私に、より広範なコンテキストの修正は後回しにして、直接的な問題の解決に集中するように導きました。
コードには、より深いクリーンアップを試みる次の人のために、「注意」というコメントをいくつか残しました。
// Be careful not to leak contexts (see #139823).
// Be careful that long-lived goroutines (such as prober workers) outlive
// the lifetime of a single startPodSync cancellation context.
タイムライン
- 2026-06-17: メモリリーク issue を報告
- 2026-06-18:
startPodSyncで原因となったコード変更を発見 - 2026-06-18: Maintainers が
accepted,important-soon,regressionタグを付与 - 2026-06-18: PR をオープン
- 2026-06-19: prober worker の失敗により PR を簡略化
- 2026-06-23: Maintainers が
lgtmタグを付与 - 2026-06-25: Maintainers が
approvedタグを付与し、masterブランチにマージ(v1.37 に反映される) - 2026-06-28:
release-1.36ブランチに対する backport PR をオープン(v1.36 のパッチリリースに含めるため) - 2026-06-29: Maintainers が backport PR に
approvedタグを付与 - 2026-07-03: Maintainers が
release-1.36ブランチに backport PR をマージ - (まだですが、ターゲット日 2026-07-14 に Kubernetes v1.36.3 のパッチリリース予定)
学んだこと
Kubernetes チームは素晴らしい協力相手でした。
ヒープメモリプロファイリングはスーパーパワーです。
メモリリークは以前とは異なる様相を呈します。
長期稼働する本番システムには、短期テストではしばしば欠けている時間的次元の要素があります。
時には問題はアプリケーションレベルのワークロードではなく、その下のすべてのインフラストラクチャにあります。
「電源を切って入れ直す」は依然として最強です。:)
付録: kubelet のメモリ使用量を確認するワンライナー
kubectl get --raw "/api/v1/nodes/${NODE}/proxy/metrics" | grep process_resident_memory_bytes
実行前:
# HELP process_resident_memory_bytes Resident memory size in bytes.
# TYPE process_resident_memory_bytes gauge
process_resident_memory_bytes 1.021227008e+09
systemctl restart kubelet 実行後:
# HELP process_resident_memory_bytes Resident memory size in bytes.
# TYPE process_resident_memory_bytes gauge
process_resident_memory_bytes 1.15019776e+08
これは 974 MiB から 110 MiB への減少です。