HN 日本語サマリー

← 一覧へ戻る
プログラミング

Goのガベージコレクタ、スワップが原因で40msの一時停止を引き起こす

A 40ms Go garbage collector pause caused by swap (frn.sh)

91 pointsby shellpipe78 コメント

要約

本記事は、本番環境でスワップを有効にした際に発生しうる、Goのガベージコレクタ(GC)における予期せぬ長時間停止(40ms)について解説しています。GCが参照するメタデータページがスワップアウトされた場合、GC実行時にディスクI/Oが発生し、これが「Stop-the-world」ポーズを著しく遅延させる原因となります。この問題はアプリケーションの応答性に深刻な影響を与える可能性があり、筆者はそのメカニズムと影響、そして回避策について詳細に分析しています。

全文翻訳

A 40ms Go GC pause caused by swap

この記事は、本番環境でメモリの急増を吸収するためにスワップを有効にした際に、私がほぼ経験したであろう「額を叩く」ような事態を避けるために書いています。

私は、2つのプロセスを持つcgroupを運用していました。一つは io.ReadAll と proto.Unmarshal を呼び出し、ブロブとグラフ構造(Goのアロケータによって scan とマークされる)を作成するGoプロセスです。もう一つは、ほとんど静かなHTTPサーバーです。

コレクタが実行されるたびに、scan スパンをポインタごとに読み取り、それに対して何をするかを決定します。そこで私は考えました。「メモリプレッシャー下では、カーネルはページをスワップデバイスに追い出すだろうが、追い出しはcgroupごとでプロセスごとではないので、両方のプロセスのページが追い出されるだろう。これにより、カーネルとガベージコレクタの間でスワップインとスワップアウトの悲しいダンスになる可能性は小さいだろう」と。

私は間違っていました。この実験中に、私を傷つける可能性のある問題を発見しました。Goのガベージコレクタは、ワールド停止中にそのメタデータ(ヒープの外、解放されない領域)を読み込みますが、そのメタデータがスワップされている可能性があるのです。

MGLRUを有効にしたカーネル6.8を使用し、Hetznerのボックスでモック実行を行いました1。これらの実験に関するすべてのもの(プロット、モックアロケータ、bpfスクリプト、pythonスクリプトなど)は、こちらで見つけることができます。中央値の停止時間は約51マイクロ秒でした。NVMeにメタデータがある場合、最悪の停止時間は40ミリ秒でした。

[画像: alt]

この40ミリ秒がどこに行ったのかを確認するために、ワールド停止中にページフォールトをカウントする小さなbpfスクリプトを作成しました。これが最悪のケースでした。「39902 us, faults during it 228, 39013 us in faults」。40ミリ秒のうち39ミリ秒は、228回のページフォールトに費やされました。これらのフォールトは、GCのブックキーピング内で発生しました。

// addr2line output
0x42e5c8  runtime.(*spanSet).reset         /usr/local/go/src/internal/runtime/atomic/types.go:194
0x4219de  runtime.finishsweep_m            /usr/local/go/src/runtime/mcentral.go:71
0x4629cf  runtime.gcStart.func2            /usr/local/go/src/runtime/mgc.go:724
0x46dd8a  runtime.systemstack              /usr/local/go/src/runtime/asm_amd64.s:518
0x4169dc  runtime.gcStart                  /usr/local/go/src/runtime/mgc.go:722

0x4276a4  runtime.nextMarkBitArenaEpoch    /usr/local/go/src/runtime/mheap.go:2481
0x421a65  runtime.finishsweep_m            /usr/local/go/src/runtime/mgcsweep.go:268
0x4629cf  runtime.gcStart.func2            /usr/local/go/src/runtime/mgc.go:724
0x46dd8a  runtime.systemstack              /usr/local/go/src/runtime/asm_amd64.s:518
0x4169dc  runtime.gcStart                  /usr/local/go/src/runtime/mgc.go:722

これは潜在的な障害モードです。GoのGCは、スイープ終了時とマーク終了時の2つの時点でワールドを停止する必要があります。テストでは30分間に312回のこのような停止が発生しました。

これが起こる理由は次のとおりです。ランタイムはこれらのページを割り当てます。それらは解放されず、再利用されます。これらのページはGCサイクルで読み込まれます。カーネルは年齢によってページを追い出すため、最も最近アクセスされなかったページをスワップに送ります。GCが実行され、ワールドが停止し、これらのページを読み込もうとしますが、ここでメジャーページフォールトが発生します。カーネルはPTEを読み取る必要があり、次にdo_swap_pageを呼び出し、新しいフレームを見つけ、cgroupに課金し、ページを読み込み、bioを送信し、ディスクの完了を待ち、それらをメモリに戻す必要があります。簡潔に言うと、これらすべてです。

この40ミリ秒は、最初は無害に見えます。しかし、ワールド停止について話しています。この40ミリ秒はすべてが停止したことを意味します。Goの用語では、すべての P が停止したため、例えば、ゴルーチンがI/Oを待っていた場合、その停止中にI/Oが完了しても、それを処理するものがいないことになります。40ミリ秒は、中央値の停止時間の800倍です。テスト中、メモリの急増ごとに2〜3回発生します。これはかなりの時間です。

そして、もう一つ気づいたことがあります。通常3〜5ミリ秒かかる511 KiBメッセージのビルドが、NVMeでは105ミリ秒、Hetznerのネットワークボリュームでは903ミリ秒に跳ね上がりました。メッセージあたり、これはメタデータ停止よりもコストがかかります。しかし、割り当てを行うゴルーチンだけがその代償を払うので、少なくともメタデータ停止のようなグローバルなものではなく、局所的です。

[画像: alt]

どこに時間がかかっているかはまだ確認していませんが、それでもここで言及したいと思いました。なぜなら、これも支払うことになる別のコストだからです。いずれにせよ、私はChris Downに同意します。スワップは悪ではありません。しかし、ガベージコレクションとはうまく機能せず、本番環境では大量のデータを収集しています。


更新、9月14日。

Go 1.26のGreen TeaガベージコレクタがGCのメタデータの読み込み方法を変更したかどうか尋ねられました。測定したところ、影響は無視できる程度でした。

[画像: alt]


  1. これらの実験に関するすべてのもの(プロット、モックアロケータ、bpfスクリプト、pythonスクリプトなど)は、こちらで見つけることができます。↩︎