Goランタイムの理解: プロファイリング
Understanding the Go Runtime: Profiling (internals-for-interns.com)
要約
この記事は、Go言語のランタイムにおけるプロファイリング機能について解説しています。CPU、ヒープ、ブロック、ミューテックス、ゴルーチンの5種類のプロファイルがあり、これらはすべて同じ基盤構造を共有しています。プロファイルデータは、gzip圧縮されたProtocol Buffer形式で保存され、`go tool pprof`で分析可能です。各プロファイルは、信号駆動、インプレース記録、またはオンデマンドスナップショットといった異なる収集モデルを採用しており、CPUプロファイリングは信号によって非同期に、ヒープやブロックなどはイベント発生時にインプレースで、ゴルーチンプロファイリングは要求時に実行されます。
全文翻訳
Goランタイムの理解:プロファイリング
前回の記事では、reflectパッケージを分解し、そのマジックの大部分はコンパイラがビルド時に読み取り専用データにフリーズする型ディスクリプタと、それらをウォークする方法を知っているパッケージによるものであることを発見しました。記事全体は、mainが開始される前にすでにメモリ上にあったメタデータを読むことについてでした。
今日は視点を変えます。プロファイリングとは、ランタイムがプログラムを実行中にキャプチャすることです。プログラムが何をして、どこに時間を費やしているかをサンプリングし、それをgo tool pprofで開けるものに集計します。すべてのサンプルの心臓部は、Stacktracesの記事で見たのと同じアンワインダーで生成されたコールスタックです。したがって、プロファイリングとは、ビルド時のスタック読み取りの上に座る、ライブなモーメントキャプチャなのです。
しかし、Goにはプロファイルの種類が1つだけではありません。5つ提供されています。CPU、ヒープ、ブロック、ミューテックス、ゴルーチンです。最初は5つの無関係なサブシステムのように見えますが、すべて同じ骨格を共有しており、一度それを見れば、すべてが5つの方法で繰り返される1つのアイデアに収束します。(6つ目のゴルーチンリークプロファイルはGo 1.27で登場予定です — Alex Riosがそれを掘り下げた素晴らしいブログ記事シリーズを書いています — しかし、今日は現在出荷されている5つに焦点を当てます。)そこから始めましょう。
5つのプロファイルすべてにおける最も深い類似性は、実際に持ち帰るもの、つまりファイルです。どのプロファイルを収集したとしても、ディスクに保存されるのは同じ形式です — そしてそれは驚くほどシンプルです。pprofプロファイル、つまりgzip圧縮されたprotocol bufferです。Go固有でさえなく、GoogleのC++プロファイラ(gperftools)が出力するものと同じ形式であり、go tool pprofがより広いpprofエコシステムと共有するものです。したがって、各プロファイルがどのように収集されるかを見る前に、それらがすべて何に収集されるかを見てみましょう。
トップレベルでは1つのProfileメッセージがあり、重要な部分はわずかな繰り返しフィールドだけです。
message Profile {
repeated ValueType sample_type = 1; // 各サンプルの数値が何を意味するか
repeated Sample sample = 2; // 実際のデータ
repeated Mapping mapping = 3; // ロードされたバイナリ/共有ライブラリ
repeated Location location = 4; // PC、コード内の場所へ解決される
repeated Function function = 5; // 名前、ファイル、開始行
repeated string string_table = 6; // すべての文字列、重複排除済み
}
巧妙なのは、インラインで格納される量がどれほど少ないかということです。Sampleはほとんど何もありません — 値のリストとlocation IDのリスト(リーフが先頭)です。
message Sample {
repeated uint64 location_id = 1; // コールスタック、参照として
repeated int64 value = 2; // 例: [サンプル数、CPUナノ秒]
repeated Label label = 3; // サンプルに添付された追加のキー/値タグ
}
これらの各部分はProfile内の独自のテーブルに存在し、すべてIDで相互に参照しています。まとめると、全体は次のようになります(簡略化された視覚化)。
[画像: プロファイルデータ構造:サンプル、場所、関数、文字列テーブルを保持するProfileコンテナ。サンプルはIDで場所を参照し、場所は関数を参照し、名前は文字列テーブルに一度だけ格納される]
図が可視化するのは間接参照です。Sampleは関数名やスタックフレームを保持しません — それはlocation_idのリストを保持します。スタックトレースのフレームごとに1つずつ(リーフが先頭)。それらのいずれか1つをlocationテーブルにたどるとLocationに到達し、それは(Lineを介して)Functionを指し、そのアドレスが含まれるロードされたバイナリまたは共有ライブラリであるMappingも記録します。Functionは最終的に人間が読めるビット — 名前、ファイル、開始行 — を保持しますが、それらも文字列ではなく、下部にある1つの共有string_tableへの整数インデックスです。したがって、それはルックアップの連鎖です:サンプル → 場所 → 関数 → 文字列。そして何も重複しません:同じLocation、Function、および文字列は、コード内のそのスポットに触れたすべてのサンプルによって参照されるため、1万個のサンプルに表示されるスタックは、関数名を1回だけ格納します。
これはまた、各プロファイルの抽象的な「値」が意味を持つ場所でもあります:sample_typeは、各サンプルの数値が実際に何を測定するかを宣言します。形状のその部分は、プロファイル間で実際に異なる部分です — 同じコンテナ、列のラベルは異なります — なので、記事の残りの部分で各プロファイルタイプに到達するにつれてそれを埋めていきます。
プロファイルが何であるかについてはここまでです。次に、ランタイムが実際にそれをどのように埋めるかを見てみましょう。
データがそこへ行く方法
どのプロファイルを収集しているとしても、1つのことは一定です:どこかでランタイムはアンワインダーでコールスタックをキャプチャし、最後にすべてが先ほど見たpprofファイルとして出力されます。しかし、スタックが一方から他方へどのように移動するかは、5つの間で同じではありません — その違いが本当の物語です。
5つは3つの収集モデルに分類されます。
- CPUは非同期に記録します。シグナルが実行中のスレッドを中断し、ハンドラがスタックをキャプチャしてリングバッファにログを記録し、別のバックグラウンドゴルーチンがバッファがいっぱいになるにつれてそれをドレインします。本物のストリーミングパイプラインです。
- ヒープ、ブロック、ミューテックスはインプレースで記録します。イベントが発生すると、スタックはハッシュ化されて永続的なパーサンプリングレコードのテーブルに入れられ、一致するレコードのカウンターがその場でインクリメントされます。何もストリーミングされず、何もバックグラウンドでドレインされません — データはただ座って蓄積され、プロファイルは要求された瞬間にオンデマンドで組み立てられます。
- ゴルーチンは実行中にまったく記録しません。トリガーもバッファもありません。プロファイルを要求すると、ランタイムはライブなゴルーチンのスタックをすべてその場で、1つのスナップショットでウォークします。
したがって、プロファイルごとに本当に変わるものは単一のノブではなく、収集モデル全体です。5つをモデルごとにグループ化して見ていきましょう。
CPUプロファイリング:シグナル駆動型
これは5つの中で最も特徴的なものです。なぜなら、そのトリガーはプログラムの外部から来るからです。オペレーティングシステムが実行中のスレッドをシグナルで中断し、「今何をしていた?」と尋ねます。これは約1秒間に100回発生します。
pprof.StartCPUProfileを呼び出すと、ランタイムは実行中のスレッドを中断するために必要なタイマーを設定します(CPUを消費する時間がサンプリングされるように)、そして結果を収集するためのバックグラウンドゴルーチンを開始します(src/runtime/pprof/pprof.go:888)。そのバックグラウンドゴルーチンを覚えておいてください — なぜそれが重要なのか、すぐにわかります。
タイマーのアームは簡単な部分です — 興味深いのは、タイマーが発火したときに何が起こるかです。
ティッキングのキャプチャ
タイマーの各ティックで、プログラムは中断されます。スレッドは、命令の途中で、ハンドラを実行するために何をしていても引き抜かれ、その後、中断したまさにその場所から再開することが期待されます。これにより、ハンドラは非常に厄介な状況に置かれます — メモリを割り当てることも、通常のロックを取得することもできません(src/runtime/proc.go:5748)。
ハンドラはアンワインダーでコールスタックをキャプチャし、サンプルの値とあなたのラベル(pprof.Doで添付できるもの)を埋め込み、それを保存します。しかし、覚えておいてください、それは割り当てもロックもできない — なので、その両方を要求しない場所にサンプルを置く必要があります。まさにそれを持っているもの、この制約のために設計された構造、ロックフリーで事前割り当て済みのリングバッファ(src/runtime/profbuf.go:91)です。これは、割り当てなしで、ロックを取得せずに追記できます。リングバッファであるため、それは有限です。もしドレインされるよりも速く満杯になった場合、次のサンプルのためのスペースがありません — なので、中断されたスレッドをスペースのために待たせるのではなく、バッファは単にサンプルをドロップし、どれだけ失われたかをカウントします(サンプルを失うことは問題ありません。スレッドをフリーズすることは問題です)。それは問題のように聞こえます — 誰も床にサンプルを落としたくない。そして、まさにそこで、最初に開始したバックグラウンドゴルーチンがその価値を発揮します。
その仕事は、リングバッファをできるだけ速くドレインすることです — まだ何も書き出すためではなく、リングがめったに満杯にならず、サンプルが失われないようにするためです。プルされた各バッチは、コールスタックをキーとするインメモリマップ(profMap)に折りたたまれ、同一のスタックはそこで重複排除され統合され、一致するエントリのカウントがインクリメントされます。セッション中は出力ファイルはまったく触られません。StopCPUProfileを呼び出したとき、最後のサンプルがすべてドレインされた後、ビルダーはマップを単一パスで通過し、それをpprof形式に変換します — すべてのサンプル、場所、関数、文字列を一度に出力し、go tool pprofで開くファイルを閉じます。
全体を視覚的に見てみましょう。
[画像: CPUプロファイルライフサイクル:シグナルハンドラでロックフリーリングバッファに収集されたサンプル。バックグラウンドゴルーチンによってドレインされ、profMapハッシュテーブルに集約され、同一のスタックが重複排除されカウントが蓄積される。その後、StopCPUProfile時に単一パスでpprofファイルに書き出される]
ここで見られるように、約1秒間に100回、中断されたスレッドがリングバッファにコールスタックをドロップし、バックグラウンドコレクタがそれらをドレインしてprofMapに集約し、最終的に — プロファイリングを停止するとき — すべてが変換されてpprofファイルに書き出されます。
私たちは単一のスタックを割り込みからファイルまで追跡しました。しかし、スタックだけではプロファイルではありません — それをプロファイルにするのは、それに付随する数値です。
各サンプルが運ぶ値
CPUプロファイルの目的は、各スタックがどれだけのCPUを使用するかを知ることです — そして、それは各サンプルのvalue[]スロットが関係するところです。CPUサンプルは2つの値を持っています:タイマーがこの正確なスタックを何回キャッチしたかの単純なカウント、およびCPU時間(ナノ秒)の推定値です。便利な点は、ランタイムが決して時間を測定しないことです — タイマーのティックを数えるだけです。ナノ秒の値は、カウントにサンプリング期間を掛けたものであり、タイマーは100Hzで発火するため、各ティックは約10ミリ秒を表します。したがって、50回キャッチされたスタックは約500ミリ秒のクレジットを受け取り、「この関数は3.2秒使用した」というのは、実際には約320ティック × 10ミリ秒です(src/runtime/pprof/proto.go:348)。
CPUプロファイリングのトリガーはプログラムの外部から来ました。次のプロファイルのトリガーは、プログラムの深部から来ます。
ヒーププロファイリング:アロケータサンプリング
ヒーププロファイリングはCPUと骨格を共有しています — アンワインダーがスタックをキャプチャし、結果は同じpprofファイルですが、ストリーミングモデルではなくインプレースモデルに属します。トリガーが発火し、スタックは永続的なテーブルにその場で折りたたまれ、プロファイルは要求されたときにのみ組み立てられます。したがって、何が違うかに焦点を当てます。3つの点があります:サンプルの蓄積場所、何がトリガーするか、そして各サンプルが収集するものです。それらをその順序で、ストレージから始めましょう(これはブロックおよびミューテックスプロファイルも共有します)。
スタックごとのバケットテーブル
CPUプロファイリングは、シグナルハンドラ内から記録するため、ロックフリーリングバッファを必要としました。そこでは割り当てもロックもできません。ヒーププロファイリングはアロケータの内部から記録します — まだデリケートな場所ですが、シグナルハンドラではありません — なのでロックを取得できます。ロックできるということは、CPUハンドラができなかったこと、つまりその場で集計することを可能にします。したがって、ストリーミングバッファの代わりに、コールスタックをキーとするレコードのハッシュテーブル、バケット(src/runtime/mprof.go:75)を使用します。同一のスタックは同じレコードに収束します:コードの同じ行での100万回の割り当ては100万個のエントリを作成せず、すべてがそのスタックのバケットを見つけてカウンターをインクリメントします。
これがコレクションのライフサイクルをどのように変えるか見てみましょう。
[画像: ヒーププロファイルライフサイクル:約512KiBごとに割り当てがサンプリングされ、ランタイムのスタックごとのバケットテーブルにインラインで折りたたまれる。このテーブルは永続的に存在し、割り当てと解放のカウントを追跡する。オンデマンドで、単一パスがバケットをスナップショットし、pprofファイルとして書き出す]
画像で見られるように、割り当ては発生時に直接バケットテーブルに集計されます — ドレインゴルーチンも、開始/停止ウィンドウもありません。バケットテーブルはランタイムに存在し、常に蓄積しています。その後、プロファイルが必要になるたびに、単一パスでpprofファイルにエクスポートされます。
それがサンプルの蓄積場所です。では、いつサンプリングするかを決定するのは何でしょうか?
トリガー:サンプリングされたアロケータ
トリガーはアロケータ自体です:すべての割り当てはランタイムコードを通過するため、中断するものはありません — ランタイムはそれを検出し、その場でサンプルを記録します(profilealloc, src/runtime/malloc.go:2238)。
すべての割り当てを記録するのはコストが高すぎるため、一部の割り当てのみをサンプリングします — デフォルトでは、割り当てられたバイトあたり平均1つ(MemProfileRate)、デフォルトで512KiBです。しかし、固定の512KiB境界でサンプリングするわけではありません。なぜなら、定期的な割り当てパターンがそれに同期して、まったく同じ場所をサンプリングし続ける可能性があるからです。代わりに、サンプリング間のギャップは平均値の周りでランダム化されるため、時間の経過とともにすべての割り当てサイトがキャッチされる公正な機会を得ます。(MemProfileRate = 1はすべてをサンプリングします。0は無効にします。)
ヒープサンプルがいつ取得されるかを知りました。それが取得されたときに記録されるものは次のとおりです。
データ:割り当てとまだライブなもの
CPUサンプルがティックカウントを運んだ場所で、ヒープサンプルは4つの数値、2つのペアで運ばれます:このスタックでいくつのオブジェクトが割り当てられ、その合計バイト数(alloc_objects / alloc_space)、そしてそれらのうちまだライブ(まだ解放されていない)なオブジェクトとそのバイト数(inuse_objects / inuse_space)です。バケットは割り当てと解放の実行中の合計を保持し、「使用中」は単に割り当てから解放を引いたものです。
最後の部分は微妙さを隠しています。割り当ては発生した瞬間にカウントされますが、解放はそうではありません — オブジェクトはガベージコレクタがそれをスイープしたときにのみ解放されたとカウントされます。両方を到着したときにカウントするだけでは、スナップショットは不均衡になります。多くの割り当てが表示されますが、解放はまだカウントされていないため、その解放はほとんど表示されません。そのため、ランタイムは意図的にカウントを遅延させます:割り当てとその最終的な解放が同じ会計サイクルに収まるように調整し、サイクルが完全に確定した後にのみ公開します — 「すべての投票が数えられた後に結果を発表しない」トリックです。
もう1つの調整があります:スケーリング。プロファイラは512KiBあたり約1つの割り当てしか記録しないため、保持される各サンプルは、キャッチされなかった多くのサンプルの代わりになります。そのため、数値を表示する前に、各数値をスケーリングして実際の合計を推定します。ただし、大きなオブジェクトほどキャッチされやすい(それらは512KiB予算のかなりの部分を占める)ため、ランタイムは小さく見逃しやすい割り当てを大きくスケーリングし、大きくほとんど常にキャッチされるものをほとんどスケーリングしません(src/runtime/pprof/protomem.go:16)。
ヒーププロファイリングはメモリを監視しました。次の2つのプロファイルはまったく別のものを監視します — 待機で失われた時間です。
ブロックプロファイリング:待機中
ヒーププロファイリングと同様に、ブロックプロファイリングはすでに見た機械を再利用します — 同じスタックキーのバケットバッファを含む — なので、ここでも違いに焦点を当てます。トリガーは競合です:ゴルーチンがチャネル、select、sync.Cond、セマフォなどの何かを待つのを終了したときに発火し、ランタイムはそれがどれだけブロックされていたかを、発生したスタックをキーとして記録します(blockevent, src/runtime/mprof.go:506)。要するに、「私のゴルーチンは待機にどれだけの時間を費やしているか?」という質問に答えます。待機したゴルーチンをキャッチします。
各サンプルは2つの値を持ちます:ブロックイベントのカウント(contentions)と、ナノ秒単位での合計待機時間(delay)です。興味深いのは、どのイベントを保持するかをどのように決定するかです。ブロックプロファイリングは期間でサンプリングします:長い待機は常に記録され、待機が短いほどスキップされる可能性が高くなります。したがって、追跡する価値のある長いブロックは決して見逃されず、多数の短い待機は間引かれます。
この選択的な保持は、数値をスケーリングバックアップする必要があることも意味します。短いイベントが20分の1の確率で保持された場合、私たちが1つ見るごとに、それに似た約19個が破棄されたことになります — なので、ランタイムは生存者を20イベントとしてカウントし、その遅延を一致するようにインフレートします。保持された各サンプルに対してそれを行うと、合計は何もドロップされなかった場合に測定されたであろうものの推定値に戻ります。
ブロックプロファイリングはゴルーチンが待機したことを伝えますが、何にスタックしていたかは伝わりません。それは次のプロファイルが埋めるギャップです。
ミューテックスプロファイリング:ロック競合
ミューテックスプロファイリングはブロックプロファイリングの双子です — 同じバケットバッファ、同じ2つの値(contentionsとdelay)。異なるのは、それがどの競合を監視するかです。ブロックプロファイリングが待機したゴルーチンをキャッチするのに対し、ミューテックスプロファイリングは、それを待たせたロックをキャッチします。ゴルーチンが他のものが待っていたロックを解放したとき、ランタイムはそれらがどれだけ待ったかをスタックをキーとして記録します(mutexevent, src/runtime/mprof.go:838)。したがって、「私のロック競合はどこにあるか?」という質問に答えます。
そのサンプリングはブロックのものより単純です。期間で重み付けする代わりに、ミューテックスプロファイリングはフラットな割合を保持します — 平均してNイベントに1つ、待機時間に関係なくランダムに選択されます。スケーリングバックアップはそれに正確に反映されます:保持された各イベントはNイベントの代わりになるため、ランタイムはカウントと遅延の両方にNを掛けます。したがって、100分の1のサンプリングは、生のキャプチャされた数値の約100倍の合計を報告します — これも、実際の競合の推定値です。
これまでの4つのプロファイルはすべて、プログラムの実行中に記録を行います。それぞれがイベント — タイマーシグナル、割り当て、ゴルーチンが待機を終了したこと — によって開始されます。5つ目は、要求されるまで何も記録しません。
ゴルーチンプロファイリング:オンデマンドスナップショット
これは完全に型を破ります:バックグラウンドトリガーもサンプリングもありません。ゴルーチンプロファイルはスナップショットです — ライブなすべてのゴルーチンとその現在のスタックの国勢調査で、要求された瞬間に取得されます。
難しいのは、プログラムをフリーズせずにそのスナップショットを取得することです。明白なアプローチ — ワールドを停止し、すべてのゴルーチンをウォークし、再開する — は機能しますが、数十万のゴルーチンではそのポーズは壊滅的です。そのため、Goはプログラムを実行し続けながら、ほとんどすべてのスタックをキャプチャします。短いワールド停止中に、すべてのゴルーチンに「まだ記録されていない」とマークし、コレクタがゴルーチンを1つずつウォークしている間にプログラムを再開させます。巧妙な点:コレクタがまだ到達していないゴルーチンを実行するようにスケジューラが望む場合、そのゴルーチンは最初に自身のスタックを記録します。したがって、2つは戦うのではなく協力します — どちらが先にゴルーチンに到達してもそれを記録し、誰もそれを2回記録せず、1つの巨大なポーズは、その間に並行して行われた作業で2つの小さなポーズに変わります(src/runtime/mprof.go:1356)。
値は5つの中で最も単純です:各サンプルは、その正確なスタックに現在何個のゴルーチンがあるかを示す単一のカウント(goroutine)を運びます。これはワンショットの国勢調査なので、サンプリングしたりスケーリングしたりするものはありません — 同一のスタックは単に一緒に集計されるため、同じチャネルでブロックされている10,000個のゴルーチンは、10,000のカウントを持つ1つのエントリに収束します。
それが5つすべてです。一歩引いてみると、共有された骨格は簡単に見逃せません。
要約
それが5つです。すべて同じpprofファイルとして終了し、すべてのサンプルは単なるコールスタックです — 本当に変わるのは、スタックがどのように記録されるかです。
- CPUはストリーミングします:タイマーがスレッドを中断し、シグナルハンドラ内(割り当てなし、ロックなし)から、各スタックはバックグラウンドゴルーチンがドレインし続けるリングバッファに入ります。
- ヒープはインプレースで集計します:アロケータは各サンプリングされたスタックをランタイムに存在するバケットテーブルに直接折りたたみ、ファイルは要求されたときにのみ書き出されます。
- ブロックとミューテックスは同じバケットテーブルを使用しますが、割り当ての代わりに待機で発火します — 一方は待機したゴルーチンをキャッチし、もう一方はそれを待たせたロックをキャッチします。
- ゴルーチンは要求されるまで何も記録しません。その後、ライブなすべてのゴルーチンのスタックを一度にスナップショットするだけです。
そして、その下の教訓:プロファイリングは楽に見えます。なぜなら、ランタイムが面倒な作業をあなたのために行ってくれるからです — 割り当てやロックさえできない場所でデータをキャプチャし、まったく異なる瞬間に到着するイベントを1つの整合性のある絵に並べます。
そして、これでGoランタイムに関するこのシリーズを閉じます — 少なくとも今のところは。スケジューラとメモリallocatorから、ランタイムがプロファイリングでどのように自身を監視するかまで、すべてをカバーしました。これは一時停止の良い場所だと感じます。お読みいただきありがとうございました。もしランタイムのまだ分解してほしいコーナーがあれば、教えてください — そこには探求すべきことが常にあります。