平均値は意味がない:レイテンシ問題をデバッグするためのデータ可視化
The mean means nothing: data visualization to debug a latency problem (fzakaria.com)
要約
この記事では、平均値だけでは見落としがちなレイテンシ問題のデバッグ方法について解説しています。筆者は、平均レイテンシが上昇したように見えても、実際には中央値が改善し、一部のテールエンド(p95, p99)が大幅に悪化しているケースを例に挙げ、累積分布関数(CDF)やリッヂライン、ヒートマップなどの可視化手法が、データの全体像を把握し、問題の根本原因(例:キャッシュヒットとミス)を特定する上でいかに有効であるかを説明しています。
全文翻訳
平均値は無意味
最近、私は$DAYJOBでlldに関連するパフォーマンス改善の検証を試みていましたが、ベンチマークでは改善が見られるのに、本番環境のダッシュボードではそれが確認できないという状況に少しフラストレーションを感じていました。
Webサービス開発のバックグラウンドから来た私は、個々の時系列ダッシュボード、時には数パーセンタイルを見ることに慣れており、何らかの顕著な変化を期待していましたが、データは結論を出すにはノイズが多すぎました。
偶然にも、同僚もビルド速度の改善評価で同様の問題に直面していたことがわかりました。ビルドには、コールドキャッシュ、インクリメンタル、ローカル、リモートなど、多くの変数が影響を与える可能性があり、システムの状態やワークロードによってはビルド時間は大きく変動します。彼女はデータを可視化するために累積分布関数(CDF)を活用することにし、それは私にとって啓示となりました。
これにより、CDFに加えて、データを可視化する他のいくつかの異なる方法を探求することになり、単一の画像や統計量では全体像を伝えるには不十分であることが多いということを学びました。この記事では、単一の合成データセットを使用して、異なる可視化が同じデータについてどのように異なるストーリーを語れるかを紹介します。目標は、データを単一の数値で要約するだけでなく、見ることを皆さんに納得していただくことです。
以下のすべては、固定シードを持つ単一の合成データセットから来ています。完全なスクリプトはこのgistで見つけることができます。それはnix-shellのシェバンを持つ単一のファイルであり、nixを使用している限り、すべての図を正確に再現できます。
注 この投稿のデータとチャートの生成にはAIの助けを借りました。それが気になるなら、ごめんなさい。🤷
ロールアウトが「悪化させた」もの
状況設定はこうです:私たちは典型的なWebサービスを運営しており、リクエストレイテンシを削減することを期待して、1週間にわたって新しいキャッシュ層をロールアウトしました。
変更は完全にデプロイされ、平均値をプロットするレイテンシダッシュボードは次のようになります。
[画像: ロールアウト前後の平均レイテンシの棒グラフ;ロールアウト後は122msで、ロールアウト前の112msより約9%高い]
平均レイテンシは112msから122msへと増加しました。☹️
SEV(インシデントの深刻度レベル)が発行され、変更を元に戻し、ポストモーテムを書いて、という流れになるのでしょうか?🤔
一つの数値、四つの物語
特にWebサービスにおいては、様々なパーセンタイル、特にp95やp99のような分布のテールエンドを見ることは、しばしば良い習慣です。
| 統計量 | 前 | 後 | 変化 |
|---|---|---|---|
| 平均値 | 112 ms | 122 ms | +9% |
| p50 (中央値) | 99 ms | 54 ms | −46% |
| p95 | 224 ms | 454 ms | +103% |
| p99 | 309 ms | 678 ms | +119% |
これで問題が発生しました。問題は、全員が正しいということです。平均値は、変更が軽微なリグレッションであることを示しています。中央値(p50)は、変更が大きな成功であり、典型的なリクエストがほぼ半分に高速化したことを示しています。p99は、それがSEV11SEV、または「Severity」は、インシデントや障害を説明するために普及している方法です。SEVはしばしば影響の大きさによって数値でランク付けされ、例えばSEV0が最も深刻です。 、最悪のリクエストが倍以上に増加したことを示しています。
同じ数値から計算された平均値と中央値は、反対の方向を指しています。
エンジニアはしばしばデータ指向であることを教えられますが、自分の主張を裏付ける統計量をえり好みするのは簡単です。
形状を見る
分布の形状をプロットできる次の基本的なことは、その形状をプロットすることです。以下は、ロールアウト前後の2つのレイテンシ分布を密度プロットで示したものです。
[画像: レイテンシの密度プロット(ロールアウト前と後);前は単一のこぶ、後は速いピークと遅い領域に二つ目のこぶがある]
そこにあります。🤓☝️ 「ロールアウト前」は一つの整然としたこぶです。「ロールアウト後」は二つのこぶです。
これはすでに前述の矛盾を説明していますが、正しく視覚化するのは少し難しいです。形状は選択した平滑化パラメータに依存し、二つの塗りつぶしは重なる部分で互いにぼやけ、パーセンタイルを読み取るのは実際に困難です。二つの集団があることはわかりますが、中央値がどこに行ったのかは簡単にはわかりません。
あなたが使っていないかもしれない最高のチャート
累積分布関数(CDF)は、すべてのパーセンタイルに対して一つの質問に答えます:ミリ秒あたりx以下のリクエストの割合はどのくらいですか?
[画像: レイテンシのCDF(ロールアウト前と後);二つのステップ曲線は約140msで交差する]
CDFは、単一のチャートで複数のパーセンタイルを視覚化する非常に簡単な方法です。曲線によっては、リクエストレイテンシが全集団にどのように分布しているかを理解できます。
「ロールアウト前」と「ロールアウト後」のCDFを同じチャートにプロットして比較すると、非常に役立つことがわかりました。これにより、様々なパーセンタイルでの変化を視覚化し、変更が全集団にどのように影響したかを理解できます。
この例では、「ロールアウト後」の曲線は140ミリ秒未満のリクエストレイテンシで左にシフトしています。これは、以前よりも速く完了するリクエストが増えたことを意味します。「ロールアウト後」の曲線は、140ミリ秒より右側で「ロールアウト前」の曲線よりも高くなっています。これは、以前よりも遅く完了するリクエストが増えたことを意味します。二つの曲線は約140ミリ秒で交差しており、これは変更が成功から失敗へと転じるターニングポイントです。
ヒント 交差する二つのCDFは、単一のパーセンタイルでは要約できない変更の明白な兆候です。なぜなら、効果の符号は、どのパーセンタイルに尋ねるかによって異なるからです。
誰が勝ち、どれだけ勝ったか
CDFは、効果が符号を変えること(速くなるか遅くなるか)を教えてくれます。次に当然の質問は、各ポイントでどれだけ変化したかです。各パーセンタイルpについて、ロールアウト後のレイテンシからロールアウト前のレイテンシを引いたもの、すなわちシフト関数をプロットできます。
[画像: シフト関数:各パーセンタイルでのレイテンシの変化、約p76までゼロを下回り、その後テールに急上昇する]
ゼロラインより下は変化が速く、上は遅くなります。各パーセンタイルでの変化の大きさを視覚化できます。
リグレッションは最初から存在していた
これまでは、ロールアウト前後の2つの静的なスナップショットを見てきました。しかし、ロールアウトはしばしば即時的ではありません。この例では、新しいキャッシュ層を1週間にわたってロールアウトし、トラフィックを0%から100%に段階的に増やしました。
各日はどうだったでしょうか?各日の分布を積み重ねると、リッヂラインが得られます。
[画像: 各ロールアウト日のレイテンシのリッヂラインプロット(対数軸);ロールアウトが0から100パーセントに増加するにつれて、二つ目のピークが現れる]
これで、時間の経過とともにリグレッションが現れるのを視覚化できます。メインのピーク(高速なリクエスト)がロールアウトの進行とともに左にスライドし、二つ目のピーク(遅いリクエスト)が右側に現れるのがわかります。中央値は低下していますが、遅いリクエストは数とレイテンシにおいて静かに増加しています。
ここでのx軸は対数軸です。レイテンシはおおよそ対数正規分布しており、線形軸では速いピークは目立たない広がりを持つ高いスパイクですが、対数軸によって両方のこぶがこぶとして読み取れます。
同様のことを、単一のグリッドに押し込めて、ヒートマップとして行うこともできます。1日につき1列、各レイテンシにどれだけのトラフィックが着地するかを色で示します。
[画像: ロールアウト日ごとのレイテンシ密度のヒートマップ;暗いメインバンドが下降し、ロールアウトが進むにつれてより高い位置に二つ目のバンドが現れる]
新しい集団がかすかに現れているのが、なんとなくわかります。
1週間全体で計算された集計値は、これら7つの非常に異なる日を一つのぼやけた数値に混ぜ合わせ、傾向を完全に隠してしまうでしょう。
二峰性は原因があった
これで何が起こったのかを徹底的に確立しました。次の質問はなぜかです。これは実際、$DAYJOB`での、レイテンシ分布の二峰性を観察するためにデータをバイナリサイズ(つまり>50MiB)でカットする必要があったのと非常に似ています。
この例では、新しいキャッシュ層は、リクエストをキャッシュから提供する(ヒット)か、バックエンドにフォールスルーして追加のホップを発生させる(ミス)かのどちらかです。「ロールアウト後」のリクエストをそのプロパティで分割し、それぞれにCDFを描画できます。
[画像: キャッシュのヒットとミスのキャッシュ結果で分割されたロールアウト後のレイテンシのフィルタリングされたCDF、ベースラインを破線で参照として表示;二つのクリーンな単峰性曲線がそれを挟む]
キャッシュの結果で条件付けすると、各集団は再び単峰性になります。
キャッシュのヒットは、左にシフトしているため、古いベースラインよりも高速であることが簡単にわかります。
キャッシュのミスは、追加のホップのコストを支払い、右側に大きく位置します。
なぜそれらのリクエストなのか?
「一部のリクエストはキャッシュをミスする」というのはメカニズムですが、まだ原因ではありません。どのリクエストがミスし、なぜでしょうか?
各リクエストには、まだ使用していないフィールドがもう一つあります:そのレスポンスサイズです。
キャッシュは小さくホットなオブジェクトを保持します。大きいものはエビクトされるか、決して収まりません。レイテンシをレスポンスサイズに対してプロットし、各点をキャッシュヒットかミスかで色分けできます。また、各マージンに密度を追加して、二つの集団が各軸に沿ってどのように分布しているかを見ることができます。これはジョイントプロットです。
[画像: ロールアウト後のトラフィックのレイテンシ対レスポンスサイズのジョイントプロット、キャッシュ結果で色分け;キャッシュヒットは小さく速いものにクラスター化し、キャッシュミスは大きく遅いものにクラスター化し、マージナル密度は各軸での分割を示す]
二つのクリーンな集団クラスターが見えます:小さくて速い(キャッシュヒット)と、大きくて遅い(キャッシュミス)です。レイテンシ分布の二峰性は、レスポンスサイズ分布の二峰性によって引き起こされていることが明らかです。
これで、キャッシュの最大オブジェクトサイズを増やすか、大きいレスポンスを分割するという、具体的なアクションにつながるものがあります。🔥
一枚のグラフは千の数値に値する
多くの場合、単一のパネルやグラフは、せいぜい全体像を伝えるには小さすぎます。最悪の場合、誤解を招く可能性があります。全体像を理解するためには、同じデータに対して複数のビューを持つことが有益です。
CDFが、特に複数の集団のように見えるものを比較する際に、単一のチャートで全体の分布を伝える方法に特に感銘を受けました。
「自分で偽造しなかった統計は信用するな。」– ウィンストン・チャーチル