HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Jev駆動SRE診断:成功した点と失敗した点

Jev-Driven SRE Diagnosis: What Worked and What Failed (sregym.com)

32 pointsby matt_d12 コメント

要約

この記事では、LLMエージェントを使用せず、Jevというツールを主導的な役割で用いたSREインシデント診断パイプラインについて解説しています。このパイプラインは、クラスターの証拠をプログラムで収集・整理し、Jevに与えることで、根本原因の特定と診断レポートの作成を行います。21件のSREGym-Lite障害に対するテストでは、76.2%の診断成功率と14.6秒の中央値診断時間を達成しました。

全文翻訳

Jev駆動SRE診断:成功した点と失敗した点

最初の研究では、LLMエージェントの意思決定支援としてJevを実験しました。エージェントはインシデントの診断と修復を行い、Jevはエージェントが提案するテストのランク付けや証拠のレビューを支援しました。

その投稿では、より野心的なアイデアで締めくくりました。それは、Jevにクラスターの広範なビューを与え、その高速かつ低コストな判断で調査を導くというものです。

この記事では、LLMエージェントを一切使用しないJev駆動の診断パイプラインを紹介します。このパイプラインは、クラスターの証拠をプログラムで収集・整理し、Jevに渡します。Jevは最も可能性の高い根本原因とそれを裏付ける観察結果を選択し、パイプラインはその情報を使用して診断レポートを組み立てます。

21件のSREGym-Lite障害において、Jev駆動パイプラインは105件中80件(76.2%)の診断を成功させ、中央値診断時間は14.6秒でした。

Jevはどのように診断を駆動するのか?

Jevは、提供された選択肢の中から選ぶことで質問に答えます。診断にそれを使用するには、証拠と可能な回答の両方を提供する必要があります。クラスターの状態をこれらの入力に変換するためのプログラムコレクターを追加しました。

まず、コレクターはKubernetesオブジェクト、イベント、最近のPodログ、リソース使用状況を読み取ります。観察結果をデプロイメントなどのコンポーネントごとにグループ化し、障害の兆候を要約します。Jevはこれらの要約を受け取り、調査すべき可能性のあるソースを選択します。

次に、コレクターはそのコンポーネントに関する詳細情報を収集し、番号付きの証拠項目を準備します。Jevは、そのコンポーネントが原因であるか、下流の被害者であるか、または無関係であるかを判断し、その回答を最もよく裏付ける証拠を選択します。パイプラインはこれらの選択を使用して診断を組み立て、提出します。証拠が仮説を裏付けられない場合は、別の候補を調べます。

このバージョンでは、一度に1つの候補を調査します。Jevはプロセス全体を通して提供された選択肢の中から選びます。コマンドを生成したり、最終レポートを作成したりすることはありません。パイプラインの実装はGitHubで入手可能です。

図1. 診断パイプラインは、プログラムによる証拠収集とJevの集中的な決定を交互に行います。

パイプラインの動作

Social NetworkアプリケーションのSREGym-Liteのmutating_webhook_resource_limits_social_network障害を見てみましょう。

この障害では、nginx-thrift用に作成されたPodがメモリ不足で繰り返し停止していました。そのDeploymentテンプレートは256Miのメモリ制限を指定していましたが、新しいPodは16Miしかありませんでした。Podが作成される際に、ミューテーティングアドミッションWebhookがそれらの制限を書き換えていました。他の4つのWebhook構成も存在したため、名前だけでWebhookを特定しても原因を特定することはできませんでした。

コレクターはsocial-network内で27個のDeploymentを見つけ、それぞれをコンポーネントとして要約しました。nginx-thriftについては、Podとそのテンプレートの間の違いを見つけ、一致するWebhookを特定しました。以下は、Jevが最初の呼び出しで見たnginx-thriftの要約の抜粋です。

Component: deployment/nginx-thrift
Signals:
  Pod was OOMKilled and restarted.
  Live Pod memory limit: 16Mi (Deployment template: 256Mi).
  Matching Pod-creation webhook: gatekeeper-mutating-webhook-configuration.

次にJevは、パイプラインによって提供された選択肢を使用して、2つの選択質問に答えました。

Question: Which component is the likely origin?
Jev:      deployment/nginx-thrift

Question: What kind of object carries the fault?
Jev:      admission_webhook

要約における不一致と一致するWebhookは、2番目の選択肢を裏付けました。

その後、パイプラインはnginx-thriftに関する詳細情報を収集し、Jevに26個の証拠項目を提供しました。その中には以下の2つが含まれます。

E6:  The nginx-thrift Pod was OOMKilled.
E10: The Pod has a 16Mi memory limit, although its template says 256Mi.
  gatekeeper-mutating-webhook-configuration matches this Pod.

フォローアップの質問の中で、Jevは次のように答えました。

Question: Is nginx-thrift the origin, a victim, or unrelated?
Jev:      origin

Question: What category names the cause?
Jev:      admission_or_namespace_policy

Question: Which evidence item best shows the mechanism?
Jev:      E10

JevはE10を主要な証拠として選択しました。パイプラインは、一致するWebhookがメモリ制限の変更を引き起こしたと推測し、それを提出物に記載しました。収集された証拠は、メモリの不一致とWebhookの一致を示していました。提出された診断には次のように記載されていました。

Root cause object: MutatingWebhookConfiguration
  gatekeeper-mutating-webhook-configuration, acting on Deployment nginx-thrift.
Mechanism: the new Pod has a 16Mi memory limit instead of the template's 256Mi.
        The matching webhook rewrites the Pod at admission.
Observed: nginx-thrift was OOMKilled and restarted.

この障害に対する5回の試行すべてで、診断ルーブリックをパスしました。コレクターは実質的な診断作業を行いました。Podとテンプレートの違いを見つけ、Webhookの候補を絞り込みました。Jevは影響を受けたコンポーネントと提出すべき証拠を選択しました。

105件の診断結果

9月4日のSREGym-Liteコホートの21件の障害シナリオを、jev-1.13.0を使用して5回実行しました。各実行で診断が提出されました。SREGymの9つの質問からなる診断ルーブリックと0.70の合格閾値を使用し、高推論負荷でgpt-6-astraでそれらの診断を採点しました。これは現在のリーダーボードコホートではなく、過去の21件の障害コホートです。

指標結果
判定された診断パス80/105 (76.2%)
5回の試行すべてでパスした障害16/21
5回の試行すべてで失敗した障害5/21
中央値診断時間14.6秒
Jev呼び出し合計252回; 試行あたり2.4回
中央値合計Jev APIレイテンシ(試行あたり)0.53秒
Jev入力トークン348万
推定Jev推論コスト$0.15 (TypeSafeの公開価格)

結果は異常に一貫していました。障害ごとに、5回の試行すべてがパスするか、すべて失敗しました。21件の障害のうち18件では、5回の試行すべてが同じ診断スコアを受け取りました。これらは別々の実行であり、同じスコアを受け取ったからといって、Jevが毎回同じパスをたどったわけではありません。

障害ごとの結果 21件の障害 · 105件の診断

admission webhook outage hotel reservation 5/5

admission_webhook_outage_hotel_reservation: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0012.0 s3
2Pass1.0012.0 s3
3Pass1.0012.6 s3
4Pass1.0012.2 s3
5Pass1.0012.3 s3

cronjob sidecar blocks completion hotel reservation 5/5

cronjob_sidecar_blocks_completion_hotel_reservation: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0014.0 s2
2Pass1.0013.6 s2
3Pass1.0013.5 s2
4Pass1.0013.5 s2
5Pass1.0013.8 s2

duplicate pvc mounts social network 5/5

duplicate_pvc_mounts_social_network: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0014.6 s2
2Pass1.0014.4 s2
3Pass1.0014.5 s2
4Pass1.0014.5 s2
5Pass1.0014.5 s2

edge request filter cpu saturation 0/5

edge_request_filter_cpu_saturation: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Fail0.6715.8 s2
2Fail0.6715.8 s2
3Fail0.6715.6 s2
4Fail0.6715.7 s2
5Fail0.6715.8 s2

env variable shadowing astronomy shop 5/5

env_variable_shadowing_astronomy_shop: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass0.8915.7 s2
2Pass0.8915.9 s2
3Pass0.8915.5 s2
4Pass0.8915.5 s2
5Pass0.8915.8 s2

finalizer deadlock controller hotel reservation 5/5

finalizer_deadlock_controller_hotel_reservation: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0013.7 s2
2Pass1.0013.5 s2
3Pass1.0013.5 s2
4Pass1.0013.4 s2
5Pass1.0013.5 s2

internal traffic policy local astronomy shop 5/5

internal_traffic_policy_local_astronomy_shop: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass0.8915.6 s2
2Pass0.8915.6 s2
3Pass0.8915.8 s2
4Pass0.8915.8 s2
5Pass1.0015.9 s2

kafka poison pill hol block 0/5

kafka_poison_pill_hol_block: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Fail0.6716.1 s2
2Fail0.6722.0 s5
3Fail0.6715.8 s2
4Fail0.6724.5 s6
5Fail0.6716.1 s2

mutating webhook resource limits social network 5/5

mutating_webhook_resource_limits_social_network: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass0.8914.9 s2
2Pass0.8914.7 s2
3Pass0.8914.7 s2
4Pass0.8914.9 s2
5Pass0.8914.5 s2

namespace memory limit 5/5

namespace_memory_limit: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass0.8911.8 s2
2Pass0.8911.3 s2
3Pass0.8911.8 s2
4Pass0.8911.8 s2
5Pass0.8911.8 s2

network policy block 5/5

network_policy_block: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0012.5 s2
2Pass1.0012.4 s2
3Pass1.0012.5 s2
4Pass1.0012.4 s2
5Pass1.0012.4 s2

readiness probe misconfiguration social network 5/5

readiness_probe_misconfiguration_social_network: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0013.9 s2
2Pass1.0014.0 s2
3Pass1.0014.0 s2
4Pass1.0014.1 s2
5Pass1.0014.3 s2

rolling update misconfigured social network 5/5

rolling_update_misconfigured_social_network: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0014.9 s2
2Pass1.0014.9 s2
3Pass1.0014.9 s2
4Pass1.0015.0 s2
5Pass1.0014.9 s2

search rate retry collapse hotel reservation 0/5

search_rate_retry_collapse_hotel_reservation: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Fail0.3413.7 s3
2Fail0.3413.6 s3
3Fail0.3419.0 s3
4Fail0.3420.8 s2
5Fail0.3419.6 s3

secret rotation stale env credentials astronomy shop 5/5

secret_rotation_stale_env_credentials_astronomy_shop: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0016.1 s2
2Pass1.0016.0 s2
3Pass1.0016.0 s2
4Pass1.0016.1 s2
5Pass1.0016.0 s2

service dns resolution failure social network 0/5

service_dns_resolution_failure_social_network: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Fail0.5614.2 s3
2Fail0.5614.6 s3
3Fail0.6714.3 s3
4Fail0.5614.6 s3
5Fail0.5614.4 s3

service wrong pod selection hotel reservation 5/5

service_wrong_pod_selection_hotel_reservation: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass0.8912.7 s2
2Pass0.8912.6 s2
3Pass0.8912.7 s2
4Pass0.8912.5 s2
5Pass0.8912.7 s2

unschedulable incorrect port assignment 5/5

unschedulable_incorrect_port_assignment: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0016.3 s2
2Pass1.0016.2 s2
3Pass1.0016.0 s2
4Pass1.0016.1 s2
5Pass1.0016.2 s2

valkey auth disruption 0/5

valkey_auth_disruption: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Fail0.3421.0 s4
2Fail0.3421.0 s4
3Fail0.5625.1 s7
4Fail0.4526.8 s8
5Fail0.3427.3 s8

wrong dns policy astronomy shop 5/5

wrong_dns_policy_astronomy_shop: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0015.9 s2
2Pass1.0015.9 s2
3Pass1.0015.8 s2
4Pass1.0016.1 s2
5Pass1.0015.9 s2

wrong service selector social network 5/5

wrong_service_selector_social_network: 5回の独立した試行がgpt-6-astraによって高推論負荷で判定されました

試行診断スコア時間Jev呼び出し
1Pass1.0014.1 s2
2Pass1.0013.9 s2
3Pass1.0013.8 s2
4Pass1.0013.8 s2
5Pass1.0013.9 s2

パターンは中心的な設計上の質問を指し示しています。それは、クラスター状態のどの粒度をパイプラインがJevに示すべきかということです。粗い要約は障害を説明する詳細を隠してしまう可能性があり、YAMLのすべての行を渡すと有用な信号が埋もれてしまう可能性があります。適切な粒度を選択することは、受信した証拠を判断するモデルの能力と同じくらい重要かもしれません。

Jevは診断の76.2%をパスし、GPT-5.6 Sol(medium)の77.8%に近く、診断あたり約7倍高速で、診断あたり約200分の1のコストで実行されました。

JevはLLMエージェントよりも柔軟性が低いです。その診断は、パイプラインが提供する証拠と回答の選択肢に依存します。しかし、その速度と低コストは、最初のラインの診断ツールとして有望であり、LLMエージェントはより広範な調査が必要なケースを処理できます。

SREGym-Lite · 9月4日コホート · 21件の障害

診断パフォーマンス対コスト

Jev駆動パイプライン
Codex
Claude Code

すべてのモデルを表示するには横にスクロール →

診断パス率対平均推論コスト
高いほど多くの診断がパスしました。左ほどコストが低いことを意味します。測定値を確認するには、ポイントにカーソルを合わせるか、フォーカスしてください。これは、同じ21件の障害IDに対する別々の実験を比較したものです。

診断パス率(%) ↑
50
60
70
80
90
100
$0.001
$0.01
$0.10
$1
← 平均診断コスト($/試行、対数スケール)
Jev 1.13.0
GPT-6 Astra max
GPT-6 Astra medium
GPT-6.1 Sol max
GPT-6.1 Sol medium
GPT-5.6 Sol max
Claude Opus 5
GPT-5.6 Terra max
GPT-5.6 Luna max
GPT-5.6 Sol medium
Claude Sonnet 5
Claude Opus 4.8

図2. 同じ21件のSREGym-Lite障害に対する診断結果。Jevは障害ごとに5回の試行を実行しました。各LLMエージェントは3回実行しました。

診断がうまくいかなかった点

失敗した実行を分析することで、2つの異なる失敗モードが見つかりました。

  1. Jevが間違った手がかりを選択した。 Astronomy Shopのedge_request_filter_cpu_saturation障害では、作成されたwafリクエストがfrontend-proxyの高価な正規表現をトリガーし、CPUを飽和させてタイムアウトを引き起こしました。コレクターは、正規表現の変更と新しい100m CPU制限の両方を証拠として提供しました。

    E7: WAF_RULE_REGEX added: ^([a-zA-Z]+)*$
    E8: CPU limit changed: unset -> 100m
    

    Jevは5回の試行すべてでfrontend-proxyとE8を選択しました。各診断は0.67と評価されました。判定者は場所と影響範囲は受け入れましたが、説明は受け入れませんでした。提出物はフィルター規則ではなく、制限を非難しました。

  2. 決定的な証拠が欠落していた。 Hotel Reservationのsearch_rate_retry_collapse_hotel_reservation障害では、検索トラフィックの短いバーストがrateキューをいっぱいにしてしまいました。検索はタイムアウトした呼び出しをリトライし、着信トラフィックが通常に戻った後もrateを過負荷状態に保ちました。Jevは5回の実行すべてでrateとその20-QPSバックエンド制限に焦点を当てました。診断は過負荷を説明しましたが、キュー、デッドライン、リトライ間のループを見逃しました。5回すべて失敗しました。

    広範なスナップショットはsearchのリトライ設定を名前で示しましたが、その値は表示しませんでした。パイプラインはsearchを詳細に検査せず、Jevの呼び出しにはキューの深さやリトライ回数のメトリクスは含まれていませんでした。また、Jevに単一の根本原因コンポーネントを選択するように求めましたが、この障害は2つのサービス間の相互作用にありました。欠落している測定値と狭い回答選択肢により、正しい説明に到達することが困難になりました。

結論

パイプラインはSREGym-Liteで76.2%の診断をパスしました。その結果には、コレクターとJevの両方が不可欠です。コレクターは、何を収集し、どのくらいの詳細を表示するかを決定します。Jevはそのビューを使用して、どこを調査し、どの証拠が診断を裏付けるかを選択します。失敗は両方の部分がなぜ重要なのかを示しています。Jevは間違った手がかりを優先する可能性があり、コレクターは障害を説明するために必要な信号を省略する可能性があります。

次に、サービスをまたぐ、または時間とともに進化する障害に対してパイプラインを拡張したいと考えています。それは、リクエストレベルの信号と変更メトリクスを収集し、それらをコンポーネント間で接続し、Jevが1つのサービス以上の説明を考慮できるようにすることを意味します。これらの失敗モードは、構造化されたテレメトリデータをJevが快適に摂取できる自然言語に変換する、GPT-6 Lunaのような小さく専門化されたモデルの完璧な候補です。最終的に、Jev駆動診断をSREエージェントのワークフローに組み込むことは、System OneとSystem Twoモデルを効果的に組み合わせるための重要なステップであると信じています。