HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Doc-foundry – AIがセキュリティ検知ルールを作成し、その有効性を証明する

Doc-foundry – AI writes Security detection rules, then proves they work (github.com)

5 pointsby manish1210 コメント

要約

Doc-foundryは、AIを活用してセキュリティ検知ルールを自動生成し、その有効性を検証するシステムです。脅威情報(CVE、CISA KEVエントリなど)を入力すると、AIエージェントがSigmaルール、攻撃レポート、および検証済みの証明バンドル(ルールがトリガーする肯定的なコーパス、誤検知しない否定的なベースライン、回避する攻撃者の変異セット、およびカバレッジラベル)を生成します。特に、ルールが実際の攻撃に対して有効であることを証明する機能が独自性として強調されています。

全文翻訳

Detection-as-Code Foundry

敵対的なマルチエージェント検知エンジニアリングワークフロー — LangGraph · Pydantic · FastMCP · Claude

脅威(CVE、CISA KEVエントリ、インシデントの書き起こし、ATT&CKテクニック)を、検証済みの初版検知ルールに変換します。これは検知チームがさらに強化するための出発点であり、完成した、永久に鉄壁のカバレッジを主張するものではありません。さらに、一緒に提供される3つの成果物があります。

  1. Blue対Redの敵対的ループを生き残ったSigma検知ルール。
  2. ラウンドごとの収束履歴を含む脅威レポート。
  3. 証明バンドル — ルールがトリガーする肯定的なコーパス、ルールが沈黙する無害なベースライン、敵対的な変異セット、およびFP/FN数値と再現性ハッシュを含む計算されたカバレッジラベル(real-coverage / brittle / broken)。

他社が提供しないのは3番目の項目です。モデルはSigmaルールを作成できますが、ルールが機能することの証明、弱バージョンを回避する攻撃者、そしてルールがどのように強化されたかの正直な記録を提供することはできません。

制限された固定の攻撃者。 Redはラウンド1で2つの実際の文書化された攻撃を約束し、強化されたルールに対してそれらの同じ2つの攻撃を各ラウンドで再試行します — 固定テストコーパスと同じ「一度構築したら、ゴールポストを動かせない」規律です。したがって、real-coverageは具体的な正直な意味を持ちます:初版ルールはコーパス内のすべての攻撃にトリガーされ、無害な類似物には沈黙し、両方の実際の攻撃を捉えました。これは検証済みのベースラインであり、将来のあらゆる回避策に対するカバレッジの約束ではありません — それは検知チームの仕事です。

エージェントが提案し、エンジンが証明する。 4つの役割特化型LLMエージェント(脅威アナリスト、Blue検知エンジニア、テレメトリ、Red-Teamアドバーサリー)が創造的な作業を行います。真実を決定するすべて — FP/FN評価、敵対的回避、カバレッジ判定、レッドチーム検証、デプロイゲート — は決定論的なレフェリーです。同じ入力 → 同じ判定 → 同じ再現性ハッシュ。


2つのパイプラインがこのエージェントキャストを共有します。 上記で説明されているパイプラインは証明します — Blueが作成し、Redが攻撃し、決定論的なレフェリーが決定します。[Review Chain]はレビューします — ドラフト → Redチーム → 改訂 → SOCリード → 最終ルール。形成されたすべてのノートと共に。

📄 実際の出力をまず確認してください: [ examples/joomla-icagenda-cve-2026-48939/review-history.md ] — CISA KEVエントリに対するライブ実行、3つのルールバージョン、8つのレビューアの所見。


実行する

pip install -r requirements.txt          # または stdlib のみで --evals を実行

# LIVE — 任意の脅威テキスト; 実際のモデルが作成します (GEMINI_API_KEY または ANTHROPIC_API_KEY が必要)
python src/run.py "CVE-2026-45659 SharePoint deserialization RCE"
python src/run.py "T1218.011 rundll32 remote scriptlet execution via mshtml"

# CANNED — フィクスチャシナリオ、完全にオフライン、キー不要 (テストスイートが駆動するもの)
python src/run.py --threat fixtures/certutil_t1105.json   # brittle→repair→proven

python src/run.py --corpus atomic         # REAL Atomic Red Team コマンドからのポジティブ
python src/run.py --max-rounds 3          # 自己修復ループの上限 (デフォルト 3)
python src/run.py --evals                 # 決定論的エンジン + 証明 + ワークフローテスト
python src/run.py --approve alice         # 人間が承認 → ゲート付きデプロイ成功
python src/run.py --claude "..."          # claude-opus-4-8 による作成を強制 (ANTHROPIC_API_KEY)
python src/run.py --gemini "..."          # Gemini による作成を強制 (GEMINI_API_KEY)

デフォルトのシナリオはありません — Foundryはあなたが与えた脅威を受け取ります。単なる python src/run.py は何も処理するものがなく、その旨を伝えます。バンドルは Outputs/<rule-slug>/ に書き込まれます (rule.yml, report.md, proof.json)。

Review Chain — 2番目の異なるパイプライン (--chain、およびデフォルトUI)

上記のパイプラインは「このルールは証明可能に正しいか?」と問い、決定論的な判定で答えます。Review Chainは異なる質問、「このルールについて各ステークホルダーは何を言うか、そしてそのフィードバックが適用された後のルールはどうなるか?」と問い、最終的なルールとそれを形成した完全な履歴で答えます。

ingest ─▶ extract ─▶ telemetry ─▶ profile
    ─▶ Blue: DRAFT v1
    ─▶ RED TEAM review        (findings: どこで回避可能か / ブラインドか)
    ─▶ Blue: REVISION v2      (各編集はそれが回答する所見IDを引用)
    ─▶ SOC LEAD review        (findings: ボリューム、トリアージ、深刻度、チューニング)
    ─▶ Blue: FINAL v3
    ─▶ package
python src/run.py --chain "CVE-2026-48939 Joomla iCagenda arbitrary file upload RCE"
python -m uvicorn webui.server:app --port 8000   # → http://127.0.0.1:8000  (chain UI)
                                                 # → /classic for the proof loop above

RedとSOCは、2つの帽子をかぶった同じレビューアではありません — 彼らは反対方向に引っ張ります。回避策に対する強化はルールを広げますが、広げるとアラートボリュームが増加します。両方をその順序で実行することがポイントです:最終的なルールは両方の圧力に耐えたものであり、履歴はその各パスが何を犠牲にしたかを正確に示します。

出力は Outputs/<rule-slug>/ に final-rule.yml、review-history.md (レンダリングされた完全な進行状況)、および review.json として配置されます。

実例 — 実際の出力を読む

→ [ examples/joomla-icagenda-cve-2026-48939/ ] — CVE-2026-48939 (Joomla iCagenda upload-to-RCE, CISA KEV) に対する実際の実行、claude-opus-4-8 によって作成されました。3つのルールバージョン、8つの所見、完全な履歴:[ review-history.md ]。

Blueの最初のドラフトは、Webデーモンがシェルを起動するのにトリガーされましたが、それは偵察コマンドを実行していました。両方のレビューアがそれを分解しました — 反対方向に:

Red Team: 「いや — 偵察コマンドをスキップする(またはコンテナのbusyboxシェルを使用する)だけで、このルールはまったくトリガーされない。完全なRCEなのに。」

R1 必須のrecon_intentは、ラインエージ検知をキーワード検知に変える · R2 Alpineの/bin/shはbusyboxなので、すべてのシェル句が misses · R3 リテラルのcontainsはシェルの難読化で失敗する · R4 setsid/double-forkはPID 1に再親化し、ラインエージが失敗する

SOC Lead: 「いや — これは初日にあなた自身の良性cron例にトリガーされる。親スコープが壊れており、ローテーションをwww-dataのノイズで埋め尽くすだろう。」

S1 ORはWebサーバーの親指定をオプションにした — www-dataプロセスがシェルを起動すればトリガーされた · S2 php-fpm→phpは通常のWebアプリの動作であり、RCEではない · S3 アラートは1つのフィールドしか持たなかったので、アナリストはコンソールをピボットする · S4 そのノイズフロアでのlevel: highはオンコールを燃え尽きさせる

RedはBlueに広げるようプッシュし、SOCリードはそれを狭めるようプッシュしました。その緊張こそが製品です:回避策に対する強化はアラートボリュームを増加させ、最終的なルールは両方の圧力に耐えたものです。SOCレビューが最後に行われるため、出荷されるものはキューに合わせて調整されています — v3は親ラインエージを必須にし、既知の良性インタープリタチェーンを除外し、トリアージフィールドを拡張し、level: mediumに引き下げ、3段階の対応プレイブックと封じ込め閾値を含んでいます。

レビュー済み、検証済みではない — そして成果物がそれを物語っている。 このチェーンは証明コアを呼び出しません。テレメトリに対してルールを実行せず、偽陽性をカウントせず、カバレッジ判定も発行しません。4人のプロのレビューアを経たルールは完成して見えるため、パッケージ化された出力がその文で始まるのはまさにそのためです。証明が必要な場合は、クラシックパイプライン(または--evals)を実行してください。

デモUI (webui/) — ライブ作成、エージェントの動作を見る

python -m uvicorn webui.server:app --port 8000
# → http://127.0.0.1:8000 ; 任意の脅威を入力し、ループの実行を見る
python tools/warm_cache.py "デモする正確な脅威"
# オプション — 以下を参照

FastAPI + SSE を実際のグラフ上で。2つのストリームがインターリーブされ、どちらもスクリプト化されていません:ノードイベントはグラフノードが実際に完了したときに発生し、トークンイベントは各エージェントの生のモデル出力を、providers.py のトークンシンクを介して、生成中にストリーミングします。トークンはノードの途中で到着するため、グラフはワーカー・スレッドで実行されます;それらの間のキューは唯一の結合点であり、一方向です。

あなたは以下を見ることができます:LangGraphの形状のアニメーション(実行中のノードが光り、そこへのエッジが流れ、ループバックアークが修理ラウンドで赤く点灯する)、エージェントコンソールがモデルが現在生成しているものをタイプアウトする様子、Sigmaルールが1行ずつ書き込まれていく様子、そして収束タイムライン、Kartikeyaゲート、再現性ハッシュが最後に表示される様子。

ライブで作成されます — 事前設定やフィクスチャ/リプレイパスはUIにはありませんので、どの脅威でも機能します。決定論はproviders.pyのディスク上のキャッシュから来ます:温度0、sha256(model|system|user)でキー付けされているため、同じ脅威テキストを再実行すると、バイト単位で同一のモデル出力 → 同じルール → 同じバンドルハッシュがリプレイされます。コールドランのレイテンシはモデルに完全に依存します(gemini-flash-liteでの3ラウンドの収束は約20〜40秒で完了します;より大きなモデルは数分かかります)。warm_cache.pyは、デモ予定の脅威に対して事前に支払います。

リプレイは常にラベル付けされます。 キャッシュされたトークンストリームはエンドツーエンドでcachedとマークされ、コンソールバッジは● GENERATINGの代わりに⟳ REPLAY (cached)と表示されます。視聴者はリプレイと生成を区別できないため、UIはどちらであるかを示します。キャッシュされたバイトをライブモーションとして見せかけることは、このプロジェクトが拒否する「雰囲気」まさにそれです。シンクは観察専用です:それを切り離しても、判定とハッシュはバイト単位で同一です。

レッドチームの拒否は正直に処理されます。 安全性調整されたモデルは、アドバーサリーの役割を拒否することがあります。拒否は記録され、UIに表示され、そして — 極めて重要 — graph.node_verdictは、誰も攻撃しなかったラウンドにreal-coverageを付与することを拒否します。「回避策が見つからなかった」と「攻撃者が実行されなかった」は決して同じように見えてはなりません。

アーキテクチャ — Blue対Red、決定論的なレフェリー、そして自己修復ループ

  ingest ─▶ extract ─▶ telemetry            (アナリストが正規化; テレメトリがテストセットを構築)
                          │
                          ▼
   ┌──────────────── SELF-REPAIR LOOP (LangGraph 条件付きエッジ) ─────────────────┐
   │                                                                                  │
   │   blue_author ─▶ evaluate ─▶ battery ─▶ red_propose ─▶ red_verify ─▶ verdict     │
   │        ▲          (FP/FN)   (mutation   (Red-Team     (エンジン      (カバレッジ)    │
   │        │             │       バッテリー)    が提案)       が検証)        │         │
   │        │             └── un-evaluable rule ─────────────────────────────┤         │
   │        │                  (エンジンが拒否 → broken, ラウンドをスキップ)     │         │
   │        └───────────────── repair: verdict ≠ real-coverage ◀────────────┘         │
   │                                                                        │         │
   └──────────────────────────── done: real-coverage OR round == cap ──────┘         │
                                                                            ▼
                                                                     gate ─▶ bundle

  [ blue/red/telemetry/analyst = LLM エージェント — PROPOSE ]
  [ evaluate·battery·red_verify·verdict·gate = 決定論的レフェリー — PROVE ]
  • エージェント (src/agents.py) — 4つの異なるペルソナ。Blue Detection Engineerは、堅牢性を考慮して構築された初版(単一の脆い文字列ではなく、振る舞い+コマンドラインの意図)を作成し、脆い/壊れた判定に基づいて、具体的な証拠(正確な回避策+偽陽性)を使用して再作成します。Red-Team Adversaryは、ラウンド1で2つの実際の文書化された攻撃を約束し、強化されたルールに対してそれらの同じ2つの攻撃を各ラウンドで再試行します — 新しい待ち伏せではなく、固定された敵対的テストセットなので、Blueは限定されたペアのギャップを閉じ、正直な収束が可能になります。
  • リサーチの根拠 (src/knowledge_base.py + rule_corpus/) — 2つのパーティションのRAGナレッジベースが、両方の提案者を実際の、研究者によって作成されたOSSに結び付けます:Blueは査読済みのSigmaHQルールから作成し;RedはMITRE ATT&CKの防御回避(例:T1036.003 Rename System Utilities)およびLOLBASから攻撃します。リトリーバーはレキシカル(BM25)で、完全にオフラインで決定論的です。これは提案のみを根拠付けます — 証明エンジンには触れず、再現性ハッシュにも入りません。
  • src/engine.py — 決定論的なSigmaマッチャー(証明コア)。依存関係なし。正直さの契約:評価できない構造(|cidr、集計、モデルが発明しがちな|in)は、サイレントに通過するのではなく、例外を発生させます — 評価不能なルールは「カバーされている」とスコア付けされることはありません。ループはそれを壊れたラウンドとして扱い、エンジンのメッセージ自体を修理証拠としてBlueに返します。そのため、実行されないルールはラウンドを消費するだけで、実行自体を失うわけではありません。
  • src/evaluator.py — FP/FN評価+決定論的な敵対的変異バッテリー(バイナリリネーム、大文字小文字、空白、キャレット/引用符の難読化、パスの移動)、およびmerge_redteam()は、エンジンによって検証されたレッドチームの回避策を同じ判定に折り込みます。脆さは測定され、推測されません。
  • src/graph.py — ループ。red_verifyはすべてのレッドチームイベントをエンジンで再実行します:バイパスは、エンジンがルールがトリガーされなかったことを確認した場合にのみカウントされます。 検証されていない提案は破棄されます — 攻撃者はバイパスを主張できません。
  • src/governance.py — Kartikeya's Gate = Blast Radius × Capability Delta。説得力のあるモデルでも変更できない構造的不変量:出口は常に人間を必要とし、非リアルカバレッジはブラスト半径を低下させます。
  • src/mcp_server.py — ガバナンスされたツール境界。グラフは権限を取得したりデプロイしたりできません;deploy_detectionは、正確なバンドルハッシュにバインドされていない承認トークンを拒否します。ハーネスが特権を保持し、エージェントではありません。

キャンされたシナリオが真実を語る (2ラウンドの収束)

python src/run.py --threat fixtures/certutil_t1105.json — オフライン、キーなし:

  • ラウンド1 — BlueはImageパスにアンカーします。決定論的なバッテリーは、バイナリリネーム回避策を、そしてRed-Teamは実際のバリアント(certutilがAdobeUpdater.exeにコピーされたもの)を、エンジンで検証して着地させます → 判定 BRITTLE → ループバック。
  • ラウンド2 — Blueはリネーム耐性のあるOriginalFileNameで再作成します。バッテリーは何も回避せず、同じレッドチームのリネームは、ルールがそれにトリガーされるため、エンジンによって破棄されます → 判定 REAL-COVERAGE → Kartikeya's Gate → バンドル。

レポートは完全な弧(ルールv1が脆い → 回避 → ルールv2が証明された)を示します。これは、ファウンドリが、問題なさそうに見えてそうではないルールについて正直であり、それを修正して修正が有効であることを証明することです。

このシナリオはデモではなくフィクスチャです:ワークフローがオフラインで実行され、テストスイートに決定論的なエンドツーエンドケースがあるように存在します。UIはそれに触れることはありません。ライブ脅威は独自のメリットで収束するか、しないかのどちらかです — そして「しない」ことは、ファウンドリが隠すのではなく報告するために構築されている実際の成果です。

ランごとのログソース1つ

アナリストのペルビヘイビアログソースは、実行の単一カテゴリを選択します(多数決);テレメトリエージェントはそれに基づいて固定コーパスを構築し、Blueにはそのカテゴリとコーパスが持つ正確なフィールド名の両方が伝えられます。Blueはイベント値やラベルを見ないので、過学習することはできません — 単にテレメトリに含まれていないフィールドにキーを付けることができないだけです。これは、検知品質とは無関係な理由で、自動的にリコール0のbrokenラウンドになります。(TargetFilenameにアンカーされたルールは、プロセス作成イベントにトリガーされることは決してありません)。

Kartikeyaアライメント

これは、検知エンジニアリングに適用された[Shiva/Kartikeya]の論文です:検知を展開することは機能要求(SIEMへの出口)であり、人間が関与する前にGate = Blast Radius × Capability Deltaを通じてスコアリングされます — そして、いかなる自律パスもルールをプッシュできません。最小権限と人間がゲートする出口は、プロンプトで主張されるのではなく、コードで計算および強制されます。

完全にオフライン/決定論的に実行されます。兄弟のシニアセキュリティエンジニアリングエージェントはGeminiでナレーションし、FoundryはClaudeで作成しますが、どちらの場合もモデルは提案するだけで、証明は決定論的です。

OSSインテグレーション (これがプラグインするエコシステム)

Foundryの証明コア (engine.py → evaluator.py → governance.py) は決定論的で自己完結型です。そのシーム — 取り込み、作成、変換、テストコーパス、デプロイ、レポート — は、オープンソースの検知ソースによって供給されるように設計されています:

  • [ docs/OSS-PARTNERS.md ] — カタログの正規パートナー:各リポジトリがツールの実際のパイプステージにマッピングされ、優先度、統合ポイント、およびライセンス姿勢と共に。
  • [ docs/OSS-INTEGRATION-MINDMAP.md ] — 完全な調査済みマップ。

最初の配線 (最高価値): Atomic Red Team → ポジティブコーパス + EVTX-ATTACK-SAMPLES → 無害なベースライン。これにより、敵対的バッテリーが実際の攻撃テレメトリに対して実行されます。次に、pySigma + SigmAIQによるマルチSIEM作成/変換(SigmaRuleArtifact.backendsスロットはすでにこれのために存在します)。