独自の脆弱性ハーネスを構築する
Build your own vulnerability harness (blog.cloudflare.com)
要約
Cloudflareは、AIを活用した脆弱性検出システムを構築する際の課題と、その解決策としてモデルに依存しない「ハーネス」の重要性を解説しています。このハーネスは、異なるAIモデルを interchangeable なコンポーネントとして扱い、コードベース全体にわたる脆弱性を継続的にスキャン・検証する仕組みを提供します。これにより、AIモデルの進化に追随しつつ、大規模なコードベースにおけるセキュリティを効率的に維持することが可能になります。
全文翻訳
独自の脆弱性ハーネスを構築する
数週間前、私たちはProject Glasswingの初期調査結果を発表し、最先端のセキュリティモデルをエンタープライズコードベースに向けた場合に何が起こるかを考察しました。また、私たちの防御構造が、最先端AIがもたらす脅威からインフラストラクチャと顧客をどのように保護するために適応しているかについても探りました。それ以来、AIエコシステムは急速に変化し続けています。単一のモデルを中心に構築してきた開発者は、そのモデルが利用できなくなったり、より高性能なものに置き換えられたりした場合に何が起こるかをすでに経験しています。これらの市場の変化は、私たちの中心的な考えをさらに強化します。どの基盤モデルがその日リードしていても、エージェント型ワークフローの未来は、スタンドアロンモデル、プロンプト、または単一エージェントセッションには見出せないということです。
ローカライズされたセキュリティ「スキル」から、継続的でフリート全体のスキャンパイプラインへの移行には、モデルが交換可能なコンポーネントとして扱われるアーキテクチャが必要です。単一のモデルに依存することは、同じシステムがコードパスを全く同じレンズを通して見ることになるため、防御範囲を本質的に制限します。これに対抗するため、モデルは頻繁に交換され、クロスチェックされるべきです。パイプライン全体でモデルを変更すること(例えば、初期発見に1つのモデルを使用し、検証に全く別のモデルを使用するなど)により、脆弱性が異なる論理セットによってクロスチェックされることを保証できます。さらに、真のエンタープライズスケールのハーネスは、孤立したリポジトリを超えて、クロスリポジトリの依存関係全体で脆弱性を追跡し、最終的に数千の生候補を、実行可能な修正の信頼できるトリアージ済みキューに絞り込む必要があります。
この記事は、モデルに依存しないレイヤーを構築する方法についての実践的な考察であり、状態制御の管理方法、偽陽性の排除方法、および大規模なエンドツーエンドトリアージの調整方法に焦点を当てています。
最初に、2つの反論
最初の記事では、汎用コーディングエージェントがこの仕事をなぜできないのかを論じました。主な問題は、エージェントは一度に1つの仮説しか保持せず、実際のレポジトリのわずかな部分をカバーした後にコンテキストウィンドウがいっぱいになり、コンテキストの圧縮中に情報が失われることです。詳細については、この記事をお読みください。
先に進む前に、2つの可能性のある質問にお答えしたいと思います。
「ハーネスの代わりにサブエージェントを使用しないのはなぜですか?」 サブエージェントは有用であり、良い出発点です。しかし、セキュリティ分析には、実行をまたいで存続し、コンテキストウィンドウを共有せず、後でスコープを変更したりクロスリファレンスしたりできる数百もの個別の調査が必要です。これには永続性、重複排除、再開可能性、そして最終的にはフリート全体の依存関係トレースが必要です。それはオーケストレーションの問題であり、プロンプトでは実現できません。
「この記事は単なる最先端モデルの広告ですか?」 いいえ。私たちの方法はモデルではなく、ハーネスを中心に据えています。脆弱性発見に関しては、現在私たちが求めていることに最も長けている最先端モデルでそれを実行します。同じターゲットに異なるモデルを向けた場合、それぞれが異なる割合のバグを見つけます。ハーネスが永続する部分です。独自のシステムを構築する場合は、最初からモデルに依存しないように設計してください。これにより、制約なしに任意のモデルを選択する自由が得られます。
すべてはスキルから始まる
私たちは、約450行のsecurity-auditスキルから始め、単一のリポジトリで実行し、プロンプトを調整して実際のバグを表面化させました。その後、システム全体の配管となったオーケストレーションを追加しました。真の価値はプロンプト自体にあり、私たちのプロンプトは、初期スキルの攻撃者シナリオ、バグクラス、およびアンチパターン検出をほぼ変更せずに引き続き保持しています。
そのスキルは、7段階の監査を1つのセッションで実行するように書かれていました。
- 3つの並列リサーチエージェントが偵察を行い、
architecture.mdを作成します。 - 1つのHunterエージェントが攻撃クラスごとに実行され、コードをレビューするのではなく、コードを壊そうとします。
- 敵対的バリデーターが各発見を反証しようとします。
- 生き残ったものは、人間が読める脆弱性レポートとして書き出されます。
- それらはスキーマに対する
findings.jsonとしても出力され、機械的なチェックがそのファイルを検証します。 - 最後に、新しいエージェントが独立して、ソースに対して各発見を再検証します。
- 生き残った、再検証された発見は、取り込みAPIに送信されます。
その最初のスキルは、後のハーネスにほぼ直接マッピングされます。
| スキルフェーズ | ハーネスステージ |
|---|---|
| Recon agents write architecture.md | Recon |
| Hunters run per attack class | Hunt |
| Validators disprove findings | Validate |
| Surviving findings become a report | Report |
| findings.json is checked mechanically for schema adherence, not correctness | Mechanical validation of line numbers and functions in findings |
| Fresh agent re-verifies findings | Independent validation |
そのスキルは機能しましたが、すぐに限界が明らかになりました。カバレッジメトリクスを見ると、単一の実行では、複数回の実行で捕捉できるバグの約半分しか見つけられません。私たちの経験では、見つかったバグは、より単純で微妙なものに偏っていました。プロセスが基本的に「10回実行して手動で差分を取る」ようになったら、実際のハーネスを検討する必要があるでしょう。
スキルを実行および微調整している間に、私たちは3つの壁にぶつかりました。
- コンテキストの枯渇: 1時間後、コンテキストウィンドウがいっぱいになり、モデルは自身のメモリを食い潰し始め、午前中に追跡していたバグを瞬時に忘れてしまいます。私たちは状態を完全に外部化し、LLMをステートレスなコンピューティングエンジンとして扱うことで、このボトルネックを解消しました。
- 永続性: 実行中のクラッシュは、最初からやり直しを意味します。AIのレート制限エラーや接続の不安定さのために数時間の作業を失うことは、より良いアーキテクチャが必要であると認識するための信じられないほど高価な方法です。
- クロスリポジトリ推論: 単一のリポジトリセッションは、それを消費するアプリケーション間の関係を完全に無視しており、コンポーネント間のインターフェースを検査したときに表面化するバグの数は、予想よりも多い可能性があります。
アドバイス: 実際的だが最小限のハーネスは、データベースに保持されたRecon、Hunt、Validateステージのみで構成され、独自の発見を提出できない独立したValidatorを備えています。関係のあるリポジトリが1つ以上になるまでは、クロスリポジトリトレースは完全にスキップしてください。積極的にノイズに溺れているのでなければ、専用のDeduplicationエージェントはスキップしてください。開発環境でスキルを開始し、プロンプトをうまく機能させ、それがないことが具体的に遅延の原因となっている場合にのみ、次のアーキテクチャステージを構築してください。
スキルをパイプラインにコード化する
この分野のほとんどのAIセキュリティの解説は、単一のリポジトリまたはキュレーションされたベンチマークに関するものですが、フリート全体をクロスリポジトリトレースでこのように実行することは、他では書かれていないことです。私たちのコードベースは、Rust、Go、C、Lua、TypeScript、Pythonといった膨大な言語の混合に加え、さまざまな設定管理システム、静的設定、およびあらゆる種類の追加コンテキストを網羅しています。そのため、私たちにとって機能する新しいものを考案する必要がありました。最初のスラッシュコマンド実行から、128個の異なるリポジトリをカバーし、関連する依存関係を自動的に発見・調査できるフリートスキャナーへの移行には、約6週間かかりました。コード化は主に機械的なものでした。スキルの各フェーズを独自のエージェントに持ち上げ、その背後にデータベースを配置し、その前にオーケストレーターを配置しました。マッピングはほぼ1対1でした。
フリート全体は、言語ごとのチューニングなしで単一の統合ハーネス上で実行され、リポジトリ間の依存関係をトレースします。構文をモデルにオフロードすることでシステムは言語に依存しなくなりますが、差別化要因はリポジトリ間の依存関係をトレースする能力です。ハーネス自体は、Cポインタを見ているのかTypeScriptファイルを見ているのかを気にしません。セキュリティオーケストレーションのより高レベルのロジックに焦点を当てています。これにより、カスタム言語解析を作成することなく、何百もの異なるコードベースにわたってスケーリングできます。
2段階の脆弱性リサーチワークフロー
私たちの脆弱性リサーチワークフロー全体は、2段階の運用フレームワークに基づいています。脆弱性発見ハーネス(VDH)と脆弱性検証システム(VVS)です。
VDHは発見エンジンとして機能し、コードベースを積極的にスキャンして潜在的なセキュリティ問題を表面化させます。バグがVVSに入ると、複数のハーネスがそれにフィードできるようになり、重複排除、判断、そして最終的には修正の各段階を経て、後述します。
VDHには1つのモデルを使用しますが、VVSには全く異なるモデルを使用するため、モデルは実質的にお互いをダブルチェックします。これには明らかなセキュリティ上の利点があります。モデルB(VVS)にモデルA(VDH)の出力を判断させることで、発見が全く異なる論理重みとトレーニングデータのセットによって評価されることを保証します。これは、モデルAの仮定を執拗にテストすることだけを職務とする、偏りのない敵対的な第三者として機能します。運用上、モデルプロバイダーを交換可能な商品として扱うことから利益を得ています。モデルプロバイダーは、1つのモデルバージョン内でも、温度、キャッシング、推論労力予算を時間とともに変更できます。時間とともに予測可能な動作をするモデルに依存するシステムを構築するのではなく、私たちのハーネスは、ダウンストリームの変動性を壊すことなく吸収するように構築されています。
ステージ1: 脆弱性発見ハーネス(VDH)
最初の記事では、各エージェント/ステージの目的について説明したので、ここではそれ以外の部分、つまりステージ間の接着剤と、それらのすべてが機能するかどうかを決定する少数の詳細について説明します。
| エージェント/ステージ | 主な役割 | サブエージェント / ツール |
|---|---|---|
| Recon | ターゲットアーキテクチャをマッピングし、潜在的な脅威ベクトルをマッピングする | 3つの並列Reconサブエージェントがarchitecture.mdを作成 |
| Hunt | クラスごとの攻撃を実行し、フラグメントをコンパイルし、バイナリをプローブする | 兄弟をスポーンする(これらはモデルに応じて、フリート全体のタスクの9%から20%を処理します)。Wishlistツールに到達し、書き込む |
| Validate | 発見を機械的にチェックし、次に敵対的に反証する | 2パスで実行される:プレーンコードは初期スキーマ/パスチェックを処理し、次に単一の分離されたエージェントが提出される前に発見を反証しようとする |
| Gapfill | 空のカバレッジセルに新しいハントタスクを生成する | テストが薄いままの(領域×攻撃クラス)セルに、新鮮なハントタスクをエンキューする |
| Dedup | 重複する発見を特定し、統合する | 決定論的なコードとエージェントを組み合わせて、発見を根本原因ごとにクラスタリングし、リアルタイムで折りたたむ |
| Trace | 依存関係グラフをウォークし、コンシューマーリポジトリタスクをスポーンする | グラフをウォークして、クロスリポジトリバグが捕捉されるように、特定された各コンシューマーリポジトリ内にハントタスクを追加する |
| Feedback | 事前レポートから学習し、将来の実行を最適化する | 検証の失敗、浅い実行、繰り返しの見逃しを取り込み、将来のタスクをよりシャープにするためにキューに入れられたプロンプトを即座に書き直す |
| Report | 人間が読めるレポートをレンダリングする | 単なるスクリプト、モデル不要 |
表1: 脆弱性発見ハーネス(VDH)
ステージ4から8は、継続的なプロデューサー・コンシューマー・ループとして実行されます。初期のハントが進むにつれて、Gapfill、Feedback、およびTraceエージェントが新しいタスクを生成します。Dedupは重複する発見を再び折りたたみ、残りのループはキューを消費し続けます。これにより、サイクル後半で発見された脆弱性が、同じ実行内で検証、レポートされ、他のコードに対してチェックされることが保証されます。
このようにパイプラインを分割することは、厳密なコンテキスト制御を保証します。コンテキストウィンドウを埋めると、モデルは幻覚を見始めます。各エージェントのジョブを非常に集中させ、コンテキスト使用量をウィンドウ全体の25%未満に保ちます。素朴な「すべてのファイルを読み込む」アプローチは、毎回この制限を超えます。
私たちを困惑させたことの1つは、永続性は並列処理の前に考慮する必要があるということです。予期しないエラーのために5時間の実行を無駄にしたくはありません。各ステージは、(run_id、repo、stage)でキー付けされたSQLiteデータベースに書き込みます。どのステージでも、再開、再試行、または後続の実行に引き継ぐことができ、作業をやり直す必要はありません。発見はストリーミングされ、発生したときに保存されるため、クラッシュはインフライトタスクのみを失い、それ以上はありません。
アドバイス: 時には、一時的なAPIエラーがコード例外をスローする代わりに、(200 OK)応答ストリーム内のテキストとして返されることがあります。オーケストレーターにとって、これはタスクがクリーンに完了したのと全く同じように見えます。例外タイプを信頼するだけでなく、応答テキストを明示的に分類する必要があるため、空の実行を成功としてログに記録してしまうことになります。
動的な脅威モデリング
Reconステージ中に、エージェントは脅威モデルを渡されるのではなく、それを記述します。約10個の組み込み攻撃クラス(多くの形式のインジェクション、メモリ破損、プロトコル解析、タイミングサイドチャネルなど)を超えて、Reconエージェントはオンザスポットでリポジトリ固有のクラスを発明でき、それぞれに独自のメソッドがあります。コードベースに特化して調整されたカスタム分類法を作成し、それをHunterエージェントのスコープをより厳密に絞り込むために使用します。
ソースコードを読むだけでは、特にCやその他の低レベル言語での微妙な未定義動作バグの場合、ストレス下での動作を理解するには十分ではありません。Hunterエージェントはコードリーディングを超えて、アクティブな実行に移行します。それらはフラグメントをコンパイルし、小さなバージョンをビルドし、それらを攻撃します。品質の最大の飛躍は、Huntersにバイナリをクラッシュさせるためのサンドボックス(unshare上に構築)を提供したことから来ました。
アドバイス: ハーネス自体がDocker内で実行される場合、そのサンドボックスはseccomp=unconfinedとapparmor=unconfinedを必要とします。そうしないと、サイレントに開始に失敗します。これは、私たちのようなネストされたコンテナ化の専門家でない場合、1行の修正で1日分の頭痛の種を救います。
マイクロフォークとウィッシュリスト
コアパイプラインステージを超えて、Huntersに分析を逸脱することなく、フォーカスを適応させ外部リソースを要求する大幅な自律性を与える2つの特殊なメカニズムを追加しました。
サイバーフォーク: これは、Hunterエージェントが現在のスコープ外の興味深いコードパスにつまずいた場合に、追跡を外れないように役立ちます。ツールコールを使用して、正確な構造シードを持つサイバーエージェントをフォークします。フリート全体では、これはタスクの約9%を占めますが、そのレートはモデルに大きく依存します。ゼロに近いものから5分の1程度まで、どのモデルがハンティングしているかによります。
ウィッシュリスト: エージェントが必要なツールを持っていない場合(多くの場合、概念実証(PoC)を確認するValidatorや、何か(特定のビルド環境、VM、または一部のプロッド設定ファイルなど)を構築したいHunter)、中央のウィッシュリストに書き込みます。システムが人間が依存関係を提供した後にその正確なタスクを自動的に再実行するために十分なコンテキストを提供します。これらのいくつかは部分的に自己修復可能です。コンテナがいくつかの変更で再構築される必要がある場合、これは汎用コーディングハーネスがログを監視することで、実行後に自律的に発生する可能性があります。
ウィッシュリストは、ウィッシュリストが追加されて以来、128個のリポジトリ全体で25,472回書き込まれており、エージェントが私たちにフィードバックする主な方法です。私たちがこれを書いている間に着陸したものの一つは、「このPoCをエンドツーエンドで確認するためにFreeBSD VMが必要です。」です。
フリート全体のクロスリポジトリトレース
初期クリーンアップの後、Tracerエージェントは異なるソフトウェアコンポーネントがどのように接続されているかを確認します。特定のパスを探します。潜在的な攻撃者は、外部からシステムの脆弱な部分に有害な入力を送信できますか?答えが「はい」の場合、Tracerエージェントはコンシューマーリポジトリ内で自動的に新しいハントタスクをスポーンします。これを機能させるには、統一されたクロスリポジトリシンボルインデックスと正確な依存関係グラフが必要です。これにより、標準的な単一リポジトリスキャンでは見逃される深い、システム的な欠陥を発見できます。
私たちのハーネスをリポジトリのフリート全体で実行した結果、これが大規模に行われた場合にのみ表面化した2つの教訓が得られました。
第一に、重複排除はそれ自体が問題であり、独自の剤を必要とするほど大きいです。数個のリポジトリをスキャンしている場合、重複するバグを目視で確認できます。単純な文字列マッチングやファイルパスチェックではここでは役に立ちません。2つの複雑な論理的欠陥が実際には全く同じ根本的なバグであるかどうかを判断することは些細なことのように聞こえますが、そうではありません。これには非常に多くの認知的推論が必要なため、ノイズをクリーンアップするためだけに、独自のヒューリスティックと作業を削減する方法を備えた専用のDedupエージェントを展開する必要がありました。
第二に、静的解析を早期に配線しないことです。Semgrepを最後まで配線しましたが、Huntersは1か月の実行でそれを0回呼び出しました。それらはコードを読み、実行することを好みました。対照的に、ウィッシュリストはシステムで最も使用されたツールでした。あなたがそれらが望むと思うことではなく、エージェントが実際に手を伸ばすものに注意を払う価値があります。
信頼できる発見の作成
エージェントは、自身の悪用が機能するようにソースコードを編集し、作成したバグを誇らしげに報告します。「exec()は実行するため、クリティカルな脆弱性」のような全くトートロジー的なものを証明するテストを作成します。または、実行はうまくいくが何も証明しない悪用を作成します。なぜなら、その背後にある脅威モデルはナンセンスだからです。あなたのハーネスがこれに積極的に対抗しない場合、あなたが構築したのはジャンクをより速く生成する方法だけです。
Hunterは、何かを提出することを許可される前に脅威モデルを述べる必要があります。攻撃者が誰であるか、そして脆弱性がどの境界を越えるか、またはどの仮定を破るかを正確に定義する必要があります。出力スキーマの順序がそれを強制します。この要件は、空虚な発見、「ユーザーがデータベース書き込みアクセス権を持っている場合、データベースに書き込むことができる」という種類のものを排除します。
確認された各発見は、元の変更されていないコードベースに対して実行されるテストとして書かれたPoC(概念実証)と共に提供されます。これにより、エージェントが悪用を成功させるためにソースファイルを編集することを防ぎます。機能するPoCがない場合、発見を偽と見なします。実際には、それは30行の解析ループをコンパイルし、メモリ保護を有効にして実行し、不正な読み取りストライドがスタックアドレスから発生していることを、期待されるメッセージ本文からではなく、示しているHunterです。自分で再実行できます。さらに、確認された各発見は、提案されたパッチも提供する必要があります。私たちのレビューキューに到達するものは、検証されたバグ、機能するテスト、および機能するgit diffであり、問題の曖昧なテキスト説明だけではありません。
悪用パスが生き残る前に、決定論的なコード(別のモデルではなくプレーンコードで記述)が、引用されたファイルとパスが実際に存在することを機械的に検証し、パッチとテストの両方が正しく解析されることを確認します。このValidatorは独自の発見をログに記録できません。その唯一の仕事は、Hunterの理論を積極的に反証することです。Hunterが自身の宿題を採点することを許可されると、自信を持って出力されたすべてを検証します。
私たちは、このシステムに対して偽陰性率を主張しません。コードベース内のすべての実際のバグのラベル付けされたセットはないため、主張されるリコール数は完全に推測的です。再実行で新しいバグが引き続き見つかるかどうか(見つかります)、および実行全体でカバレッジがまだ増加しているかどうかを監視できます。単一のコードベースにいくつのバグが存在するかを確実に知らないため、これらはすべて代理ですが、有効性を測定するのに十分な方法です。
ステージ2: 脆弱性検証システム(VVS)
ハーネスから出てきた発見は、トリアージプロセスの開始にすぎず、すべての発見は単一の共有VVSに着陸します。現在、合計145個のリポジトリにわたる13,841個の発見が保持されています。その量のトリアージは、それ自体が巨大なエンジニアリング問題であり、ハンティングと同じくらい重要です。そのトリアージエンジンは、ハーネスとは異なるモデルで実行され、3つの異なるジョブに分割されています。
| エージェント/ステージ | 主な役割 | スポーン/サブエージェント/ツール |
|---|---|---|
| Dedup | 脆弱性がシステムに既に存在するか、または内部Jiraチケットとして既に起票されているかを特定する | 決定論的:プレーンコードがファイル、関数、信頼境界、およびまれなトークン上に逆インデックスを構築し、各発見に短い候補リストを渡す 確率的:Dedupエージェントがその短いリストを推論し、実行をまたぐ安定したキーが既存のレコードを再オープンする |
| Judgment | 本番環境での到達可能性と検証 | 単一エージェント — MCPサーバーからバグのコンテキストを構築し、サービスが本番環境でどのように見えるかの形状を取得する。Wiki、Jira、git、設定、および利用可能な他のすべてのソースを検索して、バグが実際に私たちの本番環境に適用可能かどうかを理解し、それに対して脆弱性をスコアリングする。また、バグが最新のメインブランチにまだ存在するかどうかを理解するために、ソースコードに対してバグを検証する |
| Fixing | パッチを生成し、回帰テストを実行する | パッチの前後に回帰テストを実行する(影響を受けるテストにフィルタリング; テストごとのフィルタリングが利用できない場合はフルスイート)。ターゲットテストでクリーンな失敗→合格の切り替えが必要。パッチ後のテストが失敗した場合、またはグローバル実行がダウンストリームの回帰を検出した場合、コミットは自動的にブロックされ、人間の介入のためにフラグが付けられる |
表2: 脆弱性検証システム(VVS)
重複排除
すべての発見をLLMを使用して互いに比較すると、O(N^2)のスケールになり、大規模では完全に破綻します。モデルをクリティカルパスから外すために、決定論的なコードが構造化データ(タッチされたファイル/関数、信頼境界、まれなトークン)の上に逆インデックスを構築して、短い候補リストを生成します。その後、エージェントがその短いリストを見て、単一の修正でそれらのいくつかをクローズできるかどうかを確認します。実行をまたぐ安定したキーにより、再発見されたバグは新しいレコードをスポーンするのではなく、既存のレコードを再オープンすることが保証されます。
文脈判断
判断は、生き残ったものに対する2番目の独立したパスです。エージェントは最新の情報を再チェックし、デプロイメント、環境、および設定コンテキストから情報を取得して、コードパスが本番環境で到達可能かどうかを判断し、リポジトリの所有者を特定します。「今すぐ悪用可能」を「現実的だが潜在的」または「現実的だが誤ったコンポーネントに提出された」から分離します。これは、混沌とした発見の山をリスク主導のオーケストレーションワークフローに移行させています。
自動修正
Fixerは、提案されたパッチと単体テストを取得し、リポジトリのスタイルに一致するように書き直し、diffを適用し、ターゲットテストを実行します。クリーンな失敗→合格の切り替えが理想であり、唯一の自動クリーンアップケースです。パッチ後のテストが失敗した場合、コミットはブロックされます。Fixerはコードを自分でマージすることはありません。人間がブランチをレビューする必要があります。このゲートは、変更管理コンプライアンスのためにクリーンで壊れない暗号化されたトレイルを可能にする、譲れない、人間参加型のセーフガードです。自由にパッチを適用させると、モデルはセキュリティバグを修正する一方で、無関係な機能を静かに壊したり、数十個の新しいバグを追加したりする可能性があります。
3つのトリアージジョブ全体で、各エージェントは決定論的なブックキーピングコードにラップされた狭いタスクに限定されており、何も人間の承認なしに本番環境に書き込まれることはありません。このパイプラインはエンジニアリングのボトルネックを発見からレビューと修正の着陸に移行させますが、Fixerはシステムの中で最も新しく、最も遅い部分のままです。
コスト
数百ものエージェントをリポジトリのフリート全体で実行することは安価ではありませんが、少なくとも支出の形状は予測可能です。コンピューティング予算のほぼすべてがハンティングステージに直接投入されます。これにより、Gapfillは私たちのコスト対カバレッジレバーとなり、追加のパスごとに最初のハントの約半分のコストがかかります。
リポジトリあたりのコストは大きく変動するため、実行ごとではなくリポジトリごとに予算を組みます。リポジトリあたりのタスクキャップを厳密に実施し、50から200のワーカーのワーカープールを起動します。そうすれば、実際に見つかっているリポジトリにお金を費やすことができ、そうでないリポジトリで無駄にすることはありません。
また、大規模スキャンがPRごとのチェックではなく、定期的なバックログスイープである理由でもあります。複雑なリポジトリの完全なスキャンには数時間かかることがあります。最悪の実行は14時間強かかりました。より安価で小規模なハーネスがそのジョブに適しています。
どのように機能しているかを知るか
私たちは、自動化されたパイプラインが意図的なエンジニアリングノイズを高品質で実行可能な発見にどれだけ効率的にフィルタリングするかを追跡することで、システムの有効性を測定します。Huntersを、より大きな攻撃に連鎖する可能性のある微妙なプリミティブを過剰に報告するように意図的に調整しているため、私たちの真の成功指標は、人間の手に渡る前に、その初期の生のデータの山をどれだけ鋭く洗練できるかです。
これを測定するために、各検証ステージを通過する生の発見の数を時間とともに追跡します。Reconフェーズからのコンテキスト注入の改善により、初期検証の拒否率が40%から11%に低下し、高整合性発見の割合が35%から58%に増加しました(生涯発見数約12,057件を代表)。
この記事が書かれた時点での、生の候補から実行可能な発見までの生涯の内訳を以下に示します。
[画像: BLOG-3344 2]
脆弱性発見ハーネス(VDH)
- 生の候補: 独立した検証の前に発見ハーネスが出力したすべて。
- 再現が必要: 信頼される前に手動での再現が必要な、もっともらしい発見。
- 検証で拒否: バリデーターが脅威モデル、悪用パス、影響を受けるコード、または証拠を反証した。
- 重複: 同じハーネスからの発見に折りたたまれた候補。
- 検証を通過: 独立した検証ゲートを通過し、VVSに移動した発見。
- 他の場所へ行ったバグ: このフローの外に意図的にルーティングされた発見。
脆弱性検証システム(VVS)
- 別の脆弱性ハーネス: 同じ検証システムにフィードする他の自動化されたソース。
- システム内の合計バグ: 取り込み後の合計プール。
- 重複: Dedupエージェントが、別の正規の発見またはチケットで既にカバーされていると特定した発見。
- 誤ったリポジトリ/その他/リスクなし: ノイズバケット:誤って割り当てられた発見、防御の深さ、または潜在的なリスク。
- チームに送信されたバグ: 最終化された、クリーンな発見、修正に対応可能。
- インターネット悪用可能と判断: 本番環境で現実的な攻撃者がトリガーできる高緊急度の発見。
- インターネット悪用可能と判断されず: 低緊急度、実行可能なバグ(本番環境の問題、依存関係リスク、または設定エラー)。
- 最終的な重大度分割: エンジニアリングチームに割り当てるための優先度付けに使用されるカテゴリ。
ハーネスのコアメトリックは、推測的なリコールスコープではなく、実際の人間に対面する未確認の発見の数を可能な限りゼロに近づけることです。アーキテクチャは、執拗なフィルタリングファネルである必要があります。
- VDHによって生成された20,799件の生の候補のうち、検証を通過したのは約12,057件でした。
- これらがVVSにプッシュされ、別のハーネスからの発見と結合されると、中央プールは13,841になりました。
- Dedupエージェントは5,442件の発見を重複として折りたたみました。
- 1,154件が「誤ったリポジトリ」または「低リスク」としてキューにルーティングされ、適切にシステムにリサイクルされました。
- 最終的に、エンジニアリングチームが対応できる実行可能な発見は7,245件残りました。
従来のコンプライアンスルールは、静的なCVSSスコア(例:「すべてHighを30日以内に修正」)に基づいた任意の修正ウィンドウを規定しています。私たちの文脈判断レイヤーは、このコンプライアンスチェックボックスを実際のリスク管理に変換します。
アーキテクチャは、発見をその起源にまで追跡する能力があり、単一の根本原因を修正することで、個々の問題をパッチするだけでなく、発見のクラス全体を解決できます。VDHシステムのパフォーマンスは、リポジトリを(領域×攻撃クラス)セルに分割し、Gapfillエージェントを反復的に実行して発見の生成が停止するまで実行することによっても測定されます。基盤となるプロンプトを更新するたびに、保持されたリポジトリでテストして、その総カバレッジセル番号が実際に移動するかどうかを確認します。
ハーネスは、パイプラインの早い段階でシステム障害を検出するために、自動化されたヘルスシグナルを配線します。ハントが異常に速く終了し、サブハントやギャップタスクをスポーンしない場合、通常はクリーンなコードベースではなく、クラッシュした依存関係を示します。これを解決するために、システムはゼロ発見で終了したHunterエージェントを「浅い」とフラグ付けし、すぐに新しい実行のために再キューに入れます。
最後に、私たちのシステムの堅牢性は、前述の独立したトリアージパスによって強化されています。異なるモデルと個別の論理重みで、すべての提出物を再判断することにより、発見に使用される特定のモデルから切り離された、偏りのない敵対的な検証を保証し、使用されているモデルに関係なく持続する信頼レイヤーを提供します。
これらはどれも完成していません。私たちはシステムを常に変更しており、完璧な科学には程遠いです。しかし、生の候補発見は今では安価であり、価値のある作業はそれらを健全で検証可能なコード修正に変換することだけです。
独自のハーネスを構築することは、AIモデルが変動的であることを受け入れることを意味しますが、オーケストレーションレイヤーはそうである必要はありません。セキュリティロジックを単一のプロバイダーから切り離し、敵対的な検証を強制し、トリアージパイプラインを自動化することで、LLMノイズの山を信頼性の高いフリート全体の防御エンジンに変えることができます。
私たちの「ノーススター」メトリック:現実世界の速度の測定
すべてのコードベースは少しずつ異なります。そのため、これが現実世界でどのように機能するかを示すために、標準的なリポジトリ実行に基づいた現実的なベンチマークをマッピングしました。これは単一リポジトリでの単一パスを表すことに注意してください。時間とともに、継続的なフリート全体のループが発見を重複排除、フィルタリング、リサイクルするため、生涯候補のボリュームは約65%削減されます。
自動パッチングによるエンジニアリング時間の節約: 静的なベースラインに焦点を当てるのではなく、パイプラインの健全性を、技術的なスループット、処理速度、および手動トリアージのボトルネックを排除する能力によって測定します。
- 初期検証カット: 標準的なリポジトリ(約3万行のコード)の場合、これは100件の初期発見を生み出し、完全な実行には3〜4時間かかり、全体を通してハイパーフォーカスされたコンテキストウィンドウを維持します。
- 圧縮: 重複排除および文脈判断レイヤーは、これらの候補を並列処理します。3時間以内に、システムは発見のバッチを約100件の生の候補から80件の明確で高忠実度のバグに圧縮・洗練します。
- 修正: 自動化されたFixerは、これらの80件の明確なバグを、バグあたり平均5分で処理します。合計で、システムは約14時間で、プルリクエストを開くまで、発見、検証、重複排除、および機能的なものを処理できます。
クリティカルな欠陥の平均解決時間短縮: もちろん、すべてを一度に本番環境に投入して物事を壊すわけにはいきません。デプロイメントを安全に保つために、私たちのシステムは段階的なロールアウトを使用します。
- クリティカル露出封じ込め: システムは、クリティカル、ハイ、および悪用可能なバグ(平均80件中10件)を分離します。これらを人間のレビューのために迅速に進め、リリースサイクルに導入し、本番環境で完全にパッチします。5日以内に。
- 段階的強化: 残りの潜在的なリスク、マイナーな設定異常、および低緊急度のバグは、プラットフォームの安定性を保証するために15〜20日間のウィンドウにわたって段階的に本番環境にロールインされます。
これらのパッチをすべてどのように処理しているか
これらの発見は、コードをストレスチェックするために設計された、分離されたリングフェンスされた研究実験の結果です。それらは、私たちのライブ本番環境におけるアクティブな未パッチの脆弱性を表すものではありません。
ハーネスはテスト環境で常に実行されているため、これらの特定の数値は、読んでいる時点ですでに完全に時代遅れになっています。パイプラインによって表面化されたすべてのバグは、バグを実証するための機能するテストケースとドラフトパッチが添付されていました。私たちのセキュリティチームは、レポートを体系的に処理し、必要な修正を適用しています。これは、あなたが毎日使用しているCloudflare製品は、すでにこれらのベクトルに対して積極的に強化されていることを意味します。
この記事とともに、ハーネスの開発に使用した初期スキルをリリースします。リリース前に少しクリーンアップされており、理解しやすく統合しやすくなっていますが、スキル自体は実質的に同じままです。うまくいけば、ハーネス自体もすぐに続くでしょう。これは、あなた自身の脆弱性ハーネス、あなた自身のスキル、またはあなたのニーズに最も適したものの出発点となる可能性があります。
github.com/cloudflare/security-audit-skill
あなたのチームが同じ問題に取り組んでおり、意見交換をしたい場合は、security-ai-research@cloudflare.comまでご連絡ください。