経験的研究:AIエージェントのルールにはコンテキストと階層的な強制が必要
An Empirical Study: AI Agent Rules Need Context and Layered Enforcement (eunomia.dev)
要約
ActPlaneの研究によると、AIエージェントのルールは、単に定義するだけでなく、OSレベルでのコンテキストと階層的な強制メカニズムを必要とすることが示されています。開発者が記述するルールの多くは、リポジトリ構造や過去のイベントなどのコンテキストに依存しており、単一のOSフックではポリシーの一部しかカバーできません。このギャップを埋めるには、リポジトリとタスクのコンテキストを具体的な状態にコンパイルし、決定論的なチェックで評価する必要があります。
全文翻訳
実証研究:AIエージェントのルールにはコンテキストと階層的な強制が必要
CLAUDE.md に記述されたAIエージェントのルールは単純に見えますが、ActPlaneによる2,116ステートメントにわたる研究は、コンテキストとOSによる階層的な強制が、何がチェック可能かを決定する理由を示しています。
「コミット前に完全なテストスイートを実行する」のようなルールは、AIエージェントが最後のテスト実行後にソースファイルを編集してから git commit を呼び出した場合、単純ではなくなります。カーネルは通常のプロセスがコミットオブジェクトを書き込んでいると認識しますが、エージェントのツール呼び出しとセッション状態を管理するソフトウェア層であるハーネスは、さらに1つのツール呼び出しを認識します。コミットを許可するかどうかの決定は、どのテスト結果が有効であり、どの編集がそれを無効にしたかに依然として依存します。
ActPlane論文 は、開発者が記述する行動ルールと、システムが実際にチェックできるルールのサブセットとの間のギャップを測定します。2,116命令のステートメントレベル分析は、開発者がルール不足に悩んでいるわけではないことを示しています。困難なのは、自然言語の要件を、システムが時間とともに観測・評価できる状態に変換することです。多くのルールはファイル、プロセス、またはネットワークアクティビティに関連していますが、リポジトリ構造、タスクの進捗、または以前のイベントに依存するため、単一のOSフックでポリシーセットの一部しかカバーできません。この記事は、ActPlaneの実証研究からの知見を基に、そのギャップがシステム設計と評価にどのように影響するかを追跡します。
開発者はすでにポリシーを記述している
AIエージェントの安全に関するほとんどの議論は、脅威モデルまたは攻撃対象領域から始まります。ActPlaneは異なる質問から始めます。開発者はすでにエージェントに何をさせ、何をさせないように指示しており、それらの指示を強制するには何が必要か?
この研究では、CLAUDE.md および AGENTS.md ファイルを含む64の人気の高いリポジトリ(中央値20K GitHubスター、2026-05-23のスナップショット)を調査し、84の指示ファイルと2,116の個々のステートメントを対象としました。指示ファイルをファイルまたはセクション見出しレベルで分析した先行研究とは異なり、ActPlaneは各ステートメントを独立して分類します。研究は3つの質問を投げかけます。指示ファイルは主に行動ポリシーか、それとも記述的なコンテキストか?どのポリシーがOSレベルの強制を必要とし、どのような種類のOSレベルチェックが必要か?これらのポリシーを具体的で強制可能なルールにインスタンス化するために、どのようなコンテキストが必要か?
ステートメントは、ソース行範囲と、コンテンツタイプ、トピック、強制レベル、コンテキスト要件の4つのラベルを記録する2パスのLLMエージェント支援パイプラインを通じて抽出されました。検証スクリプトは完全なソースカバレッジと正確なスパンマッチングを確認し、その後、2つの独立したエージェント(ClaudeとCodex)が結果を相互検証しました。100ステートメントの層化サンプルは独立した人間によるレビューを受け、ラベルが正しいことが確認されました。
2,116ステートメント全体のうち、64%は特定のエージェントアクションを要求、禁止、または条件付けるポリシーでした。残りの36%は、アーキテクチャノートやプロジェクトの背景などの記述的なコンテキストでした。ポリシーの密度はリポジトリ間で大きく変動し、0%から97%まであり、70.1%のリポジトリには記述的なステートメントよりもポリシーのステートメントが多く含まれていました。ファイルまたは見出しレベルの研究では、このステートメントレベルの分布は報告されていないため、より細かい分類が重要になります。
ポリシーが懸念事項にどのように分布するかを理解するために、研究では各ステートメントを、ファイル粒度ではなくステートメント粒度で適用される、先行研究の指示ファイル研究から適応された12のトピックカテゴリのいずれかに割り当てました。開発プロセスと実装の詳細は、それぞれ87%と85%でポリシーランドスケープを支配しています。アーキテクチャは、ディレクトリレイアウトと設計概要がそのセクションの大部分を占めるため、23%で主に記述的です。インポートされたソース図は、ポリシーのステートメントをディレクティブと呼び、システムで観測可能なポリシーサブセットをシステムレベルのディレクティブと呼びます。この文章は、論文のポリシーとシステムで観測可能な用語に従っています。
[画像: CLAUDE.md または AGENTS.md を持つ64リポジトリでのリポジトリごとのポリシーの割合]
データセットからの5つの実際のステートメントは、強制要件の範囲を示しています。
| ステートメント | 強制レベル | コンテキスト |
|---|---|---|
| S4: "Never push to main directly." | イベントごと | 自己完結型 |
| S5: "Never modify upstream source code." | イベントごと | プロジェクト |
| S6: "Run the full test suite before committing." | イベント間 | プロジェクト |
| S7: "Data read from .env must not reach the network." | イベント間 | プロジェクト |
| S8: "Do not update dependencies without approval." | イベントごと | タスク |
強制ギャップはコンテキストから始まる
各ポリシーは、強制ウォーターフォールの最初のマッチするティアで終了します。セマンティックのみは、推論、通信、または出力スタイルをカバーします。コンテンツは、ファイルコンテンツの述語をカバーします。イベントごとは、単一のコマンド、ファイルアクセス、またはネットワーク接続をカバーします。イベント間は、時間的順序または操作間のデータ系統に依存するポリシーをカバーします。コンテンツ、イベントごと、およびイベント間のティアの和集合は、システムで観測可能と呼ばれます。
データセット内の1,361のポリシーのうち、セマンティックのみはわずか17%です。残りの83%はシステムで観測可能であり、コンテンツ検査を必要とする38%、1つのOSイベントにマッチする29%、イベント間の状態を必要とする16%を占めます。イベントごととイベント間のクラスのみ(合計45%)がOSで強制可能なサブセットを形成します。イベント間のポリシーは開発プロセスに集中しており、すべてのイベント間ポリシーの39.5%を占めます。
[画像: セマンティックのみ、コンテンツ、イベントごと、イベント間の分布を1,361ポリシーにわたる強制ウォーターフォールで表示]
「コミット前にテストを実行する」は、単に以前の時点ではなく、あるイベントが別のイベントの後に発生する必要があるため、時間的順序に属します。データセットでは、さらに3つの関係が繰り返し現れます。ファイル間の一貫性は、動作が変更されたときにソース編集をドキュメント更新に結び付けます。複数ステップのワークフローは、次のゲートが開始される前に各リリースゲートが完了することを要求します。条件付きトリガーは、前提条件が満たされた場合にのみアクティブになります。「仕様を変更した場合は、SDKも更新してください」のような場合です。
これらのいずれも単一のイベントから決定することはできないため、強制は、何が実行されたか、どの順序で、そしてそれ以降何が変更されたかを記録する必要があります。このようなポリシーは広く普及しており、81%のリポジトリが少なくとも1つのイベント間ポリシーを含み、43%が4つのすべての強制ティアにまたがっています。
コンテキスト依存性は、強制の課題を増大させます。1,127のシステムで観測可能なポリシーのうち、自己完結型はわずか26.4%です。大多数の64.2%はプロジェクトコンテキストを必要とします。「テストスイート」または「アップストリームソース」は、ポリシーが具体的なルールになる前に特定のレポジトリに対して解決される必要があります。S5「アップストリームソースコードを変更しないでください」のようなイベントごとのポリシーでさえ、ファイル書き込みチェックがトリガーされる前に「アップストリームソース」を構成するパスを解決する必要があります。さらに9.4%は、「明示的に要求されない限り」または「承認なしに」のようなタスクコンテキストを必要とします。
2つの困難は複合的です。なぜなら、イベント間で状態を追跡する必要があるポリシーは、ルールを記述するために必要な具体的なコマンドとパスをほとんど指定しないポリシーでもあるからです。イベント間のポリシーは、コンテンツポリシーの58%と比較して、95%がコンテキスト依存です(プロジェクト77%、タスク19%)。「コミット前にテストを実行する」と言うポリシーは、強制エンジンがどのテストコマンドを監視する必要があるか、どのソースディレクトリが「関連する編集」と見なされるか、そしてテストがパスしたのか、単に実行されただけなのかを知るまで、単純に聞こえます。
[画像: 自己完結型、プロジェクトコンテキスト、タスクコンテキストの分布を1,127システムで観測可能なポリシーにわたるコンテキストウォーターフォールで表示]
固定された静的ルールのセットは、自己完結型の部分しかカバーできません。残りをインスタンス化するには、チェックが実行される前にリポジトリを読み取り、現在のタスクを解釈する必要があります。
エージェントポリシーの強制は、リポジトリとタスクのコンテキストを、決定論的なチェックが評価できる具体的な状態にコンパイルすることから始まります。
1つのルールが複数の強制レイヤーを横断する
プロンプト指示はモデル自身のコンプライアンスに依存しますが、プロンプトインジェクションに対して脆弱であり、長いコンテキストウィンドウでの注意を巡ってユーザーのタスクプロンプトと競合します。個別のエージェントまたはLLMガードは、実行時にプロンプト、応答、またはアクションの軌跡をチェックできますが、これらのチェックは本質的に確率的です。
ツール呼び出しガードレールとアプリケーションレベルの情報フロー制御(IFC)システムは、ハーネス境界で決定論的にインターセプトしますが、ツールが実行を開始した後のシステムレベルの効果ではなく、ハーネスを介したリクエストのみを観測します。間接的なサブプロセス、シェルアウト、またはコンパイルされたバイナリは、ツール境界をバイパスする可能性があります。例えば、`subprocess.run([