HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Handbook.md は、長いポリシー文書がエージェントを確実に管理しないことを示す

Handbook.md shows that long policy documents do not reliably govern agents (arxiv.org)

308 pointsby spIrr185 コメント

要約

本研究では、言語モデルエージェントが長文の指示に従う能力を評価する新しいベンチマーク「HANDBOOK.md」を提案しています。このベンチマークは、企業従業員が社内ハンドブックに従う様子を模倣した65のタスクで構成されており、エージェントが長期間にわたるツール使用において、長文のポリシー文書にどれだけ忠実に従えるかを検証します。実験の結果、最先端のモデルでもポリシー遵守率は低く、エージェントはしばしばポリシーよりも環境内の要求を優先したり、ルールの詳細を忘れたりすることが明らかになりました。

全文翻訳

Computer Science > Artificial Intelligence

arXiv:2607.25398 (cs)

[Submitted on 28 Jul 2026 (v1), last revised 3 Aug 2026 (this version, v3) ]

Title:HANDBOOK.md: 長文コンテキストにおけるエージェントの指示追従のためのベンチマーク

Authors:Liudas Panavas, Sebastian Minus, Bradley Monton, Derek Ray, Suhaas Garre, Sushant Mehta, Edwin Chen

Liudas Panavasら6名の著者による "HANDBOOK.md: 長文コンテキストにおけるエージェントの指示追従のためのベンチマーク" というタイトルのPDFを表示

PDFを表示 HTML (実験的)

要約: 言語モデルエージェントは、システムプロンプト、ポリシーファイル、またはスキル文書がコンテキストに配置され、エージェントがその文書に従ってあらゆる行動を行うと信頼される、継続的な指示の下でますます展開されています。既存のベンチマークは、この展開パターンを直接テストすることはほとんどありません。タスクを完了できるかどうかを測定しますが、長文で拘束力のあるポリシー文書が、長期間のツール使用においてその行動を制約するかどうかは測定しません。私たちは、従業員が会社の手引きに従う方法をモデルにした65のエージェントタスクからなるベンチマーク「HANDBOOK_md」を発表します。各タスクは、エージェントを自己完結型の企業環境(モデルコンテキストプロトコルを介して公開されるモックメール、チャット、カレンダー、課題追跡、および商取引サービスを備えたファイルワークスペース)に配置し、専門家が作成した20〜124ページの標準作業手順書によって律せられる日常的な専門業務を実行するように指示します。タスクは5つのドメイン(金融、医療請求、保険、物流、人事)と10の架空の企業にまたがります。記憶への抵抗のために、各タスクは10の基本ハンドブックのいずれかを変更し、採点の基礎となる特定のルールと閾値を変更するため、2つのタスクが同じポリシーセットを共有することはありません。採点は完全に決定的です。各タスクには、必要なアクションが発生したことと、禁止されたアクションが発生しなかったことの両方をチェックするプログラム可能な基準(合計824)のルーブリックがあります。厳格な採点では、すべての基準が満たされた場合にのみトライアルが合格とみなされ、評価された最も強力なモデルでもトライアルの36.2%しか合格せず、ほとんどの最先端モデルは25%未満にとどまります。失敗は一貫したパターンに従います。エージェントは、もっともらしいが許可されていない環境内リクエストが継続的なポリシーを上回ることを許可し、必要なチェックを実行してからその結果に反する行動を取り、長期間にわたってルール詳細を失い、達成していないコンプライアンスを報告します。タスク、環境、および評価ハーネスを公開します。

コメント:16ページ、3図、5表。Workshop on Agent Behavior (WAB) at COLM 2026 に採択。ベンチマーク、環境、評価ハーネス: このURL
件名:人工知能 (cs.AI); 計算と言語 (cs.CL)
引用元:arXiv:2607.25398 [cs.AI]
(またはこのバージョン arXiv:2607.25398v3 [cs.AI])
https://doi.org/10.48550/arXiv.2607.25398 DataCite 経由の arXiv 発行 DOI

Submission history

From: Sushant Mehta
v1 Tue, 28 Jul 2026 07:58:07 UTC (57 KB)
v2 Wed, 29 Jul 2026 19:12:01 UTC (57 KB)
v3 Mon, 3 Aug 2026 20:36:31 UTC (58 KB)

Full-text links:

Access Paper:

Liudas Panavasら6名の著者による "HANDBOOK.md: 長文コンテキストにおけるエージェントの指示追従のためのベンチマーク" というタイトルのPDFを表示

[画像: license icon]ライセンスを表示

Additional Features
Current browse context:

cs.AI

< 前   |   次 >

new | recent | 2026-07

Change to browse by:

cs
cs.CL

References & Citations

Loading...

BibTeX formatted citation

loading...

Data provided by:

Bookmark

[画像: BibSonomy][画像: Reddit]

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (Explorerとは?)

Connected Papers Toggle

Connected Papers (Connected Papersとは?)

Litmaps Toggle

Litmaps (Litmapsとは?)

scite.ai Toggle

scite Smart Citations (Smart Citationsとは?)

Code, Data, Media

Code, Data and Media Associated with this Article

alphaXiv Toggle

alphaXiv (alphaXivとは?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (CatalyzeXとは?)

DagsHub Toggle

DagsHub (DagsHubとは?)

GotitPub Toggle

Gotit.pub (GotitPubとは?)

Huggingface Toggle

Hugging Face (Huggingfaceとは?)

ScienceCast Toggle

ScienceCast (ScienceCastとは?)

Demos

Demos

Replicate Toggle

Replicate (Replicateとは?)

Spaces Toggle

Hugging Face Spaces (Spacesとは?)

Spaces Toggle

TXYZ.AI (TXYZ.AIとは?)

Related Papers

Recommenders and Search Tools

Link to Influence Flower

Influence Flower (Influence Flowersとは?)

Core recommender toggle

CORE Recommender (COREとは?)

  • Author
  • Venue
  • Institution
  • Topic

About arXivLabs

arXivLabs: community collaboratorsとの実験的なプロジェクト

arXivLabsは、共同作業者が私たちのウェブサイト上で直接新しいarXivの機能を作成し共有できるようにするフレームワークです。

arXivLabsと協力する個人および組織は、オープンネス、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それらに準拠したパートナーのみと協力します。

arXivコミュニティに価値をもたらすプロジェクトのアイデアがありますか? arXivLabsについてもっと知る。

この論文の著者のうち、誰が推薦者ですか? | MathJaxを無効にする (MathJaxとは?)