Self-Harness: 自己改善するハーネス
Self-Harness: Harnesses That Improve Themselves (arxiv.org)
要約
この論文は、大規模言語モデル (LLM) ベースのエージェントが、人間やより強力な外部エージェントに頼ることなく、自身の運用ハーネス(環境との相互作用を仲介するメカニズム)を改善する新しいパラダイム「Self-Harness」を導入しています。このアプローチは、弱点特定、ハーネス提案、提案検証の3段階の反復ループで構成されます。実験では、Self-Harnessが複数のモデルでパフォーマンスを一貫して向上させ、モデル固有の弱点を具体的な実行可能なハーネス変更に変換する効果を示しました。
全文翻訳
Title: Self-Harness: 自己改善するハーネス
要約: LLMベースのエージェントのパフォーマンスは、その基盤モデルと環境との相互作用を仲介するハーネスによって共同で形成されます。異なるモデルは異なる振る舞いを示すため、効果的なハーネス設計は本質的にモデル固有です。しかし、エージェントのハーネスは依然として人間の専門家によって主に設計されており、現代のLLMがますます多様化し急速に進化するにつれて、このパラダイムはスケールしにくくなっています。本論文では、LLMベースのエージェントが、人間のエンジニアやより強力な外部エージェントに依存することなく、自身の動作ハーネスを改善する新しいパラダイムであるSelf-Harnessを導入します。Self-Harnessを3つの段階からなる反復ループとして実装します。弱点マイニング(実行トレースからモデル固有の失敗パターンを特定)、ハーネス提案(これらの失敗に関連付けられた多様かつ最小限のハーネス修正を生成)、提案検証(回帰テスト後に候補となる編集のみを受け入れる)です。最小限の初期ハーネスと、MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5という多様なファミリーの3つのベースモデルを使用して、Terminal-Bench-2.0、SWE-bench Verified、AppWorld全体でSelf-Harnessをインスタンス化しました。すべての9つのモデルとベンチマークの組み合わせにおいて、最終的なハーネスはすべて、保持データと保持されていないデータの両方のパスレートを向上させ、全体的な相対的なゲインは最大132%に達しました。定性的な分析により、保持されたメカニズムが、アーティファクト処理とランタイム制御、ソフトウェアパッチ検証、アプリケーション状態取得におけるベンチマーク固有のボトルネックに対処していることがさらに示されました。これらの結果は、ハーネスによって形成されるだけでなく、ハーネスの再形成にも参加できるLLMベースのエージェントへの道を示唆しています。
| コメント: | このURL |
| 件名: | 計算と言語 (cs.CL) |
| 引用: | arXiv:2606.09498 [cs.CL] |
| (またはこのバージョンについては arXiv:2606.09498v3 [cs.CL]) | |
| https://doi.org/10.48550/arXiv.2606.09498 DataCite経由のarXiv発行DOI |
投稿履歴
投稿者: Hangfan Zhang [メール表示]
v1 2026年6月8日 月曜日 13:50:23 UTC (3,355 KB)
v2 2026年8月12日 水曜日 16:54:29 UTC (7,453 KB)
v3 2026年8月20日 木曜日 08:48:51 UTC (7,453 KB)