Self-Harness: 自己改善するハーネス

LLMベースのエージェントのパフォーマンスは、その基盤モデルと、環境との相互作用を仲介するハーネスによって共に形成されます。異なるモデルは異なる振る舞いを示すため、効果的なハーネス設計は本質的にモデル固有です。しかし、エージェントのハーネスは依然として主に人間の専門家によって設計されており、現代のLLMがますます多様化し急速に進化する中で、このパラダイムはスケーラビリティに劣ります。本論文では、LLMベースのエージェントが人間エンジニアやより強力な外部エージェントに頼ることなく、自身の運用ハーネスを改善する新しいパラダイムであるSelf-Harnessを導入します。私たちはSelf-Harnessを、実行トレースからモデル固有の失敗パターンを特定する弱点マイニング、これらの失敗に結びついた多様かつ最小限のハーネス変更を生成するハーネス提案、そして回帰テスト後にのみ候補の編集を受け入れる提案検証という3つの段階を持つ反復ループとして運用します。私たちは、Self-HarnessをTerminal-Bench-2.0上で、最小限の初期ハーネスと、MiniMax M2.5、Qwen3.5-35B-A3B、GLM-5という多様なファミリーからの3つの基盤モデルを用いて実装しました。これら3つのモデル全てにおいて、Self-Harnessは一貫してパフォーマンスを向上させ、保留されたパス率はそれぞれ40.5%から61.9%、23.8%から38.1%、42.9%から57.1%に増加しました。定性分析では、Self-Harnessが単に一般的な指示を追加するだけでなく、モデル固有の弱点を具体的で実行可能なハーネス変更に効果的に変えていることがさらに示されています。これらの結果は、ハーネスによって形作られるだけでなく、それらを再形成することにも参加できるLLMベースのエージェントへの道筋を示唆しています。