コーディングエージェントのためのハーネス設計に関する実証研究

コーディングハーネスは、自律型コーディングエージェントがモデルの能力を長期的なソフトウェアエンジニアリングのパフォーマンスに変換する方法を形成しますが、既存の研究ではハーネスをモノリシックなシステムとして評価することが多く、個々のコンポーネントの効果が不明確なままでした。 コンポーネントレベルの比較を可能にするために、この質問を、実行ループが固定されており、計画、アクション空間、コンテキスト管理の3つのコンポーネントが変更される軽量コーディングハーネスで研究します。 SWE-Bench VerifiedとTerminal-Bench 2.1で評価された4つのモデル全体で、5つのコンテキスト管理戦略、4つのコンテキストウィンドウ予算、および計画とアクション空間の標的化されたアブレーションにまたがる176のマッチした設定を評価します。 以下のことが判明しました。 (1) コンテキスト管理は、コンテキストウィンドウ予算がタイトになるにつれてますます価値が高まり、そのメリットのほとんどはコンテキストオーバーフローの失敗を防ぐことから得られます。 (2) LLMベースの要約の前にルールベースのエリジョンをステージングすることが、コンテキスト管理戦略の中で最も全体的な効率を提供しますが、エリジョンされたコンテンツを回復可能にすることは、モデルがめったに使用しない機械を追加し、精度向上をもたらしません。 (3) 計画は、弱いモデルの精度スキャフォールドから、強いモデルのコストセーバーへと移行し、精度はほとんど変化しません。 (4) 事前定義されたツールは、bash能力の低いモデルのパフォーマンスを向上させますが、bash対応モデルはbashのみのインターフェースで効果的に動作でき、特にコマンドライン中心のタスクでは大幅に低いコストを達成できます。 軌跡レベルの分析はこれらの効果を説明します。コンテキスト管理は、エージェントの動作を大幅に変更せずに実行軌跡を拡張します。計画は軌跡が停止する場所を変更し、アクション空間はコードが記述される粒度を変更します。 これらの発見は、モデルと予算を意識したハーネス設計に情報を提供し、将来のハーネスコンポーネントを評価するためのモジュラーフレームワークを提供します。