コーディングエージェントのためのハーネス設計に関する実証研究

Computer Science > Artificial Intelligence

arXiv:2609.20804 (cs)

[Submitted on 17 Sep 2026]

Title:コーディングエージェントのためのハーネス設計に関する経験的研究

Authors:Run-Ze Fan, Zihao Zhang, Simin Ma, Yebowen Hu, Shouju Wang, Kaiqiang Song, Fei Liu, Hamed Zamani, Xiaoyang Wang

View a PDF of the paper titled An Empirical Study of Harness Design for Coding Agents, by Run-Ze Fan and 8 other authors

View PDF HTML (experimental)

Abstract:コーディングハーネスは、自律的なコーディングエージェントがモデルの能力を長期間にわたるソフトウェアエンジニアリングのパフォーマンスに変換する方法を形成しますが、既存の研究ではハーネスをモノリシックなシステムとして評価することが多く、個々のコンポーネントの効果が不明瞭なままです。コンポーネントレベルでの比較を可能にするため、本研究では、実行ループが固定されており、計画、アクション空間、コンテキスト管理の3つのコンポーネントが変更される軽量コーディングハーネスを用いてこの問題を調査します。SWE-Bench VerifiedおよびTerminal-Bench 2.1で評価された4つのモデル全体で、5つのコンテキスト管理戦略、4つのコンテキストウィンドウ予算、および計画とアクション空間のターゲット付きアブレーションを網羅する176の適合設定を評価します。その結果、以下のことがわかりました。(1) コンテキスト管理は、コンテキストウィンドウの予算が厳しくなるにつれてますます価値が高まり、そのメリットの大部分はコンテキストオーバーフローによる失敗を防ぐことから得られます。(2) ルールベースのエリジョンをLLMベースの要約の前に行うことが、コンテキスト管理戦略の中で最も全体的な効率を提供しますが、エリジョンされたコンテンツを回復可能にすることは、モデルがほとんど使用しない機械を追加し、精度向上をもたらしません。(3) 計画は、弱いモデルにとっては精度の足場から、強いモデルにとってはコスト削減へと移行し、精度にはほとんど変化がありません。(4) 事前定義されたツールは、bashの習熟度が低いモデルのパフォーマンスを向上させますが、bash対応モデルはbashのみのインターフェースで効果的に動作でき、特にコマンドライン中心のタスクでは大幅に低いコストを達成できます。軌跡レベルの分析はこれらの効果を説明します。コンテキスト管理は、エージェントの動作を大幅に変更することなく実行軌跡を拡張し、計画は軌跡が停止する場所を変更し、アクション空間はコードが記述される粒度を変更します。これらの発見は、モデルおよび予算を考慮したハーネス設計に情報を提供し、将来のハーネスコンポーネントを評価するためのモジュラーフレームワークを提供します。

Submission history

From: Run-Ze Fan

[v1] Thu, 17 Sep 2026 17:58:07 UTC (6,713 KB)

Full-text links:

Access Paper:

View a PDF of the paper titled An Empirical Study of Harness Design for Coding Agents, by Run-Ze Fan and 8 other authors

• View PDF
• HTML (experimental)
• TeX Source

view license

Additional Features

• Audio Summary

Current browse context:

cs.AI

< prev   |   next >

new | recent | 2026-09

Change to browse by:

cs
cs.CL
cs.LG
cs.SE

References & Citations

• SciX
• Google Scholar
• Semantic Scholar

Loading...

BibTeX formatted citation

loading...

Data provided by:

Bookmark

［画像: BibSonomy］［画像: Reddit］

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (What is the Explorer?)

Connected Papers Toggle

Connected Papers (What is Connected Papers?)

Litmaps Toggle

Litmaps (What is Litmaps?)

scite.ai Toggle

scite Smart Citations (What are Smart Citations?)

Code, Data, Media

Code, Data and Media Associated with this Article

alphaXiv Toggle

alphaXiv (What is alphaXiv?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (What is CatalyzeX?)

DagsHub Toggle

DagsHub (What is DagsHub?

GotitPub Toggle

Gotit.pub (What is GotitPub?)

Huggingface Toggle

Hugging Face (What is Huggingface?)

ScienceCast Toggle

ScienceCast (What is ScienceCast?)

Demos

Demos

Replicate Toggle

Replicate (What is Replicate?)

Spaces Toggle

Hugging Face Spaces (What is Spaces?)

Spaces Toggle

TXYZ.AI (What is TXYZ.AI?)

Related Papers

Recommenders and Search Tools

Link to Influence Flower

Influence Flower (What are Influence Flowers?)

Core recommender toggle

CORE Recommender (What is CORE?)

• Author
• Venue
• Institution
• Topic

About arXivLabs

arXivLabs: experimental projects with community collaborators

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)