27,280回のコーディングエージェント実行で、推論コストの64%が失敗した実行に費やされた
In 27,280 coding agent runs, 64% of inference spend went to runs that failed (runta.com)
要約
RuntaはBasetenと協力し、22種類のハーネスと5種類のモデルを比較する大規模なベンチマークを実施しました。その結果、モデルを変更する際にはハーネスも変更することを検討すべきであり、モデルごとに最適なハーネスが異なることが明らかになりました。また、コストの大部分(64.5%)は失敗した実行に費やされており、特に失敗した実行の多くが確信を持った回答で終了するという課題も指摘されています。
全文翻訳
Introducing FrontierHarness Eval v1.1
TL;DR
Basetenと提携し、830億トークン、27,280回のエージェント実行を使用した、最大規模のハーネスリーダーボードを構築しました。私たちは2つの疑問に答えたいと考えていました:モデルを切り替える際に、ハーネスも切り替えることを検討すべきか?各モデルに最適なハーネスは何か?
以前のv1.0 FrontierHarnessリーダーボードは、単一のモデルであるKimi K3でハーネスをランク付けしていました。
v1.1では、ベンチマークを22ハーネス × 5モデル × 62タスク × 4試行に拡張し、v1.0の76倍の規模にしました。
実験の結果、体験を最大化するためには、モデルを切り替える際にハーネスも切り替えることを検討すべきであることを見出しました。
各モデルで最適な価値(合格率 vs コスト)を持つハーネスは異なりました:Codex CLIはGLM-5.3、PiはGLM-5.3 Flash、ZCodeはDeepSeek V4.1 Flash 1017、Oh My PiはMuse、AlmaはKimi-K3でした。コストの順位はモデル間で大きく変動しました。
タスクあたりのコストで見ると、中央値のハーネスは22位中11位移動し、Codex CLIはGLM-5.3では1位でしたが、Kimi-K3では16位になりました。
結果
図1. 各ハーネスのタスクあたりのコストと合格率
各点は1つのハーネスを表します。左にいくほどタスクあたりの平均コストが低く、上にいくほど合格率が高いです。オレンジ色の線は、コストと合格率の両方で他のどのハーネスにも劣らないハーネスを結んでいます。この投稿のすべての図をフィルタリングするには、モデルを選択してください。
全モデルを通して、4つのハーネスが線上にあります:OpenCode v2(タスクあたりの最低コスト、$0.561)、Pi、Codex CLI、ZCode(最高の合格率、61.9%)。他のものは最大1.6倍のコストがかかり、合格率は50.6%から60.2%でした。
各カードは、モデルごとの最良価値ハーネスの名前を示しています。これは、合格率あたりの最低コストですが、合格率あたりのコストが30%以上高く、合格率が5ポイント以上高い他のハーネスがある場合は、そちらを選択します。このルールにより、ZCodeはOpenCode v1(DeepSeek使用、コスト25%増、ポイント7.7増)よりも、AlmaはOh My Pi(Kimi-K3使用、コスト9%増、ポイント6.5増)よりも優先されました。
なぜ FrontierHarness Eval v1.1 を構築したのか
V1.0では、9つのハーネスを1つのモデルで実行しました。合格率は互いに17ポイント以内の差でしたが、合格率あたりの平均コストは17倍も異なりました。これは主にハーネスとモデルの組み合わせによるものだと考えました。あるモデルで安価なハーネスが、別のモデルでは高価になる可能性があります。
V1.1では、各ハーネスを5つのモデルで実行します。
テスト内容
ハーネス。 18種類のハーネス。DeepSeek Harnessの4つのプロファイルは異なるツールセットを持ち、OpenCodeは2つのバージョンで実行されました。それぞれ別々にカウントされるため、合計22の設定があります。付録の表2にバージョンを示します。
モデル。 Basetenが提供した5種類すべて:GLM-5.3 (zai-org/GLM-5.3)、GLM Flash (zai-org/GLM-5.3-Flash)、DeepSeek (deepseek-ai/DeepSeek-V4.1-Flash-1017)、Muse (meta-models/muse-spark-open)、Kimi-K3 (moonshotai/Kimi-K3)。
タスク。 62のターミナルタスク。時間制限はタスクに依存し、15分から8時間です。
セットアップとスコアリング
設定と実行
私たちはHarbor評価を各ハーネスのデフォルト設定で実行しました。これは、人々がハーネスを日常的に使用する方法に最も近いと考えているからです。各ハーネスは、すべてのモデルで同じバージョンと設定を使用し、最大推論努力をかけました。
図2. HarborとRuntaが各トライアルで作業をどのように分割するか
[画像: Harborは、そのエージェントと検証者を使用して、各トライアルを独自のRuntaランタイムで実行し、終了時に削除されます。]
各トライアルは新しいRuntaランタイムを取得し、終了時に削除されます。したがって、どのトライアルも以前のトライアルのファイルを見ることはできません。
スコアリング方法
表1. 方法論
セルは1つのハーネスとモデルのペアです。ダッシュボードで使用している2つのコスト指標を使用します:
- タスクあたりの平均コスト: 各タスクの有料トライアルの平均コスト、次にタスクごとの平均。図1とコストランクはこの指標を使用します(図4および5)。
- 合格率あたりのコスト: タスクあたりの平均コストを合格率で割った値。最良価値ハーネスはこの指標を使用します(図3、6、7)。
合格率あたりのコストで最良価値を選択するのは、合格率対コストのチャートの左上にあるハーネスを望むからです。つまり、低コストで高い合格率です。原点からハーネスの点への線を描きます。その傾き、つまり1ドルあたりの合格数は、合格率÷コストです。合格率あたりのコストはこの傾きの逆数なので、合格率あたりの最低コストが最も急な線になります。
トライアルログの監査により、216件のトライアルが報酬ハッキングのためにフラグ付けされ、そのうち163件はオンライン検索でした。これらのトライアルは0点となります。付録の表3に、各ハーネスとモデルのカウントを示します。
モデル別の結果
図3. 各モデルにおける各ハーネスのコストと合格率
セルが深いほど、その列の他のセルよりもコストが低くなります。Codex CLIはGLM-5.3で最も安価な合格率あたり$0.803でしたが、Museでは12位、Kimi-K3では10位でした。全モデルを通して、合格率あたりの総コストは$0.937で最も低く、Antigravity CLIは$1.63で最も高かったです。
これらの結果はどれほど確かなのか?
62のタスクを4,000回再描画し、毎回最良価値ハーネスを選択しました。Codex CLIはGLM-5.3で99.6%のドローで1位を維持しました。他の4つの勝者は、複数の近いハーネスの中で最も可能性が高いものです:Muse(53%)のOh My Pi、DeepSeek(47%)のZCode、GLM Flash(42%)のPi、Kimi-K3(25%)のAlma。
ハーネスがコストを変える
モデルはコストの一般的なレベルを設定します。なぜなら、モデルのリスト価格は20倍以上異なるからです(図9)。110個のセルのタスクあたりの平均コストを対数スケールで取りました。これにより、モデルごとに倍増が同じようにカウントされます。二元配置分散分析は、これらのコストのばらつきを3つの部分に分割します:
- モデル、92.8%: 5つのモデル間の違い。
- ハーネス、2.3%: すべてのモデルで同じであるハーネスの効果の一部。
- ペア、4.9%: 残り。各セルには1つの値しかないため、ノイズも含まれます。
したがって、モデルを固定した場合、ハーネス間のばらつき(7.2ポイントのうち4.9ポイント)の68%は、ペアまたはノイズに依存します。
モデルを固定した場合、ハーネスはコストを1.8倍から5.0倍変化させる
図4. モデルごとの最低コストと最高コストのハーネス
各行はモデルで、タスクあたりの平均コストの対数スケールです。比率は最高コストを最低コストで割ったものです。
偶然性をテストするために、各モデルのハーネス間でトライアルを300回シャッフルし、再度比率を計算しました。「偶然」はこれらの比率の中央値で、1.2倍から1.8倍です。すべての5つの実際の比率は、すべてのシャッフルよりも大きいため(p = 0.003)、ばらつきはノイズではなくハーネスに由来します。最大はDeepSeekの場合で、Cline CLIはOpenCode v1よりも5.0倍のコストがかかりましたが、2.0ポイント多く合格しました。他のモデルでは、タスクあたりの最も安価なハーネスは、最も高価なハーネスよりも0.4ポイント未満しか劣りませんでした。
タスクあたりの最も安価なハーネスはモデルによって変化する
図5. モデルごとの各ハーネスのコストランク(1 = タスクあたりの最低コスト)
各線はハーネスで、最も安価なものが一番上にあります。5つのハイライトされた線は、GLM-5.3、GLM Flash、DeepSeek、Muse、Kimi-K3でタスクあたりの最も安価なハーネスです。
Codex CLIはGLM-5.3で1位、Kimi-K3で16位でした。DeepSeek Harness: Creatorは最も大きく変動し、Museで1位からGLM Flashで21位になりました。OpenCode v1はDeepSeekで1位、Museで13位でした。
再実行はこの移動を説明しません。試行を2つの半分に分割し、各半分でコストによってハーネスをランク付けしました。同じモデルでは、2つのランキングの平均ランク相関は0.71でした。異なるモデルでは0.26でした。
高いコストは高いスコアをもたらさない
図6. モデルごとの最低および最高合格率あたりのコスト
これは合格率あたりのコストに関する図4です。各比率の後には、ハーネスのタスクあたりのコストと合格率のランク相関が-0.39から+0.22の範囲で示されています。正の値は、より高価なハーネスほど頻繁に合格したことを意味します。
最も高い合格率を持つハーネスは、タスクあたりのコストでは22位中5位から20位でした。5つのモデルのうち4つでは、最も高価な合格率あたりのコストのハーネスは、最も安価なハーネスよりも合格率が低かったです。
よりシンプルなハーネスはコストが低いか?
いいえ。4つの要因を合格率あたりのコストと比較しました。プロンプトサイズ、ツール数、キャッシュヒット率は主なコスト要因ではありません。ステップ数です。
- 開始トークン: 最初のエージェントループ要求の入力トークン:システムプロンプト、ツール定義、タスク。
- ツール: 最初の要求が提供するツール。
- キャッシュヒット率とステップ数: 合格したトライアルの平均。ステップはエージェントの軌跡のエントリ1つです。
図7. 各ハーネスの4つの要因と合格率あたりのコスト
22のハーネス全体で、合格率あたりのステップ数と合格率あたりのコストのランク相関は+0.51(p = 0.015)でした。他の3つの要因については、-0.03から+0.02(p ≥ 0.88)でした。各モデル内では、ツール呼び出しはステップと同様にコストを追跡しました。表4と付録の表5に値を示します。
各ステップでコンテキストが再度送信されるため、トライアルはハーネスごとに平均2.0から4.8百万の入力トークンを使用し、最大の最初の要求(21,365トークン)はそれの1%未満です。mini-SWE-agentは最小の最初の要求(882トークン)を持ちますが、合格率あたり38ステップかかり、合格率あたりのコストでは22位中17位でした。
表4. 各ハーネスの開始トークン、ツール、キャッシュヒット率、ステップ数、合格率あたりのコスト
コストの発生源
図8. 各ハーネスの推論コスト(トークンタイプ別または結果別)
すべてのコストはリスト価格での推論見積もりです。モデルカードのハーネスの合格率にはアウトラインがあります。
全トライアルを通して、キャッシュからの入力がコストの42%、出力が33%、その他の入力が25%を占めました。
トークンとキャッシュ
キャッシュは、繰り返し入力のコストを大幅に削減します。キャッシュされた入力のコストは、他の入力(図9)の価格の2%(DeepSeek)から20%(GLM Flash)です。
図9. 各モデルのリスト価格(100万トークンあたりのUSD)
1つのペアがキャッシュの効果を示しています。Cline CLI(DeepSeek使用、タスクあたりの最高コスト) は入力の86%をキャッシュから読み込み、OpenCode v1は97%を読み込みました。また、入力量は2倍でした。キャッシュから取得されなかった入力は、コストの57%を占めました。
コストの大部分は合格しなかったトライアルに費やされる
採点された実行のリスト価格コストの64.5%は、合格しなかったトライアルに費やされました:失敗に52.7%、タイムアウトに11.8%。
5つの最良価値ハーネスのトレースは、3つの共通の設計上の選択を示しています。これらは観察であり、テストではありません。
1つのシェルツールがほとんどの作業を行います。 ハーネスごとに、ツール呼び出しの61%から93%を占めました。Piのデフォルトプロンプトには4つのツールがあり、ファイル検索をbashに送信します:
selectedTools: [...(input.selectedTools ?? ["read", "bash", "edit", "write"])]
addRule("Use bash for file operations like ls, rg, find");
各要求は前の要求に追加されるだけです。 コンテキストの開始部分は変更されないため、プロバイダーはキャッシュから読み込みます:合格したトライアルでの入力の91.1%から94.0%(表4)。しかし、22のハーネスのうち18は91%以上を読み込みましたが、これは区別にはなりません。各ステップは、約500の新しいトークンに対して完全な入力価格を支払います:
# Pi, GLM-5.3, merge-diff-arc-agi-task (trial cd2f6dfd)
request prompt tokens cached tokens
8 15,954 15,616
9 16,351 15,936
10 16,999 16,320
サブエージェントなし、要約はほとんどなし。 5つのうち、各々は最大6回のトライアルでサブエージェントを使用しましたが、サブエージェントが役立つかどうかを判断するには少なすぎます。5つのうち、Codex CLIのみが8回のトライアルで要約しました(表6の11回のAlmaトライアルは古い画像とリマインダーのみを削除します)。Codex CLIはウィンドウの90%で要約します(表6):
.map(|context_window| (context_window * 9) / 10);
5つは弱点も共有しています。失敗した実行は自信のある回答で終了します。 約4分の3の失敗したトライアルは、時間制限ではなく、最終的な回答で終了しました:Piの68%からCodex CLIの82%まで。不完全であると述べたものはほとんどありませんでした:
# Codex CLI, GLM-5.3, cancel-async-tasks (trial 37182b0e)
Agent: - Validated with system Python, including concurrency and
cancellation-cleanup tests.
Verifier: FAILED test_tasks_cancel_above_max_concurrent
assert stdout.count("Cleaned up.") == 2
AssertionError: assert 0 == 2
合格しなかったトライアルは、各ハーネスのコストの60%(Codex CLI)から69%(Alma)を占めました。ハーネスが停止する前にチェックを行うことで一部を節約できたかもしれませんが、これはテストしていません。
限界と今後の作業
- オープンモデル、1つのプロバイダー。 クローズドモデルは異なる結果をもたらす可能性があります。キャッシュと価格はBasetenのものであり、別のプロバイダーはコストランクを変更する可能性があります。
次の2つのステップを計画しています:
- クローズドモデル。 Claude Opus 5.5、GPT-6 Astra、Gemini 4 Carbonなどのクローズドモデルを追加します。
- 長期間の作業。 クラウドで継続的に実行されるハーネスが、長期間の作業中に自己改善する様子を研究します。
結論
- モデルを変更する際は、ハーネスも変更することを検討してください。 ノイズを乗り越えるのに十分な大きさの、独自のタスクのプライベートデータセットで、候補ハーネスをモデルでテストしてください。
- モデルがコストの大部分を決定し、ハーネスが次に重要です。 モデルはタスクあたりのコストのばらつきの92.8%を説明します。モデルを固定した場合、最も高価なハーネスは、最も安価なハーネスよりも合格率あたり1.9倍から4.9倍(タスクあたり1.8倍から5.0倍)高かったため、ハーネスを選択する際はコストを比較してください。
- 高いコストは合格率の向上を保証しません。 各モデルについて、タスクあたりのコストと合格率のランク相関は-0.39から+0.22でした。
- サイズはコストを予測しません。 最も小さいハーネスであるmini-SWE-agentは、全モデルでのタスクあたりのコストで22位中19位でした。
- コストの大部分、64.5%は合格しなかった実行に費やされました。 5つの最良価値ハーネスでは、失敗した実行の68%から82%が時間制限ではなく、自信のある最終回答で終了しました。
- 広範囲の合格率を持つ安価なモデルの場合、合格率の高いハーネスを選択してください。 DeepSeekでは、合格率はハーネスごとに54.0%から69.0%の範囲で変動しました。しかし、各合格率には約±10ポイントの95%信頼区間があるため、数ポイントの差は引き分けです。
- ハーネス開発者向け:プロンプトトークンだけでなく、ステップ数も削減してください。 プロンプトサイズ、ツール数、キャッシュヒット率は合格率あたりのコストを予測しませんでした。ステップ数は予測しました。なぜなら、各ステップでコンテキスト全体が再度送信されるからです。
付録:参照表
表2. ハーネスの設定
表3. 各ハーネスの報酬ハッキングされたトライアル
表5. 各ハーネスのプロンプトとツール
参照
- FrontierHarnessダッシュボード
- HarborおよびHarbor Hub(10個のジョブが保存されている場所)
- Introducing FrontierHarness Eval、v1.0の結果
- Baseten、Model APIs、高性能オープンモデルの推論プロバイダー
- Runta HarborガイドおよびRunta価格