AI・機械学習
Show HN: FrontierHarness Eval – 9つのハーネス、同じモデルで、パスあたりのコストが17倍変動
要約
この記事は、同じ大規模言語モデル（LLM）を使用し、9種類の異なる「ハーネス」（LLMへのインターフェースやラッパー）を評価した結果を示しています。評価では、精度、コスト、実行時間といった複数の指標で、ハーネス間に顕著な差が見られました。特に、パスあたりのコストは17倍もの開きがあり、モデルの性能を最大限に引き出すためのハーネス選択の重要性が示唆されています。
全文翻訳
パス率
成功タスクあたりの中央値コスト
タスクあたりの中央値コスト
成功タスクあたりの中央値キャッシュヒット率
成功タスクあたりの中央値時間
数値のその先へ
-
01
OpenCode: 失敗は除外。
これは15回のパスのみをカバーしています。失敗した試行回数を含めると、タスクあたりのコストは3.24ドルになります。
-
02
キャッシュヒット率はコストではない。
キャッシュされた300ターンの失敗でも、短いキャッシュミスよりもコストがかかることがあります。
-
03
品質とコストは乖離しうる。
Claude Codeは19のタスクをパスしましたが、タスクあたりのコストは18.34ドルに達しました。
Runtaであなたのハーネスを実行しましょう。
Runtaで独自のハーネスをテストしたい場合は、開始するために100ドルのクレジットを進呈します。
100ドルのクレジットをリクエストする無料トライアルを開始する
テストされたハーネス
Codex
v0.148.0
DeepSeek Harness
v0.1.0-rc.8
Claude Code
v2.1.237
Pi
v0.84.2
Oh My Pi
v17.4.0
Kimi Code
v0.37.2
Exo Harness
v0.1.0
OpenCode
v1.18.19
Hermes
v0.20.4
- FrontierHarness v1.0はソフトウェアエンジニアリングの文脈とターミナルベースのタスクに焦点を当てています。他の知識労働の領域には一般化しない可能性があります。
- Runtaエージェントランタイムで評価されました。すべてのハーネスとタスク環境は、ゴールデンチェックポイントとして一度準備されます。各実行は、同一のvCPU、メモリ、ディスクサイズ、ディスク内容、およびメモリ状態を持つ、新鮮なリストアです。