Show HN: Benzi – Claude CodeとCodeGraphを凌駕するコードインテリジェンス/ハーネス
Show HN: Benzi – A Code Intillegence/Harness Beating Claude Code and CodeGraph (benzi.fly.dev)
要約
Benziは、コードインテリジェンスとバグ修正ハーネスの新しいツールであり、Claude CodeやCodeGraphといった既存のソリューションと比較して、パフォーマンスとコスト効率の面で優位性を示しています。24のGitHubイシューを用いたバグ修正ベンチマーク、SWE-bench Verified、およびCodeGraphとの比較を通じて、Benziはより少ないリソース消費と低コストで問題を解決できることを実証しています。特に、DeepSeekモデルを利用した場合、コストは大幅に削減されます。
全文翻訳
3つの測定方法
同等比較：Benziハーネス vs 主要なハーネス、24のGitHub課題、10言語。
SWE-bench VerifiedにおけるBenziハーネス。500件の実際の課題の82.4%を、修正あたり3.1セントで解決。
同等比較：Code Graphのコードインテリジェンス vs BenziのAIネイティブコードインテリジェンス
全てのタスク、全ての試行、そのままの記録 — 何も隠していません。
Benziについてさらに学ぶ: varianttech.net/about
BenziのKPI（重要業績評価指標） — 読み込んだソース行数
バグが難しくなるにつれて、各ハーネスはより多くのソースを開きます。問題はその傾斜です。各点は1つのバグを示しており、24個のバグは左から右へ、簡単なものから難しいものへと配置されています。
難易度は、そのバグに対するClaude Codeのターン数です — これは第三者による基準であり、どのハーネスも軸上の自身の位置を設定するわけではありません。読み込んだ行数は、ファイル読み込み呼び出しから返されたもののみをカウントします。grepやシェル出力は検索であり、読み込みではありません。各行の横にある数値はその傾斜を示しています：難易度のステップごとに、そのハーネスが開く追加の行数です。任意の点をホバーすると、バグとそのカウントが表示されます。
source lines read · 24 bugs · lowest of the four marked
| bug | Benzi Sonnet | Benzi DeepSeek | Claude Code Sonnet | DeepSeek Harness DeepSeek |
|---|---|---|---|---|
| mux | 64 | 64 | 383 | 1,372 |
| commons-cli | 39 | 235 | 456 | 771 |
| addressable | 180 | 240 | 200 | 1,603 |
| jsoup | 61 | 170 | 60 | 616 |
| yaml-cpp | 120 | 383 | 194 | 461 |
| cJSON | 17 | 187 | 105 | 854 |
| dayjs | 64 | 336 | 307 | 610 |
| gson | 78 | 158 | 80 | 516 |
| CsvHelper | 42 | 390 | 335 | 805 |
| semver | 353 | 468 | 563 | 1,857 |
| hashie | 153 | 172 | 300 | 458 |
| money | 681 | 572 | 661 | 1,892 |
| rich | 255 | 514 | 736 | 1,421 |
| fmt | 604 | 315 | 264 | 1,097 |
| sqlglot | 227 | 115 | 800 | 777 |
| scrapy | 386 | 1,580 | 1,259 | 2,127 |
| marked | 905 | 807 | 2,167 | 4,091 |
| http-parser | 449 | 1,201 | 1,270 | 2,635 |
| zod | 841 | 1,476 | 1,956 | 3,608 |
| quartznet | 488 | 1,707 | 1,897 | 4,197 |
| sqlparser | 620 | 1,007 | 1,225 | 2,334 |
| nlohmann/json | 379 | 929 | 1,764 | 5,201 |
| ts-pattern | 1,130 | 1,232 | 1,139 | 1,910 |
| nats-server | 989 | 2,149 | 2,583 | 2,385 |
| all 24 | 9,125 | 16,407 | 20,704 | 43,598 |
読み込んだ行数は、ファイル読み込み呼び出しから返されたもののみをカウントします。grepおよびシェル出力は検索であり、読み込みではありません。各行の緑色の数値はその4つの中で最も低い値です。
同じ24個のバグを同じ順序で、読み込んだ行数の代わりにウォールクロックタイムで示します。
ウォールクロックタイムは生の値です — 上記のテーブルとは異なり、Benziのリポジトリごとのインデックスビルドは差し引かれていないため、これらの秒数はページ上の他の場所で引用されているウォームアップ後の数値よりわずかに高くなります。各点は、そのハーネスがそのバグに対して行った最も最近の解決済み実行です。未解決および未完了の実行は、プロットされずに除外されます。Sonnet上のBenziはhttp-parserを解決せず、DeepSeekハーネスはnats-serverを実行しなかったため、これらの2つの点は存在せず、どちらもフィットには含まれません。
そして、垂直軸をドルにした同じグラフです。
上記のグラフと同じ実行選択で、公開されているトークンあたりのレートで価格設定されています。2つのDeepSeekシリーズは、2つのSonnetシリーズよりも1桁安価であるため、このスケールではベースライン近くに位置します — その背後にあるバグあたりの数値は、下のDeepSeekテーブルにあります。軸が表示しているのは傾斜です：Claude Codeのコストは、他のどのシリーズよりも速く難易度とともに上昇します。
cost per fix · USD at list price · lowest of the four marked
| bug | Benzi Sonnet | Benzi DeepSeek | Claude Code Sonnet | DeepSeek Harness DeepSeek |
|---|---|---|---|---|
| mux | $0.39 | $0.036 | $0.25 | $0.023 |
| commons-cli | $0.26 | $0.030 | $0.29 | $0.014 |
| addressable | $0.57 | $0.043 | $0.35 | $0.042 |
| jsoup | $0.23 | $0.025 | $0.30 | $0.051 |
| yaml-cpp | $0.25 | $0.068 | $0.37 | $0.024 |
| cJSON | $0.27 | $0.036 | $0.44 | $0.073 |
| dayjs | $0.21 | $0.038 | $0.55 | $0.040 |
| gson | $0.19 | $0.015 | $0.45 | $0.022 |
| CsvHelper | $0.25 | $0.038 | $0.58 | $0.042 |
| semver | $0.62 | $0.10 | $1.43 | $0.097 |
| hashie | $0.69 | $0.051 | $0.92 | $0.043 |
| money | $0.79 | $0.036 | $0.95 | $0.052 |
| rich | $0.33 | $0.11 | $1.30 | $0.053 |
| fmt | $0.54 | $0.14 | $1.12 | $0.071 |
| sqlglot | $0.62 | $0.033 | $1.23 | $0.059 |
| scrapy | $0.73 | $0.10 | $1.35 | $0.19 |
| marked | $1.08 | $0.20 | $3.59 | $0.13 |
| http-parser | — | $0.36 | $3.44 | $0.23 |
| zod | $1.53 | $0.13 | $2.47 | $0.33 |
| quartznet | $0.95 | $0.23 | $3.99 | $0.31 |
| sqlparser | $0.72 | $0.14 | $3.22 | $0.33 |
| nlohmann/json | $1.03 | $0.17 | $3.68 | $0.44 |
| ts-pattern | $3.74 | $0.31 | $4.33 | $0.053 |
| nats-server | $1.99 | $0.23 | $2.94 | — |
| all 24 | $17.96 | $2.66 | $39.54 | $2.70 |
公開されているトークンあたりのレートで価格設定されています。各行の緑色の数値は4つの中で最も低い値です。2つのDeepSeek列が大幅に安価なのは、そのモデルがトークンあたり約20倍安価であるためです。空白のセルは、修正を生成しなかった2つの実行です。