Opus 5のSlopCodeBenchでのベンチマーク
Benchmarking Opus 5 on SlopCodeBench (github.com)
要約
この記事では、AIモデルのコード品質維持能力を評価するための新しいベンチマーク「SlopCodeBench」について論じています。著者はClaude Opus 5、Opus 4.8、Sonnet 5をテストし、Opus 5は24%の厳格合格率を示しましたが、それでも多くの欠陥が見られました。これは、現在のモデルが複雑なソフトウェアエンジニアリングタスクにおいて、人間の介入なしには信頼できないことを示唆しています。
全文翻訳
benchmarking-opus-5-on-slop-code-bench.md
SlopCodeBenchでのOpus 5のベンチマーク
[画像: SlopCodeBenchでのOpus 5のベンチマーク]
より良いベンチマークが登場した
以前にも、
コードベースの品質を維持するモデルの能力に対する優れたベンチマークは存在しない
と書いたことがあります。
それは完全には真実ではありませんでした。私は良いリードを埋もれさせるのが大好きです。
先週金曜日、私はSlopCodeBenchを掘り下げました。これは、UW Madisonの@GOrlanskiの研究室による、比較的新しい(2026年3月)長期間のコーディングベンチマークです。これは、コーディングベンチマークで私を最も悩ませている問題に対処しています。つまり、「より大きな」より複雑なベンチマークでさえ、問題全体を最初から開示してしまうことです。
[画像: ソフトウェアは進行中に問題を発見しますが、ほとんどの最新のベンチマークでさえ問題全体を最初から開示します。後で変更/調整しやすいかどうかを最適化する理由はありません]
対照的に、SlopCodeBenchの各チャレンジには複数の「チェックポイント」があります。モデルは問題全体を最初から知るのではなく、新しい要件が提示されるにつれてコードベースを時間とともに進化させる必要があります。
これは良い論文です。それほど長くはありません。読むことをお勧めします。
[画像: 論文からのメカニック:初期仕様が仕様2になり、仕様3になり、ソリューションは高品質から劣化開始、保守不能へと進みます]
このベンチマークのクールな点は、それが飽和していないことです。テスト実行時、利用可能な最高のモデルであるGPT-5.4とOpus 4.6は、それぞれ11%と17%の厳密合格率でした。
SlopCodeBenchでのOpus 5のベンチマーク
金曜日、私は3つのClaudeモデル(Opus 4.8、Sonnet 5、Opus 5)をSlopCodeBenchのサブセットで実行し、6時間ライブで観察しました。Opus 5は技術的には勝利しましたが、私の意見ではどれもあまり良い仕事はできませんでした。Fableと5.6 Solを加えて、さらに多くの結果を近日中に投稿します。
大きな見出しは、私が実行したベンチマークの小さなサブセットでOpus 5が24%を達成したことです。これは、元の論文のOpus 4.6の17%の厳密合格率からそれほど高くありません。テストされたすべてのモデルは、各チャレンジの過程で、冗長性、複雑性、およびその他のコードの悪臭指標が大幅に増加しました。Opus 5は、同じチャレンジセットの過程でOpus 4.8の5倍の関数/呼び出し可能オブジェクトを記述しました。
[画像: 厳密合格率 — Opus 5は17件中4件、Opus 4.8とSonnet 5はそれぞれ17件中1件。論文のOpus 4.6は17%、GPT-5.4は11%]
この23%の合格率に対する私の個人的な解釈は、SlopCodeBenchが、私がこれまで感覚でしか議論できなかったことに対して、ついに何らかのシグナルを与えてくれたということです。つまり、実際のソフトウェアエンジニアリングの作業、つまり一度に1つの問題を作成する作業においては、今日のモデルは、指示なしでライトオフで実行されるとは信頼できないということです。
ベンチマークのサブセット
Claudeにリポジトリから3つの問題を選ばせました。合計17のチェックポイントで、難易度ラベル付きの簡単な/中程度の/難しい問題の混合です。
- circuit_eval — 簡単(8チェックポイント)
- database_migration — 中程度(5チェックポイント)
- dynamic_config_service_api — 難しい(4チェックポイント)
最後に付録にすべての17チェックポイントの詳細な説明がありますが、ここではすべてを記載しません。
そして、私はそれらを3つのモデルすべてで並列に、チェックポイントごとに新しいコンテキストウィンドウを使用して実行しました。すべてのモデルは同じプロンプトを受け取り、Claudeのコードハーネスで実行されました。
私が気にかけることにしたメトリックは厳密合格です。つまり、新しいものはすべて合格し、以前のチェックポイントから引き継がれたすべての回帰テストも合格することです。
モデルがチェックポイントを失敗するのは、ソリューションに欠陥がある場合です。欠陥は、モデルの出力(実行するためのCLI、または場合によってはAPIサーバーなど)を取得し、生成されたエントリポイントに対して一連の保持されたブラックボックステストを実行することによって検出されます。
- モデルはck1のコードを記述します
- Evalハーネスはck1に対してブラックボックステストを実行します
- モデルはck2のコードを記述します
- Evalはck1とck2に対してブラックボックステストを実行します
- etc
繰り返しますが、厳密合格基準は、モデルがチェックポイント4で何かをしくじった場合、その失敗したコード部分が引き継がれるため、後続のチェックポイントに合格できないことを意味します(モデルがチェックポイント6でチェックポイント4で壊れていた評価ケースを誤って修正しない限り、しかし実際にはこれは起こりませんでした)。
9回のテスト実行すべてにおいて、どのモデルも、簡単な難易度とマークされた問題でさえ、すべてのチェックポイントを完了することはありませんでした。
実行中
Sonnetの最初のチェックポイントはより高価でしたが、問題1の終わりまでにSonnetが3つの中で最も安価になりました。(基本が構築され、作業がメンテナンスに移行すると、コスト削減が開始されたようです)。
最初のチャレンジでは、前世代のモデルは着実に欠陥を蓄積しました。Opus 5は、チェックポイント4と5でそれぞれ1つの欠陥を抱えました。
[画像: circuit_evalのチェックポイントごとの未解決の欠陥 — Opus 4.8は1から10に増加、Sonnet 5は平坦、Opus 5は最初の4つのクリーンなチェックポイントで開始]
最初の2時間、Opus 5だけが厳密合格を達成していました。最初の3つを連続で合格しました。
[画像: 12:12pmのライブ進捗ページ — 51チェックポイント中8件完了、$12.31消費、そして実行中の2つの厳密合格は両方ともOpus 5のもの]
状況は進行とともに変化しました。Claudeは熱心にHTMLを更新しました。
[画像: 後で実行された同じ進捗ページ、グリッドのより多くの部分が埋められています]
他のモデルと比較して、Opus 5は問題1(circuit_eval)で技術的に優れていました。しかし、最初の3つのチェックポイントを完璧にこなした後、それ以降のすべてのソリューションには少なくとも1つの欠陥(テストケースの失敗)がありました。
最終結果
成功の定義を「欠陥なしで最終チェックポイントに到達すること」とするならば、Opus 5は3つの問題すべてで失敗しましたが、他のモデルよりもわずかに失敗の程度が低かったです。
コスト対欠陥レポートについては、Claude特有の表現は好きではありませんが、これは含めることにしました。
すべてのドルが正確さを買いました。誰も十分な量を買いませんでした。
(明らかに、このベンチマークの小さなサブセットでは、より多くのお金を使うと合格率が高くなることを決定的に示すことはできません)。
厳密合格に関しては、Opus 5は4件(24%の合格率)を達成しました(circuit_evalの最初の3つのチェックポイント、およびdatabase_migrationのチェックポイント1)。
Opus 4.8とSonnet 5はどちらも1件の厳密合格(6%の合格率)を達成しました。これはOpus 5が達成したdatabase_migrationのチェックポイント1と同じです。
したがって、勝者は17件中4件をクリアし、そのうち3件は1つの問題の最初のチェックポイントでした。次のフロンティアモデルのための飽和していないベンチマークがあるようです。@GOrlanskiとチーム、素晴らしい仕事です。
スロップメーター
「リンティングでスロップをなくす」という考えにはまだ完全には納得していません。なぜなら、特定のコードベースのチェックポイントの「保守性」を決定論的に解析することは、まだ不可能だと考えているからです。しかし、それらは注意を払う価値のあるものです。
コード品質メトリクスは注目する価値があり、方向性としては正しいでしょう。
SlopCodeBenchでは、各チェックポイントの後にさまざまな品質メトリクスに関する結果が得られます。結果ファイルには41個のメトリクスがあります。大まかにグループ化すると以下のようになります。
- サイズ — ソース行数、ファイル数、関数数、メソッド数、クラス数、ステートメント数、およびそのチェックポイントで追加・削除された行数
- 複雑性 — サイクロマティック複雑度の平均、最大、ばらつき、高バンドおよび極端バンドに分類される関数の数、複雑性の集中度、最大ネスト深度、平均関数長
- 重複 — クローンされた行数、およびソースに対するクローン行の割合
- 分解 — 単一使用関数、単純なラッパー、未使用変数、シンボルあたりの行数
- ルール違反 — リンターエラーとその自動修正可能性、テストスロップルールに対するast-grepのヒット数、冗長とフラグ付けされた行の割合
- 依存関係グラフ — プロパゲーションコスト(変更が波及する距離)、循環依存質量、依存関係エントロピー(おそらく私にとって最も興味深いもの)
これらの各メトリクスは、各チェックポイント後の現在のコード状態を使用して決定論的に計算されます。
下のチャートは、circuit_evalチャレンジのチェックポイント1からチェックポイント8までのモデル間のスプレッドを示しています。(つまり、スロップインジケーターがチャレンジのチェックポイントのライフタイムにわたって増加した度合い)。最も興味深いのは、ほとんどのメトリクスがモデルを区別しないことです。
[画像: 各レートメトリクスのチェックポイント1から8へのパーセント変化、モデルごとに1つのドット、スプレッドでソート — cc_maxとcloned_pctはモデルを鋭く分離し、他はクラスター化]
これらの測定値が繰り返し可能で、判断にモデルを使用しない点は気に入っています。しかし、それらのいずれかと「このコードベースは変更や進化が容易か」との関連は、まだ確立されていません。
より多くの正確さは、はるかに多くのコードのコストで得られた
[画像: 書き込まれたソース行数 — Opus 5は29,065行、他の2つは約9,000行]
しかし、その多くは「より多くのテスト」でした。実際のプロダクションコードの量は、Opus 5がOpus 4.8の1.8倍近くでした。
[画像: 同じソース行数をプロダクションコードとテストコードに分割 — Opus 5は51%がテスト、Opus 4.8は11%、Sonnet 5は24%]
これは、結果に直接つながらなかった高価な冗長性ではないかと推測します。
これがモデルの癖のシグナルなのか、それとも単に「これは実際に非常に難しい問題であり、これだけのコードが必要である」ということなのかを知るためには、さらに深く掘り下げる必要があります。
書かれたコードのほとんどすべてがスロップメーターに引っかかった
すべてのモデルで、コード行の大部分がベンチマークのスロップルールの少なくとも1つに引っかかりました。3つの問題全体の平均は以下の通りです。
- Opus 4.8 — 98%
- Opus 5 — 93%
- Sonnet 5 — 89%
特に、冗長すぎるとフラグ付けされた行は、すべてのモデルで軌跡全体にわたって増加し、チェックポイント1で約65%からチェックポイント8で80%近くになりました。Opus 5でも同様です。
コード品質測定の一部が少し攻撃的すぎるという兆候である可能性が高いです。私たちのTypeScriptモノリポジトリにルールセットを適用することを検討しましたが、現在のSlop-Code-Bench検出器はPythonのみです。
そこで、5.6-SolにTypeScript用のルールのサブセットを作成させましたが、76個のスロップ検出器しか見つかりませんでした(SCB Pythonライブラリの200+と比較して)。しかし、方向性のある発見がありました。Opus 5のライトオフ生成ソリューションは、私たちの99%AI生成(かつ慎重にレビューされた)TypeScriptモノリポジトリと比較して、KLOCあたりのスロップトリガーが11倍以上多くなりました(はい、これは1000%の増加です)。
明らかに、この発見には多くのただし書きがあります(ルールの数、パリティのレビューをしていないなど)。しかし、興味深いことは確かです。
これらのモデルは多くの関数を書く
もう一つの興味深いデータポイントは、Opus 5が他の2つのモデルの5倍の関数を書いたことです。しかし、Opus 4.8は単一使用関数の割合が高く(関数のほぼ50%が1回だけ呼び出されました)。Sonnet 5の単一使用関数の割合は71.5%で最も高いです。
[画像: 全呼び出し可能オブジェクトに占める単一使用関数の割合 — Opus 5は14.9%、Opus 4.8は49.1%、Sonnet 5は71.5%]
ちなみに、私は多くの小さな関数を書くことは悪いことだとは思いません。最近はあまり気にしませんが、かつては熱狂的なClean Codeの信奉者でした。小さく説明的な関数名は、多くのコメントよりもはるかに優れています。
複雑性はすべてのモデルで時間とともに増加する
私は約1年間、モデルがコードベースの品質を時間とともに低下させると言っていますが、それは主に感覚に基づいています。しかし、今ではデータがあります。
[画像: circuit_evalの全8チェックポイントにおける平均サイクロマティック複雑度と重複行の割合、モデルごとに1行]
単一のモデルも、チェックポイント全体で複雑性を増加させることなく、すべてのチャレンジを完了することはありませんでした。Opus 5は平均複雑度が最も低いですが、2000個の関数も記述しています。ここにはトレードオフがあります。多くの小さな関数か、少ない大きな関数かです。これらの複雑性メトリクスのいずれも単独では成り立たないと思いますが、それらは何らかの複合的なシグナルを提供してくれます。
SonnetとOpus 4.8の両方は、チャレンジチェックポイントの複雑性の増加に対応して、コードを移動するのではなく個々の関数を大きくしました。Opus 4.8は極端で、8つのチェックポイントで70%増加し、その単一の最悪の関数はサイクロマティック複雑度93で終わりました。
重複は、それらが分岐する場所です。Opus 4.8は4.6%から16.8%に増加し、チェックポイント3でインフレーションが見られました。これは、新しい要件が初期設計と競合し始める時期です。
余談ですが、circuit_evalの最初の3つのチェックポイントの要求内容は以下の通りです(すべてのチャレンジの完全なリストは末尾の付録にあります)。
- ck1 —
--help、--version、JSON出力モード、そして.circ回路ファイルを解析・検証するcheckコマンドを備えたCLI。すべての信号は単一ビットです。 - ck2 —
evalコマンド:回路にいくつかの入力を渡し、出力を取得します。依然として信号あたり1ビット、標準的なブール演算子です。 - ck3 — 信号がベクトルになります。
dataの代わりにdata[7:0]、スライシング、インデックス作成、連結、新しい演算子(MUX、削減、EQ)、各オペランドでの幅チェック、および--radix出力フォーマット。
一方、Opus 5は基本的にフラットで、2.41から2.64です。私は以前、「コードベースの品質を時間とともに改善する」ことは、モデル世代間でほとんど進歩していないと主張してきました。したがって、重複をゴールデンメトリックとして信頼するなら、過去約3ヶ月で徐々に改善されたと主張できます。しかし、それは大きな仮定であり、ほとんどのソフトウェアアーキテクチャの専門家は、それが白黒ではないことに同意するでしょう。
より良いソフトウェア品質オラクルの形状
コード品質メトリクスは興味深いですが、全体像を語っているとは思いません。モデルがそれらのいずれかを簡単に報酬としてハックできるからです。SWE-benchで形状化された問題が「一度だけソフトウェア問題を解決する」ための最良の検証者であったのと同様に、それらはその「ズームレベル」で現実世界の作業にマッピングされるため、「段階的に開示される仕様全体で検証者をすべてパスする」ことは、「モデルが時間とともにコードベースを維持できるか」という評価として非常に現実的だと思います。
つまり、保守が困難になったコードベースは、後段階でチェックポイントの失敗につながるため、より高い厳密合格率は、モデルが保守可能なコードベースを構築するのに優れているシグナルとなります。
Fable / Solのようなフロンティアモデルがエキスパートデバッガーおよびリバースエンジニアであることが証明されているため、コスト/時間/トークンメトリクスを組み込むことが時間とともに重要になる可能性があります。FableやSolのようなフロンティアモデルは、最も厄介なコードベースでもそれを完了できるかもしれませんが、適切にファクタリングされたコードベースは、将来の問題に対してより短く、トークン効率の良い解決策につながると推測します。
そして、「8つのチェックポイント全体で完全な機能を構築する」ことは、「15分間のSWE-bench多言語問題を解決する」よりもはるかに遅いですが、無人で実行でき、最終的に決定論的な動作検証の対象となります。そのため、私の意見では、これは「別のモデルがこのコードをクリーンだと考えているかどうか」よりもはるかに優れたオラクルです。
モデルがコードベースの維持に本当に優れている場合、私たちが期待できるさらに良いシグナルは、Opus 5、Fable 5、またはGPT-5.6-Solのようなフロンティアモデルに最初のNチェックポイントを書かせ、Sonnet 5やGPT-5.6-Terraのようなより劣ったモデルにチェックポイントN+1を実装させることができるかどうかを試すことだと思います。
これは、スマートモデルが変更しやすい高品質なコードを維持する上で良い仕事をしたかどうかのシグナルを増幅します。SonnetやTerra、あるいはHaikuのような小さなモデルがチェックポイント8を実装できるかどうかは、チェックポイント1〜7におけるスマートモデルのスコアに影響します。
実際に測定できるもの
これらすべてに対する私の個人的な解釈は、SlopCodeBenchが、私がこれまで経験からしか議論できなかったことに対してシグナルを与えてくれるということです。つまり、実際のソフトウェアエンジニアリングの作業、一度に1つの問題を作成する作業においては、今日のモデルは、指示なしでライトオフで実行されるとは信頼できないということです。
SCBは、私が今後も注意深く監視していく未来の測定値です。Frontier Code、SWE-Marathon、またはDeepSWEで良いスコアを付けることに私のコードベースを賭けることはありませんが、モデルが(適切に保持された)SlopCodeBenchのようなベンチマークで80%以上を獲得できるようになれば、ライトオフでそれらを自由に実行させることにずっと安心できるでしょう。
それがいつ起こるかは断言しません。「いつ」は、それが起こっていることを知るための良いシグナルを持っていることよりも重要ではありません。(それまでの間に誰もテストデータを「誤って」トレーニングしないと仮定します)。
次のステップ/私が違うことをするであろうこと
SlopCodeBenchの問題のいくつかをより深く読み込み、インスピレーションを得て、私たちが@humanlayer_devで日常的に行っている作業によくマッピングされると思われるものをいくつかキュレーションします。
Claudeはモデルごとに並列化することを決定し、それぞれを3つのチャレンジで逐次実行しました。私たちは、3つのモデルx 3つのチャレンジを9つの並列セッションで実行することもでき、6時間ではなく1〜2時間で完了できたでしょう。
前述したように、TypeScriptモノリポジトリにルールセットを適用することを検討しましたが、現在のSlop-Code-Bench検出器はPythonのみです。それらをTSや他のいくつかの言語に移植するのは興味深いでしょう。そのように言うのは嫌ですが、Pythonはほとんどの言語よりもスロップが発生しやすい言語であると推測します。
厳密合格と総欠陥に焦点を当てる代わりに、ベンチマークのより多くの次元を探求するのは興味深いでしょう。現在のスコアリングでは、途中の失敗はすべて累積的な欠陥と見なされます。モデルが後続のセッションで過去の欠陥を解決しない限り、残りのすべてのチェックポイントは合格できません。
多くのソフトウェアファクトリーには、より良いスタイルを促すプロンプトが含まれており、複雑性やその他の多くのソフトウェア品質メトリクスに対して、コードループ中に決定論的なフィードバックが含まれています。今日の結果は、そのようなガードレールが配置された状態でのモデルのコード品質や成功率を評価していません。私たちはSlopCodeBenchから「Just-solve」バージョンのプロンプトを使用しましたが、品質/重複に関する指示をプロンプトに含めるなどの他のバリエーションもあります。そして、1)モデルによる「敵対的レビュー」ループと2)サイクロマティック複雑性のようなものに対するコード品質のバックプレッシャーのいずれか、または両方を含めて、評価全体を再実行することは非常に興味深いでしょう。
私はお金や時間があるわけではありませんが、ここでより大きなデータセットを行うのは楽しいでしょう。
そしてもちろん、最も興味深いのは、「FableのコードベースをSonnetのようなより小さなモデルに引き渡すことで、スロップシグナルを増幅できるか」という考えです。
バイブチェック — フロンティアはまだ非常に愚か
この実験全体が行われている間、別のセッションで、Opus 5は暴走してメールの下書きを新しいフォーマットで書き直し、私に確認せずに100人に送信しました。ひどい。
ユーザーは私が重大な間違いを犯したことに腹を立てています。編集済みの下書きを最終バージョンで上書きし、送信してしまいました。
醜いヘッダーバナーが付いたhumanlayer製品アップデートを受け取った方、申し訳ありません(このための新しいClaudeの言い方は「キッカー」だと思いますか?)
皆さん、AGIを本当に感じています。
🫡 -dex
この投稿からのリンク
- SlopCodeBench (論文)
- SlopCodeBenchランナー (SprocketLab/slop-code-bench)
- SlopCodeBench問題 (gabeorlanski/scb-problems)
- Gabe Orlanski on X
- SWE-bench Multilingual (データセット)
- SWE-Marathon (Abundant AI)
- DeepSWE (Datacurve)
- Frontier Code (Cognition)
- Mutation testing (Wikipedia)
- Why Software Factories Fail (これに続く長い議論)
付録: チャレンジチェックポイント
すべての17件を順に、モデルに渡されたプロンプトからそのまま記載します。各チェックポイントはコールドスタートです。モデルは、後続のチェックポイントが存在することを知りません。
circuit_eval — 簡単、シミュレーション、8チェックポイント
- ck1 —
--help、--version、JSON出力モード、そして.circ回路ファイルを解析・検証するcheckコマンドを備えたCLI。すべての信号は単一ビットです。 - ck2 —
evalコマンド:回路にいくつかの入力を渡し、出力を取得します。依然として信号あたり1ビット、標準的なブール演算子です。 - ck3 — 信号がベクトルになります。
dataの代わりにdata[7:0]、スライシング、インデックス作成、連結、新しい演算子(MUX、削減、EQ)、各オペランドでの幅チェック、および--radix出力フォーマット。 - ck4 — 3値論理。入力は
X(不明)になり、すべての演算子はそれについて何をするかを述べる必要があります。 - ck5 — さらに2つの入力フォーマット。
checkとevalは、--formatフラグの背後で、.jsonおよび.benchファイルも読み取ります。 - ck6 — 3つの分析コマンド:メトリクスの
stats、警告のlint、Graphvizエクスポート用のdot。すべてが3つのフォーマットすべてで機能します。 - ck7 —
cone(サブ回路をプルアウト)、truth-table(すべての出力を列挙)、equiv(2つの回路が一致するかどうかをチェック)、さらに再現可能なランダム性のための--seedフラグ。 - ck8 —
opt:設定可能なパス、決定論的な出力、オプションの同等性検証、およびBENCHエクスポートを備えた回路オプティマイザー。
database_migration — 中程度、データベース、5チェックポイント
- ck1 — マイグレーション仕様をJSONファイルから読み取り、SQLiteデータベースに適用するCLI:テーブルの作成、列の追加、テーブル構造の変更。
- ck2 — データマイグレーション。スキーマだけでなく、SQL式を使用して既存の行を変換します。
- ck3 — 外部キー、カスタムインデックス、および高度な制約。リレーショナル整合性とクエリパフォーマンス。
- ck4 — ロールバック。依存関係処理を伴う、マイグレーションを1つずつまたはバッチで元に戻します。
- ck5 — 依存関係管理。マイグレーションは
depends_onを宣言し、ツールは順序を解決し、循環依存を検出する必要があります。
dynamic_config_service_api — 難しい、システム設計、4チェックポイント
- ck1 — 不変バージョン、スコープ、以前のバージョンへのロールバック、および設定間のインポート/継承を備えたJSON設定オブジェクトを格納するRESTサービス。
- ck2 — 独自のバージョン管理を備えたスキーマレジストリ。設定にバインドされたスキーマ。作成時および解決時の検証。生のYAML/TOML/JSONを取り込み、内部で正規JSONに解析します。
- ck3 — 変更管理ワークフロー。新しいバージョンごとにドラフトとして開始され、提案は人間のレビューを集め、アクティベーションにはクォーラムが必要で、各提案には決定論的な差分が含まれます。
- ck4 — ポリシーバンドルを解決済み設定とその周囲のグラフに対して実行する組織レベルのガードレールレイヤー。スキーマエラーとは異なる違反詳細で安全でない提案をブロックします。