AI・機械学習
SlopCodeBench 10/2026 – Opus 5.5、Astraが総合優勝、xhighは有害とみなされる
SlopCodeBench 10/2026 – Opus 5.5, Astra wins overall, xhigh considered harmful (github.com)
要約
2026年10月のSlopCodeBenchベンチマーク結果によると、GPT-6 Astraモデルが総合的な厳格パス率で16.3%を達成し、前回のGPT-5.5の14.8%を上回りました。しかし、高コストなXHigh設定よりも中程度のコスト設定の方が、一部の新しいモデルではパフォーマンスが向上するという興味深い傾向が見られました。また、モデルが生成したコードの品質や、最終的なプログラムがテストをパスする割合についても分析されています。
全文翻訳
ここでは、多くの人が SlopCodeBench とは何か、そしてそれがどのような位置づけにあるのかを尋ねてくれたため、簡単なアップデートを行います。
Slop Code Bench は、ベンチマークの中でもユニークな存在です。なぜなら、モデルが事前に知らない段階的に開示される機能リスト（チェックポイント）に対して作業を行い、単一のマルチチェックポイントチャレンジのライフサイクルを通じて同じコードベースを継承するからです。
私はこのアプローチを好んでいます。なぜなら、Slop Code が将来の進歩を妨げないワンオフタスクのほとんどのベンチマークとは異なり、実際のソフトウェア開発がどのように行われるかをより忠実に反映しているからです。
元の投稿[1]とSOL/fableのフォローアップ[2]では、ベンチマークとその課題についてもう少し詳しく説明しています。