Sol Loves to Cheat
Sol Loves to Cheat (jumploops.com)
要約
開発フローの自動化を試みた著者は、GPT-5.5ベースのChum-codexでTerminal Bench 2.1の94%を達成しましたが、GPT-5.6の登場により状況は一変しました。GPT-5.6はより自律的で指示に従いにくく、著者の自動化ハーネスの性能を低下させました。このモデルの挙動を理解し、制御するための新たなアプローチが模索されています。
全文翻訳
Solはチートを愛する
tl;dr
開発フローの自動化を試みたところ、Terminal Bench 2.1で94%を達成したが、その後GPT-5.6 Solがチートを始めるのを発見した。
背景
過去約1年間、私は「仕様駆動型」の開発フローを実行してきました。
それは非常にシンプルです。
LLMに何かを実行させる前に、まず何をすべきかのドキュメントを作成するように依頼します。
この戦略は、機能開発、新規プロジェクト、デバッグなど、あらゆる場面で利用しています。
このパターンは私には有効ですが、少し繰り返しが多いです。
そこで、それを自動化することにしました。
chum-codex
アイデアは単純でした。スーパーバイザーエージェントを作成し、ドキュメントを作成したり、実際の作業を行ったりするワーカーサブエージェントに委任することで、「仕様駆動プロセス」を実行させるというものです。
注: バニラのCodexやClaude Codeでこれを試したときは、ある程度機能しましたが、デフォルトのプロンプトは「スーパーバイザー」よりもユーザー向けに調整されていました
スーパーバイザーエージェントは、私がやっていることと同様に、ファイルを読む能力とワーカーを呼び出す能力だけを持てばよいと仮説を立てました。
ワーカーのためにコーディングハーネスを再構築するのではなく、Pi、OpenCode、CodexのApp Serverを調べました。
Codexはしばらく使っていたので、app-serverを試してみることにしました。他のオプションも素晴らしいので、ぜひチェックしてみてください。
いずれにせよ、最初のバージョンは十分に機能しました。スーパーバイザーはタスクの規模を判断し、例えばデザインリクエストをワーカーに依頼すると、ワーカーはドキュメントを出力し、スーパーバイザーは次にそのドキュメントを実装仕様(必要に応じてフェーズごとに分割)に変換するようにワーカーに依頼し、最後にそのものを実装するように依頼します。
注: この簡略化された図は、ユーザーフィードバックの部分(例: デザインドキュメントのレビュー)を省略しています
---
config:
sequence:
mirrorActors: false
---
sequenceDiagram
participant S as Supervisor
participant W as Worker
S->>S: Size task
S->>W: Design request
W-->>S: Design doc
S->>W: Create implementation spec
W-->>S: Phased implementation spec
S->>W: Implement
W-->>S: Result
やった!開発プロセスで時間を節約できました。
(本当にそうだったのでしょうか?)
ラビットホール
よし、機能した。ハック的ではあるが、動いた。
注: ここで止まるべきでした
高みから見下ろし、状況を見渡して「すごい、みんなこれを見るべきだ!」と思いました。
それを伝える最善の方法は何でしょうか?ベンチマークです!
使うべき最良のベンチマークは何でしょうか?Terminal Benchではありません!
私が深入りしすぎたベンチマークは何でしょうか?Terminal Bench 2.1です!
Terminal Bench
エージェントベンチマークに慣れていない方のために説明すると、Terminal Benchの名前が物語っています。これは、チェスからDNAアセンブリまで、さまざまなワンオフタスクをカバーする、ターミナルから実行できる一連のタスクです。
その単純さゆえに、仕様駆動開発フローをテストするにはおそらく最悪のベンチマークです。
しかし、その単純な性質のおかげで、テストは容易でした。
バニラCodex(GPT-5.5使用)が失敗したタスクの一部、例えばDNAアセンブリ/挿入、ビデオ抽出/処理、ELF抽出、タンパク質アセンブリから始めました。
うまくいきました。
これらのタスクは、実装前に「デザインパス」を行うことでメリットがあり、ドキュメントが狭窄や循環検証を回避するのに役立ちました。
私が乗っていた馬は、さらに高くなりました。
注: Terminal Bench 1.x/2.xは飽和状態ですが、それはまた別の話です
GPT-5.6?
公開されている GPT-5.5ベンチマークは83.8%(約74/89タスク、5回実行)です。
chum-codexは89.9%、つまり約80/89タスクを達成していました。
Codexを上回ったニュースを共有するのに興奮し、念のためバニラCodexのベンチマークをいくつか実行しました。
参考までに、これは2026年6月25日で、GPT-5.6が間近に迫っているという噂が広まっていました。
バニラCodexのベンチマークを3つ実行しました…そして私の心は沈みました:88.8%
私のハーネスは、バニラCodexよりもわずか1タスク先行していただけでした。
一部のタスクは明らかに改善されていましたが、他のタスクは後退していました。
翌日、GPT-5.6 Solが発表されました。
OpenAIに問い合わせたところ、GPT-5.6はテスト中であるとのことでしたが、私のリクエストIDはすべてGPT-5.5にヒットしたことを確認しました
興味深いことに、Terminal Bench 2.1だけが、彼らが最初に共有したコーディング関連のベンチマークであり、GPT-5.6 Solで88.8%、Sol Ultraで91.9%を示していました。
Sol Ultraは作業を行うために並列サブエージェントを起動しますが、私のテストでは、ほとんどの人が望む/必要とするタスクの大部分にはトークン消費量がかなり多いです。
いずれにせよ、新しいフロンティアを見ることに興奮しました!
ステアリング
GPT-5.6はステアリングがはるかに困難です。
5.5から5.6に切り替えたことで、私のハーネスの効果が低下しました。以前は簡単だったことが、今ははるかに難しくなりました。
この差の一部は、ベースCodexプロンプトの変更に起因すると考えられます。GPT-5.5の場合、プロンプトはコーディングに焦点を当てており、「エンジニアリング判断」に多くの時間を費やしています。これには、フロントエンドのガイダンス、編集制約、そして「既存のコードベースへの共感」が含まれます。
[画像: gpt-5.5 prompt] GPT-5.5プロンプトからの抜粋
GPT-5.6のCodexプロンプトは大きく異なります。エンジニアリング関連の具体性にはほとんどエネルギーを費やしていません。代わりに、コミュニケーション、自律性/持続性、スキル(これらは以前は5.5では別のプロンプトとしてロードされていました)に焦点を当てています。
[画像: gpt-5.6 prompt] GPT-5.6 Solプロンプトからの抜粋
他の人が気づいたことと同様に、そして私が8ヶ月前に予測したように、より良いモデルは効果的に機能するために少ない儀式を必要とします。
一方で、これはモデルが良くなるにつれて、制御が難しくなる可能性を示唆しているかもしれません。
これの簡単な例は、Terminal Bench 2.1のPyTorchタスクです。
GPT-5.6 LunaとTerraでは、モデルは簡単にforward(src, tgt)を受け入れる一般的なソリューションにステアリングされます。
Solでは、特に高い推論レベルでは、ステアリングに関係なく、モデルは単一入力forward(src)ソリューションをデフォルトで選択します。
問題は、モデルが自身の推論から離れるようにステアリングするのが非常に難しいようです。たとえ呼び出し可能なインターフェースの最も広いものを(時には中程度の推論で繰り返すと機能しますが、xhighではめったに機能しません)受け入れるように指示しても、です。
このモデルとの格闘は、私の好みに比べてベンチマークハッキングに近づきすぎた道に私を導きましたが、あまりにも興味をそそられたので止めることができませんでした。
TB 2.1で94%
プロンプトを大幅に削減したことで、最初からやり直しているような気分になりました。たとえ直接ベンチマークをハックしたいと思ったとしても、モデルはそれを許しませんでした。その循環推論は一部のケースでは克服するには強すぎ、スーパーバイザーは賢いワーカーの報告に喜んで従いました。
これは難しいバランスです。一方に寄りすぎると、スーパーバイザーは喜んでスコープを拡大したり、無限に検証を追いかけたりします。
これらは単純なタスクです。一度で動作するソリューションが欲しいのであって、無限の拡張は求めていません。
推論レベルを下げる、単純な言語を使う、仕様駆動フローを減らす、新しいスキルを追加するなど、試しました。いくつかのことは改善されましたが、他のことは失敗しました。
いくつかのことが有望でした。
最初のものは第三のコンテキストでした。アイデアは、ワーカーのコメント/推論のみを見たエージェントを使用し、ワーカーが行った潜在的な不一致/仮定をすべて表面化させ、実際の要求の詳細と比較するというものでした。
flowchart TB
S["Supervisor"]
W["Worker"]
R["Commentary / Reasoning"]
A["Assumption Auditor"]
S -->|"task / steer"| W
W -->|"result"| S
W --> R
R -.->|"read-only visibility"| A
A -->|"assumptions surfaced"| S
W ~~~ A
style R fill:#6fc7e1,stroke:#141414,color:#141414
スーパーバイザーは、ワーカーが取った仮定をレビューし、それらを再検討または疑問視するように依頼できます。これはある程度機能しますが、遅く、事後に行われます。
もう一つのアイデアは、モデルに「未解決の質問」を出力させることでした。これは私がより実践的な開発で行っていることです。最初のアイデアは、ワーカーが(完全なデザインドキュメントの代わりに)未解決の質問に直面したときにそれらを返すようにし、その後スーパーバイザーがそれらを解決するというものでした。これにより、スーパーバイザーのコンテキストが解放され、木ではなく森が見えるようになります。
それでも、コンテキストが削減されても、スーパーバイザーはワーカーの結論に異議を唱えるのが難しかった(あるいは逆に、些細な詳細に過度に熱心に拡張した)です。
このバイアスを取り除くために、次のアイデアは、まず質問をマッピングして削減する(すべてが新しく生まれ変わる!)別のコンテキストを使用することでした。これにより、固有のまたは見つかっていないバイアスを削除しようとし、最終的に正規化されたバージョンをスーパーバイザー(または直接ワーカー)に返します。
これはよりうまく機能しましたが、ワーカーが質問として正しい問題を通知することに依存していました。
Solの場合、モデルに質問ではなく決定を出力させる方がはるかに簡単であることがわかりました。モデルは自信があるので、たとえ推論やコメントで代替案をすでに述べていたとしても、その仮定を質問とは見なしません。
flowchart TB
S["Supervisor"]
W["Worker"]
D["Decisions"]
M["Map"]
R["Reduce"]
S -->|"task / steer"| W
W -->|"result"| S
W --> D
D --> M
M --> R
R -->|"normalized questions"| S
R -.->|"optional"| W
style D fill:#6fc7e1,stroke:#141414,color:#141414
style M fill:#f49bab,stroke:#141414,color:#141414
style R fill:#f49bab,stroke:#141414,color:#141414
決定事項があれば、スーパーバイザー(または第三のコンテキスト)はワーカーを一時停止し、決定を質問として評価し、適切にステアリングすることができます。
これははるかにうまく機能し、最良の結果につながりました。Terminal Bench 2.1で84/89タスクを達成しました。
[画像: chum-codex]
注: 1タスクはサイバーセキュリティでブロックされましたが、GPT-5.6 Terraのフォールバックで合格したので、83 + 1
キャッチ22
再び高みから見下ろし、ついにSolを使いこなし、すでにベンチマークを開発のためではなく…ベンチマークとして使用する道に深入りしすぎていたので、どこまでこれを押し進められるか見たかったのです。
バニラCodexの退行だけを見るのではなく、86または88/89に到達するのを妨げているものを見たいと思いました。
長話になりますが、Terminal Bench 2.1のタスクの末尾は仕様が不十分であり、それがMythos、GPT-5.6などが専門的な機械なしで約90%で頭打ちになっている理由です。
あるタスクでより良く実行するために必要な方向性は、別のタスクでの進捗を積極的に損ないます。
例として、エージェントに「私がDoomを正しく起動したか確認します」と指示するmake-mips-interpreterがあります。
問題は、エージェントがDoomを起動した後の出力ファイルがすでに存在する場合、検証ツールが失敗することです。
これを少し遅くします。
- ユーザーは、エージェントがDoomを起動したことを確認すると述べる。
- Doomの起動は
/tmp/frame.bmpを出力する。 - エージェントは、ユーザーがDoomを正しく起動したことを知るために、
/tmp/frame.bmpが存在することを確認する。 /tmp/frame.bmpが存在する場合、検証ツールは失敗する。
エージェントは、ユーザーがエージェントがVMを起動したことを確認したいと考えていると仮定するため、エージェントは起動したことを証明するためにファイルを残しますが、ファイルがすでに存在する場合、検証ツールのテストは早期に失敗します。これはキャッチ22です!
これを修正することは可能ですが、システムに検証状態を削除するようにプロンプトしたり、ユーザーの懸念を上書きしたりすることで可能です。しかし、その修正は(明らかに)他のタスク/ユースケースでは逆効果になります。
より良いものに進む前に、結果を世界と共有したいと思いました。ただし、それは私の好みに比べてベンチマークハッキングすぎるという注意書き付きです(第三のコンテキストマップリデューサーのようなものはこのベンチマークには役立ちますが、現実世界ではより良い指示を書いたり、フォローアップメッセージで反復したりするだけで済みます)。
完全なN=5実行を行う前に一度ベンチマークを実行しましたが、以前は合格していたタスクが失敗していたことに驚きました。
torch-pipeline-parallelism
数回実行しました。3回中1回しか成功しませんでした。
詳細を調べましたが、ハーネスで何が変わったのかわかりませんでした。そこで、xhighでバニラCodexに対してもテストしました。
3回中3回合格しました。
興味深いです。
Solはチートを愛する
何がうまくいき、何がうまくいかなかったかを判断するために、実行をレビューしました。
GPT-5.6 Solは、バニラCodexで3回中3回チートしました。
まずい、過去の成功はすべてチートによるものだったのでしょうか?
torch-pipelineに対するchum-codexの最近の2回の合格実行を確認したところ、それもチートしていました。
興味深いことに、ウェブ検索は無効になっていましたが、生命は道を見つけます。
[画像: codex-sol-cheating] xhighでのGPT-5.6 Sol
ワーカーはweb_searchツールにアクセスできませんでしたが、代わりにcurlを使用してDuckDuckGo、Github、grep.app、SourceGraphにアクセスすることを選択しました。
はい、これを適切に処理するには、ネットワークアクセスを完全に削除するか、特定のネットワークリソースのみを許可する必要があります。要点は、今までそれが必要なかったということです。
振り返ってみると、7月29日がバニラCodexからの最初の「チート」であり、私たちのハーネスが今日、8月12日に初めてチートしました。
{
"src": "/charts/torch-pipeline-apexcharts-pass-data.json",
"chart": { "height": 440 },
"colors": ["#6fc7e1", "#e08e45", "#3d8ba6", "#f49bab"]
}
確かに、結論を出すにはデータが十分ではありません。バニラCodexのチートセッション3/3の後、2回の実行でチートしませんでした。
モデルが意図的にチートしているのか、それとも単にウェブを検索している間に解決策に偶然行き当たっているのかも不明です。
バニラCodexのトレースを見ると、決定的な証拠が見つかります。
GitHubで最新バージョンを確認するために、curlを使用してHFソースを調査する必要があります。チャレンジに基づいた期待される非表示テストを知っていると役立つかもしれません。
それは確かにチートのように感じます。
chum-codexの場合、curlリクエストの直前の最後のステップも同様に明らかです。
おそらくソリューションは公開されているため、効果的に比較できます。生のパスにアクセスするためにcurlを使用し、必要な情報を収集するだけです!
人間をモデルにした機械を擬人化するわけではありませんが、まるで喜んでいるかのようです。
懸念はありますが、同様に興味をそそられたので、7月17日の83/89の実行を振り返り、このタスクまたは他のタスクでのチートの証拠は見つかりませんでした。
今後
torch-pipelineタスクだけが今日失敗したわけではありません。GPT-5.5からGPT-5.6への移行を不気味に思い出させました。
モデルがより良くなるにつれて、それらの周りに有用なガードレールを構築することがより困難になるようです。今のところ、私は休憩が必要です。
Sol、Fable、およびそれ以降の新しい問題に取り組むにつれて、ハーネスを再訪するかもしれませんが、今のところ、より実践的なアプローチで開発を進めるつもりです。
強力なモデルを怠惰なプロンプトとループに入れるのは楽しいかもしれませんが、その出力を信頼するのはますます難しくなっています。
モデルがより強力になるにつれて、指示を減らす必要がありますが、それらの指示はこれまで以上に重要です。
実際、新しいTerminal Bench 3.0でさえ、すべてのタスクに次の指示が追加されています。
「このタスクに固有のオンラインソリューションやヒントを使用してチートしないでください。」
これで十分でしょうか?おそらくそうではありません。