Fable 5 vs. GPT-5.6 Sol: NP困難問題における/goalモードの効果
Fable 5 vs. GPT-5.6 Sol on an NP-Hard Problem: Does /goal help? (charlesazam.com)
要約
この記事では、AIモデルであるFable 5とGPT-5.6 Solが、NP困難な最適化問題に対して、ネイティブな/goalモードの有無でどのように異なるパフォーマンスを示すかを比較しています。Fable 5は特に強力で、/goalモードは必ずしもゲームチェンジャーではないことが示唆されています。結果として、/goalモードは多くの試行でわずかな利益をもたらすものの、平均パフォーマンスを悪化させる可能性もあることが明らかになりました。
全文翻訳
Fable 5 vs. GPT-5.6 Sol による NP困難問題への挑戦: /goal は効果があるのか?
TL;DR: Claude Fable 5 と GPT-5.6 Sol に、ネイティブな /goal モードの有無で同じ未公開 NP困難最適化問題を与えました。Fable 5 は驚異的な性能を発揮し、/goal はゲームチェンジャーではありませんでした。
[画像: クリーンなスコア分布]
背景: これは元々ハッカソンの学生に提出されたオペレーションズリサーチの問題です。私は数年前にこれを解くためにC++を1週間かけて書いたので、有用な人間のベースラインを持っています。
Fable 5 はこのベンチマークで驚異的な性能を発揮しました。全体として最高のソリューションを生成し、この問題におけるモデルとしては見たことのない一貫性を示しました。これは純粋な生体知能です。信じられないほどです。
もう一つの結果は、/goal が汎用的な「もっと頑張る」スイッチではないということです。これは制御ループと探索パスを変更します。時にはより良いベースを見つけます。時には悪いアイデアを熟成させるためにより多くの時間を費やします。
すべてのコード、プロンプト、結果テーブル、除外事項、および軌跡ノートは CLIArena にあります。これは、このベンチマークに関する私の 最初の記事 のフォローアップです。
問題
KIRO は、私が2018年に工学部の学生として取り組んだファイバーネットワーク設計問題です。グレノブル、ニース、パリの有向距離行列が与えられ、ソルバーはいくつかの構造的制約を尊重しながら、ループと短いチェーンを使用して配電ポイントと端末を接続する必要があります。目的は総ケーブル長です。短いほど良いです。
[画像: KIROネットワーク構造: ハブに接続された有向ループと短い分岐]
有効なネットワークは、配電ハブに接続された冗長なループと、それらのループにぶら下がるタワーからの短い分岐で構成されます。すべてのタワーは正確に1回出現する必要があり、ケーブルセグメントを逆にするとコストが変わる可能性があります。
探索空間の大きさは?
解が一意の閉形式カウントを持たないのは、解が任意の数のループ、可変サイズのループ、および異なるアンカーと順序の分岐を使用できるためです。しかし、パリだけでも有用な下限が得られます。
順序と分岐を無視し、532の端末すべてを11の配電ハブのいずれかに割り当てるだけでも、11^532 の可能な割り当てがあります。
より強い下限は、意図的に制限された有効な解のファミリから得られます。つまり、分岐なしで、各28端末の正確に19個のループです。これは 19 x 28 = 532 であり、ループの30端末制限を下回っているため、すべての532端末をカバーします。532の端末の順序を決定し、その順序を19個の連続したグループに分割し、19! で割ります(ループのセットは順序付けられていないため)、そして各ループに11のハブのいずれかを選択します。
(532! / 19!) x 11^19 ~= 10^1223
テストしたこと
主な実験は意図的に狭い範囲に絞られました。
| 設定 | 値 |
|---|---|
| モデル | Claude Fable 5, Opus 4.8, Sonnet 5; GPT-5.6 Sol, Terra, Luna |
| モード | 通常; ネイティブ /goal |
| 最適化予算 | 30分 |
| 外側エージェントのタイムアウト | 1,900秒 |
| 推論 | すべてのモデルで利用可能な最大設定 |
| 実行 | Harbor 0.1.43, Docker, サブスクリプション認証 |
結果
フラッグシップペアに繰り返しを集中させる前に、スイープ内のすべてのモデルで、ヒントなしの30分マッチングペアを1つ実行しました。Fable と Sol の場合、チャートは再現されたヘッドラインセットのペア1を使用します。他の4つのモデルはそれぞれ1つのペアを持ちます。
[画像: ヒントなしの1つのマッチングされた30分ペアでの6つのモデルすべて]
その後、Fable 5 と Sol のそれぞれ3つのマッチングされた実行が得られるまで、フラッグシップの比較を繰り返しました。
[画像: クリーンなスコア分布]
| モデル | 実行 | 通常 | /goal | Goal マイナス 通常 |
|---|---|---|---|---|
| Fable 5 | 1 | 32,197 | 31,934 | -263 |
| Fable 5 | 2 | 32,516 | 32,324 | -192 |
| Fable 5 | 3 | 32,446 | 35,178 | +2,732 |
| GPT-5.6 Sol | 1 | 33,581 | 39,371 | +5,790 |
| GPT-5.6 Sol | 2 | 35,539 | 32,703 | -2,836 |
| GPT-5.6 Sol | 3 | 33,663 | 33,313 | -350 |
マイナスは /goal が優れていたことを意味します。Goal は6回の試行中4回勝利したので、勝率だけでもこの機能が有用に見えます。平均値はもう半分を語ります。
| モデル | 通常の平均 | /goal の平均 | 平均効果 | 中央値効果 |
|---|---|---|---|---|
| Fable 5 | 32,386 | 33,145 | +759 悪化 | -192 改善 |
| GPT-5.6 Sol | 34,261 | 35,129 | +868 悪化 | -350 改善 |
両方のモデルは通常わずかな利益を得て、時折大きな後退を経験しました。これが /goal がほとんどの実行で勝利したにもかかわらず、両方の平均値を悪化させた理由です。
Fable は明らかに強力でした。その通常の平均は Sol の平均を1,875ポイント上回り、/goal の平均は Sol の平均を1,984ポイント上回りました。さらに重要なのは、Fable の通常モードはわずか319ポイントの範囲内に収まったのに対し、Sol の通常モードは1,958ポイントに及びました。Fable の /goal モードは最高のクリーンなスコア(31,934)を生成しました。Fable の通常モードは最も安全な設定でした。
/goal コマンドの詳細な分析
同じコマンドが2つの異なるシステムを隠している
Claude Code と Codex はどちらも /goal を公開していますが、その実装は根本的に異なります。
[画像: Claude Code と Codex の goal アーキテクチャ]
Claude Code: 独立した評価者
Claude Code は /goal をセッションスコープの Stop フックとして実装しています。各メインモデルのターン後、Haiku という小さな評価モデル(デフォルト)が条件と会話を読み取ります。理由とともに「はい」または「いいえ」を返します。「いいえ」は別のターンを開始し、「はい」はゴールをクリアします。
評価者はツールを使用したりファイルを検査したりできません。トランスクリプトに現れた証拠を判断することしかできません。これにより早期終了を検出できますが、さらに1000万回のソルバーイテレーションが価値があるかどうかを知ることはできません。Anthropic の goal ドキュメント
Claude Code はオープンソースではないため、Anthropic が伝える情報のみに依存することに注意してください。
Codex: 持続的な状態とライフサイクルツール
私はベンチマークされたリリースである Codex CLI 0.144.4 のソースも読みました。Codex はゴールを永続的なスレッド状態として扱います。
- TUI はアクティブなスレッドの目的を保存し、SQLite はそのステータスと予算会計を格納します。TUI、スキーマ
- ワーキングモデルは
create_goal、get_goal、update_goalツールを受け取ります。ツール仕様 - ゴールがアクティブな間にスレッドがアイドル状態になると、Codex は目的と完了監査を含む継続ターンを挿入します。ランタイム、プロンプト
Claude は完了を別のモデルに委任します。Codex はワーキングモデルに完了を宣言させ、その後、永続的なゴールがアクティブなままで実行を再開します。Claude の評価者は独立していますが、トランスクリプトしか見ません。Codex はファイルとツールを見ますが、実質的に自身の作業を評価します。
なぜ /goal はほとんどの実行で勝利し、それでも悪いデフォルトになりうるのか
通常のコーディングタスクでは、進捗はしばしば明確です。別のターンでテストを修正したり、マイグレーションを完了したりできます。最適化は異なります。エージェントがソルバーを選択すると、追加時間は良い決定または悪い決定のいずれかを増幅する可能性があります。
まさにここで起こったことです。ゴールは、Fable の高速コンパイルポートフォリオや Sol の成功したチェーン再編成を維持するのに役立ちました。Fable が遅いソルバーを構築したり、Sol が網羅的なアンカーのスキャンにコミットしたりした場合には悪影響がありました。中央値はわずかに正しい方向に移動しました。悪いテールは、はるかに悪い方向に移動しました。
制限事項
これは1つの未公開 NP困難タスクであり、一般的なコーディングリーダーボードではありません。Fable と Sol だけが3つのクリーンなマッチングペアを持っています。他の比較では、プロンプト、ラッパーバージョン、および時間制限が混在しており、トライアルはサブスクリプションサービスを通じて逐次実行されたため、ドリフトした可能性があります。
コンテナは、タスクメタデータが1つを宣言しているにもかかわらず8つのCPUを公開しており、これは Fable の並列ポートフォリオに有利に働きました。スコアリングされた Fable および Sol の出力はすべて有効でした。これは、ラッパーが早期チェックポイントと最終検証を要求したためでもあります。ベンチマークは、モデル、CLI、プロンプト、サブスクリプションサービス、およびハーネスを含むシステム全体を測定します。
再現方法
ベンチマークタスク、ラッパー、分析スクリプト、図生成ツール、および完全な証拠メモは CLIArena にあります。生のジョブディレクトリはサイズのためGitから除外されていますが、メモには公開可能なすべてのスコア、都市別内訳、経過時間、戦略、除外事項、および実行IDが記録されています。
主なコマンドは次のとおりです。
RUN_ID=article-kiro-YYYYMMDD-clean \
PHASE=nohint-all \
./scripts/run_subscription_article_matrix.sh
uv run python scripts/summarize_subscription_article_results.py RUN_ID...
uv run python scripts/analyze_subscription_article_results.py RUN_ID...
ヘッドラインに載せるべき結果は、ゴールが助けるか害するかではありません。それは、永続化機能が個々のトライアルのほとんどで勝利しながら、観測された平均パフォーマンスを悪化させる可能性があるということです。困難な最適化問題では、ループの質よりも、ループが継続して行っていることの質の方が重要です。