フロンティアモデルは一度だけの編集で十分
You only need the frontier model for one single edit (stencil.so)
要約
この記事は、AIエージェントのコスト最適化戦略について論じています。高価なフロンティアモデルを計画立案のみに限定し、安価なモデルに実行を任せるアプローチは、実際にはコスト増につながる場合があることを指摘しています。その理由として、モデルが情報を「読む」ことにかかるコストが支配的であり、計画の受け渡しは理解の受け渡しではないことを挙げています。代わりに、フロンティアモデルに計画を立てさせ、最初の編集を行った時点で安価なモデルに切り替える「/prewalk」という新しいアプローチを提案しています。
全文翻訳
フロンティアモデルは一度の編集のためにだけ必要
サルが見た、サルがした! 🍌
フロンティアモデルのパフォーマンスの97%
コストは41%安い
完了まで1.9倍速い
「ズル」をする可能性が約3分の1に低い
コスト対合格率、7つのアーム · SWE-Bench Pro · ベアモデル = ワンショット · $/タスクにはフロンティアモデルの最初のターンが含まれる · †はFlash 3.5で実行 · ‡は5.6 Lunaで実行
/plan は完璧に見える。しかし、そうあるべきではない!
このピッチを聞いたことがあるかもしれませんし、実際に使ったことがあるかもしれません。高価なモデルは明らかに優れたアーキテクトですが、パイプライン全体にそれを使うのは無駄に感じられます。「難しい部分」だけをやらせればいいのではないでしょうか。
コードを読み、深く考え、正確な計画を立てる。そして、10分の1の価格のモデルがその計画を実行する。シニアアーキテクト、ジュニアエンジニア。
素晴らしい話に聞こえますよね?
上の赤い点を見てください。Opus 4.8 + /plan† とラベル付けされています。Opusは読み取り専用で計画を立て、Gemini Flashがそれを実行します。結果は、タスクあたり3.18ドル、12.7分、合格率84.6%です。
Opusが手渡しなし、ジュニアなしで、タスク全体を単独で実行した場合:2.78ドル、10.1分、合格率84.6%。
「コスト削減」策は、削減しない場合よりも14%もコストがかかるのです。あれ?
すべてを読む · $$$すべてをもう一度読む · $$
githubコード · 約10万トークン
opus · 計画
plan.md · 2Kのポストカード
flash · 実装
パッチ · 約2Kトークン
間違いはアーキテクチャ図の上流にあります。人々はエージェントを人間と同じように価格設定します。シニアの時間は高価なので、シニアの関与を最小限に抑えます。
しかし、エージェントの一日の高価な部分は、修正、構築、あるいは思考ではありません。Opusが修正することにお金はかかりません。Opusが何かを読むことにお金がかかるのです。
この、認めざるを得ない逸話的なトークン分布を見てください。完全に自動化されたエージェントも同様です。
約200万回のツール呼び出しで18.1億トークン · 「タスクの実行」(すべての編集と書き込み)は9%であり、読み取りが請求額を増加させる原因であり、両方のモデルがその読み取りに対して全額を支払っています。
トークンの9%が編集です。残りは読み取りであり、この分割は一つのハーネスの癖ではなく、「修正」できるものではありません。信頼してください、私たちは試しました――それがsnapcompactが生まれた理由です。
どんなエージェント、どんなモデル、どんなフレームワークでも:請求額は基本的にO(読み取り)です。
それを念頭に置いて、/planに手を伸ばすあらゆる理由を考えてみましょう。
- 「巨大モデルの深い理解を得たい。」 理解は、10万トークン以上の根拠のあるコンテキストに存在します:読み取られたファイル、排除された行き止まり、テストされた仮説。計画ドキュメントは、そのコンテキストからの2Kトークンのポストカードです。実行者はポストカードを受け取りますが、理解は受け取らず、自身の費用で残りを再構築しなければなりません。
- 「タスクが非常に複雑だ。」 その場合、メインエージェントを実行させたくありません。読み取り専用の単一の計画ターンでは解決しません。探索させてから、サブエージェントを派遣して作業を実行させましょう。電話伝言ゲームはここでは役に立ちません。
- 「コストが制約されている。」 読み取りがコストです。
/planはフロンティアモデルにすべてのものをフロンティア価格で読ませ、次に安価なモデルにそれをもう一度読ませます。高価な部分を移動させたのではなく、複製したのです。
これが実際の運用でどのように見えるかを、私たちが時間をかけすぎた図で示します。
OPUS 4.8 + /PLAN† · $3.18
bashopus
globopus
readopus
bashopus
bashopus
readopus
bashopus
readopus
readopus
readopus
grepopus
readopus
readopus
grepopus
grepopus
readopus
readopus
readopus
¶¶proseopus
readopus
recon: sessions ▸ signing
writeopus
resolveopus
▸ flash
plan
readflash
readflash
editflash
readflash
editflash
edits
readflash
basherrorflash
grepflash
editflash
grepflash
readflash
editflash
bashflash
bashflash
¶¶proseflash
verify ▸ debug ▸ pass
Σ 1.34M
OPUS 4.8 · SAME TASK · $2.78
bashopus
readopus
readopus
bashopus
bashopus
readopus
grepopus
readopus
readopus
bashopus
readopus
grepopus
recon: sessions ▸ signing
editopus
readopus
editopus
fix
readopus
editopus
bashopus
grepopus
readopus
grepopus
readopus
editopus
tests ▸ debug warnings
bashopus
bashopus
bashopus
readopus
¶¶proseopus
verify ▸ close
Σ 1.10M
OPUS 4.8 + /PREWALK† · $1.46
bashopus
readopus
nudge
readopus
bashopus
bashopus
readopus
readopus
bashopus
readopus
¶¶proseopus
todoopus
recon: plan
editopus
▸ flash
fix
readflash
editflash
todoerrorflash
todoflash
tests
basherrorflash
grepflash
grepflash
readflash
readflash
editflash
bashflash
debug warnings
grepflash
readflash
grepflash
grepflash
bashflash
todoflash
todoflash
¶¶proseflash
checks ▸ close
Σ 1.13M
opus flash
read write exec todo ¶ prose error harness event Σ tokens
django-13279 test run
† executes with Flash
一番上のリボンを見てください。Opusはbase.py、signing.py、テストファイル(20枚の灰色のカード)を読み、計画を書き込んで終了します。そしてFlashがその美しいドキュメントで最初に行うことは何でしょうか?それはbase.pyとテストファイルを再読することです。なぜなら、計画はファイルではなく、プログラミング言語ではないからです。灰色の読み取りは、まずOpusの価格で、次にFlashの価格で積み重なります。二度目の読み取りがコスト最適化になるようなバージョンは存在しません。
おとぎ話ではなく、軌跡を引き継ぐ
計画ドキュメントは文字通りのポストカードであり、それを辿らなかったモデルに旅を説明するものです。
実際に価値のあるものを転送できるのは、コンテキストウィンドウそのものです。
/prewalkはこれを実行します:
- フロンティアモデルでタスクを開始し、1つの隠された指示をプレフィックスとして付けます:「深く計画し、計画をTODOリストとしてキャプチャし、開始せよ」。
- フロンティアモデルが探索し、計画を書き込み、TODOリストを初期化します。
- 最初の編集が着地した瞬間(行動するのに十分な自信を持った時点)、安価なモデルに切り替え、コンテキストから計画指示を削除します。
トリックは以下の通りです:
- 安価なモデルは「待てよ、計画を立てていたはずだ」とは決して思いません。コンテキストに計画指示は残っていません。
- それが知っている限りでは、探索し、TODOリストの形式で包括的な計画を作成し、自信を持って実行を開始しました。
- さらに良いことに、すでに有効な一手を打っています!(コンテキスト内での無料例)
5.6 SOL + /PREWALK‡ · $1.04
readsol
nudge
¶¶prosesol
todosol
orient ▸ plan
grepsol
globsol
grepsol
lspsol
readsol
readsol
readsol
readsol
readsol
readsol
grepsol
grepsol
readsol
readsol
grepsol
readsol
greperrorsol
recon: mti internals
todosol
todosol
editsol
first edit
▸ luna
basherrorluna
editluna
swap ▸ fix
todoluna
todoluna
bashluna
todoluna
grepluna
bashluna
bashluna
todoluna
todoluna
¶¶proseluna
verify ▸ close
Σ 710K
5.6 SOL · SAME TASK · $1.71
readsol
grepsol
grepsol
readsol
readsol
readsol
grepsol
globsol
readsol
¶¶prosesol
readsol
readsol
readsol
grepsol
readsol
readsol
readsol
recon: mti internals
grepsol
grepsol
readsol
readsol
bashsol
bashsol
bashsol
git archaeology
todosol
evalsol
bashsol
evalsol
bashsol
readsol
grepsol
repro script
readsol
readsol
readsol
readsol
readsol
readsol
readsol
readsol
readsol
readsol
cheats off of
🤣
todosol
editsol
evalsol
fix
readsol
readsol
readsol
editsol
tests
grepsol
grepsol
bashsol
grepsol
grepsol
readsol
bashsol
bashsol
todosol
¶¶prosesol
suite ▸ close
Σ 1.78M
sol luna
read write exec todo ¶ prose error harness event Σ tokens
django-12325 test run
‡ executes with Luna
ここに至るまで
オープンソースのハーネスで作業する良い点は、人々がどのように物事を行うかについてチャットできることで、ほとんどすべての人が完全に異なるセットアップを持っています。
いずれにせよ、私は時々簡単な中程度のタスクをフロンティアモデルで開始し、数ターン後にKimi K27に切り替えて、通常の思考ループに陥らないようにしていました。これが合理的かどうかは測定したことがありませんでした...他の誰かが同じことをしていると述べたときまで。
当然、ベンチマークする必要がありました。私たちは愚か者なのか、それともこれは実際に機能するのか、そしていつ機能するのか?
最初の試み:固定ターン、例えば4ターン目で切り替える。明らかに後知恵ですが、フロンティアモデルは4ターン目でまだ迷っていることもあれば、すでに全体を終えていることもあります。2回目の試み:最初の編集の後で切り替える。モデルはパターンを一度、その場で、そのスタイルで実証しました。かなり良いですが、まだ気まぐれです。小さなモデルは、突然タスク完了を宣言し続けることがあります。
解決策は、意図せずして集団を率いるエージェントに計画をステップバイステップで説明させ、実行する準備ができたら、各項目に検証ステップを持つTODOリストを初期化することでした。次にコードの一部を編集し、その時に切り替えをトリガーします。
編集のみでゲートをかけるのは良くありません。TODOリストは依然として非常に重要な役割を果たします。私たちの小さな友人は計画、検証ステップ、または自分が何をしているかを忘れるかもしれませんが、無限にバグってくるTODOリマインダーを忘れることはできません。これにより、私たちは自由に方向転換できます。
もう一つの面白い失敗モード:GPT 5.6をガイドとして使用すると、60項目のTODOリストを作成し、それらをバッチで完了させることを非常に好みます(何かに対して報酬が配られているだけなのでしょうか?)。そのため、プロンプトに項目制限を含めることは必須です。
レシート
GPT-5.6 Sol:
| アーム | 合格率 | コスト | 時間 |
|---|---|---|---|
| Executor: oneshot (GPT 5.6 Luna) | 77% | $0.60 | 570秒 |
| /prewalk | 85%(+10%) | $1.04(−39%) | 300秒(−47%) |
| GPT 5.6 Sol: oneshot | 88% | $1.71 | 372秒 |
Solの合格率の97%を61%のコストで達成し、しかも3つの中で最も速いです。なぜなら、Solは最初のターン以降、遅いフロンティアトークンを燃やすのをやめ、Lunaは森の中で迷うターンを無駄にしないからです。
Opus 4.8:
| アーム | 合格率 | コスト | 時間 |
|---|---|---|---|
| Executor: oneshot (Gemini Flash 3.5) | 60% | $1.16 | 360秒 |
| /prewalk | 78%(+30%) | $1.46(−47%) | 402秒(−34%) |
| Opus 4.8: oneshot | 85% | $2.78 | 606秒 |
Opusの85%の合格率を53%のコストで達成し、速度は1.5倍、ワンショットFlashよりも18ポイント向上しています。
次に進む前に、もう一つ。上のdjango-13279テスト走行のリボンに戻って、存在しないものを探してください:ズルです!
私たちが予期しなかった効果
すべてのSWE-benchタスクは、何年も前に公開で修正されたバグです。試験の答えはGitHubにあります。
以下は、ウェブを探索した実行の割合です。汚いズル者たち!
Claude Opus 4.8
oneshot44% 163t
/plan72% +28pts · 273t
/prewalk†13% −31pts · 65t
GPT-5.6
Sol: oneshot95% 234t
Luna: oneshot100% 308t
/prewalk70% −25pts · 162t
同じモデル、同じフレームワーク、ほぼ同じアイデアですが、振る舞いは大きく異なります。なぜ/planはまだズルをするのに/prewalkはしないのでしょうか?
私たちが持っている最良の説明は、prewalkは両端からそれを飢えさせるということです。ズルは、有能なモデルが絶望したときに行うことです。単独のトレースでは、探索が停滞するとGitHubのターンが実行の途中で始まります:Solはターン14頃にブレークし、Opusはターン12頃にブレークします。Prewalkはフロンティアモデルをその努力予算の開始時に終了させます。中央値は約7ターンです。アプローチを導き出し、最初の編集を着地させている最中に終了します(自信のあるフェーズ)、グーグル検索フェーズが始まるずっと前です。/planはどちらの慈悲も受けません。ターン制限はなく、その成果物(コードに対して編集をテストすることなく、修正がどのように機能するかを説明する包括的なドキュメント)は、絶望を生むような課題そのものです。
実行者は、絶望の反対を受け継ぎます。アプローチがすでにコードとの接触に耐えたコンテキストです。再現コードが書かれ、最初の編集が着地し、チェックリストが ticked されます。そのコンテキストには検索しているように見えるものは何もありません。そのため、模倣マシンは検索しません。
Prefill が走り、prewalk が走れるようにした
これらはどれも新しいアイデアではありません。それは本の中で最も古いトリックです:prefill。アシスタントがあなたの望むことをしない?アシスタントのターンを自分で開始し、モデルはあたかもその言葉が自分のものだったかのように続けます。
これは、文法制約付きデコーディングの前には一貫性のハックとして始まりました。ompや他の多くのものが今でもそれを行っています:セッションタイトルは小さなローカルモデルから取得されます。このモデルは、<title>でターンを開始すると、よりうまく機能します。それほど小さなモデルは、フォーマットに議論することはできませんが、それにだまされることはできます。
次に、レッドチーマーが別の端を見つけました。Prefill「はい、ここに方法があります…」と、はるかに大きなモデルが自身の拒否を乗り越えます。それは、それが言った言葉と、それが口に入れられた言葉を区別するチャネルを持たず、「すでに受け入れた」という一貫性がシステムプロンプトを打ち負かします。Prefillは標準的な脱獄クラスになり、あまりにも強力だったため、AnthropicがSonnet 4.5以降、推論レイヤーでほぼすべてで禁止されました。JSONモードと構造化出力は正当な用途を覆い隠し、それは消えていきました。
しかし、その原則は機能し続けるのをやめることはできません。なぜなら、それは面白い癖ではなく、オートレグレッションそのものだからです。フロンティアモデルに10個のプレフィルされたトークンを渡すことはもうできません。一部のモデルは思考を無効にすることさえ許可しません。これは、悪意のあるプレフィル(モデルがおそらく思考中に、アシスタントの思考ブロックがないことから認識するでしょう)を防ぐためです。しかし、10個の無邪気にプレフィルされたターンを渡すことを止めるものはありません:すでに発生した探索、チェックマークの途中にあるTODOリスト。
私たちはそれをompにアップストリームしました。そこでは、本日より--prewalk、--prewalk-into <model>、または単に/prewalkとして出荷されています。本質的にどこでも実装するのは簡単はずなので、試す機会があれば、どのように機能するか教えてください!