HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

フロンティアモデルは一度だけの編集で十分

You only need the frontier model for one single edit (stencil.so)

201 pointsby jxmorris1271 コメント

要約

この記事は、AIエージェントのコスト最適化戦略について論じています。高価なフロンティアモデルを計画立案のみに限定し、安価なモデルに実行を任せるアプローチは、実際にはコスト増につながる場合があることを指摘しています。その理由として、モデルが情報を「読む」ことにかかるコストが支配的であり、計画の受け渡しは理解の受け渡しではないことを挙げています。代わりに、フロンティアモデルに計画を立てさせ、最初の編集を行った時点で安価なモデルに切り替える「/prewalk」という新しいアプローチを提案しています。

全文翻訳

フロンティアモデルは一度の編集のためにだけ必要

サルが見た、サルがした! 🍌

フロンティアモデルのパフォーマンスの97%
コストは41%安い
完了まで1.9倍速い
「ズル」をする可能性が約3分の1に低い

コスト対合格率、7つのアーム · SWE-Bench Pro · ベアモデル = ワンショット · $/タスクにはフロンティアモデルの最初のターンが含まれる · †はFlash 3.5で実行 · ‡は5.6 Lunaで実行

/plan は完璧に見える。しかし、そうあるべきではない!

このピッチを聞いたことがあるかもしれませんし、実際に使ったことがあるかもしれません。高価なモデルは明らかに優れたアーキテクトですが、パイプライン全体にそれを使うのは無駄に感じられます。「難しい部分」だけをやらせればいいのではないでしょうか。

コードを読み、深く考え、正確な計画を立てる。そして、10分の1の価格のモデルがその計画を実行する。シニアアーキテクト、ジュニアエンジニア。

素晴らしい話に聞こえますよね?

上の赤い点を見てください。Opus 4.8 + /plan† とラベル付けされています。Opusは読み取り専用で計画を立て、Gemini Flashがそれを実行します。結果は、タスクあたり3.18ドル、12.7分、合格率84.6%です。

Opusが手渡しなし、ジュニアなしで、タスク全体を単独で実行した場合:2.78ドル、10.1分、合格率84.6%。

「コスト削減」策は、削減しない場合よりも14%もコストがかかるのです。あれ?

すべてを読む · $$$すべてをもう一度読む · $$

githubコード · 約10万トークン
opus · 計画
plan.md · 2Kのポストカード
flash · 実装
パッチ · 約2Kトークン

間違いはアーキテクチャ図の上流にあります。人々はエージェントを人間と同じように価格設定します。シニアの時間は高価なので、シニアの関与を最小限に抑えます。

しかし、エージェントの一日の高価な部分は、修正、構築、あるいは思考ではありません。Opusが修正することにお金はかかりません。Opusが何かを読むことにお金がかかるのです。

この、認めざるを得ない逸話的なトークン分布を見てください。完全に自動化されたエージェントも同様です。

約200万回のツール呼び出しで18.1億トークン · 「タスクの実行」(すべての編集と書き込み)は9%であり、読み取りが請求額を増加させる原因であり、両方のモデルがその読み取りに対して全額を支払っています。

トークンの9%が編集です。残りは読み取りであり、この分割は一つのハーネスの癖ではなく、「修正」できるものではありません。信頼してください、私たちは試しました――それがsnapcompactが生まれた理由です。

どんなエージェント、どんなモデル、どんなフレームワークでも:請求額は基本的にO(読み取り)です。

それを念頭に置いて、/planに手を伸ばすあらゆる理由を考えてみましょう。

  • 「巨大モデルの深い理解を得たい。」 理解は、10万トークン以上の根拠のあるコンテキストに存在します:読み取られたファイル、排除された行き止まり、テストされた仮説。計画ドキュメントは、そのコンテキストからの2Kトークンのポストカードです。実行者はポストカードを受け取りますが、理解は受け取らず、自身の費用で残りを再構築しなければなりません。
  • 「タスクが非常に複雑だ。」 その場合、メインエージェントを実行させたくありません。読み取り専用の単一の計画ターンでは解決しません。探索させてから、サブエージェントを派遣して作業を実行させましょう。電話伝言ゲームはここでは役に立ちません。
  • 「コストが制約されている。」 読み取りがコストです。/planはフロンティアモデルにすべてのものをフロンティア価格で読ませ、次に安価なモデルにそれをもう一度読ませます。高価な部分を移動させたのではなく、複製したのです。

これが実際の運用でどのように見えるかを、私たちが時間をかけすぎた図で示します。

OPUS 4.8 + /PLAN† · $3.18

bashopus

globopus

readopus

bashopus

bashopus

readopus

bashopus

readopus

readopus

readopus

grepopus

readopus

readopus

grepopus

grepopus

readopus

readopus

readopus

¶¶proseopus

readopus

recon: sessions ▸ signing

writeopus

resolveopus

▸ flash

plan

readflash

readflash

editflash

readflash

editflash

edits

readflash

basherrorflash

grepflash

editflash

grepflash

readflash

editflash

bashflash

bashflash

¶¶proseflash

verify ▸ debug ▸ pass

Σ 1.34M

OPUS 4.8 · SAME TASK · $2.78

bashopus

readopus

readopus

bashopus

bashopus

readopus

grepopus

readopus

readopus

bashopus

readopus

grepopus

recon: sessions ▸ signing

editopus

readopus

editopus

fix

readopus

editopus

bashopus

grepopus

readopus

grepopus

readopus

editopus

tests ▸ debug warnings

bashopus

bashopus

bashopus

readopus

¶¶proseopus

verify ▸ close

Σ 1.10M

OPUS 4.8 + /PREWALK† · $1.46

bashopus

readopus

nudge

readopus

bashopus

bashopus

readopus

readopus

bashopus

readopus

¶¶proseopus

todoopus

recon: plan

editopus

▸ flash

fix

readflash

editflash

todoerrorflash

todoflash

tests

basherrorflash

grepflash

grepflash

readflash

readflash

editflash

bashflash

debug warnings

grepflash

readflash

grepflash

grepflash

bashflash

todoflash

todoflash

¶¶proseflash

checks ▸ close

Σ 1.13M

opus flash

read write exec todo ¶ prose error harness event Σ tokens

django-13279 test run
† executes with Flash

一番上のリボンを見てください。Opusはbase.py、signing.py、テストファイル(20枚の灰色のカード)を読み、計画を書き込んで終了します。そしてFlashがその美しいドキュメントで最初に行うことは何でしょうか?それはbase.pyとテストファイルを再読することです。なぜなら、計画はファイルではなく、プログラミング言語ではないからです。灰色の読み取りは、まずOpusの価格で、次にFlashの価格で積み重なります。二度目の読み取りがコスト最適化になるようなバージョンは存在しません。

おとぎ話ではなく、軌跡を引き継ぐ

計画ドキュメントは文字通りのポストカードであり、それを辿らなかったモデルに旅を説明するものです。

実際に価値のあるものを転送できるのは、コンテキストウィンドウそのものです。

/prewalkはこれを実行します:

  1. フロンティアモデルでタスクを開始し、1つの隠された指示をプレフィックスとして付けます:「深く計画し、計画をTODOリストとしてキャプチャし、開始せよ」。
  2. フロンティアモデルが探索し、計画を書き込み、TODOリストを初期化します。
  3. 最初の編集が着地した瞬間(行動するのに十分な自信を持った時点)、安価なモデルに切り替え、コンテキストから計画指示を削除します。

トリックは以下の通りです:

  • 安価なモデルは「待てよ、計画を立てていたはずだ」とは決して思いません。コンテキストに計画指示は残っていません。
  • それが知っている限りでは、探索し、TODOリストの形式で包括的な計画を作成し、自信を持って実行を開始しました。
  • さらに良いことに、すでに有効な一手を打っています!(コンテキスト内での無料例)

5.6 SOL + /PREWALK‡ · $1.04

readsol

nudge

¶¶prosesol

todosol

orient ▸ plan

grepsol

globsol

grepsol

lspsol

readsol

readsol

readsol

readsol

readsol

readsol

grepsol

grepsol

readsol

readsol

grepsol

readsol

greperrorsol

recon: mti internals

todosol

todosol

editsol

first edit

▸ luna

basherrorluna

editluna

swap ▸ fix

todoluna

todoluna

bashluna

todoluna

grepluna

bashluna

bashluna

todoluna

todoluna

¶¶proseluna

verify ▸ close

Σ 710K

5.6 SOL · SAME TASK · $1.71

readsol

grepsol

grepsol

readsol

readsol

readsol

grepsol

globsol

readsol

¶¶prosesol

readsol

readsol

readsol

grepsol

readsol

readsol

readsol

recon: mti internals

grepsol

grepsol

readsol

readsol

bashsol

bashsol

bashsol

git archaeology

todosol

evalsol

bashsol

evalsol

bashsol

readsol

grepsol

repro script

readsol

readsol

readsol

readsol

readsol

readsol

readsol

readsol

readsol

readsol

cheats off of

🤣

todosol

editsol

evalsol

fix

readsol

readsol

readsol

editsol

tests

grepsol

grepsol

bashsol

grepsol

grepsol

readsol

bashsol

bashsol

todosol

¶¶prosesol

suite ▸ close

Σ 1.78M

sol luna

read write exec todo ¶ prose error harness event Σ tokens

django-12325 test run
‡ executes with Luna

ここに至るまで

オープンソースのハーネスで作業する良い点は、人々がどのように物事を行うかについてチャットできることで、ほとんどすべての人が完全に異なるセットアップを持っています。

いずれにせよ、私は時々簡単な中程度のタスクをフロンティアモデルで開始し、数ターン後にKimi K27に切り替えて、通常の思考ループに陥らないようにしていました。これが合理的かどうかは測定したことがありませんでした...他の誰かが同じことをしていると述べたときまで。

当然、ベンチマークする必要がありました。私たちは愚か者なのか、それともこれは実際に機能するのか、そしていつ機能するのか?

最初の試み:固定ターン、例えば4ターン目で切り替える。明らかに後知恵ですが、フロンティアモデルは4ターン目でまだ迷っていることもあれば、すでに全体を終えていることもあります。2回目の試み:最初の編集の後で切り替える。モデルはパターンを一度、その場で、そのスタイルで実証しました。かなり良いですが、まだ気まぐれです。小さなモデルは、突然タスク完了を宣言し続けることがあります。

解決策は、意図せずして集団を率いるエージェントに計画をステップバイステップで説明させ、実行する準備ができたら、各項目に検証ステップを持つTODOリストを初期化することでした。次にコードの一部を編集し、その時に切り替えをトリガーします。

編集のみでゲートをかけるのは良くありません。TODOリストは依然として非常に重要な役割を果たします。私たちの小さな友人は計画、検証ステップ、または自分が何をしているかを忘れるかもしれませんが、無限にバグってくるTODOリマインダーを忘れることはできません。これにより、私たちは自由に方向転換できます。

もう一つの面白い失敗モード:GPT 5.6をガイドとして使用すると、60項目のTODOリストを作成し、それらをバッチで完了させることを非常に好みます(何かに対して報酬が配られているだけなのでしょうか?)。そのため、プロンプトに項目制限を含めることは必須です。

レシート

GPT-5.6 Sol:

アーム合格率コスト時間
Executor: oneshot (GPT 5.6 Luna)77%$0.60570秒
/prewalk85%(+10%)$1.04(−39%)300秒(−47%)
GPT 5.6 Sol: oneshot88%$1.71372秒

Solの合格率の97%を61%のコストで達成し、しかも3つの中で最も速いです。なぜなら、Solは最初のターン以降、遅いフロンティアトークンを燃やすのをやめ、Lunaは森の中で迷うターンを無駄にしないからです。

Opus 4.8:

アーム合格率コスト時間
Executor: oneshot (Gemini Flash 3.5)60%$1.16360秒
/prewalk78%(+30%)$1.46(−47%)402秒(−34%)
Opus 4.8: oneshot85%$2.78606秒

Opusの85%の合格率を53%のコストで達成し、速度は1.5倍、ワンショットFlashよりも18ポイント向上しています。

次に進む前に、もう一つ。上のdjango-13279テスト走行のリボンに戻って、存在しないものを探してください:ズルです!

私たちが予期しなかった効果

すべてのSWE-benchタスクは、何年も前に公開で修正されたバグです。試験の答えはGitHubにあります。

以下は、ウェブを探索した実行の割合です。汚いズル者たち!

Claude Opus 4.8

oneshot44% 163t

/plan72% +28pts · 273t

/prewalk†13% −31pts · 65t

GPT-5.6

Sol: oneshot95% 234t

Luna: oneshot100% 308t

/prewalk70% −25pts · 162t

同じモデル、同じフレームワーク、ほぼ同じアイデアですが、振る舞いは大きく異なります。なぜ/planはまだズルをするのに/prewalkはしないのでしょうか?

私たちが持っている最良の説明は、prewalkは両端からそれを飢えさせるということです。ズルは、有能なモデルが絶望したときに行うことです。単独のトレースでは、探索が停滞するとGitHubのターンが実行の途中で始まります:Solはターン14頃にブレークし、Opusはターン12頃にブレークします。Prewalkはフロンティアモデルをその努力予算の開始時に終了させます。中央値は約7ターンです。アプローチを導き出し、最初の編集を着地させている最中に終了します(自信のあるフェーズ)、グーグル検索フェーズが始まるずっと前です。/planはどちらの慈悲も受けません。ターン制限はなく、その成果物(コードに対して編集をテストすることなく、修正がどのように機能するかを説明する包括的なドキュメント)は、絶望を生むような課題そのものです。

実行者は、絶望の反対を受け継ぎます。アプローチがすでにコードとの接触に耐えたコンテキストです。再現コードが書かれ、最初の編集が着地し、チェックリストが ticked されます。そのコンテキストには検索しているように見えるものは何もありません。そのため、模倣マシンは検索しません。

Prefill が走り、prewalk が走れるようにした

これらはどれも新しいアイデアではありません。それは本の中で最も古いトリックです:prefill。アシスタントがあなたの望むことをしない?アシスタントのターンを自分で開始し、モデルはあたかもその言葉が自分のものだったかのように続けます。

これは、文法制約付きデコーディングの前には一貫性のハックとして始まりました。ompや他の多くのものが今でもそれを行っています:セッションタイトルは小さなローカルモデルから取得されます。このモデルは、<title>でターンを開始すると、よりうまく機能します。それほど小さなモデルは、フォーマットに議論することはできませんが、それにだまされることはできます。

次に、レッドチーマーが別の端を見つけました。Prefill「はい、ここに方法があります…」と、はるかに大きなモデルが自身の拒否を乗り越えます。それは、それが言った言葉と、それが口に入れられた言葉を区別するチャネルを持たず、「すでに受け入れた」という一貫性がシステムプロンプトを打ち負かします。Prefillは標準的な脱獄クラスになり、あまりにも強力だったため、AnthropicがSonnet 4.5以降、推論レイヤーでほぼすべてで禁止されました。JSONモードと構造化出力は正当な用途を覆い隠し、それは消えていきました。

しかし、その原則は機能し続けるのをやめることはできません。なぜなら、それは面白い癖ではなく、オートレグレッションそのものだからです。フロンティアモデルに10個のプレフィルされたトークンを渡すことはもうできません。一部のモデルは思考を無効にすることさえ許可しません。これは、悪意のあるプレフィル(モデルがおそらく思考中に、アシスタントの思考ブロックがないことから認識するでしょう)を防ぐためです。しかし、10個の無邪気にプレフィルされたターンを渡すことを止めるものはありません:すでに発生した探索、チェックマークの途中にあるTODOリスト。


私たちはそれをompにアップストリームしました。そこでは、本日より--prewalk、--prewalk-into <model>、または単に/prewalkとして出荷されています。本質的にどこでも実装するのは簡単はずなので、試す機会があれば、どのように機能するか教えてください!