より良いモデル:より悪いツール
Better Models: Worse Tools (lucumr.pocoo.org)
要約
最新の高度なAIモデル(AnthropicのOpus 4.8やSonnet 5など)が、古いモデルよりも特定のツール呼び出しにおいて性能が悪化しているという問題について論じられています。これは、寛容な内部ハーネス(Claude Codeなど)で訓練されたモデルが、不正なツール呼び出しを許容するように学習した結果、より厳格な外部スキーマとの連携で信頼性が低下するという訓練上のアーティファクトであると推測されています。著者は、この傾向が将来のモデルの多様なツールインターフェースへの適応性を妨げる可能性を懸念しています。
全文翻訳
より優れたモデル:より劣ったツール
2026年7月04日執筆
この2日間、非常に奇妙なPiの問題に深く入り込んでしまいました。要するに、新しいClaudeモデルが時々、ネストされたedits[]配列に余分な、発明されたフィールドを含めてPiの編集ツールを呼び出すのです。しかも、Haikuや小規模なモデルではなく、Opus 4.8です。編集自体は通常正しいのですが、引数がスキーマと一致しないため、モデルがでっち上げたキーをPiが拒否し、再試行を求めます。
それだけではそれほど驚くことではありません。モデルが時々、不完全なツール呼び出しを生成することはあります。特に小規模なモデルでは。私が驚いたのは、これが新しいAnthropicモデルで悪化していることです。Opus 4.8とSonnet 5の両方でこの現象が見られますが、古いモデルでは全く見られません。つまり、このファミリーのSOTA(State-Of-The-Art)モデルが、この特定のツールスキーマに関しては、古いモデルよりも劣っているのです。
Fableについて興味がある方のために: 分類器が私をOpusにダウングレードするかもしれないと確信が持てなかったため、意図的にテストしませんでした。
ツール呼び出しはテキストである
LLMのツール呼び出しの内部構造をあまり詳しく見ていない方のために、理解しておくべき重要な点は、ツール呼び出しは魔法ではなく、かなり粗雑なインバンドシグナリングを使用しているということです。モデルは、トランスクリプト、システムプロンプト、および利用可能なツールのリストを受け取ります。サーバーはそれを特別なマーカートークンを含む大きなプロンプトにまとめます。モデルはその形式の例で訓練され、強化されているため、生成中に「このツールをこれらの引数で呼び出す」と解釈されるものを出力します。
ファイル編集ツールの場合、意図された呼び出しペイロードは次のようになります。
{
"path": "some/file.py",
"edits": [
{
"oldText": "置換するテキスト",
"newText": "置換テキスト"
}
]
}
Harnessが引数を検証し、編集を実行し、その結果をモデルにフィードバックします。検証に失敗した場合、モデルはエラーを見て、通常は再試行します。
そのフォーマットがどのように正確に行われるかはAnthropicのモデルでは不明ですが、一部の人々は「ANTML」マーカーを取得しており、それらは時々公開通信にも漏れ出ます。私の知る限り、上記の呼び出しはモデルから次のようにシリアライズされて出力されるでしょう。
<antml:function_calls>
<antml:invoke name="edit">
<antml:parameter name="path">some/file.py</antml:parameter>
<antml:parameter name="edits">
[
{
"oldText": "置換するテキスト",
"newText": "置換テキスト"
}
]
</antml:parameter>
</antml:invoke>
</antml:function_calls>
ここで注意すべき重要な点は、これはXMLのように見えますが、実際にはXMLではないということです。それは単にトークン化して訓練するのに便利だと見つけられたものです。もう一つの注意点は、基本的なトップレベルの文字列パラメータはインラインで表示されるのに対し、オブジェクトの配列はJSONシリアライゼーションを介して実装されることです。これがどのように機能するかについては完全に確信しているわけではありませんが、それほど遠くないという兆候がいくつかあります。これは後で重要になります。
このような構造をモデルに生成させるには、2つの非常に異なる方法があります。
- モデルにスキーマに一致する有効なJSONを生成するように依頼し、後で検証する。
- 無効なJSON、あるいは無効なスキーマ形状さえもサンプリングできないように、サンプラーを制約する。
2番目のアプローチは、人々が通常、文法認識型または制約付きデコーディングと呼ぶものです。サンプラーは文法に違反するトークンをマスクします。モデルが現在JSONオブジェクト内におり、スキーマがoldTextとnewTextのみを許可すると言っている場合、サンプラーは"in_file"や"type"を出力するのを防ぐことができます。文法認識型デコーディングは、構文的に有効なJSONに制約するためにも、特定の列挙値やキーを強制するためにも使用できます。
どのような制約もない場合、モデルは単に学習された規約に従っているだけです。
失敗
Piの編集ツールは、1回の呼び出しで複数の正確な文字列置換をサポートしています。そのため、引数にはedits配列が含まれています。失敗したケースでは、モデルは次のようなエントリを生成します。
{
"oldText": "...",
"newText": "...",
"requireUnique": true
}
または、これです。
{
"oldText": "...",
"newText": "...",
"oldText2": "",
"newText2": ""
}
繰り返し試行する中で、type、id、kind、unique、requireUnique、matchCase、in_file、forceMatchCount、children、notes、cost、oldText2、newText2、oldText_2、newText_2、さらには編集オブジェクト自体の内部にevent.0.additionalPropertiesキーなど、さまざまな発明された末尾キーを見ました。
最も腹立たしいのは、私が検査した無効な呼び出しでは、実際のoldTextとnewTextのペイロードがバイト単位で正しかったことです。モデルは実際には正しい呼び出しを生成していましたが、最後に無意味なものを追加していたのです。
この失敗は、コンテキストにも大きく依存します。例えば、「このファイルを編集して」という新しい単一ターンのプロンプトでは、私には全く再現できませんでした。ファイルの内容を読み込み、問題を診断し、複数行の編集を構成したエージェント的な履歴では、それを再現できました。さらに腹立たしいことに、すべてのトランスクリプトがその動作を示すわけではありません。実際、私自身ではこの問題を再現するためにPetr Baudis氏のトランスクリプトが必要でした!そのユーザーのセッションでは、Opus 4.8が約20%の確率で失敗しました。履歴から思考ブロックを削除すると、失敗率は半分になりました。厳密なツール呼び出しを有効にすると、私の実行ではそれが排除されました。
なぜ悪化しているのか
私の最も強い仮説は、これがランダムな劣化ではなく、訓練のアーティファクトであるということです。
古いAnthropicモデルが訓練されていた頃、それらは(文書化されているものもあれば、されていないものもある)いくつかのツールで訓練されていました。しかし、その訓練には、Claude Codeのようなユーザー出荷のハーネスが明確なターゲットとしてまだありませんでした。現代のAnthropicモデルは、その訓練後処理にClaude Codeやそれに非常に似たハーネスが含まれているため、おそらく異なります。モデルはその環境で、成功したツール呼び出しがどのように見えるかを学習します。また、その環境によって許容される間違いも学習します。
Claude Code自体のツールは比較的フラットです。通常の編集ツールはPiのネストされたedits[]形状ではなく、file_path、old_string、new_string、およびオプションのフラグ(replace_all)に近いものです。Claude Codeのクライアントを見ると非常に参考になります。そこには、不完全なツール使用、パラメータエイリアス、型変換、Unicode修復、未知のキーのフィルタリングのためのリトライパスが含まれています。つまり、Anthropic自身のクライアントは、かなりの量の「緩み」を期待し、受け入れ、ほとんどの場合、それを静かに修復しているようです。
もし、強化学習がそのようなハーネス、またはそのシミュレーションで行われる場合、わずかに不完全なツール呼び出しでもタスクを完了し、報酬を受け取ることができます。ハーネスはエラーを完全に吸収し、エイリアスを発明したり、余分なフィールドを追加したり、近くのパラメータ名を使用したりすることに対する勾配はほとんどありません。
さらに悪いことに、モデルは標準的なClaude Code編集ツールの形状に非常に強く適応してしまう可能性があります。異なるハーネスは、同じ意味的意図を持つが異なるスキーマを持つツールを提供できます。そのようなツールは、ますます分布外になる可能性があります。より良く訓練されたモデルは、その事前分布が強いため、実際にはより強く抵抗するかもしれません。
これはそれほど驚くことではありませんが、数ヶ月前の状況からの変化です。Opus 4.5がリリースされたとき、それは他の編集ツールに例外的にうまく適応しました。実際、私はモデルが指示が良好である限り、どのような形状のツールにも適応する可能性が高いという良い道筋を歩んでいると確信していました。
今、私は私たちが進んでいるトラックについて少し心配しています。代替のツールスキーマは、単に馴染みがないだけではないかもしれません。それらは、特定の、寛容なツールエコロジーを最適化する訓練後処理によって、暗黙的に罰せられる可能性があります。そして、そのエコロジーは文書化されていません。文書化されたテキストエディタツールはありますが、この形式がClaude Codeによって実際には従われていないことがわかります。Claude Codeが内部で何を行っているか(クローズドソースのハーネスです)は、あなたには隠されています。
緩いハーネス
Claude Codeは明らかにクローズドソースですが、ミニファイされたコードを見て、それが何をしているのかをある程度把握できます。そして率直に言って、入力データに対して非常に寛容です。
まず、Claude Codeはモデルの可視テキストで漏洩した<invokeマークアップをチェックします。それが起こるとテレメトリも発行し、その後、モデルに押し戻してそのような悪い呼び出しをリトライするための独自のステートマシンを持っています。
壊れた\uXXXXシーケンスや文字列値の単独のサロゲートを修正する、明示的なUnicodeエスケープ修復があります。また、ツールごとにパラメータのエイリアスもあります。例えば、Editはold_str(おそらくモデルが公式に文書化されたテキストエディタツールで訓練されていた頃のもの)、新しいold_string(スキーマから)、new_str/new_string、file_pathのエイリアスとしてのpath、その他いくつかを受け入れます。
また、予期しないキーを静かにフィルタリングし、strictモードも使用しません。strictモードの問題は、Anthropicがツール定義に複雑さの制限を適用し、APIリクエストを失敗させるため、おそらくClaude Codeがそれを使用しようとしない理由です。
厳密さ
この問題は他のハーネスでも発生するのでしょうか?Anthropicの大きな問題の1つは、モデルが完全にクローズドであり、ハーネスも同様であることです。Codexモデルもクローズドですが、少なくともハーネスはそうではありません。また、gpt-ossもあり、少なくとも少し興味深いです。モデルは明示的にOpenAIのharmonyレスポンスフォーマットを使用するように訓練されており、少なくともOpenAIの人々がどのように考えているかを教えてくれる多くのドキュメントがあります。
Harmonyは、チャンネルとツール呼び出しコンテンツタイプをプロンプトフォーマットの一部にします。関数呼び出しは次のようになります。
<|start|>assistant<|channel|>commentary to=functions.get_weather
<|constrain|>json<|message|>{"location":"San Francisco"}<|call|>
重要な部分は<|constrain|>jsonです。モデルは、このメッセージ本文がJSONであることをインバンドで表現でき、推論スタックはその境界を使用してツール呼び出しの本文に対してJSON制約付きサンプリングに切り替えることができます。おそらく、これもAnthropicのモデルで一部発生しているでしょう。少なくともstrictモードではそうなるだろうと想像します。
Harmonyのマーカーは、サンプラーが特定の文法でいつサンプリングする必要があるかを検出するのに役立ち、プロンプトの一部であるため、それを行うのはかなり簡単です。ホストされているGPTモデルの場合、カスタムツールがこれに準拠する必要がある場合にLARK文法を提供することもできます。
Anthropicはそれとは異なるように見えますが、完全にそうではないかもしれません。もしオブジェクトの配列がJSONとして表現されている場合(そのように見える)、モデルはツールパラメータ内にJSONを記述する必要があります。おそらく基本的な文法制約付きサンプリングが行われており、それが余分なキーの一部を説明するかもしれません。ネストされた配列パラメータの場合、そのJSONには、長いマルチライン文字列内の文字列リテラル内に、エスケープされた複数行のファイルコンテンツが含まれます。予期しない、でっち上げられたキーは、まさにそのタスクの最もエントロピーの高いポイントに出現します。数百万トークンに及ぶエスケープされたnewText文字列を閉じた後、モデルは}か,"..."`かを決定する必要があります。
Opus 4.8とSonnet 5は、編集ツールの呼び出しがどのように見えるべきかについて、はるかに強力な事前分布を持っているように見え、その事前分布はClaude Codeの編集スキーマ、つまりフラットなold/new文字列ペアとオプションのreplace_allフラグのようです。Opusは、編集操作に1つの追加のオプションフィールドを持つ可能性があることを学習したが、PiのネストされたoldText/newText形状の下では、そのフィールドの名前について訓練されていないと推測します。そのため、失敗するたびにランダムなキーを生成し、安定したエイリアスを1つ生成しないのです。
Anthropicのstrictモードがこれを修正するように見えるため、サーバー側ではJSONスキーマ構造で許可されていないキーのサンプリングを拒否していると推測します。それも、厳密モードが有効な場合にツール定義の複雑さに制限がある理由を説明するでしょう。
これまでのところ、私がテストしたCodexモデルはこの種の回帰を示していません。まだアクセスできない5.6を除くすべての利用可能なモデルをテストしました。
ハーネスにとっての意味
不快な教訓は、ツールスキーマは中立ではないということです。少なくともAnthropicモデルでは。私たちはスキーマを抽象的な契約であり、モデルはそれに従う一般的な推論者であると見せかけるのが好きですが、一部のツールについてはそれがもはや当てはまらないかもしれません。
ツールスキーマは分布のどこかにあり、一部の形状はモデルが訓練後処理中に見たものに近く、一部は遠いです。一部はプロバイダーの隠されたエンコーディング(例: ANTMLのトップレベル属性)にとって簡単ですが、一部はモデルが長いマルチライン文字列の内部で、ネストされた配列内に大きなエスケープされたJSONオブジェクトを書き込むことを要求します。モデルはスキーマを理解するのに十分賢いかもしれませんが、プレッシャーの下で正確な形状をサンプリングするのは苦手かもしれません。
この種のモデルの挙動が続く場合、ハーネスへの影響はどうなるか疑問です。明らかに、Anthropicでstrictサンプリングを有効にすれば問題は解決するはずです。一方で、モデルがこの挙動を示すことは、強化学習がそれらに与える影響を示しています。その事前分布と戦うことは、最高のモデルパフォーマンスを得たいのであれば、おそらく無駄でしょう。
現時点での現実は、Claude Codeはオープンソースではなく、彼らがRL環境で何を行っているのかを本当に知ることはできません。Claude-Codeで訓練された挙動が、あなたのツールとクリーンに転送されるとは想定できません。1つの支配的なハーネス内で訓練後処理が行われるほど、他のすべてのハーネスはその奇妙な癖を引き継がなければならなくなります。
制約付きデコーディングは品質のトレードオフを持つ可能性があるため、私は以前は厳密な文法制約付きツール呼び出しに懐疑的でした。それは一般的に真実であるかもしれませんが、このバグは私の事前分布を大幅に動かしました。最新のモデルがタスクを解決する上で向上し、代替のツールスキーマを忠実に発行する上で悪化するなら、ハーネスはどこかでより強力な保証を必要とします。
詳細を知りたい場合、またはこれについて議論したい場合は、PiトラッカーのIssueを読むことを検討してください。