HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

本番AIエージェントをGPT-5.6に移行:2.2倍高速、27%低コスト

Migrating a production AI agent to GPT-5.6: 2.2x faster, 27% cheaper (ploy.ai)

240 pointsby brryant111 コメント

要約

Ployは、自社のAIエージェントをClaude OpusからOpenAIの最新モデルGPT-5.6 Solに移行したことを発表しました。この移行により、ウェブサイト構築エージェントのパフォーマンスが大幅に向上し、完了までの時間が2.2倍短縮され、コストが27%削減されました。移行プロセスでは、モデル固有の挙動(ツール引数の補完、プロンプトキャッシュ、推論の再現など)に対応するため、評価ハーネス、ツールスキーマ、キャッシュ設定、推論再現などのシステム全体にわたる調整が必要でした。

全文翻訳

本番AIエージェントをGPT-5.6に移行

本日より、PloyのエージェントはOpenAIが今朝リリースしたモデルファミリーのフラッグシップティアであるGPT-5.6 Solで稼働しています。数ヶ月間、Claude Opusに取って代わる基準を満たすモデルはありませんでしたが、GPT-5.6 Solはそれを達成しました。直接比較評価の後、私たちはこれをすべてのPloyワークスペースのデフォルトモデルとしました。

Ployのエージェントは、本番環境のマーケティングウェブサイトを構築・編集します。ページを計画し、コードベースを読み込み、コンポーネントを書き、画像を生成し、自身の作業のスクリーンショットを撮り、完了したかどうかを判断します。私たちは、このワークロードに対してすべての最先端リリースをテストしています。Opusがデフォルトスロットを保持していた4ヶ月間(最初はOpus 4.7、次に4.8)、テストしたどのモデルもそれを上回るものはありませんでした。GPT-5.6がそれを達成した最初のモデルです。

最初の評価実行では、いくつかの障害モードが露呈しましたが、それについては以下で説明します。また、強力な結果も得られました。完了したビルドは、実測時間で半減し、コストは27%削減され、スコアは既存モデルと同等かそれ以上でした。これらの結果は、移行作業を正当化するものでした。

私たちはVercelのAI SDKを使用していますが、Claude Opus 4.8からGPT-5.6 Solへの切り替えにより、スタック全体でプロバイダー固有の前提条件が露呈しました。プロバイダーは、モデルがツール引数をどのように埋めるか、プロンプトをキャッシュするか、ターン間で推論を再生するかといった点で異なります。

私たちはまず評価ハーネスを修正し、次にツールスキーマ、プロンプトキャッシュ、推論再生を修正しました。

ステップ0:数値を信頼する前にハーネスを修正する

私たちの評価スイートは、本番エージェントをフィクスチャワークスペースに対して実行します。「ホームページを一から構築する」から「このクローンリクエストは実行しても安全か」まで、数百のケースをカバーしています。ビルドケースでは、ビジュアルジャッジが参照デザインに対して10個のバイナリチェックを実行します。例えば、「ヒーローはフルブリードの写真シーンである」や「プライマリCTAはピル型ではなく、丸みを帯びた長方形である」などです。コンテンツチェック、ツール軌跡チェック、ファイルアサーションも実行します。ツール呼び出しとモデルテキストを含む完全なトレースに対して、すべての失敗をトリアージします。

最初のクロスモデル実行で、評価ハーネスに問題があることが露呈しました。

私たちのツール呼び出し予算は、Opusのシーケンシャルなスタイルに合わせて設定されていました。GPT-5.6は並列呼び出しを行い、正しく解決していたケースでそれらの予算を超過しました。また、評価実行器はバッチファイル読み込みをサポートしていませんでしたが、Opusはめったに使用せず、GPT-5.6は頻繁に使用します。最初の実行での生の失敗の約3分の1は、モデルの動作ではなくハーネスの前提条件に起因しており、それらの失敗は不均等に分布していました。チャレンジャーをインテンカントに対して評価する場合、パスレートを信頼する前にトレースをトリアージしてください。そうでなければ、評価は新しいモデルが古いモデルのように振る舞うことを報酬としてしまいます。

minScore閾値を省略したデータセットは、デフォルトの1.0を継承し、フォールバックをフラグするものがありませんでした。そのため、GPT-5.6は0.98をスコアリングしたヒーローを「失敗」としましたが、Opusはすべての個別のチェックに合格したにもかかわらず、ケースを「失敗」としました。どちらのデザインも正当化できましたが、暗黙の閾値がそれらを失敗させました。

ベンチマーク結果

ハーネスを修正した後、エージェントがブランドのホームページを参照デザインに対して再構築するリデザインスイートを再実行しました。

| 完了したビルドごとの平均 |
| --- | Claude Opus 4.8 (n=11) | GPT-5.6 (n=10) |
| コスト | $3.06 | $2.22 |
| 実測時間 | 8m 00s | 3m 42s |
| 入力トークン | 2.60M | 1.70M |
| 出力トークン | 33.0K | 17.1K |
| ビジュアルスコア | 0.936 | 0.970 |

GPT-5.6はページを2.2倍速く完了し、コストは27%削減され、出力トークンは約半分でした。また、コードの記述量も少なくなりました。一致したペアの1つでは、Opusは174個のCSS変数を含む17,957文字のglobals.cssを生成しましたが、そのほとんどが未使用の色階調でした。GPT-5.6は、同等かそれ以上のレンダリングされたページに対して、2,508文字と45変数を使用しました。

デザインの品質と一貫性

GPT-5.6は、クリーンでタイトなグリッドレイアウトを得意としますが、強力な指示がないと、そのスタイルに収束する傾向があります。Opus 4.8用に設計された古いハーネスでは、GPT-5.6 Solはしばしば既存のデザインシステムを無視し、クリーンだが一般的な出力を生成しました。

ここで行った変更は、別途投稿する価値があります。私たちのデザインチームとエンジニアリングチームは、GPT-5.6が本番環境で要求されるブランド遵守基準を満たすまで、指示を改善しました。

ステップ1:ツール呼び出しを確認する

私たちのエージェントのcodeツールには、25個のトップレベルパラメータがあります。そのうちの1つであるactionは必須ですが、残りはオプションです。Claudeは使用する2つか3つのパラメータを送信し、残りは省略します。GPT-5.6は、すべての25個を呼び出しごとに送信し、未使用のパラメータをoffset: 0、timeout: 120000、siteId: "00000000-0000-0000-0000-000000000000"のような妥当な値で埋めます。

私たちは、3日間の本番code(read)トレース全体でこのパターンを確認しました。

モデル呼び出し数全ての25プロパティを送信
gpt-5.66,6356,635 (100%)
claude-opus-4.82,8984 (0.1%)
claude-sonnet-51,9330

冗長性が問題ではありませんでした。ファイル読み込みの実装は、発明された値を意図された値と区別できませんでした。offset: 0を実際の引数として扱ったため、GPT-5.6のファイル読み込みの52%から64%が空を返しました。ツールは、有効な読み込みと空の読み込みの両方に対してsuccess: trueを返したため、モデルは空のファイルを読み込んでいることに気づくことができませんでした。より多くの呼び出しと悪い結果でそれを補いました。

プロンプトでもこれは解決しませんでした。「未使用のパラメータを省略する」というツール説明ディレクティブでも、25個中25個のパラメータが送信されました。プロパティごとの「OPTIONAL, omit if unused」ヒントも同様でした。OpenAIのstrictモードでも同様の動作を測定しましたが、それを採用するには、すべてのスキーマからpattern、format、配列境界検証を削除する必要がありました。この動作は、モデルが関数呼び出しをどのようにエミットするかから生じるため、代わりにスキーマを変更しました。

機能する修正は、プロバイダー境界でのスキーマ変換でした。OpenAIファミリーのモデルの場合、すべてのオプションプロパティをanyOf: [T, null]を使用して必須だがヌル可能として書き直します。これにより、モデルは未使用のパラメータに対して明示的な値を持つことができます。その後、共有ツール呼び出し境界での検証のためにヌルを削除するため、ツール実装は変更されません。モデルは未使用の値を示すスキーマを表示し、ツールは以前と同じ入力を受け取ります。

// 変更前:25個のキー、すべてに発明された値が含まれる
{ "action": "read", "file_paths": [...], "offset": 0, "timeout": 120000, ... }

// 変更後:25個のキー、4つの実際の値、21個の明示的なヌル(ツール実行前に削除)
{ "action": "read", "file_paths": [...], "offset": null, "timeout": null, ... }

変更後、空のファイル読み込みは52%から0%に減少しました。エージェントは、同じ作業に対してツール呼び出し回数も約30%削減しました。これは、空の結果の再読み込みを停止したためです。

ステップ2:プロンプトキャッシュを再構築する

両方のプロバイダーが「プロンプトキャッシュ」を提供していますが、実装が異なります。それらの違いを考慮する前に、GPT-5.6はOpusよりも約50%高価に見えました。私たちのキャッシュ設定がそのギャップを引き起こしました。モデルの価格設定は問題ありませんでした。

私たちのエージェントのプロンプトは、すべての会話で同一の約29Kトークン(ツールスキーマとコアシステムプロンプト)の静的なプレフィックスで始まります。Claudeでは、cache_controlでキャッシュブレークポイントをマークし、プレフィックスは組織全体でキャッシュされます。キーごとのスループット予算なしで、どの会話でも1つの共有エントリを使用できます。キャッシュヒット率は92%から96%です。

GPT-5.6は異なるOpenAIキャッシュモデルを使用します。以前のGPTモデルは、暗黙的な部分プレフィックスマッチをキャッシュしていました。GPT-5.6は部分プレフィックスマッチングを廃止したため、暗黙的なキャッシュは現在、最新メッセージをキーとする完全なプロンプトエントリを作成します。29Kの静的プレフィックスを共有する新しい会話は、その0%をキャッシュしませんでした。各会話は、キャッシュされていないレートで完全なプレフィックスを再請求しました。GPT-5.6は、アプリケーションがキャッシュを使用するかどうかにかかわらず、キャッシュされていないすべてのプロンプトに1.25倍のキャッシュ書き込み追加料金を適用します。

明示的なメカニズムは、prompt_cache_breakpointマーカーと必須のprompt_cache_keyを使用します。キーはキャッシュIDの一部であるため、異なるキーを持つ同一のプロンプトはキャッシュヒットを生成しません。各キーは、OpenAIが独立したコールドキャッシュを持つ他のノードにトラフィックを分散する前に、約15リクエスト/分のキャッシュノードにマッピングされます。

主な設計上の決定は、どのエンティティがキーのスコープを決定するかです。

  • 会話ごとのキー:新しい会話は共有プレフィックスにヒットしません。この構成で最初の呼び出しのヒット率が0%であることを測定しました。
  • 1つのグローバルキー:すべてのリクエストは1つのキャッシュノードにハッシュされます。本番トラフィックは15 rpmの予算を超え、リクエストはコールドノードにスピルします。
  • ワークスペースごとのキー:顧客ワークスペース内のすべての会話はエントリを共有し、キーごとのトラフィックは低く抑えられます。

私たちはワークスペーススコープのキーを出荷し、システムプロンプトをブレークポイント化されたレイヤーに分割します。これは、Anthropicですでに使用していた構造を反映しています。

リクエスト ──► hash(プロンプトヘッド + prompt_cache_key) ──► キャッシュノード (~15 req/min per key)
                                                          │
   ┌──────────────────────────────────────────────────────┴───────────────┐
   │  ノード上のエントリ、すべてキー ws:{workspaceId}で名前空間化されています │
   │                                                                      │
   │   [ ツール + 静的プレフィックス ]·················· A  すべてのセッション   │
   │   [ ツール + 静的プレフィックス + ワークスペースコンテキスト ]·· B  同じコンテキスト    │
   │   [ ····················· + ターン1 + … + 最新 ] C  このセッション    │
   └──────────────────────────────────────────────────────────────────────┘

エントリAは、セッションの最初の呼び出しのコストを削減します。ワークスペースメモリが変更されると、リクエストはエントリBをミスしますが、エントリAにはヒットし、新しいエントリBを書き込みます。これは、29Kプレフィックス全体を再請求するのではなく、コンテキストサイズの書き込みを1回行います。エントリCはOpenAIの暗黙的な全プロンプトチェーンであり、プロンプトは厳密に追記のみであるため、セッション内で機能します。

OpenAIのキーパーティショニングは、静的プレフィックスのワークスペース間共有を防ぎます。Anthropicは、そのキャッシュがキーパーティショニングなしで組織スコープであるため、プレフィックスを共有できます。GPT-5.6では、すべてのワークスペースがアイドルウィンドウごとに1回の29Kコールド書き込み(約$0.18)を支払います。コストは制限されており、予測可能です。

変更後、最初の呼び出しのキャッシュヒット率は約0%から83.7%に上昇し、合計のキャッシュされていない入力トークンは28%減少し、GPT-5.6のスイートごとのコストはOpusを下回りました。一方のモデルがコールドキャッシュで開始する場合、モデル間のコスト比較は有用ではありません。

ステップ3:推論再生を自己完結型にする

推論再生は、本番会話で断続的な失敗を引き起こしました。GPT-5.6のResponses APIはデフォルトでサーバーサイドのアイテム参照として以前のターンの推論を再生し、会話は時々Item 'rs_...' not foundで失敗しました。store: falseを設定すると、SDKはサーバー状態へのポインタではなく、暗号化された推論コンテンツを要求し、再生を自己完結型のブロブとして行います。また、アプリケーションによって送信されたバイトが追記のみであっても、サーバーサイドの推論状態が効果的なプロンプトを変更する可能性があることも学びました。

本番環境でのGPT-5.6 Solの実行

GPT-5.6は本日ローンチされ、すでにPloyで稼働しています。ploy.aiで無料トライアルを開始し、ウェブサイトの構築を依頼して、4分未満のビルドがどのようなものかを確認できます。

*Ployは、ウェブサイトやキャンペーンを計画、構築、公開、最適化するAIレイヤーです。午前2時にキャッシュノードのファンアウトのデバッグが楽しそうに聞こえるなら、採用募集中です。