HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

コードモードによるシステムコストの大幅削減(99.2%)

Code mode yields a 99.2% cost reduction in our systems (agent-swarm.dev)

47 pointsby tarasyarema35 コメント

要約

Agent Swarmは、LLM(大規模言語モデル)のコンテキストウィンドウに生のツールコール結果ではなく、スクリプトで処理・集約された結果のみを渡す「コードモード」を導入することで、API呼び出しコストを99.2%削減したと報告しています。これにより、大量のデータ処理が必要なタスクでも、トークン消費量を劇的に抑えることが可能になりました。

全文翻訳

26回のツール呼び出し、1つのスクリプト、0.02ドル:「コードモード」の測定

更新日: 2026年10月10日 · この投稿の最初のバージョンは、Hacker Newsで当然の批判を招きました。文章は機械で下書きされ、そのように読めました。「推定していない」と書いた2段落後に推定だらけのセクションがありました。これは書き直しです。測定値は変更されていません。それらのラベルは正確になり、元の投稿で省略されていたエンドツーエンドの本番環境の数値を追加しました。

[画像: モデル化された生呼び出しペイロードに対する測定済みスクリプトペイロード、想定されるキャッシュされない入力レートで1回価格設定]

同じトリアージ。1つのパスでは、生データが決してモデルに到達しません。

MCPのコードモードとは?

コードモードは、モデルをMCPツールに接続するためのパターンです。ツールを1つずつ呼び出す代わりに、モデルはそれらのツールから生成された型付きAPIに対して短いプログラムを作成します。そのプログラムはサンドボックスで実行され、その戻り値のみがモデルのコンテキストに戻されます。

私たちのモデル化されたベースラインは、逐次的な生呼び出しを使用し、それらの完全なJSON結果をコンテキストに保持します。実際のハーネスは、ツール呼び出しをバッチ処理したり、スキーマを検出したり、結果を削減したり、履歴を圧縮したりできます。それらの選択は比較を変えます。

1つの本番環境ジョブで違いを測定しました。26回の基になる呼び出しが1つのスクリプト呼び出しになり、そのデータ収集ステップ(モデル化された生パス対測定済みスクリプト実行 — ラベルは重要であり、全体を通して保持します)でコンテキストに入る文字数が約99.2%減少しました。後で表示される約50%という数字は、スクリプトを使用する繰り返しジョブのエンドツーエンドのコストであり、実際に計上している数値です。

11月に、AnthropicはMCPでのコード実行に関する記事を公開しました。エージェントに生ツール呼び出しの代わりにサンドボックスと生成されたAPIを与えると、150,000トークンかかったタスクが2,000トークンで済みます。なぜなら、中間データが決してモデルのコンテキストを通過しないからです。Cloudflareは9月に同じアイデアを「コードモード」として出荷し、後にそれに数値を付けました。2,500以上のAPIエンドポイントが、117万トークンから約1,000トークンになりました。

それらのどれも新しいアイデアではありません。「同じことを2回やるなら、スクリプトを書け」はLLMより半世紀前から存在します。Agent Swarmセッションは、しばらくの間、そのバージョンをルーブリックとして出荷してきました。約10項目、またはバルクファンアウトのいずれかを超えると、エージェントは個別のツール呼び出しの代わりにスクリプトを書くように指示されます。これはScript Workflowsの背後にあるのと同じ仕組みであり、この投稿の何も投稿のために構築されたものではありません。

私たちがやっていなかったのは、それを測定することでした。そこで、実際のジョブを1つ選び、スクリプトパスをライブで実行し、ツール呼び出しパスがモデルの前に置いたであろうものをモデル化しました。この投稿の1つの数値はエンドツーエンドで測定され、1つは測定されたサンプルからモデル化され、その違いは表示されるすべての場所にラベル付けされています。

コードモードが役立つ場合と、生ツール呼び出しが簡単な場合

モデルをツールに接続するには3つの方法があり、適切な方法はジョブの呼び出し数と各結果を誰が見る必要があるかによって異なります。

アプローチモデルのコンテキストに入るもの役立つ場合間違った選択の場合
生MCPツール呼び出し私たちのモデル化されたベースラインにはスキーマが含まれ、生の結果を保持します。検出、バッチ処理、出力制限、圧縮により、ペイロードを削減できます。1〜3回の呼び出し。各結果は次の呼び出しの前にモデルの判断を必要とします。人間が各呼び出しを個別に承認する必要があります。元に戻せない書き込み。バルクファンアウト、多数の項目に対するループ、またはとにかくフィルタリングダウンする大きなペイロード。
単一コードツール(Cloudflareのパターン):サーバーのツールから生成された型付きAPIに対してコードを記述するツールを受け入れる1つのツールコードツールのスキーマと型付きAPI。プログラムの戻り値のみがコンテキストに再入力されます。モデルが読み取る必要のない中間データを持つ多数の逐次呼び出し。大きなペイロードのフィルタリングと結合。ループ。呼び出し間の判断、呼び出しごとの人間による承認、または元に戻せない書き込みが必要なステップ。
検索と実行(Cloudflareの非常に大きなAPI向けのパターン):検索ツールが関連エンドポイントを見つけ、次に実行ツールがそれらに対してコードを実行します検索および実行スキーマ。エンドポイント定義はオンデマンドで検出されます。Cloudflareは、117万トークンから約1,000トークンになった2,500以上のAPIエンドポイントを報告しています。プロンプトでまったく説明するには大きすぎるAPI。前面全体に型付きAPIが収まる小さなツールカタログ。検出ステップは不要なオーバーヘッドです。

私たちの独自のルーブリックは、すべてのAgent Swarmセッションテンプレートに出荷されています。約10項目、またはバルクファンアウトのいずれかを超えると、スクリプトを記述します。そのしきい値を下回る場合、または次のステップの前にモデルの判断や人間の承認が必要なステップでは、生呼び出しのままにします。Cloudflareは、サーバーパターンのCode Mode MCPガイドで両方のサーバーパターンを文書化しています。スタックがPythonの場合、FastMCPのコードモードは同等のオプションです。モデルは、ステージングされたツール検出とともに、サンドボックスでツールをオーケストレーションするPythonを記述します。

スクリプトの機能

workflow-triageは、スウォームが実行するすべての自動化(すべてのワークフローとすべてのcronスケジュール)をスキャンし、どれがデッド、失敗、または正常かをフラグ付けします。内部的には26回の呼び出しが必要です。1つのworkflow_list、1つのschedule_list、およびワークフローごとの1つのworkflow_listRuns(24個)。個別のツール呼び出しでこれを行うエージェントは、26回すべてを実行し、すべての生JSONペイロードが会話の残りの間コンテキストに配置されます。

スクリプトは、サンドボックス化されたサブプロセス内で同じ26回の呼び出しを行います。最終的なサマリオブジェクトのみがエージェントに到達します。

数値

スクリプト列はライブ実行から取得されます。生パス列はモデル化されています。同じ基になる呼び出しをサンプルで実行し、完全なカタログ(24ワークフロー、60スケジュール)に外挿しました。計算は次のセクションにあります。

スクリプト(測定済み)生ツール呼び出し(モデル化)
エージェント向け呼び出し126
エージェントのコンテキストに到達25,811文字(1つのJSON結果)約3.26M文字
約トークン(文字 ÷ 4)約6,450約815,000
壁時計13.12秒(durationMs: 13120)約2〜6.5分(26回の逐次ターン)
想定される3ドル/Mトークンでの入力コスト約0.02ドル約2.44ドル、キャッシュされない読み取り1回
削減–コンテキストに入る文字数が約126倍少ない(約99.2%)

最後の行が主張していることを明確にするために:99.2%は、この1つのデータ収集ステップでモデルの前に置かれた文字数の削減であり、スクリプト対ツール呼び出しです。請求書の変更ではありません。実際のスケジュールされたタスクのエンドツーエンドの効果はさらに下にあり、それは小さいです。

測定されたもの、モデル化されたもの

  • 測定済み: スクリプト側。durationMs: 13120と25,811文字の結果は、ライブworkflow-triage実行から取得されました。
  • サンプルからモデル化: 生パスの文字数。同じ基になるSDKメソッドをスクリプトの外で直接呼び出しました。workflow_list({})は16,304文字を返し、schedule_list({})は72,105文字を返しました。workflow_listRunsについては、24ワークフローのうち4つ(最小から最大)をサンプリングしました。6、26、53、227回の実行で、合計1,075,430文字(実行あたり平均3,447文字)でした。スクリプト自体は24ワークフロー全体で合計920回の実行を記録したため、920 × 3,447に2つのリスト呼び出しを加えると約3.26M文字になります。
  • なぜ全26回の呼び出しを実行せずにサンプリングしたのか: 完全な生パスを実行することは、約3.2M文字のJSONをライブコンテキストに引き込むことを意味します。実行の3分の1(最大のワークフローを含む)をサンプリングし、外挿しました。これが数値を弱めると考えるなら、それは公平です。それが、それが表示されるすべての場所にラベル付けされている理由です。
  • 途中で見つけたバグ: workflow_listRunsに渡すlimit: 25は結果を制限しません。最も忙しいワークフローの227回の実行すべてを返しました。したがって、推定値は観測された制限のない応答を表します。機能する制限があれば、生ペイロードが削減されます。この動作は、サンプルが過大または過小に外挿されるかどうかを確立しません。
  • 2.44ドルの価格はキャッシュされない読み取り1回: 想定される入力レートを推定ペイロードに1回適用します。繰り返しのキャッシュされない読み取りはコストを追加します。キャッシュ、出力制限、圧縮は、請求される入力を削減できます。完全な生呼び出し実行とその請求書を測定しませんでした。

エンドツーエンドで何が変わるか

正直なヘッドラインは99.2%ではありません。このトリアージを毎日実行するスケジュールがエンドツーエンドの全体像です。データ収集がスクリプトに移行した後、実行時間は約5分から1〜2分になり、実行ごとのコストは約半分に削減されました。

なぜ99%ではなく半分なのか?スクリプトはタスクの機械的な中間部分しか圧縮しないからです。エージェントはまだサマリーを読み、実際に重要なフラグ付けされたワークフローについて推論し、エスカレーションを決定します。実際には、実行は、確認すべきことを通知するSlack pingで終了します。その推論は、コストの残りの大部分であり、モデルに実行させたい部分です。スクリプトはタスクのどちらの端の思考も削除しません。それらは、モデルが中間で生JSONをめくるためのコストを支払うのを止めます。

この測定以来、私たちは大きく進みました。7月下旬現在、スウォームは約150の再利用可能なスクリプトを実行しており、過去30日間で約25,000回のスクリプト実行があり、約70%のスケジュールが少なくとも1つを使用しています。約50%の削減は、測定されたトリアージジョブを表します。スクリプトカタログ全体でその削減を確立していません。

それを行うコード

これは省略されたスクリプトです(ID: da3b5c7b-b9a6-4f9e-be9e-f682aca48ea0、私たちのデプロイメントではグローバルスコープ)。私たちのエージェント2人がそれを書きました。抜粋はレポート構築を省略しているため、スタンドアロンの実行可能な例ではありません。

// workflow-triage — すべてのワークフロー+スケジュールの読み取り専用ヘルススキャン。
// アイテムごとの実行統計+ DEAD/FAILING/OKフラグ+フラグ付けされたアイテムのMarkdownレポートを返します。
export default async function (args: any, ctx: any) {
  const runLimit = args?.runLimit ?? 25;
  const staleDays = args?.staleDays ?? 14;
  const includeSchedules = args?.includeSchedules ?? true;
  const now = Date.now();
  const dayMs = 86400000;
  const isFail = (s: string) => /fail|error|halt|timeout|abort/i.test(String(s || ""));

  // ---- ワークフロー: 実行統計にはworkflow_listRunsが必要です(行にlastRunAtはありません) ----
  const wl = await ctx.swarm.workflow_list({});
  const wfs: any[] = wl?.data ?? [];
  const rows: any[] = [];
  const pool = 6; // 過負荷を避けるための小さな並行性
  for (let i = 0; i < wfs.length; i += pool) {
    const batch = wfs.slice(i, i + pool);
    const res = await Promise.all(batch.map(async (w: any) => {
      let runs: any[] = [];
      try { const rr = await ctx.swarm.workflow_listRuns({ workflowId: w.id, limit: runLimit }); runs = rr?.data ?? []; } 
      catch { runs = []; } 
      const total = runs.length;
      const failed = runs.filter((r: any) => isFail(r.status)).length;
      const stamps = runs.map((r: any) => Date.parse(r.startedAt || r.createdAt || r.finishedAt || "")).filter((n: number) => !isNaN(n));
      const lastRun = stamps.length ? Math.max(...stamps) : null;
      const daysSince = lastRun ? Math.round((now - lastRun) / dayMs * 10) / 10 : null;
      const failRatio = total ? Math.round(failed / total * 100) / 100 : 0;
      const dead = !w.enabled || total === 0 || (lastRun != null && daysSince! > staleDays);
      const failing = total >= 2 && failRatio >= 0.5;
      return {
        kind: "workflow", id: w.id, name: w.name, enabled: w.enabled,
        runs: total, failed, failRatio,
        lastRunAt: lastRun ? new Date(lastRun).toISOString() : null,
        daysSinceLastRun: daysSince, nodeCount: w.nodeCount,
        flag: failing ? "FAILING" : dead ? "DEAD" : "OK",
      };
    }));
    rows.push(...res);
  }

  // ---- スケジュール: lastRunAt + 連続エラーが行にすでにあります ----
  const scRows: any[] = [];
  if (includeSchedules) {
    const sl = await ctx.swarm.schedule_list({});
    const scs: any[] = sl?.data?.schedules ?? [];
    for (const s of scs) {
      const lastRun = s.lastRunAt ? Date.parse(s.lastRunAt) : null;
      const daysSince = lastRun ? Math.round((now - lastRun) / dayMs * 10) / 10 : null;
      const dead = !s.enabled || (!lastRun) || (daysSince != null && daysSince > staleDays);
      const failing = (s.consecutiveErrors ?? 0) >= 3;
      scRows.push({
        kind: "schedule", id: s.id, name: s.name, enabled: s.enabled,
        consecutiveErrors: s.consecutiveErrors ?? 0,
        lastRunAt: s.lastRunAt ?? null, daysSinceLastRun: daysSince,
        nextRunAt: s.nextRunAt ?? null, cron: s.cronExpression,
        flag: failing ? "FAILING" : dead ? "DEAD" : "OK",
      });
    }
  }

  const rank = (f: string) => f === "FAILING" ? 0 : f === "DEAD" ? 1 : 2;
  rows.sort((a, b) => rank(a.flag) - rank(b.flag) || (b.failRatio - a.failRatio));
  scRows.sort((a, b) => rank(a.flag) - rank(b.flag) || (b.consecutiveErrors - a.consecutiveErrors));

  const sum = (arr: any[]) => ({
    total: arr.length,
    failing: arr.filter(r => r.flag === "FAILING").length,
    dead: arr.filter(r => r.flag === "DEAD").length,
    ok: arr.filter(r => r.flag === "OK").length,
  });

  // フラグ付けされた(OKではない)アイテムのみのMarkdownレポート
  const flaggedW = rows.filter(r => r.flag !== "OK");
  const flaggedS = scRows.filter(r => r.flag !== "OK");
  let report = `## Workflow triage — flagged\n`;
  report += `Workflows: ${sum(rows).failing} failing / ${sum(rows).dead} dead / ${sum(rows).ok} ok (of ${rows.length})\n`;
  // ... テーブル構築は長さのため省略。完全なソースには、ワークフローとスケジュールの両方に対する行ごとのMarkdown
  //     テーブルが含まれています。スクリプトカタログエントリを参照してください。

  return {
    params: { runLimit, staleDays, includeSchedules },
    workflows: { summary: sum(rows), rows },
    schedules: includeSchedules ? { summary: sum(scRows), rows: scRows } : null,
    report,
  };
}

フレームワークはありません。これは6の並行性プール、いくつかのDate.parse、およびソートを持つforループです。それを「コードモード」にし、26のツール呼び出しではなくしている唯一のことは、それが実行される場所です。すべてのworkflow_listRunsペイロードはループ変数runsに着陸し、そこに留まります。エージェントは下部のreturnのみを見ます。

「中間結果はデフォルトで実行環境に残ります...エージェントは、明示的にログに記録または返したものしか見ません。」Anthropic, Code execution with MCP

このデータ収集ステップでコンテキストに到達する文字数が約126倍少ない(約99.2%)ですが、エンドツーエンドの請求書ではありません。

セキュリティ境界

作業をツール呼び出しから生成されたコードに移動すると、信頼するものが変わります。5つのプロパティが、その取引が安全かどうかを決定します。

サンドボックス

スクリプトは、小さな許可リストに環境が制限された別のBunサブプロセスで実行されます。ファイルシステムモジュールはサンドボックスに存在せず、スクリプトはシェルアウトできません。実行は約30秒後に終了し、標準出力は1MBに制限されます。完全なサーフェスは、scripts runtime guideに文書化されています。

認可

スクリプトのctxは、SDKメソッドの許可リストのみを公開し、任意のAPIは公開しません。Scripts-only modeは、直接のツールリストを完全に非表示にできるため、エージェントはすべてのスウォーム操作でスクリプトを経由します。ロールスコープのctxは出荷されていません。ロールベースのアクセス許可を構築しているため、スクリプトはエージェントのロールが触れることを許可されているツールのみを公開します。

資格情報処理

シークレットはスクリプトソース、引数、またはログに表示されません。Credential brokerは、許可されたホストに対してのみ、サーバー側でエグレス時にそれらをアタッチします。スクリプトはプレースホルダーを送信し、ランタイムは宛先ホストがリスト上にある場合にのみ実際の値をスワップします。リードエージェントのみがバインディングを管理します。

承認の粒度

呼び出しごとの承認を失います。10個のツールにヒットする1つのスクリプトは、人間が1つずつ承認できる10個の個別の呼び出しよりもゲートするのが粗いです。その異議はHNスレッドからのもので、真実です。私たちの答えは、境界を呼び出しから機能に移動することです。上記のサンドボックス、SDK許可リスト、および資格情報ブローカーは、ゲートするものです。呼び出しではなくサーフェスをゲートすることは、無料のアップグレードではなく、異なるセキュリティモデルです。

未検証の生成コード

もう1つのHNの異議:モデルがREPLに書き込むワンオフスクリプトは、実行ごとに新しく信頼する必要があります。これは、状態を変更する可能性のあるものにとっては悪い取引です。だからこそ、私たちが気にする単位は保存されたスクリプトです。一度書かれ、一度レビューされ、ダッシュボードに表示され、何度も再実行されます。「一度レビューする」という経済性は、スクリプトが永続的である場合にのみ機能し、状態を変更するジョブはアドホックコードとして実行されるべきではありません。

実装チェックリスト

独自のコードモードエージェントセットアップに組み込んでいる場合、次の順序で行います。

  • ワンオフではなく、繰り返しファンアウトジョブから開始します。ジョブが頻繁に実行される場合にのみ、節約が積み重なります。
  • ツールから型付きAPIを生成し、モデルが生のJSONスキーマではなく型に対してコードを記述できるようにします。
  • コードをサンドボックスで実行します。ファイルシステムなし、壁時計タイムアウト、出力サイズのキャップ。
  • 生ペイロードではなく、小さなサマリオブジェクトを返します。戻り値は、モデルのコンテキストに再入力される唯一のものです。
  • シークレットをサンドボックスの外に置き、宛先ホストごとにエグレス時に注入します。
  • 再実行するスクリプトを保存してレビューします。レビュー済みの永続的なスクリプトが信頼の単位であり、ワンオフ生成ではありません。
  • 呼び出し間にモデルの判断が必要なステップ、または呼び出しごとの人間の承認が必要なステップには、生ツール呼び出しを保持します。
  • 前後に測定し、測定されたものとモデル化されたものをラベル付けします。

まとめ

スクリプト対ツール呼び出しのルーブリックは、すでにすべてのセッションテンプレートに出荷されているため、私たちにとって、コードモードを採用するかどうかは問題ではありませんでした。測定により、ルーブリックはよりシャープになりました。26回の呼び出しが1回になり、13秒、結果を読むのに約2セント、それを使用する毎日のジョブのコストは約半分になりました。実装はプロパティよりも重要です。型付けされ、サンドボックス化され、再利用可能で、測定されたものとモデル化されたものについて正直です。

/ 参考文献

ソースと追加資料