HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

トークン節約法を研究するために全トークンを使い果たした話

I burned all my tokens researching how to save tokens (quesma.com)

145 pointsby bkotrys193 コメント

要約

AIエージェントによるリサーチのコストと信頼性の問題に直面した筆者が、既存のサブスクリプションを組み合わせ、モデルを賢く使い分けることで、追加費用なしでリサーチ時間を10倍に延長し、ハルシネーションを削減する手法を開発した経緯を解説しています。最終的に、検証済みの情報を信頼できる知識ベースに集約するパイプラインを構築しました。

全文翻訳

トークン節約法を研究して全トークンを使い果たした話

Quesmaでは、AIエージェントの経済性、具体的にエージェントによるコーディングが実際にかかるコストと、それに対して何ができるかを研究しています。この研究のために、私は信頼できる知識ベースを構築できるエージェントのパイプラインである、独自のディープリサーチセットアップを実行しています。このセットアップの最初のバージョンでは、Claude Max 5xプランの全利用枠を30分で使い切ってしまいました。この記事は、私がすでに支払っているサブスクリプションのみを使用して、コストと信頼性をどのように修正したか、そしてあなたが同じものをどのように構築できるかについての物語です。

私の目標は、いわゆるトークンエコノミクスの全体像を理解することでした。どのような監視システムが存在し、チームがAIの支出をどのように管理し、どの最適化ツールやプラクティスが論文上でも実世界でも実際に機能するのかを知りたかったのです。

いつものように、/deep-researchから始めました。大きなオープンな質問を与え、実行させました。約30分間のリサーチの後、制限に達し、リセットされるまで数時間待たなければなりませんでした。そして、結果は何も得られませんでした。実行は111個のエージェントを起動し、検証のために123個のクレームをキューに入れましたが、制限に達する前に検証されたのは25個だけで、最終的な統合は実行されませんでした。

それで、個人的に痛感しました。そしてこれは少し面白いのですが、最初の日から、トークンを最適化する方法を発見しながら、トークンを最適化しなければならなかったのです。実践を通して学ぶのです。

すでに支払っているすべてのサブスクリプションを活用する

Claude Fable 5が30分で終了し、/deep-researchが結果を出さずに大量のトークンを消費するなら、リサーチをより効果的にするために何ができるでしょうか?私はすでに持っていて支払っているツールの種類について考え始めました。Claude、Codex、Antigravity:3つのサブスクリプションがあり、理論上は追加料金なしで3倍のトークンが利用できます。もし私がこれらのツールすべてを、共有メモリで一緒に使用したらどうなるでしょうか?

すでにclaude-memプラグインを使用しているので、CodexとAntigravityもローカルでサポートするように拡張しました。これにより、3つのツールすべてがセッション中に共有メモリを使用できます。あるツールが学んだことは、他のツールも利用できます。

より安価なモデルをサブエージェントとして使用する

私のデフォルト設定はClaude Codeなので、それをメインハーネスとして使用しました。手動でリサーチを行っている間に、モデルオーケストレーションパターンを発見しました。それはまさにその瞬間に必要としていたものでした。すべてのタスクにFableが必要なわけではありません。Claude Opus 4.8、Claude Sonnet 5、GPT-5.5、Gemini 3.1 Proは、すでに多くのタスクで優れたモデルです。

[画像: Claude CodeハーネスとネイティブClaudeエージェント、CodexとAntigravityのヘッドレスサブエージェント、claude-mem共有ローカルメモリ]

Claude Codeをハーネスとして使用:ネイティブClaudeエージェント、CodexとAntigravityをヘッドレスサブエージェントとして、すべてclaude-memを共有。

そこで、いくつかのベンチマークとコスト分析をチェックしました。主にターミナルとエージェントワークにはTerminal-Bench、エンドツーエンドのソフトウェアエンジニアリングにはSWE-bench Pro、パフォーマンスと価格の一般的な概要にはArtificial Analysisを使用しました。これらのどれも最終的な真実とはみなしませんでした。ベンチマークはそれぞれ独自のものを測定しており、数字は毎月変動します。私は単に、誰が何が得意かの緩やかな出発点が必要だっただけで、複数の異なるモデルを使用することは最初から実験の一部でした。実際の実行後には、分割を調整することを想定していました。

役割モデルなぜこれか
検索Claude Sonnet 5エージェントベンチマークで強く、バルクで実行するのに十分安価
検証Claude Opus 4.8最も正確なClaudeワーカー。チェックには検索よりも高い精度が必要
評価と計画Claude Fable 5最も高価なので、計画、分解、紛争解決のみを行う
小さなタスクClaude Haiku 4.5抽出とフォーマットには安価で高速だが、マルチステップワークには弱すぎる
ツール実行Codex (GPT-5.5)ターミナルベンチマークで非常に強く、ツールをクローン、インストール、実行、検査する
セカンドオピニオンAntigravity (Gemini 3.1 Pro)異なるモデルファミリーなので、同じ盲点を持たない

この分割は最初のバージョンではなく、ライブ実行で弱点が見つかるたびに調整しました。フォールバックルールはそれらの失敗から生まれました。

ここで最も良い点は、CodexとAntigravityをFableによってオーケストレーションされるClaudeサブエージェントとして使用できるように準備したことです。これは、両方のヘッドレス性を利用しています。なぜクールなのでしょうか?トークンはCodexとAntigravityのサブスクリプションから消費されるため、追加料金を支払う必要はありませんでしたが、すぐに利用できるインテリジェンスが大幅に増えました。

トリック全体は、Claudeエージェントが他のコマンドと同じように呼び出すことができる小さなBashスクリプトです。

# run-cli: 他のベンダーのCLIをヘッドレスサブエージェントとして呼び出す
# 使用法: run-cli <codex|antigravity> "<プロンプト>"
VENDOR="$1"; PROMPT="$2"
case "$VENDOR" in
  codex)       OUT="$(codex exec --sandbox read-only "$PROMPT")" ;;
  antigravity) OUT="$(agy --model "Gemini 3.1 Pro (High)" -p "$PROMPT")" ;; 
esac
echo "$OUT"
echo "$OUT" | claude-mem-save -s "$VENDOR" # 共有メモリに保存(ローカルで拡張したclaude-mem)

ラッパーは、「usage limit」や「out of credits」メッセージの出力を監視し、特別な終了コードを返します。これはまさに自動フォールバックがClaudeモデルで機能する方法です。オーケストレーターはそのシグナルを見て、代わりにClaudeエージェントで作業を行います。

もう一つ本当に重要なことは、モデルを役割ごとにピン留めすることです。サブエージェントはデフォルトで親のモデルを継承するため、まさにそれが私がFableの制限を30分で使い切った理由です。

このテクニックにより、Fableのみを使用した場合と比較して、リサーチを約10倍長く連続して実行できるようになりました。これは、3つのサブスクリプションのいずれかが制限に達するまでエージェントを稼働させ続けられる時間として単純に測定されます。以前は30分間のリサーチでしたが、今は追加料金なしで数時間稼働します。 CodexまたはAntigravityが独自の制限に達した場合でも、フレームワークは単純にClaudeモデルにフォールバックするため、リサーチは停止しません。

ハルシネーションの削減

コストは最初の問題でしたが、2番目の問題は信頼性でした。私のリサーチフレームワークが登場する前、すべてがFableによって行われていた頃、私は時々、しっかりしているように見えるが真実ではない発見を得ることがありました。例えば、リポジトリの誤ったライセンス、出典のない節約額、または引用されたページにない数字などです。ハルシネーションを減らすために、リサーチフレームワークに、共有される前にすべての発見が通過しなければならない明示的なルールを実装しました。そのうちのいくつかです。

  • クレームを見つけた者は決してそれを検証しない。別のモデルまたはエージェントがリンク、引用、数字をチェックする。
  • プライマリソースからのURLと引用なしに知識ベースに何も格納しない。
  • ソースページに含まれていない数字を述べない。

このリストは事前に設計されたものではありませんでした。リサーチ中に成長しました。なぜなら、検証が新しいクラスの間違いを捉えるたびに、ルールはプロンプトに戻されたからです。そして、そのようなフレームワークは、あなたがそれを調整し続ける場合にのみ本当に効果的です。発見を見直し、役に立たないものをフラグ付けし、それをフィードバックしてください。

/deep-researchは最後になる

コストと信頼性が処理された後、最後のピースは、この物語の始まりである/deep-researchツールでした。それはまだパイプラインにありますが、最初ではなく最後のステップとしてです。毎日の終わりに、すでに検証を通過した発見に対してそれを実行します。盲目的にリサーチする代わりに、既存の発見を調べ、それらを深め、混乱を排除し、フレームワークが見落としたギャップを埋めようとします。また、インターネットを探索するのではなく、固定されたクレームリストを通じて作業するため、この方法でもトークン使用量が少なくなります。最後の実行は61個のエージェントを使用し、22分かかりました。初日に111個のエージェントが約30分で全制限を使い果たし、レポートを生成できなかったのと比較してください。同じツールですが、はるかに小さなジョブです。

[画像: リサーチパイプライン:Sonnetで検索、Opusでチェック、Fableで評価、実行された証拠のためにCodexで実行、多数決でディープ検証、人間の承認、その後Wiki]

パイプラインを一枚の写真で:検索、検証、評価、ツール実行、ディープ検証、そしてWikiへ出荷。

結果:信頼できる知識ベース

検証を通過したすべてが、Obsidianに保存しているLLM Wikiに格納されます。これはKarpathyのLLM Wikiパターンに触発されたものです。リンクされたアトミックノート、スイープを行うエージェント、そして私がルールを設定します。1週間後、価格設定、ツール、ベンチマーク、プラクティスに関する数百の検証済みノートが格納されています。

[画像: トピック別にクラスタリングされたリンクされたリサーチノートのObsidianグラフビュー]

これまでの価格設定、ツール、ベンチマークに関する数百のノート。

自動チェックだけでは十分ではありません。一度、私のトリアージルールが、56kスタープロジェクトで、そのカテゴリで最大のものの1つであるHeadroomを静かに拒否しました。エージェントはすべて正しく行い、検証はプロジェクトが正当であることを確認し、クレームチェックはヘッドラインの節約額が品質管理されていないことを正しくフラグ付けしました。しかし、私のルールは「検証されていないクレームはエントリーなし」と言ったため、業界の半分が使用しているプロジェクトが私の知識ベースでは見えなくなっていました。「どうしてこれを見落としたんだ?」と尋ねた2日後に気づきました。修正は新しいルールでした:プロジェクトではなく、クレームを拒否する。エージェントは検索とチェックを行うことができますが、どのエージェントもあなたのルール自体がバグであるとは教えてくれません。

質の高い知識ベースを構築したい場合、人間の検証とリサーチの補完は必須です。AIのみのリサーチは非常に質の低いものになる可能性があります。人間のみのリサーチは遅すぎます。最善の方法はハイブリッドです。エージェントが重いリサーチ作業を行いますが、人間が作成し継続的に改善するパイプライン上で実行されます。人間は結果を検証し、ギャップを埋めます。

知識ベースからのいくつかの発見

トークンエコノミクスのトピックは、予想よりもはるかに大きいことが判明しました。すでに格納されているものの中から、私を最も驚かせた発見の小さなサンプルを以下に示します。

  1. ハーネスはモデルと同じくらい重要である可能性があります。 Terminal-Benchでは、同じモデルが異なるハーネス間で約66倍のトークン差を示し、よりスリムなセットアップの方が実際には低くなく、高くスコアします。別の研究では、同じモデルでハーネスのみを変更して約54パーセントポイントの変動を測定しました。私たちは、AIエージェントに「Hi」と言うことの真のコストをチェックしたときに、この小さなバージョンを実際に目にしました。
  2. コンテキストの圧縮は、節約する代わりに請求額を倍増させる可能性があります。 圧縮は圧縮のように聞こえるため、常に良いと仮定するのは簡単ですが、無料ではありません。モデルは履歴を要約する必要があり、その要約呼び出しもトークンを消費します。また、エージェントがまだ必要としているファイルを追い出す可能性があり、エージェントはそれらを再読み込みし、コンテキストが再び満杯になり、圧縮が再びトリガーされます。1つの文書化されたリグレッションは、このループがどれほど悪化するかを示しています。ハーネスが圧縮しきい値を再調整した後、セッションあたり4から12〜26回の圧縮になり、同一タスクでのトークン使用量は8900万から1億6000万〜1億8500万に増加しました。
  3. セッション中のツールの1回の変更が、すべてをサイレントに再請求します。 キャッシュの読み取りは、基本入力価格の約0.1倍のコストがかかりますが、キャッシュは階層として無効化されます(ツール、次にシステム、次にメッセージ)。セッションの途中で単一のツールスキーマを追加または並べ替えると、キャッシュされたプレフィックス全体が全額請求されます。エラーは表示されませんが、請求額が大きくなるだけです。
  4. トークンカウンターは請求書ではありません。 文書化されたケースでは、計算された月額3.60ドルが月額25〜40ドルの請求書として着地しました。これは、コンテキストの蓄積、リトライ増幅、フレームワークのオーバーヘッド、および単純なトークン推定では決して捉えられなかった評価呼び出しによる7〜11倍のギャップです。

私たちのフレームワークは、これらのほとんどを中程度の信頼度としてタグ付けしており、通常は1つまたは2つの確実なソースがあります。私たちは、それが確定したと偽るのではなく、それを表示し続けます。

次の制限を使い切る前に

今日、ディープリサーチで制限を使い切っているなら、順序を逆にしてみてください。安価なモデルが検索し、正確なモデルが検証し、ディープリサーチは最後に行います。そして、すでに支払っているインテリジェンスの量を確認してください。明確な役割を持ついくつかのサブスクリプションは、盲目的に使用される1つの最先端モデルよりもはるかに多くのものを提供します。

このリサーチの副作用の1つは、awesome-ai-tokenomicsです。これは知識ベースの公開部分であり、トークンエコノミクスに関するツール、データセット、リサーチ、プラクティスの生きたリストであり、Quesmaによって維持されています。トピックが近い場合はチェックしてみてください。そこに属すると思われるものがあれば、プルリクエストを歓迎します。

そして、あなた自身の研究パイプラインを構築している場合、またはAIの請求額が使用量よりも速く増加している場合は、ぜひお聞かせください。Hacker NewsまたはLinkedInでのディスカッションに参加してください。