トークンマキシングは死んだ、トークンマキシング万歳
Tokenmaxxing is dead, long live Tokenmaxxing (12gramsofcarbon.com)
要約
この記事は、かつて企業の従業員が不必要なトークンを消費することを奨励した「トークンマキシング」という現象の誕生、衰退、そして潜在的な再生について考察しています。当初はAIツールの導入を促すための意図的な戦略であったが、トークンコストの高騰によりそのインセンティブは失われました。しかし、AIの精度向上に伴う「複合的な正確性」の概念が、新たな形でトークン消費を促進する可能性を指摘しています。
全文翻訳
Agentics / Tech Things: Tokenmaxxing is dead, long live tokenmaxxing
AIEでサンフランシスコにいます。もし近くにいて、直接お会いしたい場合は、amol@noriagentic.comまでメールをください。
一般的に言って、何かにお金を何万ドルも費やすなら、その結果として何かを得たいと思うものです。何らかの投資収益です。
もちろん、いつもそうとは限りません。以前にも、消費者向け販売は少し面白いと述べたことがあります。なぜなら、消費者は時間を無駄にしたり、積極的に苦痛を引き起こしたりするものを買うのが大好きだからです。これが、最近ギャンブルアプリが非常に人気がある理由の一部です。ええ、ウェンバンヤマが片手で逆立ちしながらフランス国歌を歌いながら3ポイントシュートを決めることに賭けて100ドルを費やすのは大好きです。1
しかし、ビジネスにおいてはどうでしょうか?ビジネスリーダーが、気分が良くなるからといってお金を燃やすつもりだと語ったのを、私はほとんど聞いたことがありません。少なくとも、クジラがGenshin Impactのガチャに数千ドルを費やすのと同じようには。例えば、マーク・ザッカーバーグのような真剣なビジネスリーダーが、Metaがお金を燃やすと発表したと想像してみてください。彼はそうできたでしょう。彼は議決権株を持っています。しかし、それは少し愚かではないでしょうか?一般的に、本当に大きくて重要な会社の経営者になったら、一つ大きな例外を除いて、ほとんどの場合、楽しみのために物事をやっているわけではないと思います。
もしあなたが聞いていないなら、トークンマキシングとは(過去のもの?)役員が誤って従業員に無駄なタスクに大量のトークンを費やすように奨励した現象です。その典型的な例は、偶然にもMetaであり、パフォーマンス評価を一人当たりのトークン使用量に結びつけたことで徹底的に批判されています。明らかに、明らかにこれは人々が無駄にトークンを燃やすことになるでしょう。Metaにいる私の友人の一人は、彼女のトークン数を増やすために、文字通り一日中二人のエージェントが互いに会話していたと報告しました。
[
[画像: エージェントが互いに会話している様子を示すグラフ]
](https://substackcdn.com/image/fetch/$s_!rp_Y!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fd9ca712f-fd31-4c79-94b3-5a0ebe81bdb3_800x786.jpeg)
これはあまりにも明白な結果だったので、多くの人々はこれを「これらのビジネスリーダーは、リターンを期待せずに大量のトークンを燃やすことを決定したので、本当に愚かだ」と結論付けました。
それが魅力的な見方であることは理解できます。なぜなら、それが多くのことの公の顔であったからです。しかし、私は世界で一番好きなことをします。それは、少し逆張りすることです。「役員が誤って従業員に無駄なタスクに大量のトークンを費やすように奨励した」のではなく、「役員が意図的に従業員に無駄なタスクに大量のトークンを費やすように奨励した」のです。
私は多くのチームと協力して、AIを効果的に使用する方法を考えています。数ヶ月前、AIツールを全く使用することに非常に抵抗がある人がたくさんいました。組織内で尊敬されている、シニアな人々です。これらの人々をツールを使うように説得するのは非常に困難でした。そして、それらを使ったとき、彼らはしばしば意図的に(または故意に?)奇妙な、あるいは悪い結果につながるような方法でツールを使用しました。2
[
[画像: AIツール使用に対する抵抗を示すグラフ]
](https://substackcdn.com/image/fetch/$s_!Wdzv!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F3a714073-b0f6-4c64-a796-036bdcffeb0d_736x396.png)
シニアだけではありません!
トップダウンのトークンマキシングポリシーを考える一つの方法は、これが役員がブレークスルーするためのテクニックだったということです。確かに、それは明らかに乱暴な政策でしたが、壁を壊すためには乱暴な力が必要な場合もあります。
もちろん、それは数ヶ月前の状況であり、まだ抵抗勢力がいました。それから数ヶ月が経ち、トークンマキシングポリシーはその意図した結果をもたらしました。つまり、誰もが少なくとも少しはAIを使ってコーディングするようになったのです。ほとんどのチームはまだ独自のRamp InspectやStripe Minionsを構築する方法を理解していませんが(もしあなたがそうなら、連絡してください—お手伝いできます!)、基本的に誰もが少なくともサイドバーでカーソルを使っています。もちろん、その結果、トークン支出は大幅に増加しました。残念ながら、しかしおそらく予想通り、トークン支出の増加はOpenAIとAnthropicが上場しようとしている時期と一致しています。両社とも、サブスクリプションが提供するジュースの量を制限しながら、API価格を吊り上げています。トークン補助金はますます消滅しています。
したがって、現在ではインセンティブのほとんどがなくなり、コストは大幅に上昇し、もちろん、チームは無制限のトークン支出ポリシーをロールバックし始めています。これらすべてを言うと、トークンマキシングは終わったということです。
しかし…おそらくそうではありません。
AIツールの一般的な約束は、人間による監督なしに、まだ完了する必要のある非常に困難で非常に退屈なタスクを実行できるということです。大規模なコード移行、毎朝すべての競合他社の調査を行うこと、受信および送信のストリームを追跡すること—これらはすべて、人々がほとんど嫌っていてAIにやってほしいと思っていることです。
しかし、最近まで、AIを長期間実行することは信頼できませんでした。試してみると、モデルによって導入された小さなエラー(幻覚を含む)が独自の生命を帯び、最終的にプロジェクトに不可逆的に埋め込まれることに気づくでしょう。ビジネスではこれを「累積エラー」と呼んでいました。それはかなりの人間の監督を必要としただけでなく、そもそもエージェントを24時間年中無休で実行するメリットがほとんどなかったため、トークンコストも低く抑えられました。例えば、一晩中コンピューターの中に小さな悪魔を走らせることに何の意味があるでしょうか?もしより多くのトークンを費やすことがより悪い仕事につながるなら、あなたは明らかにそれ以上トークンを費やさないでしょう!
それはもはや真実ではありません。私たちは異なる体制に入りました。そこでは、より多くのトークンを費やすことが一般的に良い結果につながります。これを「累積的な正しさ」と呼びます—タスクを正確にするためにより多くのトークンを費やすほど、良い結果が得られる可能性が高くなります。私たちは前回の対面Agenticsミートアップでこれについて少し話しました:
累積的な正しさは計算を反転させます。より多くのトークン支出が良い結果につながるなら、あなたは多くの時間をトークンを実行して過ごしたいと思うでしょう。それは私にはトークンマキシングのように聞こえます!トークンを最大化するための元のインセンティブはなくなりましたが、やがて人々は、より強力で新しいインセンティブがその場所を取ったことに気づくでしょう。
私たちはすでにサイバーセキュリティの世界でこれの一部を目撃しています:
先週、AnthropicのMythosについて学びました。これは、コンピューターセキュリティタスクに驚くほど長けている新しいLLMであり、Anthropicはそれを一般公開しませんでした。代わりに、主要なソフトウェアメーカーのみがアクセスを許可され、システムを強化する時間を与えられました。
…
このチャートは興味深いセキュリティ経済を示唆しています:システムを強化するためには、攻撃者が悪用するよりも多くのトークンを費やしてエクスプロイトを発見する必要があります。
AISIは、各試行に1億トークンを予算計上しました。これはMythosの試行ごとに12,500ドル、10回の実行すべてで125,000ドルです。懸念されるのは、1億トークンの予算を与えられたモデルのいずれも、収穫逓減の兆候を示さなかったことです。「テストされたトークン予算全体で、モデルはトークン予算の増加とともに進歩を続けています」とAISは述べています。
Mythosがお金をかけ続ける限りエクスプロイトを見つけ続けるなら、セキュリティは非常に単純な方程式に還元されます:システムを強化するためには、攻撃者が悪用するよりも多くのトークンを費やしてエクスプロイトを発見する必要があります。
賢いことにはポイントはありません。より多く支払うことで勝ちます。これは、暗号通貨のプルーフ・オブ・ワークシステムをエコーするシステムであり、成功は生の計算作業に結びついています。これは低温度の宝くじです:トークンを購入し、おそらくエクスプロイトを見つけるでしょう。うまくいけば、攻撃者よりも長く試み続けるでしょう。
Fableは、悲しいことに、もうなくなりました。しかし、ここにある根本的な概念は依然として残っています。
これもまた、人々が「ループ」に突然興奮している理由の一部です。Claude Codeの作成者であるBoris Chernyがステージに上がり、「ループ」と言ったところ、皆が興奮しました。ループの基本的な考え方は、エージェントがターンの終わりに達するまで実行し、終了したら同じプロンプトを単純に再起動することです。少しの工夫で、かなり重い仕様を取り込み、エージェントにそれを自動的に分割させ、時間をかけて解決させることができます。人間の監督は不要です。
これは新しいことでしょうか?いいえ、それほどではありません。ループの概念は、文字通り昨年7月から存在しています。以前は「Ralph Wiggum loop」と呼ばれていましたが、業界が成熟するにつれて、私たちのユーモアのセンスも成熟し、「Ralph Wiggum」の部分は削除されました。
[
[画像: Redditのr/TheSimpsonsの投稿「どのシーンや瞬間がキャラクターに最も痛々しいほどの同情を感じさせますか?」]
](https://substackcdn.com/image/fetch/$s_!C3-j!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F836f2c0a-fabd-46f5-93e1-320c9c19d2c3_632x293.png)
ループを機能させる方法はありましたが、それは困難でした。エージェントにどのようにプロンプトを与えるかについて深く考える必要があり、そのためにはこれらのものがどのように機能するかについて深い知識が必要でした。しかし今では、それは簡単です。累積的な正しさがそれを容易にします。基本的にLLMに好きなようにプロンプトを与えることができ、最初の近似では、ループの各イテレーションでより良くなるでしょう。
[
[画像: ループのイテレーションとトークンコストの関係を示すグラフ]
](https://substackcdn.com/image/fetch/$s_!VilS!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F7577753c-c85c-4337-8466-8cda39b6b6ea_1061x313.png)
では、トークンマキシングは本当に終わったのでしょうか?一時的にはそうかもしれませんが、長期的にはそうではないと思います。最先端のチームは現在、エージェントを24時間年中無休で実行するために必要なインフラストラクチャを構築しているか、すでに構築しています。ビッグカンパニーがコストメリットが再びシフトしたことに気づくのは時間の問題です。
ここでの真の勝者は、オープンモデルプラットフォームです。トップラボのトークンマキシングは、どんなCFOの精査にも耐えられません。オープンモデルが改善されるにつれて、それらをループで実行することがより一般的になるでしょう。それがRohanの上記の講演の核心的なテーマでした。Claudeがイテレーションごとに1.1倍の改善を提供し、GLM 5.2がイテレーションごとに1.05倍の改善を提供し、コストが約5倍安い場合、後者のループを5倍多く実行すれば、それはより良くなるでしょう。
ここで言及したい最後のことは、トークン支出のばかばかしさの一部は、これらのツールを使用する最良の方法についての深刻な誤解から生じているということです。コーディングエージェントが本当に普及する前(Claude Codeのようなはるかに優れたハーネスのおかげで)、多くの人々が独自のカスタムエージェントを作成していました。そしてそれは正当な仕事でした!あなたはこれらのことを…まあ、ソフトウェアのように考える必要がありました。ツールとプロンプトを理解することには芸術がありましたが、その核心は依然としてソフトウェアでした。たとえPydanticやLangchainのような「AIネイティブ」フレームワークでサポートされていたとしてもです。
四角いペグを丸い穴に押し込むことはできません。あらゆる分野の役員は、このスタイルでエージェントを構築するのを見て、「ああ、これは単なるより柔軟なZapierワークフローだ」と考え、エージェント的なタスクを実行できるデータ処理パイプラインを要求するようになり、それらのパイプラインを昔ながらの決定論的なコードで構築する代わりにそうしました。「データラベリングが必要なので、データラベリングエージェントを構築します」といった具合です。
今、これらのタスクの一部をエージェントに依存することは、単にワークフロー自動化を行うよりも大幅にコストがかかります。しかし、より大きな問題は精度です。これらの「エージェント」は決して本当に成功しませんでした。なぜなら、決定論的なパイプラインほど正確ではなかったからです。
エージェントの使用にコミットしているが、幻覚などのコストを削減したい場合はどうしますか?なぜ、別のエージェントを構築するのですか!「品質チェック」エージェント、またはそれに類するものです。そして、そのエージェントがエラーを返したらどうなりますか?さらに別のエージェントを構築するだけです!そして今、あなたは3倍のトークンコストを負担することになります、楽しんでください!
トークンマキシングの物語は、再び、ROIの物語です。その物語は、ビッグテック企業だけで展開されたわけではありません。それは、全国の企業でも、より高度でないスケールで起こりました—ランダムなエージェントパイプラインに数十億ドルを注ぎ込んだ企業ですが、それらは残念ながらあまりうまく機能しませんでした。
これらは実際には2種類のトークンマキシングであることに注意してください。
-
最初の種類は「開発者のためにトークンに大金を費やす」です。ここでは、開発者はClaude Codeのようなツールを使用し、ループで実行する方法を見つけ、それを行うために大量のトークンを使用しています。表向きは、エンジニア自身の生産性を向上させるため、これはお金の良い使い方です。
-
2番目は「パイプラインのためにトークンに大金を費やす」です。ここでは、開発者はまだ手作業でコードを書いています!彼らはそのコードを使用して、しばしば非決定的で壊れやすい方法で非常に特定のタスクを実行するための一回限りのエージェントを作成しており、それらのエージェントがすべてのトークンを消費します。パイプラインが機能する場合にのみ、これはお金の良い使い方ですが、それらは機能しません。
しかし、ここでも変化が見られます。ますます、これらの種類の一回限りのパイプラインベースのツールは、その特定のタスクのためにスキンされた汎用プラットフォームによって、その単一のタスクを実行するために特別に設計された「エージェント」よりもよく実行されます。ここに市場のアービトラージがあります。一部のバイヤーは、汎用エージェントが非常に優れていることにまだ気づいていないため、コンサルタントに「エージェントを構築してください」と依頼し、コンサルタントは基本的にスキルファイルを作成して「それには200万ドルかかります」と言います。
[
[画像: エージェント構築のコストと価値に関するグラフ]
](https://substackcdn.com/image/fetch/$s_!C3-j!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F836f2c0a-fabd-46f5-93e1-320c9c19d2c3_632x293.png)
幸いなことに、これもまた過ぎ去るでしょう。汎用モデルプラットフォームは、それらを使用したことがある人にとっては明らかに未来です(まだ使用したことがない場合は、再度連絡してください!)。そして、それは再び、この市場の部分でトークンマキシング行動の別の増加につながるでしょう。
これらすべてが自然にたどり着く終着点は、「ソフトウェアファクトリー」または、さらに進んで「ダークファクトリー」です—コードを生成し、コードをレビューし、バグを修正し、テストを書き、そして人間による監督なしにそれらをすべて行うコードベースです。人間は仕様を入力するだけで、アプリケーションが出力されます。StrongDMのチームはこれを最も極端なレベルまで進め、エンジニアは「1日あたり1000ドルのトークンを費やすべきだ」と主張しています。これはほぼ間違いなく誇張であり、注目を集めるためにひどいことを言う長いトレンドの一部です。私たちはソフトウェアファクトリーを持っており、月額約600ドルを費やしています。しかし、誇張や話題は、現在、シニアGoogleエンジニアの価格をエンジニアあたりで費やすことがばかげているとしても、真実の核があるため生まれます。トークンに法外な金額を費やすインセンティブは、拡散を待って潜んでいます。
古いものが新しくなり、死んだものは決して死なない。トークンマキシングは終わったが、私たちはまだトークンマキシングの終わりを見ていない。
その他の話題:
- GPT 5.6がリリースされました、まあまあです。発表から:
GPT‑5.6シリーズの限定プレビューを開始します:主力モデルであるSol、日常業務向けのバランスの取れたモデルTerra、そして高速で手頃な価格のモデルLunaです。TerraはGPT‑5.5と同等の性能を持ちながら2倍安く、Lunaは当社の最低価格で強力な機能を提供します。
…
私たちは広範なアクセスを信じており、GPT‑5.6 Sol、Terra、Lunaを数週間以内に一般公開する予定です。米国政府との継続的な関与の一環として、今日のローンチに先立ち、計画とモデルの能力をプレビューしました。彼らの要請により、政府と共有された参加者の小規模なグループ向けの限定プレビューから開始し、その後より広くリリースします。
…
このような政府アクセスプロセスが長期的なデフォルトになるべきだとは考えていません。それは、それらを必要とするユーザー、開発者、企業、サイバー防御者、およびグローバルパートナーから最高のツールを遠ざけます。私たちは、数週間以内に広範な利用可能性への最も強力な道であると信じているため、この短期的なステップを踏み出していますが、政府と協力してサイバー大統領令の枠組みと将来のモデルリリース向けの再現可能なプロセスを開発しています。
Washington Postはさらに攻撃的な分析を行いました:
米国政府がChatGPTの最新アップグレードの使用者を決定する
トランプ政権はAIに対する自由放任主義的なアプローチを掲げて政権に就いたが、最近になって業界への監督を強化している。
行間を読むと、AI企業に対する政府規制が強化されるようですが、残念ながら現在のプロセスは完全に不透明です。反応は様々です。一方では、政権のAnthropicに対する以前の攻撃が競合他社にも適用されるのは素晴らしいことです。他方では、プロセスが完全に不透明であり、政府がAI企業だけでなく、AIが重要となる可能性のある他のすべての産業(つまり、すべて)の勝者と敗者を一方的に選んでいるようです。OpenAIのツール(およびMythos、下記参照)を使用できる企業は現在不明です。この政権とつながりのある企業のみが対象であると判明した場合、それは非常に懸念される/失望することでしょう。
- 関連:Mythosが再びテーブルに戻ってきました、少なくともある程度は。Semaforから:
米国、強力なAnthropicモデルMythosを一部の米国企業にリリース
米国政府は金曜日、Anthropicの強力なClaude Mythos 5 AIモデルのブロックを解除し、同社が100以上の米国機関、主要企業や政府機関を含むにリリースできるようにしました。
金曜日の午後にAnthropicに送られた書簡によるこの決定は、トランプ政権と世界で最も価値のある民間企業の一つとの対立における大きな沈静化です。2週間前、政権はMythosに輸出管理を課し、Amazonなどの企業からの「ジェイルブレイク」される可能性があるという警告を受けて、モデルとその派生モデルであるFableのシャットダウンにつながりました。
書簡はFable 5については沈黙しています。これはMythosの弱いバージョンで、一時的に一般消費者が利用できる最も強力なAIモデルでした。交渉に近い関係者によると、Fableのリリースも進められているとのことですが、その時期は不明です。
「私は、特定の信頼できるパートナーがClaude Mythos 5モデルにアクセスすることを許可するための適切なセーフガードが整っていると判断しました」と、商務長官のHoward Lutnickは金曜日にAnthropicの最高計算責任者Tom Brownに宛てた書簡で述べ、ブロック発効以来、政府と企業の間の激しい、日々の交渉で「顕著な進展」があったと引用しました。
再び、勝者と敗者を選んでいます。
-
OpenAIのローンチについて話している間、発表に埋もれていた一つのことは、ツールがCerebrasの高速推論マシンで毎秒約750トークンで利用可能になるということです。これは非常に高速です。現在、AIツールを監督なしでタスクを実行できる非同期オペレーターとして扱うことが理にかなっている体制にいます。しかし、それは主にAIが遅く、物事が完了するのに時間がかかるという事実の帰結です。もしAIが本当に本当に速ければ、同期的なオペレーションモデルに戻る可能性があります。これがどのように見えるかのアイデアについては、https://chatjimmy.ai/ をチェックしてください。単なるデモですが、すごいデモです。
-
GLM 5.2のようなオープンモデルはかなり良くなりました。SotAではありませんが、最先端のモデルよりもはるかに安価です。現在、GLM 5.2は100万トークンあたり約1.4ドル、出力トークン100万あたり約4ドルです。対照的に、Opus 4.Xシリーズ全体は入力100万あたり5ドル、出力100万あたり驚異の25ドルです。AnthropicスイートでGLM 5.2の価格に匹敵する唯一のモデルはHaiku 4.5で、入力100万あたり1ドル、出力100万あたり5ドルです。しかし、GLM 5.2はHaikuを圧倒し、場合によってはベンチマークでGPT 5.5よりも強力です。もし私がビッグラボなら、これについてかなり心配するでしょう。そして、もし私が市場のほぼすべての消費者なら、主要なプレーヤーすべての上に位置できるツールを採用することで、プロバイダーロックインを回避するためにできる限りのことをするでしょう。
-
OpenAIは推論用の社内チップを発表しました。
水曜日、OpenAIはBroadcomと協力して設計・製造された初のカスタム推論プロセッサ「Jalapeño」を発表しました。新しいプロセッサは、OpenAIの推論システムのユニークなニーズに合わせて特別に設計されました。同社によると、OpenAI自身のAIモデルがチップの開発を支援しました。
Jalapeño、ハラペーニョチップのように。わかりますか?
[
[画像: OpenAIのJalapeñoチップ]
](https://substackcdn.com/image/fetch/$s_!HbU0!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2Fc477d9aa-6c3f-4d9e-affa-64eda48d3f80_400x400.webp)
Agenticsは、エージェントの使用と推論の方法の研究です。コーディングエージェントの専門家であるか、エージェントについてもっと学びたい場合は、私たちのコミュニティSlackに参加してください。その他の記事はこちら。Noriがあなたの会社を輝かしいAIの未来にどのように導くかについては、norisessions.comをご覧ください。
ニックスがプレーオフで優勝するのを見なかった人々のために、これは非常に非常に起こりにくいことです
これらの人々の何人かと仕事をするのがどれほど大変だったか、信じられないでしょう。あなたがソフトウェアで働いたことがない限り、おそらく今頭の中で誰かを想像しているでしょう。彼らに公平を期すために、私は彼らの保守主義は完全に正当だと考えています—シニアであることはしばしば複雑さを軽減する能力から来ますが、AIのスロップキャノンは…そうではありません。
投稿はありません