トークンはメーターにかけるには安すぎる

トークンはメーター不要なほど安価に

機械学習インテリジェンスの利用コストは、年間で数桁ずつ低下しており、その勢いに鈍化の兆候は見られません。今後1～2年で、LLMは製品としてだけでなく、インフラストラクチャとしてコンピューティングのあらゆる部分に統合される可能性が高いです。今後3～6年で、現在の最先端品質のLLMが一般的なハードウェア上でローカル実行できるようになるでしょう。そして、ごく近い将来から、AI利用の制約要因は、単なるトークン数ではなく、品質とアクセスになると予想されます[1]。

これは本当に起こっているのか？

並外れた主張には並外れた証拠が必要なので、私は多くの証拠を集めました。

更新 9月30日: Epoch.AI が、ベンチマークと精度に重点を置き、将来予測への比重を減らした類似のブログ記事を公開しました。

AIには、GPT-6 Astra のようなプロプライエタリ（専有）なものと、GLM-5.3-flash のようなオープンウェイトなものがあります。オープンウェイトモデルは、Z.ai などによってホストされるか、ローカルで実行できます。一般的に、ローカル実行を意図したモデルは、Muse Glimmer や Qwen3 Coder のように、はるかに小さくなります。

一方の改善が、他方に常に影響を与えるわけではありません。

すべてのAIに影響する改善

GPU

GPUは世代ごとに指数関数的に効率が向上しています。

以下のグラフ（出典）では、X軸が時間、Y軸がGPU自体の電力効率を示しています。Y軸の値が大きいほど効率が良いことを意味します。

［画像: GPUの電力効率の経年変化を示す対数グラフ。X軸は時間、Y軸は電力効率（GFLOP/J）。青い線は指数関数的な増加を示している。］

これは対数グラフであり、グラフ上の直線は効率の指数関数的な増加を表します。この場合、対数は1.3であり、効率は約2年ごとに倍増することを意味します。

これは、1960年代のムーアの法則以来見ていない効率の向上です。

モデル

モデルを使って特定のタスクを完了するためのコストは、時間とともに急激に低下しています。

モデルは通常、トークンごとに価格設定されます。「トークン」は単語の断片であり、単語を表現するには約1.5トークンが必要です。「モデルプロバイダー」（例: Anthropic や OpenAI）は、モデルが読み取るトークンごと、および出力するトークンごとに、固定の金額を請求します。

少なくとも最も賢い（「フロンティア」）モデルでは、トークンあたりのコストは一貫して低下しているわけではありません。しかし、タスクあたりのコストは低下しています。小さいモデルはトークンあたりのコストが低いかもしれませんが、同じタスクに対してより多くのトークンを使用するため、全体的なコストは高くなる可能性があります。このセクションでは、最初から最後までタスクを完了するためのコストについて説明します。

以下のチャート（出典）は、現在のコスト/タスクの「パレートフロンティア」を示しています。パレートフロンティアは、単一カテゴリでの最良の値だけでなく、最良のトレードオフを示します。ここでは、トレードオフは以下の通りです。

• Y軸: モデルの「品質」（一連のベンチマークで測定）
• X軸: これらのベンチマークを完了するためのコスト

コストは対数スケールです。Y軸の値が大きく、X軸の値が小さいほど優れています。

［画像: 2026年時点のコストとモデル品質のパレートフロンティアを示す散布図。X軸はコスト（対数）、Y軸は品質（対数）。］

これは、2026年時点でのパレートフロンティア上の幅広いモデルを示しています。右上寄りには Claude Fable-5.1（高価でインテリジェント）、中央左寄りには GPT-5.6 Luna（安価で知能は低い）があります。点線の下にあるモデルは、基本的に考慮する価値がありません[2]。

次に、2025年の開始時、中間、終了時のフロンティアを示すこのチャートを見てみましょう。

［画像: 2025年の開始時、中間、終了時におけるモデルのコストと品質のパレートフロンティアを示す3つの散布図。］

このチャートは、2025年を通じてモデルがより賢く、かつタスクあたりのコストが安くなっていることを示しています。実質的にどのタスクでも水平線を描くと、2025年末のコストは年初よりも安くなっており、実質的にどのコストでも垂直線を描くと、同じコストでより多くのことができるようになっています[3]。

推論エンジン

「推論エンジン」とは、学習済みモデルと入力テキストを受け取り、GPU上で実際に実行するソフトウェアパッケージです。

推論エンジンは現在未熟ですが、急速に改善しています。現在、どのエンジンを見るかによって、年間10%～50%の改善が見られます。

推論エンジンの比較でよく使われるベンチマークは2つあります。「オフライン」（大量のトークンを一度にバッチ処理する）と「サービング」（ユーザーが予測不能なタイミングでサーバーにリクエストを送信し、可能な限り迅速に応答を返したい）です。サービングは、オフライン推論よりもはるかに急速に効率化されています。

以下のすべての数値は、サービングワークロードのものであり、オフラインではありません。

vLLM

vLLM はオープンソースの推論エンジンであり、時間の経過とともに効率が向上しています。

以下のグラフ（出典）では、Y軸は Joules/token、X軸はバッチサイズ（おおよそ：「いくつの入力が並列処理されるか？」）、青/赤の線は異なるソフトウェアバージョンを示しています。Y軸の値が小さいほど効率が良いことを意味します。

［画像: vLLMの異なるバージョンにおけるトークンあたりのエネルギー消費量とバッチサイズの関係を示すグラフ。青線と赤線でバージョンを示す。］

vLLM 0.11.1 は 2025年12月にリリースされ、2024年9月の vLLM 0.5.4 から1年強経過しています。つまり、15ヶ月で約40%の効率向上です。

複数のリリースにわたる効率のクリーンな比較はありませんが、vLLMだけでもパフォーマンスは時間の経過とともに急速に向上しておりvLLMの変更履歴、v2からv3へのパフォーマンス向上は、より数値が明確なエネルギー効率の向上とほぼ比例しています。

NVIDIA

これは単一のソフトウェアパッケージに限定されるものではありません。NVIDIA は、MLPerf 2.0 から 2.1 にかけて、その MLPerf スタックで最大50%の効率向上を示しています。

［画像: NVIDIAのMLPerfベンチマーク結果の推移を示すグラフ。］

Intel

これは古いベンチマークに限定されるものではありません。Intel は最近、MLPerf 6.0 から 6.1 への改善のみで、スループットが2.4倍になったことを示しました。

これはスループットを示しており、効率ではないため、直接的な比較ではありませんが、ハードウェアは固定でソフトウェアが変更されているため、このかなりの部分が効率の改善に反映されている可能性が高いです。

ホスト型AIに影響する改善

Mixture-of-Experts (MoE)

モデルは、初期のLLM構築方法よりも根本的に効率的なアーキテクチャを使用しています。

初期のLLMは「密（dense）」モデルに基づいていました。これは、モデルのすべての部分が、すべての入力に対して「アクティブ化」（行列乗算を実行）されることを意味します。最近のアーキテクチャは、「Mixture-of-Experts」（MoE）アーキテクチャを使用して、不要な場合に専門化された「エキスパート」レイヤーを非アクティブ化します。これにより、同じ品質の出力を得るための計算量が直接的に削減されます。以下のグラフでは、モデルは同じベンチマークパフォーマンスを達成しながら、7倍小さく（6B → 0.8B パラメータ）なる可能性があります（出典）。

［画像: MoEモデルと密モデルのパラメータ数とベンチマークスコアの比較グラフ。MoEモデルは同等スコアでパラメータ数が大幅に少ない。］

これは、モデルのコストとメモリ使用量が、モデルの品質に対して時間の経過とともに低下していくことを意味します。

もちろん、人々はこれに対して同じ品質の出力を得るために計算量を減らすのではなく、同じ計算量でより良い出力を得るために使用します。つまり、ジュールあたりの品質の効率は基本的に横ばいです。しかし、ジュールあたりの品質の効率は急速に上昇しています。

MoEはローカルマシンではそれほど役立たない傾向があります。なぜなら、それらを使用するためにはエキスパートをメモリ内に保持する必要があるからです。mlx-flash のような、オンデマンドでレイヤーをメモリにスワップするプロジェクトもありますが、これらは実行を可能にするだけで、高速ではありません。

ローカルAIに影響する改善

Mamba

LLMをローカルで実行する際の現在の制限の1つは、とてつもない量のRAMが必要であり、それを購入できないことです（すべてのAI企業が先に買い占めたため）。最近のモデルは、必要なRAMの量を5倍以上に減らしています。

「従来の」モデルは「トランスフォーマー」アーキテクチャを使用しています。このアプローチでは、モデルは入力されたすべての入力を記憶します。これは場合によっては数百キロバイトになり、各レイヤーに掛け合わされます。より最近のモデルは、モデル自体に直接組み込まれたストリーミングコンパクションのようなものと考えることができます（結果として、はるかに効率的です）、「Mamba」アーキテクチャを使用しており、入力のロスのある要約を記憶します。

Mamba だけでは解決策ではありません（LLMがURLを覚えて取得できないのは悪いことです！）が、Mamba-Transformer ハイブリッドは、同じトークン量に必要なRAMの量を大幅に削減しています。Nemotron-H-47B は、4ビットウェイトに量子化された場合[4]、32GBのVRAM（「GPU RAM」に相当）で100万トークン以上を保持できます。同等の品質の Llama-3.1 60B モデルは、同じ量のトークンに対してほぼ120GBを必要とし、量子化を使用しない場合、これらの数値はさらに悪化します。

特殊なユースケースに影響する改善

Jev と Laya

AIを特殊なはい/いいえの回答にのみ使用することで、コストを2桁削減できます。

TypeSafe AI は今週、「Jev」というフラッグシップ製品を発表しました。Jev は、生成系LLMとは異なり、テキストを出力できず、事前に選択されたオプションの中から選択することしかできません。例えば、「このシェルコマンドはシステムプロンプトに違反するか、破壊的な変更を加えるか？」と尋ねると、0から100%の確率で回答します。

Jev には多くの興味深い点がありますが、特に注目すべきは価格ページからのこの部分です。

既存のLLM:

入力トークン: $0.20～$10 / MTok。出力トークン: 入力トークンの約5倍のコスト。

System One + Jev

入力トークン: $0.042 / MTok ($42/10億トークン)。出力トークン: 無料（メーター不要なほど安価）。

もし飛ばし読みした方のために言いますが、これは10億トークンあたり42ドルです[5]。トークンは約3分の2単語です。平均的な書籍は約8万語です。これは、書籍5冊を読むのに約3セント、あるいは書かれたすべての本の1/10000を読むのに42ドルかかるということです。

これはほとんど気にする必要がないほど安価です。電気代よりも安いです。

実際、あまりにも安価なため、人々はJevを直接呼び出す開発ツールを構築しています。その一例がjgrepで、次のようなクエリを実行できます。

$ jgrep -o "announces or releases a new AI model" titles.txt | sort -rn | head -3
0.980	PrismML Launches Bonsai 2 27B, Its Most Capable Model Yet
0.970	Alibaba Releases Qwen3.8-Omni-Flash
0.940	Google announces new experimental "CC" AI agent for families

jgrep は自己説明として次のように述べています。

約1000分の1セントで約200ミリ秒で確率を返します。これは、パイプラインに配置するのに十分な速さと安さです。jgrep は行が到着するとすぐに読み込み、並行して判断して入力順に出力するため、tail -f やファイルでも機能します。994件のHacker Newsのタイトルで測定: 1つの説明に4.6秒と0.012ドル、3つの説明を同時に実行しても同じ時間でした。

さらに奇妙なこともあります。Jev triage は、優先度順に並べられたオープンなプルリクエストを表示するためのTUIです。優先度はラベルではなく、すべてのコメントを見ることで決定されます。これは専用のトリアージチームの代わりにはなりませんが、非常に優れたアシスタントです。

Jev はプロプライエタリモデルですが、Laya はオープンウェイトで、ローカルで実行できるほど小さいです。ファインチューニングすれば、Jevよりも高速かつ高精度になる可能性もあります。欠点は、製品ではなくコードベースであることです。

• ホストされていないため、多くのセットアップを自分で行う必要があります。
• ファインチューニングしないとパフォーマンスが悪いため、最大限に活用するにはMLに関する十分な知識が必要です。
• 最大512バイトのコンテキストしかサポートしないため、大きな入力にはそれほどスケーリングしません。

JevとLayaを見ると、まだ多くのアーキテクチャ上の改善の余地があり、近い将来にMLのスケーリング限界に達することはないと確信できます。

まとめ

これらのすべてを組み合わせると、過去1年間でトークンコストが約2.5桁低下したことがわかります。

• モデルはタスクあたり約100倍のコスト効率向上。
• ハードウェアはトークンあたり約1.3倍のエネルギー効率向上。
• エンジンはトークンあたり約1.4倍のエネルギー効率向上。

生のトークンコストを見るのをやめ、他のベンチマークを考慮すると、他の種類の改善が見られます。

• 新しいアーキテクチャにより、同じRAM量で5倍以上のトークンを収容でき、よりインテリジェントなモデルをローカルで実行可能に。
• JevやLayaのような特殊化されたモデルにより、コストをさらに1～2桁削減可能。

これらはすべてまだ未熟であり、時間の経過とともに改善される可能性が高いです。収穫逓減に達するにはまだ程遠いです。

次に何が起こるか？

トークンはツール呼び出しよりも安価になる

計算の他のコストと比較すると、何が本当に興味深くなりますか。例えば、ツール呼び出しがどれほど高価かを見てみましょう。ここではおおよその推定値に基づいています。桁数で考えているので、フェルミ推定で十分です。

GPT-5.6 Luna は100万トークンあたり約30セント（出典）です。Luna がツールを呼び出すたびに10kトークンを使用すると仮定します。つまり、ターンあたり3分の1セントです。ニューヨーク市や私が住むオランダでは、電力は約25セント/キロワット時です。私のMacBook Airはアイドル時に約10W、高負荷時に30Wを消費します[6]。これにより、次のような表が得られます。

これは…今後数年で考えられないことではありません！

モデルがツールよりも安価になると、ツールにモデルを組み込むことが魅力的になります。これはすでに上記の jgrep で見られました。将来的には、より幅広いコンピューティングインフラストラクチャで見られるかもしれません。例えば、機械学習を使用する適応型ビルドスケジューラなどです。これらは今日では可能ですが、設定にはかなりの専門知識が必要ですが、汎用モデルで可能になれば、埋め込みがはるかに容易になります。

サプライサイドのジェボンズのパラドックス

モデルの実行コストが安くなるにつれて、企業はより多くのコンピューティングを構築することで対応します。なぜでしょうか？投資1ドルあたりの収益が大きくなるからです。これはジェボンズのパラドックスと呼ばれます。効率が高まるほど、全体としてより多くが存在します。特に、物事が安くなるにつれて、人々はそれをもっと使いたくなります。これは誘発需要と呼ばれ、交通ネットワークについて話す際によく話題になります。

投資家はどうやって元を取るのか？

トークンがメーター不要なほど安価なら、LLMプロバイダーはどうやってお金を稼ぐのでしょうか？これはバブルが弾けることを意味するのでしょうか？

いいえ、そうは思いません。まず、各トークンが安価であっても、推論がプロバイダーにとって儲からないわけではありません。これは上記のセクションで議論しました。しかし第二に、OpenAIとAnthropicは依然として他のほとんどのAIラボよりも大幅に先行しています。量が安くなっても、品質が安くなるわけではありません。フロンティアラボからコンピューティングを購入する最も困難なタスクと、「通常の」タスクはオープンウェイトまたはオープンウェイトと競合しなければならない大幅に割引されたプランを使用する世界になると予想されます。

オープンウェイトモデルがOpenAIとAnthropicに追いつくかどうかは、まだ未解決の問題です！もし追いつけば、それは投資家を傷つけ、米国経済に波及効果をもたらす可能性があります。しかし、それは根本的な技術的状況を変えるものではないと思います。NVIDIAは依然としてブームになり、企業はAIを使用し続けるでしょう（そして、そうでなかった場合よりもさらに安価になるでしょう）。

デマンドサイドのジェボンズのパラドックス

しかし、もう一つ興味深い質問があります。コンピューティングが十分に安価になったら、人々は何にそれを使うのでしょうか？100万トークンで何をしますか？10億トークンでは？

以下は、可能性のあることですが、すべてが可能性が高いわけではありません。

• サイバーセキュリティは非常に悪化するでしょう。企業は、そうでなければハッキングされるため、Cloudflare Access、社内専用AWS/Azureサービスなどのホスト型サービスを中心に統合するでしょう。
• 生のコンピューティングがより有利になります。Oxide Computer Company、AWS、Cloudflare、すべてのハイパースケーラーが利益を得るでしょう。一般的なEC2だけでなく、推論に最適化された特殊なGPUを貸し出す企業がますます増えるでしょう。これはすでにrunpodのようなサービスで起こっています。
• ソフトウェアの難しい部分は、アルゴリズムではなく、製品要件、テスト、ユーザーインターフェースデザインになります。雇用市場は非常に奇妙になります。理想的には、QAおよびUI/UX職の復活が見られるでしょう。
• ソフトウェアのレンタルは、はるかに希少になるでしょう。ソフトウェアコードベースはもはや堀ではなくなり、運用とセキュリティが価値の真の推進力になります。Amazon Managed Streaming for Apache Kafka のようなものがさらに増え、JetBrains IDE や Blackboard のようなものはさらに少なくなるでしょう。
• おそらく、さらに多くのことがあります！未来は奇妙になりつつあります！！

オプション性

私が本当に興味深いと思うのは、以前は、人々がソフトウェアの断片を検討する際に、3つの基本的な選択肢しかなかったことです。

1. それを使用する。
2. それを使用しない。
3. 別の類似製品を使用する。

今、彼らは4番目の選択肢、つまりLLMにそれを構築するように指示するという選択肢を持っています。LLMの出力の品質は良くも悪くもあり得ますが、以前はなかった選択肢が存在します。企業は、単に以前はできなかったことを実行する生の能力だけでなく、品質で競争しなければなりません。規制産業の既存企業は、自由市場と比較して圧倒的な優位性を持つでしょう[7]。

これがクールなのは、プログラマーでない人にとって5年前には考えられなかった、まさにそれを使用している人に合わせた柔軟なソフトウェアを作成することが、はるかに容易になることです[8]。

要約

次に何が起こるかわかりません。しかし、安価なコンピューティングだけでなく、安価なインテリジェンスの世界を計画すべきだと考えています。

1. ここで「LLM」ではなく「AI」を使用しているのは意図的です。Jevのような新しい機械学習分類器があり、これらはLLMではありませんが、能力は同等です。↩
2. 「台湾の首都は？」や「選挙演説を書く」のようなベンチマークを他に持っていない限り。これらはそれぞれ中国と米国のモデルでは許可されていません。↩
3. このセクションの元のバージョンでは、「2026年の単一タスク実行コスト」と「2025年の完全なベンチマークスイート実行コスト」が誤って比較されていました。その後修正されました。この投稿を公開してからの時間でも、パレートフロンティア上でより安価でスマートな新しいモデルがいくつかリリースされているため、修正された2026年のチャートは元の投稿とはデータがわずかに異なります。↩
4. 「量子化」とは、おおよそ「モデル自体の詳細度」を意味します。デフォルトは16ビット浮動小数点数です。モデルはしばしば、品質の低下はわずかで、はるかに小さく高速になる8ビットまたは4ビットに「量子化」されます。↩
5. TypeSafe は次のように述べています。「補助金を受けていないことを証明することはできません。価格設定の持続可能性を証明するには、長期的な視点が必要になります（価格は上昇ではなく下落すると予想しています）。」↩
6. これはハードウェアとしては異常に効率的です。サーバーソフトウェアは効率ではなくスループットに合わせて調整されているため、同じツール実行にはおそらく1桁多い電力が必要です。↩
7. 電子医療記録サービスのようなソフトウェアが医師にとって使用しにくい理由の1つは、医師が単に使用しないことを許可されていないことです。法律で、手作業では追跡できない量の記録を保持することが義務付けられています。これと、スイッチングコストが組み合わさることで、「寡占」が生じ、少数の既存企業が製品の悪さに関わらず市場を独占できるようになります。↩
8. Apple Shortcuts、Salesforce、Excelスプレッドシートのような非常に限定的なニッチの外。↩