AIが毎秒100万トークンで動作したら?
What if AI worked at 1.000.000 tokens per seconds? (echohive.ai)
要約
この記事は、AIモデルが毎秒100万トークンという驚異的な速度で動作した場合の思考実験を提示しています。これは現在のモデルの測定値ではなく、コンテキスト容量、入力処理、集計スループット、単一エージェント出力という4つの側面から「100万トークン/秒」の意味を掘り下げています。高速な生成能力が、テストや検証といった後続のプロセスにおけるボトルネックを浮き彫りにし、最終的には「判断」の価値が高まることを示唆しています。
全文翻訳
AIが毎秒100万トークンを生成できたら?
01 / その数字の意味
「毎秒100万」は4つの意味を持ちうる
コンテキスト容量(処理できる量)
モデルが1回の要求で保持できるテキスト量で、応答も含まれます。これは速度ではなく、サイズです。
入力処理(読み込み速度)
プロンプトトークンは、ある程度並列処理が可能です。しかし、巨大な入力には依然として時間がかかり、入力速度は出力速度とは異なります。
総スループット(システムが処理する総量)
10,000ストリーム × 100トークン/秒 = 合計1,000,000トークン/秒。これは単純計算であり、個々のストリームがいつ完了するかについては何も語りません。
単一エージェントの出力・私たちのダイヤル(1エージェントあたりの書き込み速度)
1エージェントが毎秒100万トークンを生成すること。標準的な生成では、各トークンは前のトークンに依存します。
例えば、AnthropicのClaude Opus 5.5の概要では、100万トークンのコンテキストウィンドウがリストされていますが、1回の要求あたりの出力上限ははるかに小さく、レイテンシは「中程度」とされています。メモリサイズは書き込み速度ではなく、1回の要求で100万トークンの応答が収まることを意味しません。
エンジニアリングは、限界はありますが役立ちます。2023年のvLLM論文で説明されているように、サービスは多くの要求をバッチ処理することで大きな合計値を達成します。また、投機的デコーディングは、一度に複数のドラフトトークンを受け入れることができます。しかし、どちらもステップ2がステップ1の結果を必要とする、という本来の連鎖を解消するものではありません。
トークンはテキストの断片であり、しばしば単語の一部であるため、トークン数は単語数とは異なります。
試す / 想像上のダイヤル
ダイヤルを回す
ワークロードを選択し、想像上の速度を100から1,000,000トークン/秒にスライドさせてください。
1エージェントあたりの想像上の速度 1,000,000トークン/秒
出力トークン 1,000,000 1,000の物語の結末 × 各1,000トークン
書き込みのみ 1秒 1,000,000トークン/秒で
毎秒100万トークンで、1,000の物語の結末(1,000,000出力トークン)の書き込みには約1秒かかります。
ダイヤルの両端での4つの予算
説明的な速度での書き込みのみの時間であり、測定値ではありません。
| ワークロード | 出力トークン | 100トークン/秒 | 1,000,000トークン/秒 |
|---|---|---|---|
| 1,000の物語の結末 × 1,000 | 1,000,000 | 2時間46分40秒 | 1秒 |
| 40個のアプリドラフト × 20,000 | 800,000 | 2時間13分20秒 | 0.8秒 |
| 10,000件の批評付き候補 × 300 | 3,000,000 | 8時間20分 | 3秒 |
| 10,000回のリハーサル × 1,000 | 10,000,000 | 27時間46分40秒 | 10秒 |
想像上の比較であり、いかなるモデルの測定値でもありません。時間は生成された出力のみをカウントします:読み込み、ランキング、ツール呼び出し、権限、テスト、デプロイ、人、実験は含まれません。予算は書き込みの許容量であり、完成品ではありません。
注意
並列ストリームは、これらの独立したジョブも加速できます。しかし、各ドラフトは独自のストリームで時間を要します。総スループットが一致しても、完了時間が一致するわけではありません。1つの高速エージェントは、各ステップが前のステップを待つ場合に最も重要です。
02 / 4つの思考実験
安価なドラフトは難しい部分を動かす
各予算は書き込み出力のみをカウントします。どれも完成品、検証された発見、または実際の成果ではありません。
可能な結末のマップ
1,000 × 1,000 = 1,000,000トークン・書き込み1秒
物語の結末を求めて、希望に満ちたもの、暗いもの、奇妙なもの、1,000通りを手に入れることができます。1,000通りすべてを読む人はいないので、有用なバージョンはそれらをマッピングして探索できるようにし、好きな2つをブレンドします。
依然として希少なもの: 味。どの結末があなたのものであるかを知っているのはあなただけです。
地域ツールライブラリのためのソフトウェア
40 × 20,000 = 800,000トークン・書き込み0.8秒
共有ツールの貸し出しアプリについて説明すると、あなたが文を終える前に40のドラフトが存在します。画面は、はしごを借りることから修理日のサインアップまで、適応させることができます。テストは依然として独自のクロックで実行され、7日間の返却期限をチェックするものがなければ、40すべてが70日間はしごを貸すことを通過できます。
依然として希少なもの: 明確な仕様、そして「機能する」とはどういうことかのテストです。
1万のアイデアからの10の実際の実験
10,000 × 300 = 3,000,000トークン・書き込み3秒
より良い触媒を探していますか?エージェントは1万の候補を提案し、批評することができます。その後、すべてがベンチで待機します。反応は数時間、培養は数日、フィールドトライアルは1シーズンかかるかもしれません。1つのモデルからのアイデアも、1つの盲点を共有する可能性があります。
依然として希少なもの: 物理的な証拠、そしてどの10の実験が実験室の時間に値するかを選択することです。
難しい会話のリハーサル
10,000 × 1,000 = 10,000,000トークン・書き込み10秒
家主と賃貸契約について話す前に、エージェントは会話を1万通り演じることができます。頑固な家主、寛大な家主、疲れているあなた。飛行機のシミュレーターのように、練習と盲点のために使用します。間違った相手との1万回の練習は、予言ではなく、自信のある間違いです。
依然として希少なもの: 実在の人物への忠実さ、そしてあなた自身の練習です。
03 / シリアルボトルネック
10,000倍の書き込み速度は、10,000倍の作業速度ではない
40個のアプリドラフト、つまり800,000出力トークンを考えます。説明的な毎秒100トークンと、想像上の毎秒100万トークンを比較し、書き込み後に固定されるチェック(例:テスト実行)を追加します。このチェックは速度では触れられません。
書き込み後の固定チェック 60秒
説明的な100トークン/秒 2時間14分20秒
書き込み 99.3% ・ チェック 0.7%
想像上の1,000,000トークン/秒 60.8秒
書き込み 1.3% ・ チェック 98.7%
書き込み速度向上 10,000倍 1,000,000 ÷ 100トークン/秒
エンドツーエンド速度向上 132.57倍 8,060 ÷ 60.8秒
60秒のチェックがあると、バッチは100トークン/秒で2時間14分20秒、1,000,000トークン/秒で60.8秒かかります。これはエンドツーエンドで132.57倍高速であり、チェックは高速な合計時間の98.7%を占めます。
同じ800,000トークンと4つのチェック時間
合計時間 = 書き込み + 1回の固定チェック、全体で1回カウントされます。
| 固定チェック | 100トークン/秒 | 1,000,000トークン/秒 | エンドツーエンド |
|---|---|---|---|
| なし | 2時間13分20秒 | 0.8秒 | 10,000倍 |
| 60秒 | 2時間14分20秒 | 60.8秒 | 132.57倍 |
| 15分 | 2時間28分20秒 | 15分1秒 | 9.88倍 |
| 24時間 | 26時間13分20秒 | 24時間1秒 | 1.09倍 |
トイモデル:合計時間 = 出力トークン ÷ 速度 + 1回の固定チェック(バッチ全体で1回カウント、ドラフトごとではない)書き込み終了後に実行。並列テスト、コスト、エネルギー、ドラフト品質はシミュレートしていません。
1分間のチェックがあると、ジョブは8,060秒から60.8秒に短縮されます。これは約132.57倍高速であり、10,000倍ではありません。ゼロの場合、10,000倍の利益がすべて得られますが、1日かかるとその増加はほとんど消えます。スピードアップしないものは、すべて残りの時間のほとんどになります。これはアムダールの法則の論理です。実際の要求にはさらに多くのステップがあります。OpenAIのレイテンシガイドは、非常に大きなプロンプト、ツール呼び出し、ネットワークトリップが独自の遅延を追加することを指摘しています。
04 / 何が貴重になるか
生成が安価になると、判断が貴重になる
多くのドラフト、1つの狭いゲート 概念図。左側にある広大なドラフトカードのグリッドが狭いゲートに向かって流れていきます。1枚のカードが通過し、選択されたものとしてマークされます。これは議論を図示しており、データではありません。
概念図であり、データではありません:生成は選択肢を広げますが、判断が通過するものを決定します。
上記のすべての実験は同じ場所に終わります。依然として希少なのは判断であり、異なる帽子をかぶっています。
- 味:どの選択肢があなたのものであるか。
- 仕様とテスト:「機能する」とはどういう意味か。
- 練習:スピードはあなたのためにそれを学ぶことはできません。
- 物理的な証拠:世界は自身のペースで答えます。
- 忠実さ:シミュレーションは、そのモデルが良いものである限り良いものです。
- コストとエネルギー:これは実行する価値があるのか?
高速であることは安価であることを意味しません。すべてのトークンは、誰かが電力を供給するために支払うハードウェア上で実行されます。より多くの選択肢が良いものを保証するわけでもありません。1つのモデルと1つの仮説セットからのドラフトは相関しているか、すべて間違っている可能性があります。量が多いことは、理解度ではなく出力を測定します。
05 / 今週使う
より多くを求める前に、どのように選択するかを決定してください
想像上のダイヤルは不要です。次にAIエージェントに作業を依頼するときは、次のことを行ってください。
- 「完了」が何を意味するかを書き留める。「ローンを処理する」ではなく、「はしごは7日以内に返却される」のような、テスト可能な1つの文。
- オプションを読む前に基準を設定する。2つか3つあれば、最も流暢なドラフトがデフォルトで勝つことはありません。
- 遅いステップを見つける。スピードでは触れられないチェックを特定します。結果に必要な検証をスキップすることなく、可能な限り短縮または自動化します。
- 量ではなく、異議を求める。異なる仮説に基づいたオプションを要求し、それらすべてを間違ったものにするものは何かを尋ねます。
あなたの遅いステップが測定するものや、どの賭けをするかを決定することである場合、それはツールよりも戦略です。より大きなシステムと次の動きがどこで重要かを明確にするためのプライベートコンサルティングをご利用ください ↗
出典、日付、および境界
このフィールドノートは、echohive のフィルム One Million Tokens a Second のアイデアを適応させたものです。これは編集されたコンパニオンであり、トランスクリプトではありません。この速度は想像上のものであり、以下の出典のいずれもそれを測定、主張、または予測していません。それらは、容量、読み取り、サービング、および書き込みの区別のみをサポートします。
4つの出典を開く
- Anthropic, Claude Opus 5.5 overview。公式ドキュメント。100万トークンのコンテキストウィンドウ、要求ごとの最大出力、および「中程度」の比較レイテンシをリストしています。毎秒100万出力トークンについては説明していません。
- Anthropic, Context windows。公式ドキュメント。コンテキストウィンドウを、生成された応答を含むワーキングメモリとして説明しています。これは速度ではなく容量です。
- OpenAI, Latency optimization。公式APIガイド。出力生成がレイテンシを支配することが多く、非常に大きなプロンプトは依然として重要であり、ツールやネットワーク呼び出しは独自の遅延を追加します。
- Agrawal et al., Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve。arXiv、2024年。現在のベンチマークではなく、歴史的な基盤:並列プロンプト処理(プリフィル)、トークンごとのデコーディング、およびバッチ処理。
セクション01でリンクされている2023年のvLLM論文も歴史的な基盤です。すべてのワークロード、速度、予算、およびボトルネックモデルは、ベンチマーク、予測、または製品仕様ではなく、説明的な算術です。出典は2026年10月2日にチェックされました。