2026年の推論ハードウェア革命

AI推論革命が到来

Tensordyne社のNapierチップは、AI推論を高速化するために設計されています。

2020年頃から、AIは主に、より大きく、より優れたモデルのトレーニングに焦点が当てられてきました。大規模言語モデル（LLM）は、数百万パラメータから数兆パラメータへと肥大化しました。これは効果的であることが証明されました。2020年にリリースされたOpenAIのGPT-3の最大バージョンは、一般的な知識と推論のベンチマークで、質問の43.9パーセントにしか正しく回答できませんでした。わずか4年後のGPT-4oは、同じ試験で88.7パーセントのスコアを達成し、事実上、人間の専門家と同等の性能を示しました。

先進的なAIラボは依然としてさらに大きなモデルをトレーニングしていますが、そのトレーニングはAIに関する会話の背景にやや後退しています。2026年、推論――トレーニング済みのモデルを使用してコードを生成したり、エッセイを書いたり、私たち自身のエルフの姿を画像化したりすること――が前面に出てきました。

「トレーニングは過去のニュースのようなものです」と、Moor Insights & Strategyのプリンシパルデータセンターアナリストであるマット・キンボール氏は述べています。「最高情報責任者（CIO）が話したいのは、推論のことだけです。」NvidiaのCEOであるジェンスン・フアン氏は、同社のGTC 2026カンファレンスで、この変化を「推論の転換点」と称賛しました。

このシフトを引き起こした一因は非常に単純です。LLMが有用になり、人々がそれを利用しているのです。それに加えて、今日市場に出回っている多くのモデルは推論モデルです。ユーザーのクエリに応答して、それらは推論を一度だけでなく複数回実行し、思考連鎖（chain of thought）と呼ばれるプロセスで自身に再プロンプトします。推論モデルはより長い出力を生成し、高い推論負荷を持つモデルは、低いまたはゼロの負荷を持つモデルの最大20倍のテキストを生成できます。さらに推論ワークロードを増大させているのが、エージェント型AI（agentic AI）の台頭であり、これは推論が単なるユーザーのクエリへのリアルタイム応答としてだけでなく、ユーザー定義の目標に向かって自律的に動作する、常時稼働するプロセスとして実行される結果をもたらしています。

［画像: Annapurna Labsの金属製プロセッサチップのクローズアップ、反射する黒い表面］ AmazonのTrainiumチップは元々AIトレーニング用に設計されていました。しかし、Amazon Web ServicesはAI推論を2つの部分に分割することを決定し、Trainiumがより計算負荷の高い部分を実行し、Cerebrasのウェハー規模エンジンがメモリ集約的な部分を引き受けました。

その結果として生じた推論需要の爆発は、テクノロジー大手間の予期せぬ同盟関係につながりました。OpenAIとAmazonは、Amazonが独自のTrainiumチップを持っているにもかかわらず、Cerebrasが設計したディナープレートサイズのチップを展開しました。Nvidiaは、AI推論スタートアップであるGroqから、約200億ドルの価値がある物議を醸した取引で、主要な人材と知的財産を買収しました。そしてAnthropicは、LLM競合であるSpaceXAIに、毎月10億ドル以上を支払って余剰コンピュートをリースしています。

一見似ているように見えますが、AIトレーニングとAI推論は計算上の違いがあります。テクノロジー大手からのこれらの大きな動きは、推論需要をサポートするためには、専門家が数年前に予想していたよりもはるかに異なるハードウェアの組み合わせが必要になることを示唆しています。

AI推論はAIトレーニングとどう違うのか？

トレーニングされていないLLMは、テーブルの上のスクラブルのタイルがごちゃ混ぜになったようなものです。しかし、単一の文字ではなく、タイルにはトークンと呼ばれる単語の断片が表示されています。ほとんど何でも書くために必要なものはすべて揃っていますが、何も意味を成しません。

モデルのトレーニングは、大規模なゲームでこのごちゃ混ぜを整理します。モデルには、次のトークンが隠された実際のテキストが表示され、次に何が来るかを予測するように求められます。各推測の後、正しいトークンが明らかにされ、予測と比較され、その差がモデルの精度を計算するために使用されます。このゲームは、単一の文章ではなく、数十億もの文章にわたってプレイされます。

実際のスクラブルのゲームは、チップの袋と数杯の飲み物でプレイできますが、AIトレーニングは計算集約的です。モデルは、モデルの数十億または数兆のパラメータのそれぞれが、次の予測をより良くするためにどのようにシフトすべきかを繰り返し計算するプロセスであるバックプロパゲーションを通じてパラメータを更新します。これが、テクノロジー大手たちがこれまで以上に大規模なデータセンターを構築している理由です。

最終的に、モデルの作成者は、さらなるトレーニングはコストに見合わないと判断し、推測ゲームは停止します。バックプロパゲーションは終了し、パラメータは凍結され、LLMは事前トレーニング済みモデルになります。ファインチューニング――より小さく、より専門的なデータでの短いトレーニング実行――が最終的な調整を加え、モデルはデプロイされます。

［画像: 黒い背景に虹色の回路基板を持つ金色のコンピュータチップのクローズアップ］

NvidiaのGroq 3言語処理ユニットは、オンチップSRAMメモリと計算ブロックをチップ上で必要な順序で配置することで、データ移動を最小限に抑えます。

Nvidia

次に推論が来ます。これは、デプロイされたモデルを使用するプロセスであり、トレーニングが完了したモデルは、スクラブルのタイル――トークン――を適切な順序で出力することを学習しました。

バックプロパゲーション計算（パラメータを更新するために使用される）が排除されるため、AI推論は計算負荷が低いと考えるかもしれません。しかし、推論ハードウェア企業d-Matrixの創設者兼CTOであるスディープ・ボージャ氏は、推論が新たな課題をもたらすと説明しています。

モデルは本質的に「自己回帰的」です。つまり、次の出力は前の出力に依存します。「したがって、次のトークンを生成するには、すべての重みと、前のトークンからのすべての[コンテキスト]を読み取る必要があります」とボージャ氏は説明します。コンテキストには、すべてのプロンプト、LLMのすべての応答、アップロードしたすべてのファイルが含まれます。これは大量のデータと大量の処理を必要とします。

LLMは、プリフィル（prefill）とデコード（decode）の2つのフェーズで応答を生成します。プリフィルは、モデルがプロンプトを読み取る段階です。すべてのトークンを一度に処理し、各トークンが他のすべてのトークンとどのように関連するかを計算します。この操作はアテンション（attention）と呼ばれ、最新のLLMの基盤となるTransformerアーキテクチャの決定的な特徴です。これにより、単語が単独で存在するのではなく、その単語が文、段落、およびより大きなコンテキストの中でどのように関連しているかに応答できるようになります。ゲームに配置する前にスクラブルのタイルを並べるようなものだと考えてください。多くのプレイヤーは、タイルを動かしてどのように接続できるかを想像します。自己アテンションも同様の役割を果たしますが、物理的なタイルを動かす代わりに、各トークンが他のトークンにクエリを送信し、そのトークンの関連性を示すスコアを受け取ります。

これらのクエリは、キーと値という2種類のベクトルをもたらします。これらは通常、KVキャッシュと呼ばれるストアに配置されます。モデルが新しいトークンを生成するたびにこれらのベクトルを再計算することもできるため、これは厳密には必須ではありません。しかし、ほぼすべてのLLMは、計算量を減らすためにKVキャッシュを使用しています。KVキャッシュはメモリに保存され、LLMが会話を理解するために参照できるスクラッチパッドとなり、最初は小さくても、数十ギガバイトに膨れ上がることがあります。

プリフィルは、簡単に分割して並列処理できる問題です。これが、LLMの人気が急上昇するにつれて、GPUが主要なAIアクセラレータになった理由です。グラフィックスのラスタライズ（画面上のすべてのピクセルの色を計算すること）も大量に並列処理されるため、GPUアーキテクチャは自然な適合性を持っていました。

［画像: 手袋をした手が、黒い背景に金色の大きなコンピュータプロセッサウェハーを持っている］

Cerebrasのウェハー規模エンジンチップは、メモリと計算ユニットの両方を、ディナープレートサイズのチップ上に並べて配置することで、メモリ帯域幅を最大化します。

Cerebras

次にデコードが来ます。ここでは、モデルは一度に1トークンずつ応答を生成します。各ステップで、最新のトークンを取得し、KVキャッシュ内のすべてのものと比較し、その情報を使用して次のトークンを予測し、新しいトークンのキーと値をキャッシュに追加します。その後、トークンごとにシーケンスを繰り返します。

ここで、モデルの自己回帰的な性質が推論速度の妨げとなります。各トークンを予測するには、メモリからモデル全体を読み取る必要があり、そのモデルは数十から数百ギガバイトのパラメータ（モデルがトレーニングで学習したことを表す数値）で構成されている可能性があります。特に、これはKVキャッシュを保存するために必要なメモリに加えてです。

その結果、これらのすべてのデータがメモリを通過する際の移動は、推論ハードウェアが利用できる帯域幅よりも多く必要となることがよくあります。そのため、GPUの計算部分の少なくとも一部は、データが来るのを待っている間にアイドル状態になります。研究者たちは、オープンソースLLMを実行しているNvidia H100 GPUが、50〜80パーセントの時間アイドル状態になっていることを発見しました。

推論におけるメモリの役割

Metaでシリコンエンジニアリングの責任者を務め、AIスタートアップMajestic Labsの共同創設者であるシャハリアール・“シャ”・ラビィ氏は、プロセッサがアイドル状態になることが、AI推論パフォーマンスの向上を目指す多くの企業がメモリに集中している理由だと述べています。「GPUベースのアプローチでは、コンピュートを大幅に過剰にプロビジョニングし、メモリが不足する結果になります。それが、大規模な[メモリ]スケールアウトを推進しています。」

ボージャ氏のd-Matrixとラビィ氏のMajestic Labsは、どちらもこのメモリボトルネックに焦点を当てています。しかし、彼らの会社は異なる解決策を構想しています。

d-Matrixの第2世代AIアクセラレータであるRaptorは、コンピュートとメモリの距離を最小限に抑えることで、推論パフォーマンスを向上させることを目指しています。ほとんどの現在のAI推論デプロイメントで使用されているGPUは、GPUの周囲に高帯域幅メモリ（HBM）を配置することでこれを実現しています。各HBMは、DRAMダイを積み重ねたもので、互いにリンクされ、GPUへの超高速インターフェイスに接続されています。これはトレーニングには最適ですが、推論においては、この方法でスタックできるメモリの量と提供できる帯域幅には限界があります。

d-MatrixのRaptorは、AIアクセラレータをDRAMダイ上にスタックすることで、そのボトルネックを解消します。メモリをスタックするのではなく、d-Matrixはメモリとコンピュートをスタックします。ボージャ氏によると、これによりデータが移動する必要のある距離が「ミリメートルではなくマイクロメートル」に短縮されます。高層ビルを建てるように、垂直方向に進むことで、同じ物理的なフットプリント内でより多くのことを行うことが可能になります。

Majesticは逆のアプローチを取ります。コンピュートとメモリ間のデータ移動距離を最小限に抑えるのではなく、同社はメモリインターフェイスを改善して、帯域幅を高く保ちながら長い配線トレースに対応することに焦点を当てています。長い配線により、MajesticはGPUのすぐ隣にないメモリスタックを接続できるようになり、HBMのスペース制限がなくなります。

「メモリインターフェイスは、動作できる物理的な距離が非常に短いのです。HBMの場合、最大2〜3ミリメートルです。周辺にはこの海岸線があり、HBMを配置できる唯一の場所です」とラビィ氏は述べています。

Majesticは、そのメモリインターフェイスが約1メートルまでビットを伝送できると主張しています。これは、独自の銅リンクとデータ集約チップによって達成されます。「アグリゲーターは高速インターフェイスのエンドポイントであり、多数の汎用DRAMチップに分散するための方法です」とラビィ氏は述べています。このため、Majesticは単一のサーバーラックで最大128テラバイトのDRAMメモリをサポートできます。これは、約20 TBのHBM3Eを搭載したNvidiaのGB300 NVL72ラックよりも大幅な増加です。

d-MatrixとMajesticには共通点があります。どちらもHBMの代わりに、市販のDRAMを使用しています。これは世界で最も一般的な種類のコンピュータメモリであり、スマートフォンから自動車まで、あらゆるものに搭載されています。メモリアナリストのジム・ハンディ氏は、HBMはDRAMの2〜3倍のコストがかかると述べています。d-MatrixとMajesticがDRAMを選択した理由の一部は、この価格上の利点です。しかし、SamsungやSK Hynixのようなメモリ大手を含むHBMの支持者たちも、手をこまねいているわけではありません。

HBMメモリの最新バージョンであるHBM4は現在生産中であり、2026年後半に出荷が予想されるNvidiaのVera Rubin GPUで使用される予定です。SK Hynixのメモリシステム研究責任者であるホシク・キム氏は、HBM4はHBMの最大メモリ帯域幅を倍増させ、スタックあたりのHBMメモリ量を増加させることで、「今日のAI推論を制約しているメモリボトルネックを決定的に打破する」と述べています。

より少ない（ビット）でより多くを行うことを学ぶ

Nvidiaは、世界で最も望ましいGPUを設計したことで、世界で最も価値のあるテクノロジー企業になりました。しかし、AI推論ハードウェアの改善に焦点が当てられているのは、それだけではありません。AI研究者は、メモリとコンピュートコンポーネントを最大限に活用するために、AIソフトウェアとハードウェアを連携させて最適化する方法も学んでいます。

ほとんどのコンピュータは、数値を32ビットまたは64ビット形式で格納します。これらは、単一の数値を表すために利用可能なビット数を示します。ビット数が少なすぎると、情報を失うことなく数値を格納できません。LLMの品質は、より正確な数値形式の恩恵を受けますが、これは推論パフォーマンスの問題を引き起こします。より正確な数値は無料ではありません。それらを記述するビットは、メモリ内でより多くのスペースを占有し、計算にはより多くのシリコンとエネルギーを必要とします。

AIアクセラレータ企業Tensordyneの共同創設者であるジル・バックハウス氏は、これがモデルサイズと数値精度との間の緊張関係を生み出すと述べています。「サイズxで8ビットで実行されるモデルと、サイズの2倍で4ビットで実行されるモデルのどちらが良いでしょうか？」モデルのサイズはメモリとコンピュートの観点からほぼ同じになりますが、「4ビットのアプローチは、いわば2倍のシナプスを提供します。そして人々は、それが価値があることに気づいています。」

LLMをより正確な数値形式からより少ない形式に変換するプロセスは量子化（quantization）と呼ばれ、数年前から使用されています。しかし、研究者たちは、モデルの品質の大部分を維持しながら、モデルをさらに圧縮する新しい方法を見つけています。

Nvidiaは最近、この目的のために新しい4ビット数値形式であるNVFP4を作成しました。AMD、Intel、Qualcommは、Nvidiaも開発に貢献した競合する4ビット数値形式であるMXFP4を中心に集まっています。Nvidiaのバック氏は、これを「AIの秘術」と呼んでいます。NvidiaがDeepSeek-R1をFP8からNVFP4に量子化したところ、7つの主要ベンチマークでのスコアは1パーセント未満の低下で、パフォーマンスは3倍に向上したと同社は述べています。

量子化はおそらく氷山の一角に過ぎず、AI研究者やスタートアップは多様な最適化の機会を調査しており、その中にはAI推論ハードウェアで見られるシリコンを劇的に変える可能性のあるものもあります。

［画像: 黒い基板上の中心にある緑色のプロセッサコアを持つTENSORDYNE TDN AIPチップ］ TensordyneのAI推論へのユニークなアプローチは、対数数値形式と、同社のNapierチップにあるカスタムハードウェアを組み合わせています。Tensordyne

Tensordyneは、対数の特性（A×Bの対数はAの対数＋Bの対数に等しい）を利用する対数数値システムを使用して、AI推論を高速化すると予想されています。そのため、数値を指数として格納することで、チップは本来なら乗算するところを加算できるようになります。これはシリコンにおいて重要です。なぜなら、乗算回路は加算回路よりも多くの電力を消費し、より多くのダイ面積を使用するからです。Tensordyneによると、Napierと呼ばれる同社のラック規模のハードウェアは、ユーザーあたり毎秒最大1,300トークンを生成でき、同等のNvidiaハードウェアの10分の1未満の電力でこれを実行できます。

カリフォルニア州サンノゼに拠点を置くスタートアップであるEtchedは、LLMが使用するTransformerアーキテクチャを直接シリコンに変換するAIアクセラレータを設計しています。汎用GPUを構築する代わりに、同社はTransformer計算を効率化するために必要な接続をチップに配線しており、チップは柔軟性は低いものの、現在のLLMで最も実行されるタスクにはより効率的です。同社によると、最初のAIアクセラレータであるSohuは、MetaのLlama 70Bモデルを毎秒500,000トークンという驚異的な速度で実行できますが、このアプローチは、典型的なTransformerアーキテクチャから離れたLLMを実行できないことも意味します。

これらのアイデアが実を結ぶかどうかはまだわかりません。Etchedは8月に最初のラックを出荷しました。Tensordyneは、最初のハードウェアが2027年に利用可能になると考えています。それでも、これらのスタートアップは、推論パフォーマンスの需要がいかに非従来的なアイデアを促進しているかを示しています。

推論は皆のゲーム

コンピュートをメモリ上にスタックする、インターフェイスをミリメートルからメートルに拡張する、SRAM全体にシリコンウェハーを使用する、モデルを4ビットに圧縮するなど、AI推論アクセラレーションに対するアプローチの多様性は、次のような疑問を投げかけます。どれが勝ち、どれが負けるのか？

しかし、それはおそらく正しい質問ではない、と専門家は言います。AIの需要は現在飽くなきものであり、AIバブルの懸念が業界を stalk していますが、まだ成長を妨げてはいません。

それどころかに、Moor Insights & Strategyのキンボール氏は、推論は長期的にAIハードウェアの激しい需要を牽引する可能性があると考えています。なぜなら、その需要がどこで終わるかは明らかではないからです。「組織に100万のエージェントを追加することもできます」と彼は言います。「これらのエージェントは24時間稼働します。私たちは午後5時に家に帰りますが、彼らは帰りません。」

もしAI推論がキンボール氏の予想通り望ましいままであれば、その進化はCPUの軌跡と同じになる可能性が高いです。CPUは単一の軸で改善したのではなく、同時に複数のフロントで改善しました。トランジスタのスケーリングが鈍化すると、あらゆる種類のチップおよびシステムアーキテクチャのイノベーションが広まりました。今日のユビキタスで強力なパーソナルコンピューティングにつながった個々のイノベーションのリストは、数十冊の本を埋めることができます。

数十年後、AI推論イノベーションの歴史は同様の深さを示すでしょう。