CPUが復活：LLM推論におけるCPUとGPUの分割再考

CPUが復活：LLM推論におけるCPUとGPUの分割再考 2026年8月6日 9分間の読書 AI推論 Sawyer Bowerman AI Developer Advocate Grace Ableidinger Developer Advocate 共有 RSSに登録 すべての投稿に戻る 過去3年間、グラフィックス処理ユニット（GPU）は大規模言語モデル（LLM）の議論を席巻してきました。従来のチャットボットアプリケーションでは、中央処理装置（CPU）はリクエストあたりの総コンピューティング能力のごく一部を提供し、GPUが重い処理を担っていました。しかし、推論は単一のモデルが単一の質問に答えるだけではありません。ツール呼び出し、多段階の推論、そして小規模で専門的なモデル間のオーケストレーションへの依存度の高まりは、コンピューティング能力をどこに配置すべきかという計算を変えています。Intelはこの変化を指摘しており、CPUとGPUの比率は、トレーニングワークロードでは1:8から、エージェント展開では1:1、場合によっては4:1へと移行していると述べています。 ここでは、GPUがLLM推論の明白な選択肢であるという仮定が再交渉されている理由、CPUベースのサービングへの需要が再燃している要因、そして業界の動向を示すデータについて検証します。 CPUが得意なこと その核心（言葉遊びではありません）において、CPUとGPUは根本的に異なる問題を解決します。 最新のGPUは、数万個のコアを備え、数千個のデータ要素に対して同じ操作を同時に実行するように設計されています。これにより、推論のためのトランスフォーマーのフォワードパスを支配する密な行列乗算において、驚異的な速度を発揮します。トレーニング中や、高並列バッチ推論中、その並列性はスループットに直接変換されます。つまり、1ドルあたりのコンピューティングコストで、より多くのトークン/秒（TPS）と、より多くのリクエストを処理できます。 対照的に、最新のCPUは、1個から数百個のコアを持ち、逐次処理、条件分岐、分岐ロジックに最適化されています。特に、複雑な意思決定ツリーを通過する単一の操作に対して高速です。メインシステムメモリに直接アクセスでき、あらゆるモデルをラップするオーケストレーションレイヤーの自然な実行環境となります。ツールのディスパッチ、コード実行、Pythonランタイム、サンドボックス、入出力（I/O）、そしてエージェントループの制御フローはすべてCPU上に配置されます。 これらのアーキテクチャは、性質は異なりますが、競合するものではありません。それらは最も効果的に連携します。本当の疑問は、どちらのアーキテクチャが優れているかではなく、どちらのワークロードがどこに属するかということです。 この労働の分担は、作業の測定方法、つまりFLOPS対命令レイテンシに帰着します。 GPUは、1秒あたりの浮動小数点演算数（FLOPS）で生きて死にます。AIモデルは、乗算および加算される10進数の巨大なウェブであるため、GPUの仕事は、これらの行列計算を同時に何兆回もブルートフォースで実行することです。それは純粋な数学的スループットのために完全に構築されています。 対照的に、CPUは命令レイテンシを専門としています。命令レイテンシは、単一のコアが予測不可能な多様なコマンドの連鎖をどれだけ速く実行できるかを測定します。CPUコアは、JavaScript Object Notation（JSON）の解析、ネットワークI/Oの処理、またはセキュリティ権限のチェックに必要な迅速なロジックシャッフルに優れています。 GPUにカオスなPythonランタイムを実行させると、その膨大なFLOP容量は、絶え間ないタスクスイッチングによって窒息し、アイドル状態になります。CPUにLLMの数学的計算を crunch させると、完璧に機能しますが、大規模な並列パイプラインが欠けているため、時間がかかります。GPUは数学的な筋肉であり、CPUはそのショーを指示するロジックエンジンです。 従来の推論スタック：CPUが乗客だった場所 従来の推論スタックを考えると、チャットボットサービングアプリケーションを思い浮かべます。ここでは、CPUはしばしばサポート的な役割を果たします。 リクエストがAPIサーバーに到着し、CPUがそれをトークン化してスケジュールします。CPUはこれらの初期タスクすべてを処理します。その後、コンピューティング予算を支配するフォワードパスのためにリクエストをGPUに渡します。GPUはアテンションを実行し、フィードフォワードレイヤーを実行し、次のトークンをサンプリングし、それを取得してスケジューラを更新するために短いCPU同期を行います。そして、シーケンス終了トークンが発行されるまで繰り返します。最後に、CPUが出力を収集し、セッションを終了するために返します。 このモデルでは、CPUは受付係として機能し、調整と組織化の作業を行い、GPUは計算上の重い処理を行います。トレーニング時代にAIデータセンターにおけるCPUとGPUの比率はこれを反映していました。GPUのスループットがCPUの需要よりも優先されたため、約8個のGPUあたり1〜2個のCPUでした。チームはGPUに供給するためにCPUをプロビジョニングしました。CPU推論の進歩がグローバルな効率を高めるにつれて、このセットアップは事実上の標準からゆっくりとシフトしています。 最初のドライバー：エージェントがワークロードをどのように変えているか エージェント型AIの台頭により、CPU固有のコンピューティングの必要性を増幅させる新しい推論プロファイルが登場しました。「エージェント型AI」という言葉は、HermesやOpenclawのような統合エージェントハーネス、そしてコーディングアシスタントに接続された多数のエージェントを持つ開発者のイメージを呼び起こします。これらのユースケースは人気が高まっていますが、エージェント型AIは最初に見えるほどニッチではありません。実際、多くの人々はチャットボットに問い合わせるという「従来の」プロセスを使用していません。ClaudeやChatGPTのような人気のAIアシスタントは、しばしばより複雑な応答に「推論」ステージを組み込んだ巨大なモデルに支えられています。推論中、「チャットボット」は完全なエージェントシステムになります。単一のユーザー可視タスクは、多数の個別のモデル呼び出しに分解される可能性があり、それぞれが短く、コンテキスト依存であり、条件分岐します。 エージェントシステムでは、モデルは単一のプロンプトを発行して応答を待ちません。アクションの計画を生成し、ツール呼び出しを実行し、返されたすべてのデータをコンパイルし、アクションを完了するか、ユーザーに応答を返すことで完了します。CPUは、その出力を解析し、どのツールを呼び出すかを決定し、API呼び出しを行い、コードを実行し、結果を収集し、それをフィードバックする責任を負います。その後、ループが繰り返されます。ユーザーリクエストごとに数十回繰り返されることもあり、並列サブエージェントがCPUの調整作業をさらに追加します。モデルは、より大きな推論ループの単一のコンポーネントに急速になります。組織化作業と純粋な計算の比率が変化し、CPUがプロセス全体において、より大きなプレイヤーであり、潜在的なボトルネックになります。 ジョージア工科大学とIntelの研究者間の協力により、エージェント型ワークロードでは、CPU側のツール処理がエンドツーエンドの総レイテンシの50〜90％を占めることがわかりました。IntelのCEO、Lip-Bu Tan氏は、Computex 2026でこのシフトを正確に表現しました。「強化学習、オーケストレーション、エージェントにとって、CPUははるかに適しています。」 Intelの2026年第1四半期の決算説明会からの数字は、これがすでにどれだけ進んだかを定量化しています。 トレーニングワークロード：約1個のCPUあたり8個のGPU 推論ワークロード：すでに約1個のCPUあたり4個のGPUにシフト エージェント型ワークロード：1:1に収束し、一部の顧客はGPUあたり4個のCPUを展開していると報告 Intelの2026年第1四半期のデータセンターおよびAIセグメントの収益は51億ドルに達し、前年同期比22％増となり、需要は供給を上回っています。Intelは、サーバーXeonパーツに製造能力を転換するために、コンシューマーチップの生産を優先順位を下げました。 Arm自身の分析は、このシフトをより鮮明に予測しています。従来のAIデータセンターでは、1ギガワット（GW）の容量あたり約3000万個のCPUコアが必要です。ArmのCEO、Rene Haas氏は、AIエージェント時代には、その数値が1ギガワットあたり1億2000万個のCPUコアに増加すると推定しています。エージェント型ワークロードのオーケストレーション需要が、この提案された4倍の増加を推進しています。 2番目のドライバー：より小さく、ローカライズされたモデル エージェント型AIが育成しているシフトとは別に、2番目の構造的変化が推論をCPUへと押し進めています。この変化は、データが生成される場所の近くに展開される、より小さく、ドメイン固有のモデルへの移行です。 この潮流の変化は、プロバイダーに対する4つの主な圧力に起因すると考えられます。 レイテンシ：クラウドデータセンターのGPUクラスターへの往復には時間がかかります。音声インターフェース、自律システム、産業用監視のようなリアルタイムアプリケーションでは、そのレイテンシ予算はミリ秒単位で測定されます。ローカルコンピューティングは、ネットワークの往復を排除します。 プライバシー：データをデバイス外またはオンプレミス外に送信する...