HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

CPUが復活:LLM推論におけるCPUとGPUの分割再考

The CPU is back: Rethinking the CPU-GPU split for LLM inference (redhat.com)

38 pointsby eigenBasis4 コメント

要約

近年、LLM推論ではGPUが主役でしたが、エージェント型AIの台頭や小規模・ローカルモデルへの移行により、CPUの重要性が再認識されています。CPUは複雑なロジック処理やオーケストレーションに優れており、推論ワークロードにおけるCPUとGPUの役割分担が見直されています。

全文翻訳

CPUが復活:LLM推論におけるCPUとGPUの分割再考

過去3年間、グラフィックス処理ユニット(GPU)は大規模言語モデル(LLM)の議論を席巻してきました。従来のチャットボットアプリケーションでは、中央処理装置(CPU)はリクエストあたりの総コンピューティング能力のごく一部を提供し、GPUが重い処理を担います。しかし、推論は単一のモデルが単一の質問に答えるだけではありません。ツール呼び出し、多段階推論、そして小規模で専門的なモデル間のオーケストレーションへの依存度が高まるにつれて、コンピューティングリソースをどこに配置すべきかという計算が変わってきています。Intelはこのシフトを指摘しており、AIワークロードにおけるCPU対GPUの比率が、トレーニングワークロードでは1:8から、エージェント型デプロイメントでは1:1、場合によっては4:1へと移行していると述べています。

ここでは、GPUがLLM推論の明白な選択肢であるという前提がなぜ再交渉されているのか、CPUベースのサービングに対する需要が再燃している要因は何か、そして業界がどこに向かっているのかをデータが示していることを検証します。

CPUが得意なこと

そのコア(言葉遊びではありません)において、CPUとGPUは根本的に異なる問題を解決します。

最新のGPUは、数万個のコアを備えており、数千個のデータ要素に対して同じ操作を同時に実行するように設計されています。これにより、推論におけるトランスフォーマーのフォワードパスを支配する密な行列演算を驚異的に高速化します。トレーニング中や、高並列度のバッチ推論中には、その並列処理が直接スループットに変換されます。つまり、1秒あたりのトークン数(TPS)が増加し、コンピューティングコストあたりのリクエスト処理数が大幅に増加します。

対照的に、最新のCPUは、1個から数百個のコアを持ち、シーケンシャルなロジック、条件分岐、および分岐ロジックに最適化されています。これらは、複雑な意思決定ツリーを通過する単一の操作に特に高速です。CPUはメインシステムメモリに直接アクセスでき、あらゆるモデルをラップするオーケストレーションレイヤーの自然な実行環境です。ツールディスパッチ、コード実行、Pythonランタイム、サンドボックス、入出力(I/O)、およびエージェントループの制御フローはすべてCPU上に配置されます。

これらのアーキテクチャは、性質は異なりますが競合関係にはありません。それぞれが最も効果的に連携します。本当の問題は、どちらのアーキテクチャが優れているかではなく、どちらのワークロードがどこに属するかです。

この労働分担は、作業の測定方法、つまりFLOPS対命令レイテンシに集約されます。

GPUは、1秒あたりの浮動小数点演算数(FLOPS)でその価値が決まります。AIモデルは、乗算および加算される膨大な数の10進数のウェブであるため、GPUの仕事は、これらの行列計算を同時に数兆回 brute-force で実行することです。これは純粋な数学的スループットのために完全に構築されています。

対照的に、CPUは命令レイテンシを専門としています。命令レイテンシは、単一のコアが予測不可能な多様なコマンドの連鎖をどれだけ速く実行できるかを測定します。CPUコアは、JavaScript Object Notation(JSON)の解析、ネットワークI/Oの処理、またはセキュリティ権限のチェックに必要な迅速なロジックシャッフルに優れています。

GPUにカオスなPythonランタイムを実行させると、その膨大なFLOP能力は、絶え間ないタスクスイッチングによって窒息し、アイドル状態になります。CPUにLLMの数学的計算を crunch させると、完璧に機能しますが、大規模な並列パイプラインが不足しているため、時間がかかります。GPUは数学的な筋肉であり、CPUはショーを指揮するロジックエンジンです。

従来の推論スタック:CPUが乗客だった場所

従来の推論スタックを考えると、チャットボットサービングアプリケーションを思い浮かべます。ここでは、CPUはしばしばサポート的な役割を果たします。

リクエストがAPIサーバーに到着し、CPUがそれをトークン化してスケジュールします。CPUはこれらの初期タスクすべてを処理します。その後、コンピューティング予算の大部分を占めるフォワードパスのためにリクエストをGPUに渡します。GPUはアテンションを実行し、レイヤーをフィードフォワードし、次のトークンをサンプリングして、短いCPU同期でそれを取得し、スケジューラを更新します。終了シーケンス(end-of-sequence)トークンが発行されるまで繰り返されます。最後に、CPUが出力を収集して返却し、セッションを終了します。

このモデルでは、CPUは受付係として機能し、調整と組織化の作業を行い、GPUは計算の重い処理を行います。AIデータセンターにおけるCPUとGPUの比率は、トレーニング時代にはこれを反映していました。GPU8台あたりCPUが約1〜2台という比率で、これはCPUの需要よりもGPUのスループットによって決定されていました。チームはGPUに供給するためにCPUをプロビジョニングしました。CPU推論の進歩によりグローバルな効率が向上するにつれて、このセットアップは事実上の標準からゆっくりと移行しています。

最初のドライバー:エージェントがワークロードをどのように変えているか

エージェント型AIの台頭により、CPU固有のコンピューティングの必要性を増幅させる新しい推論プロファイルが登場しました。

「エージェント型AI」と聞くと、HermesやOpenclawのような統合エージェントハーネスや、コーディングアシスタントに接続された多数のエージェントを持つ開発者のイメージが浮かびます。これらのユースケースは人気が高まっていますが、エージェント型AIは最初に見えるほどニッチではありません。実際、多くの人々はチャットボットに問い合わせるという「従来の」プロセスを使用していません。ClaudeやChatGPTのような人気のあるAIアシスタントは、より複雑な応答に「推論」ステージを組み込むことが多い巨大なモデルに支えられています。推論中、「チャットボット」は完全なエージェントシステムになります。単一のユーザー可視タスクは、数十個の個別のモデル呼び出しに分解される可能性があり、それぞれが短く、コンテキスト依存であり、条件分岐します。

エージェントシステムでは、モデルは単一のプロンプトを発行して応答を待ちません。アクションの計画を生成し、ツール呼び出しを実行し、返されたすべてのデータをコンパイルし、アクションの完了またはユーザーへの回答の返却で終わります。CPUは、その出力を解析し、どのツールを呼び出すかを判断し、API呼び出しを行ったりコードを実行したり、結果を収集してフィードバックしたりする責任を負います。その後、ループが繰り返されます。ユーザーリクエストあたり数十回繰り返されることもあり、並列サブエージェントがさらに多くのCPU調整作業を追加します。モデルは、より大きな推論ループの単一コンポーネントに急速になります。組織化作業と純粋な計算の比率が変化し、CPUがプロセス全体でより大きなプレーヤー、そして潜在的なボトルネックになります。

ジョージア工科大学とIntelの研究者の共同研究では、エージェント型ワークロードにおいて、CPU側のツール処理がエンドツーエンドの総遅延の50〜90%を占めることがわかりました。IntelのCEOであるLip-Bu Tan氏は、Computex 2026でこのシフトを正確に表現しました。「強化学習、オーケストレーション、およびエージェントにとって、CPUははるかに適しています。」

Intelの2026年第1四半期の決算発表からの数字は、これがすでにどれだけ進んでいるかを定量化しています。

  • トレーニングワークロード: 約1 CPU対8 GPU
  • 推論ワークロード: すでに約1 CPU対4 GPUに移行
  • エージェント型ワークロード: 1:1に収束しつつあり、一部の顧客はGPUあたり4 CPUを展開していると報告しています

Intelの2026年第1四半期のデータセンターおよびAIセグメントの収益は51億ドルで、前年同期比22%増となり、需要は供給を上回っています。Intelは、サーバーXeon部品にファブ容量を再配分するために、コンシューマーチップの生産を優先順位を下げました。

Armの独自の分析は、このシフトをより鮮明に予測しています。従来のAIデータセンターは、1ギガワット(GW)の容量あたり約3000万個のCPUコアを必要とします。ArmのCEOであるRene Haas氏は、AIエージェント時代には、その数値が1GWあたり1億2000万個のCPUコアに増加すると推定しています。エージェント型ワークロードのオーケストレーション需要が、この提案された4倍の増加を推進しています。

第二のドライバー:より小さく、ローカライズされたモデル

エージェント型AIが醸成しているシフトとは別に、推論をCPUへと押し上げる第二の構造的変化があります。この変化は、データが生成される場所の近くに展開される、より小さく、ドメイン固有のモデルへの移行です。

この潮目の変化は、プロバイダーに対する4つの主要な圧力に起因すると考えられます。

  1. レイテンシ: クラウドデータセンターのGPUクラスターへの往復には時間がかかります。音声インターフェース、自律システム、産業用監視などのリアルタイムアプリケーションでは、そのレイテンシ予算はミリ秒単位で測定されます。ローカルコンピューティングは、ネットワークの往復を排除します。
  2. プライバシー: データをデバイス外またはオンプレミスからクラウドプロバイダーに送信することは、データが組織の管理を離れることを意味します。ヘルスケア、金融、法律、およびその他の多くのエンタープライズワークフローでは、これを許容できなくなっています。これは、データが分解されて最高入札者にオークションにかけられたり、トレーニングに使用されたりすることを保証するものではありませんが、既存のオンプレミスサーバーインフラストラクチャで実行されるローカルまたはCPU常駐モデルは、データが施設を離れることなくデータを処理するため、そのリスクを完全に軽減します。
  3. コスト: 単一のGPUは45,000ドル以上かかる場合があります。GPUのスループットを必要としないワークロードでは、そのコストは正当化できません。すでにプロビジョニングされているサーバーインフラストラクチャでのCPU推論は、ハードウェアの限界費用がほぼゼロです。
  4. オフライン可用性: エッジデプロイメントは、信頼性の低いインターネット接続なしで運用されることがよくあります。これらのシナリオでは、クラウドGPU推論は選択肢ではありません。ローカルCPU推論は可能です。

小規模言語モデル(SLM)は、これが実行可能になるまで成熟しました。Hugging Face SmolLM2は、1億3500万から17億パラメータの範囲で、リソースが制約されたデバイスで最大の効率を発揮するように設計されています。1億3500万パラメータのバリアントは、最新のスマートフォンのCPUキャッシュ全体に収まります。SLMに検索拡張生成(RAG)を組み込むと、SLMと大規模モデルのパフォーマンスギャップは劇的に縮小し、ファインチューニング後のドメイン固有タスクでは完全に逆転します。

慎重にキュレーションされたデータでトレーニングされたモデルは、汎用LLMのトレーニングよりも100倍少ないコンピューティングでドメイン固有のパフォーマンスを達成できます。ただし、これは注意点です。より大きなGPUでモデルをファインチューニングおよびトレーニングする場合、モデルに多くのものを投入するためのヘッドルームが大幅に増えます。これらの小規模なデプロイメントでは、パフォーマンスが高く競争力のあるモデルを生成するために、ユーザーは自分の行動をより意識する必要があります。

現在の業界の状況

これらは理論上のワークロードではありません。CPU時代は急速に近づいており、すでに到来しているかもしれません。

OpenAIとAWSは、2025年11月に380億ドル、7年間のインフラストラクチャパートナーシップを締結しました。プレスリリースでは、数百万個のNVIDIA GPUへのアクセスと、エージェント型ワークロードを急速にスケーリングするための数千万個のCPUへの拡張能力について言及しています。

3月、ArmはAGI CPUを発表しました。これは、同社にとって35年ぶりの最初の量産シリコンとなります。NVIDIAは、2026年3月にGTCサンノゼで、エージェント型AI専用に設計された「世界初のプロセッサ」と呼ぶVera CPUを発表しました。Jensen Huang氏は、これをNVIDIAの「次の数十億ドル規模のビジネス」と表現しました。Vera CPUは以下を提供します。

  • エージェント型インナーループ作業(コードコンパイル、Pythonツールチェーン、ソフトウェアコード分析)において、主要なx86 CPUと比較して1.8倍高速なサンドボックスパフォーマンス
  • LPDDR5XメモリとSOCAMMを介したDDR5と比較して、2倍のメモリ帯域幅とコアあたり3倍の帯域幅

最初の納入は、Anthropic、OpenAI、SpaceXAI、およびOracle Cloud Infrastructureに行われ、これらは2026年から数百万個のVera CPUを展開する計画を発表しました。

NVIDIAの主力エージェント型推論プラットフォームであるVera Rubin NVL72ラックは、ラックあたり72個のRubin GPUと36個のVera CPUを組み合わせており、従来の1:8のCPU対GPU比率から1:2へのピボットを示しています。このアーキテクチャは、トークン生成にはGPUを、それを取り巻くすべてのものにはCPUを使用するように明示的に最適化されています。

モルガン・スタンレーの推定では、エージェント型CPUシフトは、2030年までに325億〜600億ドルの追加CPU市場成長を表しています。

[画像: 図1:CPU中心のAIインフラストラクチャへの業界シフト、NVIDIA Vera CPUの1.8倍のパフォーマンス優位性、NVL72ラックのCPU対GPU比率1:8から1:2への変更、およびArm、OpenAI/AWSからの主要な開発、およびモルガン・スタンレーによるCPU市場成長の325億〜600億ドルの予測を強調しています。]

図1:CPU中心のAIインフラストラクチャへの業界シフト、NVIDIA Vera CPUの1.8倍のパフォーマンス優位性、NVL72ラックのCPU対GPU比率1:8から1:2への変更、およびArm、OpenAI/AWSからの主要な開発、およびモルガン・スタンレーによるCPU市場成長の325億〜600億ドルの予測を強調しています。

CPUでのLLMの測定とデプロイ

GPUが支配的な推論ワークロードでは、GPUの優位性は大きく、よく文書化されています。Llama 3.1 8Bを提供する単一のH200は、チャットワークロードで約7,464 generation tokens/secを達成します。同じAzureベンチマークで最もパフォーマンスの高いCPU仮想マシン(VM)は、大幅に劣ります。

しかし、高並列度下でのピークスループットは、CPU推論にとって最も重要なベンチマークではありません。CPUに適したデプロイメントに対応するワークロードプロファイルを測定することがより関連性がありますが、これは適切にテストするのがより複雑になる可能性があります。

GPUのベンチマークには確立された基準がありますが、CPU推論のベンチマークは現在、ベンダー固有の、またはそれほど再現性のない数値の混乱状態です。主な違いは、CPUはコア、メモリ帯域幅、およびキャッシュをマシン上の他のすべてのものと共有しているため、分離にはGPUセットアップでは必要とされない慎重なソケットレベルまたはノードレベルの分離が必要であるということです。Red Hatの対応は、オープンソースの3段階フレームワーク(vllm-cpu-perf-eval)であり、Red Hat Ansible Automation PlatformとGuideLLMを使用して、再現可能で標準化された方法でベースライン容量、現実的なトラフィック変動、および本番環境の最適化をテストします。

これらすべては、特にLLMデプロイメントのメンタルモデルがまだGPUクラスターを中心に構築されている場合、非常に daunting に聞こえるかもしれません。実際には、エコシステムは大幅に成熟しました。Red Hatは、Hugging Faceで検証済みのモデルの幅広いコレクションを持っています。さらに、IntelのAI Software Catalogは、vLLMサポートを備えたXeon Gen 4–6プロセッサ用に検証および最適化された、本番環境対応モデルの幅広い範囲をリストしています。

デプロイメントがどのようなものかを手にとって見るために、最近のvLLMオフィスアワーセッションでは、Intel CPUでのエンドツーエンド推論デプロイメントをウォークスルーしています。

CPU推論を機能させるアーキテクチャ

ソフトウェアスタックのいくつかの開発により、2年前には不可能だったレベルでCPU推論が可能になりました。

vLLMのCPUバックエンドは、継続的なバッチ処理、PagedAttention、プレフィックスキャッシュ、チャンク化されたプリフィル、およびテンソル並列処理をサポートしています。これらは、高スループットのGPUサービングを推進するのと同じスケジューリングおよびメモリ管理プリミティブですが、現在は以下でも利用可能です。

  • x86 AVX-512
  • Arm AArch64
  • Apple Silicon(現在実験的)
  • IBM Z

OpenAI互換APIはバックエンド間で同一であるため、CPUインフラストラクチャで開始されたデプロイメントは、アプリケーションレイヤーの変更なしにGPUに移行できます。

Armでは、oneDNNとArm Compute Libraryのビルドパスが、llmcompressorを介したINT4量子化と組み合わされ、AWS Graviton4でテストされた本番環境パスとなっています。

Intelでは、PyTorch用のIntel Extension(IPEX)をインストールすると、Advanced Matrix Extensions(AMX)ベースのBF16演算が自動的に有効になります。主要な環境変数は、オペレーターにCPUサービングで最も重要なメモリとスレッドのトレードオフを直接制御させます。

  • VLLM_CPU_KVCACHE_SPACE(GB単位のKVキャッシュ割り当て)
  • VLLM_CPU_OMP_THREADS_BIND(OpenMPスレッドのピン留め)
  • 実験的なVLLM_CPU_SGL_KERNEL(AMX + BF16小バッチカーネル)

結論

GPUがなくなることはありません。大規模モデルの高並列度本番環境サービングにおいては、GPUが正しい答えであり、今後もそうであり続けるでしょう。

変化したのは、その声明の境界線です。エージェント型AIは、オーケストレーション、ツール実行、コードサンドボックス、およびマルチエージェント調整といったワークロードクラスを導入しました。これらはCPUがその仕事に適したツールです。Intelのデータセンター予測における1:8から1:1への比率シフトは、一時的な異常ではありません。この画期的な変化は、推論が単発ではなく反復的になった結果です。

同時に、エッジデプロイメントの経済性と制約(レイテンシ、プライバシー、コスト、オフライン可用性)は、GPUインフラストラクチャがこれまで適していなかった小規模でローカライズされたモデル向けのCPUベース推論の並列波を推進しています。

NVIDIAがVeraを構築し、Armがゲームに復帰し、IntelのXeon需要が供給を上回り、OpenAIが数千万個のCPUを契約しています。CPUが復活しました。

次は何?

  • OpenShift AI上のvLLMでCPUにモデルをデプロイ: Red HatはvLLMの主要な貢献者であり、Red Hat OpenShift AIは、バックエンドに関わらず同じOpenAI互換APIを備え、CPUとGPUインフラストラクチャの両方でモデルをサービングするためのサポートされた本番グレードのプラットフォームを提供します。
  • CPU推論パフォーマンスをベンチマークする: オープンソースのvllm-cpu-perf-evalフレームワークとGuideLLMを使用して、ハードウェアとワークロードの再現可能なベースラインを確立してください。