HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Cerebras、ディスアグリゲート・インファレンスを発表

Cerebras Disaggregated Inference (cerebras.ai)

92 pointsby emschwartz24 コメント

要約

Cerebrasは、GPUと自社のWafer Scale Engineを組み合わせた「ディスアグリゲート・インファレンス」ソリューションを発表しました。このソリューションは、プロンプト処理(プリフィル)をGPUに、応答生成(デコード)をCerebrasシステムに分担させることで、電力効率を5倍向上させつつ、従来の超高速な生成速度を維持します。これにより、AIエージェントアプリケーションの需要増に対応し、インフラパートナーも自社データセンターでこの技術を活用できるようになります。

全文翻訳

Cerebras、ディスアグリゲート・インファレンスを発表

GPUとCerebras Wafer Scale Engineを組み合わせ、超高速トークンを大規模に提供

世界は超高速トークンに飢えています。2026年、Cerebrasはインファレンスクラウドおよびパートナー経由での高速推論に対する飽くなき需要を目の当たりにしました。この需要に応えるため、私たちはディスアグリゲート・インファレンス(推論処理の分散化)の開発に着手しました。このソリューションでは、GPUがプロンプト処理(プリフィル)を担当し、Cerebrasシステムが応答生成(デコード)を担当します。

このソリューションは現在稼働しており、従来の超高速Cerebras速度を維持しながら、メガワットあたりのトークン生成数を5倍に向上させています。

これにより、Cerebrasインファレンスクラウドを通じて、市場の需要に応えるためにより多くの超高速トークンを提供できるようになりました。インフラストラクチャパートナーも、Cerebrasのディスアグリゲート・ソリューションを活用して、自社データセンターでより多くの超高速トークンを実現できます。

最近発表されたCS-4、大幅にスケールアップされた製造能力、そして計画中の700MWのデータセンター容量に加え、ディスアグリゲート・インファレンスは、Cerebrasとパートナーが2027年以降、さらに多くの超高速トークンを提供することを可能にします。

このブログでは以下の点について説明します。

  • より高速な推論容量の必要性
  • Cerebrasがデコードに優位性を持つ理由
  • Cerebrasディスアグリゲート・インファレンスの本番稼働結果
  • インフラストラクチャパートナー向けのCerebrasディスアグリゲート・インファレンス
より高速な推論容量の必要性

Muse、Copilot、Codexのようなエージェント型アプリケーションは急速にスケールしており、ユーザーを惹きつけるためには高度に対話的な推論が必要です。電力制約のある環境でこれらのアプリケーションの増大する需要に応えるため、当業界は、これらのアプリケーションを有用にする応答速度で、メガワットあたりの推論容量を大幅に向上させる必要があります。

出典: Goldman Sachs Research, “AI Agents Forecast to Boost Tech Cash Flow as Usage Soars,” May 20, 2026; Goldman Sachs data center capacity estimates, as reported by Investing.com, November 6, 2026.

だからこそCerebrasはディスアグリゲーションに投資しました。プロンプト処理用のプリフィルアクセラレータと応答生成用のCerebrasシステムを組み合わせることで、Cerebrasの超高速生成速度を維持しながら、メガワットあたりのトークンスループットを向上させます。推論プロバイダーにとっては、顧客にサービスを提供する容量が増え、同じ電力予算からより大きな収益を得られることを意味します。

Cerebrasがデコードに優位性を持つ理由

推論リクエストには主に2つの段階があります。プロンプト処理(プリフィル)は入力を処理し、中間モデル状態を生成します。応答生成(デコード)は、その状態を使用して出力トークンを生成します。推論ワークロードの分割方法には、ドラフトターゲットやアテンションFFNなど、さまざまな方法がありますが、高度に対話的な推論が目的の場合、プリフィルとデコードを分離することは特に有利です。

デコードは自己回帰的です。つまり、モデルは1トークンずつ生成し、生成された各トークンを入力として次のトークンを生成します。各ステップでモデルデータをメモリから再度読み取る必要があるため、メモリ帯域幅が非常に重要になります。超高速推論の分野では、SRAM中心のチップが有利です。なぜなら、それらのチップはデータをオンチップに保持し、はるかに高速に読み取ることができるからです。Cerebrasはこれをウェーハースケールで実現しており、単一チップに数十ギガバイトのSRAMと毎秒数十ペタバイトのメモリ帯域幅を備えています。これは、一般的なGB300 GPUのSRAM容量の350倍、メモリ帯域幅の5,400倍に相当します。これにより、Cerebrasシステムはより多くの同時リクエストとモデルレイヤーをチップ上に直接収めることができ、CS-3、CS-4、CS-5は魅力的なスループットで超高速速度を実現できます。

Cerebrasディスアグリゲート・インファレンスの本番稼働結果

超高速デコードに最適化されたCerebrasシステムと、AMD Instinct GPUのようなプリフィルの計算ニーズに適したアクセラレータを組み合わせることで、大規模な超高速推論を大量に提供できます。Cerebrasインファレンスクラウドでの本番環境での展開では、AMD Instinct GPUがプロンプトを処理し、Cerebras CS-3システムが応答を生成します。プロンプト処理をGPUに移行することで、Cerebrasシステムはサービング容量を応答生成に集中させることができます。測定された本番環境での展開では、この組み合わせにより、CS-3のみの構成と比較して、メガワットあたりのスループットが5倍向上し、トークン生成速度の低下はありませんでした。

出典: 11月14日に共有されたGPT-OSS-120Bエンドポイント(Cerebrasインファレンスクラウド経由)の、ディスアグリゲート・インファレンス有効化前後のスループット(メガワットあたり)、集約推論ベースライン(1倍)に正規化。

私たちは、2027年末までにCerebrasインファレンスクラウドおよびパートナー展開全体で、数百メガワットにわたってディスアグリゲート・インファレンスを広く展開する予定です。私たちの目標は、顧客が利用できる超高速推論容量を増やすことです。

インフラストラクチャパートナー向けのCerebrasディスアグリゲート・インファレンス

Cerebrasディスアグリゲート・インファレンス・ソリューションは、パートナーが採用できるように構築されています。インフラストラクチャパートナーは、Cerebras提供の参照アーキテクチャに基づいたディスアグリゲート・インファレンスクラスタを展開し、選択したプリフィルアクセラレータとCerebrasシステムを統合ネットワーク内に共置できます。ソフトウェア統合については、パートナーはCerebrasのエンドツーエンド・ディスアグリゲート・ソフトウェアスタックまたはデコード専用SDKと統合できます。

エンドツーエンド・ディスアグリゲート・ソフトウェアスタックは、市場投入までの時間を最適化したいパートナーに最適です。これは以下から構成されます。

  • プリフィルとデコードプール間のリクエストルーティング、レプリカ容量と健全性の管理を行うディスアグリゲート・インファレンスフレームワーク。
  • vLLMやSGLangなどのオープンソース推論エンジンを使用したプロンプト処理のためのプリフィルエンジン。
  • Cerebrasシステムでの応答生成のためのCerebrasデコードエンジン。
  • プリフィルエンジンとデコードエンジンの間でRDMA経由でキーバリューキャッシュを含む中間モデル状態を転送するためのインターフェースであるKV Portalソフトウェア。

デコード専用SDKは、制御を最適化したいパートナーに最適です。デコード専用SDKを使用すると、パートナーは独自の推論フレームワークとプリフィルエンジンをCerebrasデコードエンジンおよびKV Portalソフトウェアに持ち込むことができます。さらに、デコード専用SDKは、モックCerebrasデコードレプリカや、オープンソースのディスアグリゲート・インファレンスフレームワークおよびプリフィルエンジンへの参照統合などの開発支援を提供します。

Amazon Web Services、Fireworks AI、Gimlet Labs、General Computeなどの早期アクセスパートナーは、すでに展開のためにCerebrasディスアグリゲーションソリューションを利用しています。私たちは現在、大規模に顧客に超高速推論を提供したいと考えている追加のパートナーにアクセスを拡大しています。

結果、ソリューション、または展開の機会についてさらに詳しく話し合うには、こちらからお問い合わせください。