D-Matrix Raptor 3D-DRAMアクセラレータ、Hot Chips 2026でジェネレーティブ推論向けに発表

ServerAccelerators FacebookXPinterest LinkedinReddItEmailPrintCopy URL d-Matrix Raptor 3D-DRAM 次に、d-MatrixはHot Chips 2026でジェネレーティブ推論向けのRaptor 3D-DRAMアクセラレータを発表します。同社は波紋を呼んでおり、Hot Chips 2025でのd-Matrix Corsair In-Memory Computing for AI Inferenceを含む以前にも取り上げてきました。また、The New d-Matrix JetStream 400G Ethernet Card for Data Center Scale AI Inferenceでもネットワーク関連の取り組みを行っていることがわかりました。今年は何をしているのか見てみましょう。 これはライブで行われているため、タイプミスはご容赦ください。 d-Matrix Raptor 3D-DRAM Accelerator for Generative Inference at Hot Chips 2026 モデルのウェイトは増え続け、KVキャッシュはコンテキスト長にバッチサイズを掛けたものとしてスケールします。したがって、100万コンテキストで64ユーザーということは、約935GBのKVキャッシュを意味する可能性があります。ウェイトとキャッシュを合わせると、容量の問題と帯域幅の問題の両方が発生し、両側面が成長し続けています。 d-Matrix 増大するデータ問題 SRAMは帯域幅の目標を満たしますが、その規模は非常に小さいです。Corsair SRAMアクセラレータカードのペアは、約1nsのレイテンシで約300TB/sに達しますが、保持できるのは約4GBのみです。6T SRAMセルはDRAMセルよりも約10倍大きく、リークはGBスケールで数十ワットに達します。これにより、SRAMは投機的デコーディングのドラフトモデルには適していますが、最先端モデルのウェイトを保持するには適していません。これは、NVIDIAがGroqを例として使用していることのようです。 d-Matrix SRAM: 帯域幅の利点 HBMは容量の問題を解決しますが、帯域幅で苦労します。ピン速度とベースダイあたりのI/O幅はゆっくりと改善され、スタック数は利用可能なパッケージのフロントビーチ、つまりパッケージあたり約8〜16スタックによって制限されます。d-Matrixは、NVIDIA Vera RubinやAMD Instinct MI455のようなHBM4パッケージでは、実用的な帯域幅の天井が約20TB/sであると引用しています。 d-Matrix HBM: 帯域幅の問題 そのような高い帯域幅には電力コストが伴います。2.4pJ/bitで、HBMを介して100TB/sをプッシュすると、ファブリックトラフィックをカウントする前に約1.92kWを消費します。今日のパッケージには、SRAMクラスの帯域幅をHBMで達成するためのフロントビーチと電力予算の両方が不足しています。 d-Matrix HBM: 電力問題 d-Matrixの答えは、DRAMダイの上に直接コンピュートをスタックすることです。スタッキングは熱的な課題を生み出します。なぜなら、数百ワットが温度に敏感なDRAMスタック内のTSVを通過して逃げる必要があり、さらにIRドロップからの電力供給の課題があるからです。d-Matrixによると、0.5W/mm2を超えない1-Hiロジックオン トップスタックは、液体冷却が可能で、DRAMを100℃未満に保つことができます。 d-Matrix 3D-DRAM: 時が来たアイデア 3D DRAMは、エネルギーラダー上の2つの極端な間に位置します。オンダイSRAMのコストは約50fJですが、2.5D HBM4システムは、チップレベルのエネルギーを含めると、2.5〜5pJの範囲で動作します。垂直3D IOは、ミリメートルスケールのパスでありセンチメートルスケールのインターポーザー経路ではないため、HBMよりも約10倍低い約0.3〜0.4pJになります。HBMよりもスタック層が少ないということは、より大きなダイとより良い歩留まりを意味します。 d-Matrix なぜ3D-DRAMか？ d-Matrixは現在、技術のそのビューをLLM推論ワークロードの動作にマッピングしています。プリフィルは多くのプロンプトトークンを並列に処理し、コンピュートスループットバウンドですが、デコードは一度に1つのトークンを生成し、通常はメモリ帯域幅バウンドです。アテンションは、高いGQAと投機的デコーディングでコンピュートバウンドに切り替わる可能性があり、MoEは適度なバッチサイズでもメモリバウンドのままです。デコードは巨大な帯域幅を求めるフェーズです。NVIDIA GB10またはAMD Strix Haloの報道を見た場合、メモリ帯域幅はこれらのタイプのシステムにおける大きな課題です。 d-Matrix LLM推論 デコードがウォールクロックランタイムを支配するため、メモリバウンドの部分が最も重要になります。d-Matrixは、推論時間のほとんどがデコードフェーズで費やされることを強調しており、デコード帯域幅を改善することで全体的な推論パフォーマンスが向上します。 d-Matrix ウォールクロック推論時間の大部分はデコードで費やされる カードあたり32GB、4ビットウェイト、8ビットKVキャッシュで、d-Matrixは1ラックに収まるようにサイズ設定しています。72カードのスケールアップは、100万コンテキストでKimi K3のような最先端モデルをホストできます。ディサグリゲーションとマルチラックは、単一のRaptorラックを超えて拡張されます。 d-Matrix 1Hi 32GB 3D-DRAM: 最先端LLMが1つのRaptorラックに収まる このメモリを中心にシステムを構築することは、メモリサブシステム、データ移動ファブリック、ワークロードマッピング全体にわたる共同設計の演習です。 d-Matrix 3D-DRAMベースの推論システムの構築 現在、d-Matrixはフルメッシュパッケージを使用したトポロジーを示し、通信プロトコルについて議論しています。 d-Matrix 低レイテンシファブリック カード内およびカード間 d-Matrixの具体的な実装はRaptorと呼ばれます。TSMC N4ロジックダイは、36umのフェイスツーフェイススタッキングを使用して3D DRAMダイの上に配置されており、これはd-Matrixが実績があり、低コストで、高ボリュームで、高歩留まりであると説明するプロセスです。 d-Matrix Raptor 3D-DRAM ダイを動作システムに変換すると、広範な統合課題が露呈します。d-Matrixはここで4つを強調しています。 d-Matrix 3D-DRAM統合の状況 これら4つの問題は独立していません。d-Matrixは、バンクマッピング、I/O電力、熱信頼性という3つの絡み合った課題を説明し、いずれか1つの解決策が他の2つの設計空間を制約すると述べています。 d-Matrix 課題は絡み合っている 各テンソルエンジンはアクセスごとに128Bのフリットを必要とし、32Bのバンクから32Bが列アクセスごとに配信されるため、チャネルあたり4バンクが必要です。d-Matrixのダイには840バンク（72個のスペアを除く768個）があり、256チャネルに分散されているため、チャネルあたりわずか3バンクです。このフリットは、利用可能なものに均等に分割されません。 d-Matrix 課題1: バンクからチャネルへのマッピング問題 チャネルあたり3バンクの場合、単一のアクセスで96Bが返されます。そのため、128Bのフリットを配信するには2回のアクセスが必要になり、192Bがフェッチされ、帯域幅の約33%が無駄になり、33TB/s近くになります。列のスタガリングはフリットをパックできますが、192Bのシフトバッファが必要で、タイミングと検証が複雑になります。 d-Matrix 課題1: オーバーフェッチのジレンマ ストリームブロッキングは、その無駄を回収します。d-Matrixは、1つの部分的な32Bアクセスを3つのフリットに共有するため、4回のアクセス（96B）で3つのフリット（128B）を供給し、384Bを入力して384Bを出力します。オーバーフェッチはゼロに低下し、すべての列アクセスが使用され、シフトネットワークは不要になります。 d-Matrix ソリューション: ストリームブロッキング 100TB/sを0.37pJ/bitで移動すると、I/Oだけで296Wになり、従来のDBIは20%節約できます。HBMはDBIを使用できます。なぜなら、マルチサイクルバーストによりPHYはフルバーストを認識できるからです。しかし、d-Matrixのシングルサイクル256ビット3D-DRAMリンクにはバーストがなく、反転の選択を通知するサイドバンドピンもありません。 d-Matrix 課題2: I/O電力の壁 ストリームフリッピングは、ピンなしでその20%を提供します。各フリットは前のフリットと比較され、必要に応じて反転されるため、フリットあたり1ビットのメタデータとともにトグルがほぼゼロになります。d-Matrixは、PHYの変更なしでオーバーヘッドを0.8%と見積もっています。 d-Matrix ソリューション: ストリームフリッピング ピンレス DBI 熱が3番目の課題であり、接合部温度は105℃です。歩留まりは重要です。なぜなら、840バンクということは、1%の障害率でもチャネル全体が危険にさらされ、ボンディングされたダイを破棄するのは経済的ではないからです。障害のあるバンクを無効にすると、そのチャネルが狭まり、単一の弱いチャネルがスライス全体をスロットルする可能性があり、より高い温度はより多くのソフトエラーを引き起こします。リテンションは85℃で32msから105℃で4msに低下し、8倍のリフレッシュが必要になりますが、ECCとスクラブは追いつく必要があります。だからこそHot Chipsはとても面白いのです。このようなマニアックな詳細に踏み込んでいるからです。 d-Matrix 課題3: 105℃でのDRAM信頼性 これらすべてに対抗するため、d-MatrixはECCビットとDBIビットを各サブアレイの最後の列にインターリーブし、コモディティECCとリード・ソロモン符号をペアにします。16〜32倍少ない行を読み取るということは、8倍頻繁なリフレッシュのコストが約1.37%で済むことを意味し、帯域幅を100TB/s近くに、損失を1.4%未満に保ちます。 d-Matrix ソリューション: 熱認識リフレッシュとECC バンクチェイニングは、バンクが失敗した場合でもチャネルを対称に保ちます。2つの物理的なマルチプレックスレベルにより、レベル1は最初の障害をスキップし、レベル2は2番目の障害をスキップできるため、チップレットの72個のスペアバンクがダイ上のどこでも障害を吸収します。スペア