D-Matrix Raptor 3D-DRAMアクセラレータ、Hot Chips 2026でジェネレーティブ推論向けに発表

d-Matrix Raptor 3D-DRAMアクセラレータ、Hot Chips 2026で生成AI推論向けに発表

［画像: d-Matrix Raptor 3D-DRAM］

d-Matrix Raptor 3D-DRAM

次に、d-MatrixはHot Chips 2026で生成AI推論向けのRaptor 3D-DRAMアクセラレータを発表します。同社は大きな注目を集めており、以前にもd-Matrix Corsair In-Memory Computing for AI Inference at Hot Chips 2025で取り上げました。また、The New d-Matrix JetStream 400G Ethernet Card for Data Center Scale AI Inferenceでネットワーク関連の取り組みも確認しました。今年は何をしているのか見てみましょう。

これはライブで行われているため、タイプミスはご容赦ください。

モデルの重みは増え続け、KVキャッシュはコンテキスト長とバッチサイズの積に比例してスケールします。そのため、100万コンテキストで64ユーザーの場合、約935 GBのKVキャッシュが必要になる可能性があります。重みとキャッシュを合わせると、容量の問題と帯域幅の問題の両方が発生し、どちらも増大し続けています。

［画像: d-Matrix The Growing Data Problem］

d-Matrix The Growing Data Problem

SRAMは帯域幅の目標を達成しますが、その規模はごくわずかです。Corsair SRAMアクセラレータカードのペアは、約1 nsのレイテンシで約300 TB/sに達しますが、保持できるのは約4 GBのみです。6T SRAMセルはDRAMセルよりも約10倍大きく、GBスケールではリーク電流が数十ワットに達します。このため、SRAMは投機的デコーディングのドラフトモデルには適していますが、最先端モデルの重みを保持するには適していません。NVIDIAがGroqをその例として使用しているようです。

［画像: d-Matrix SRAM: Bandwidth Advantage］

d-Matrix SRAM: Bandwidth Advantage

HBMは容量の問題を解決しますが、帯域幅には苦労しています。ピン速度とベースダイあたりのI/O幅はゆっくりと改善され、スタックの数はパッケージのフロントビーチ（パッケージあたり約8〜16スタック）によって制限されます。d-Matrixは、NVIDIA Vera RubinやAMD Instinct MI455のようなHBM4パッケージの実用的な帯域幅の上限を約20 TB/sと引用しています。

［画像: d-Matrix HBM: The Bandwidth Issue］

d-Matrix HBM: The Bandwidth Issue

これほど高い帯域幅には電力コストが伴います。2.4 pJ/bitで、HBMを介して100 TB/sをプッシュすると、ファブリックトラフィックを考慮する前に約1.92 kWを消費します。現在のパッケージには、SRAMクラスの帯域幅をHBMで実現するためのフロントビーチも電力予算もありません。

［画像: d-Matrix HBM: The Power Problem］

d-Matrix HBM: The Power Problem

d-Matrixの答えは、DRAMダイの上に直接コンピュートをスタックすることです。スタッキングは熱的な課題を生み出します。なぜなら、数百ワットが温度に敏感なDRAMスタック内のTSVを通過して逃げる必要があり、さらにIRドロップによる電力供給の課題もあるからです。d-Matrixによると、0.5 W/mm2以下の1-Hiロジックオン トップスタックは液体冷却が可能で、DRAMを100℃未満に保つことができます。

［画像: d-Matrix 3D-DRAM: An idea whose time has come］

d-Matrix 3D-DRAM: An idea whose time has come

3D DRAMは、エネルギーラダー上で2つの極端な値の間に位置します。オンダイSRAMは約50 fJ、2.5D HBM4システムはチップレベルのエネルギーを含めると約2.5〜5 pJの範囲で動作します。垂直3D IOは、約0.3〜0.4 pJで、HBMよりも約10倍低いです。これは、センチメートルスケールのインターポーザー経路ではなく、ミリメートルスケールのPHYレス経路であるためです。HBMよりもスタック層が少ないということは、より大きなダイとより良い歩留まりを意味します。

［画像: d-Matrix Why 3D-DRAM?］

d-Matrix Why 3D-DRAM?

d-Matrixは現在、その技術の見解をLLM推論ワークロードの動作にマッピングしています。Prefillは多くのプロンプトトークンを並列に処理し、コンピュートスループットにバウンドされますが、decodeは一度に1つのトークンを生成し、通常はメモリ帯域幅にバウンドされます。Attentionは、高いGQAと投機的デコーディングによりコンピュートバウンドに切り替わる可能性があり、MoEは適度なバッチサイズでもメモリバウンドのままです。Decodeは巨大な帯域幅を必要とするフェーズです。もしNVIDIA GB10やAMD Strix Haloのカバレッジをご覧になったなら、これらのタイプのシステムにおけるメモリ帯域幅が大きな課題であることがわかるでしょう。

［画像: d-Matrix LLM Inference］

d-Matrix LLM Inference

デコードがウォールクロックランタイムの大部分を占めるため、メモリバウンドの部分が最も重要です。d-Matrixは、推論時間のほとんどがデコードフェーズで費やされるため、デコード帯域幅の改善が全体的な推論パフォーマンスを向上させると強調しています。

［画像: d-Matrix Majority of wall-clock inference time is spent in decode］

d-Matrix Majority of wall-clock inference time is spent in decode

カードあたり32GB、4ビット重み、8ビットKVキャッシュで、d-Matrixは1ラックに収まるようにサイズを決定しています。72カードのスケールアップで、100万コンテキストでKimi K3のような最先端モデルをホストできます。ディサグリゲーションとマルチラックは、単一のRaptorラックを超えて拡張されます。

［画像: d-Matrix 1Hi 32GB 3D-DRAM: Frontier LLMs fit in one Raptor Rack］

d-Matrix 1Hi 32GB 3D-DRAM: Frontier LLMs fit in one Raptor Rack

このメモリを中心にシステムを構築することは、メモリサブシステム、データ移動ファブリック、ワークロードマッピングにわたるコデザインの演習です。

［画像: d-Matrix Building a 3D-DRAM Based Inference System］

d-Matrix Building a 3D-DRAM Based Inference System

現在、d-Matrixはフルメッシュパッケージを使用したトポロジを示し、その通信プロトコルについて議論しています。

［画像: d-Matrix Low Latency Fabric (Intra-Card and Inter-Card)］

d-Matrix Low Latency Fabric Intra-Card and Inter-Card

d-Matrixの具体的な実装はRaptorと呼ばれます。TSMC N4ロジックダイが3D DRAMダイの上に、36 µmのフェイス・ツー・フェイス・スタッキングで配置されています。このプロセスはd-Matrixによって、実績があり、低コストで、大量生産が可能で、歩留まりが高いと説明されています。

［画像: d-Matrix Raptor 3D-DRAM］

d-Matrix Raptor 3D-DRAM

ダイを動作システムに変換すると、幅広い統合課題が露呈します。d-Matrixはここで4つの課題を強調しています。

［画像: d-Matrix The 3D-DRAM Integration Landscape］

d-Matrix The 3D-DRAM Integration Landscape

これら4つの問題は独立していません。d-Matrixは、バンクマッピング、I/O電力、熱信頼性という3つの絡み合った課題を説明し、いずれか1つの解決策が他の2つの設計空間を制約すると述べています。

［画像: d-Matrix These Challenges Are Entangled］

d-Matrix Challenges Are Entangled

各テンソルエンジンはアクセスごとに128Bのフリットを必要とし、32Bのバンクから32Bが列アクセスごとに供給されるため、チャネルあたり4つのバンクが必要です。d-Matrixのダイには840個のバンクがあり、72個のスペアを除くと768個になります。これらは256チャネルに分散されており、チャネルあたりわずか3バンクです。このフリットは、利用可能なものに均等に分割されません。

［画像: d-Matrix Challenge 1: The Bank-to-Channel Mapping Problem］

d-Matrix Challenge 1: The Bank-to-Channel Mapping Problem

チャネルあたり3バンクの場合、1回のアクセスで96Bが返されるため、128Bのフリットを供給するには2回のアクセスが必要で、192Bを取得します。これは、約33 TB/sの帯域幅の約33%を無駄にします。列のスタガリングはフリットをパックできますが、192Bのシフトバッファが必要で、タイミングと検証が複雑になります。

［画像: d-Matrix Challenge 1: The Overfetch Dilemma］

d-Matrix Challenge 1: The Overfetch Dilemma

ストリームブロッキングは、その無駄を回復します。d-Matrixは、1つの部分的な32Bアクセスを3つのフリットに共有します。つまり、96Bの4回のアクセスが128Bの3つのフリットに供給され、384Bの入力が384Bの出力と一致します。オーバーフェッチはゼロに低下し、すべての列アクセスが使用され、シフトネットワークは不要になります。

［画像: d-Matrix Solution: Stream Blocking］

d-Matrix Solution: Stream Blocking

100 TB/sを0.37 pJ/bitで移動すると、I/Oだけで296 Wになり、従来のDBIは20%節約できます。HBMはDBIを使用できますが、マルチサイクルバーストによりPHYはフルバーストを認識できます。しかし、d-Matrixのシングルサイクル256ビット3D-DRAMリンクにはバーストがなく、反転選択を信号するサイドバンドピンもありません。

［画像: d-Matrix Challenge 2: The I/O Power Wall］

d-Matrix Challenge 2: The I/O Power Wall

ストリームフリッピングは、ピンなしでその20%を提供します。各フリットは前のフリットと比較され、必要に応じて反転されます。これにより、フリットあたり1つのメタデータビットをECCとともに運ぶだけで、トグルがほぼゼロになります。d-Matrixは、PHYの変更なしでオーバーヘッドを0.8%としています。

［画像: d-Matrix Solution: Stream Flipping (Pinless DBI)］

d-Matrix Solution: Stream Flipping (Pinless DBI)

熱は、105℃の接合温度で3番目の課題となります。歩留まりは重要です。840バンクということは、1%の故障率でも全チャネルが危険にさらされる可能性があり、ボンディングされたダイを破棄するのは経済的ではありません。故障したバンクを無効にすると、そのチャネルが狭まり、単一の弱いチャネルがスライス全体をスロットルする可能性があります。一方、温度が高いとソフトエラーが増加します。リテンションは85℃で32 msから105℃で4 msに低下し、8倍のリフレッシュが必要になりますが、ECCとスクラブは追いつく必要があります。これがHot Chipsが非常に興味深い理由であり、このレベルの技術的な詳細に踏み込んでいるからです。

［画像: d-Matrix Challenge 3: DRAM Reliability at 105°C］

d-Matrix Challenge 3: DRAM Reliability at 105C

これらすべてに対抗するため、d-MatrixはECCとDBIビットを各サブアレイの最後の列にインターリーブし、汎用のECCとリード・ソロモン符号をペアにしています。16〜32倍少ない行を読み取るということは、8倍頻繁なリフレッシュコストがわずか約1.37%で済むことを意味し、帯域幅を約100 TB/sに保ち、損失は1.4%未満です。

［画像: d-Matrix Solution: Thermal-Aware Refresh & ECC］

d-Matrix Solution: Thermal-Aware Refresh & ECC

バンクチェイニングは、バンクが故障した場合でもチャネルを対称に保ちます。2つの物理的なマルチプレクサレベルにより、レベル1は最初の障害をスキップし、レベル2は2番目の障害をスキップできるため、チップレットの72個のスペアバンクがダイ上のどこにある障害でも吸収します。スペアがバックフィルされ、チャネルはわずかなルーティングコストで均一に保たれます。

［画像: d-Matrix Solution: Bank Chaining］

d-Matrix Solution: Bank Chaining

現在、d-MatrixはHBM4およびNVIDIA Rubin R200とのシリコン面積比較を示しています。Raptorは、HBMパーツの約1.5 GB/sと比較して、1平方ミリメートルあたり約32.6 GB/sを投稿しており、これは平方ミリメートルあたりの帯域幅で約20倍、1 GB/sあたりの電力消費は2.96 mWで、40 mWから13.5倍の改善です。これは非常に素晴らしいです。

［画像: d-Matrix Conclusions - 1］

d-Matrix Conclusions – 1

Raptorの結果は、100万コンテキストで3兆パラメータクラスのモデルをサービスする場合、ユーザーあたり約1,000トークン/秒を達成すると主張しています。d-Matrixの理論は、カードあたりの適度なメモリと高い帯域幅の組み合わせが、低レイテンシ推論で勝利するというものです。これが実際に動作するのを見るのは素晴らしいでしょう。いつかそれができることを願っています。

［画像: d-Matrix Raptor sustains ~1000 TPS/User for serving 3T class model at 1M context !］

d-Matrix Raptor sustains ~1000 TPS/User for serving 3T class model at 1M context

それが機能するという仮定の下では非常に素晴らしいですが、欠点についてもう少し聞きたかったところです。

最終的な言葉

Raptorは、推論のために帯域幅と容量を単一パッケージにバンドルするアーキテクチャ上の賭けです。d-MatrixのHBM4およびRubin R200との比較数値は、実際の密度とGB/sあたりの電力の利点を示しています。3D DRAMがメモリ帯域幅のギャップを埋めることができれば、アクセラレータベンダーがAIシステムで容量と帯域幅のどちらを重視するかという考え方を再構築します。このような現在のアーキテクチャにいくらか近いソリューションがある場合、私の最初の質問は通常「なぜ誰もこれを使用しないのか？」です。NVIDIAのような企業には、DRAMをロジックの上にスタックすることを考えた人がどこかにいると想像するでしょう。これは非常に興味深く、すぐに動作するのを見られることを願っています。

Substackで完全なまとめを公開しています。これらすべての記事が人気度でどのようにランク付けされたかを含みます。

Hot Chips 2026 Recap and Data by Patrick Kennedy

データは入手可能で、今年Hot Chipsで話題を呼んだのは誰か

Substackで読む