Sophon PFG-1: HBMなしで330GBのオンダイDRAMを搭載したモノリシック3D AI ASIC

PhantaField PFG-1 Sophon ホワイトペーパー 改訂4.1 · 2026年6月 エグゼクティブサマリー PFG-1「Sophon」は、750 mm²、32層の2D遷移金属ダイカルコゲナイド（TMD）モノリシック3D（M3D）プラットフォーム上に構築された、トレーニングと推論を統合したダイです。重み、勾配、最適化状態は、オンダイの2T0C 2D-TMDゲインセルDRAMに存在します。アレイが完全に読み書き可能であるため、同じシリコンがBF16フォワード/バックワードトレーニングパスを実行し、計算限界速度で低バッチデコードを提供します。計算は純粋なデジタルCIM（Compute-In-Memory）です。各256×256 DRAMサブアレイタイルは、バイナリセンスアンプと8レベルのアダーツリーを組み合わせ、500MHzのビットシリアルアクティベーションブロードキャストによって駆動されます。ダイあたり131,072タイルで、7.5 cm²のフットプリントで4,200 TFLOPS FP8および2,100 TFLOPS BF16を実現します。このダイは、28 nm Si相補型金属酸化膜半導体（CMOS）ベース層、32層の2D-TMD CMOS MACスタック、およびモノリシック層間ビア（MIV）ファブリック[5][6][7]で構築されており、2T0C DRAMモジュールは各メモリ層のBEOL（Back-End-Of-Line）メタル3層に埋め込まれています。ダイスタックの断面を図1に示します。 PFG-1「Sophon」 メモリ 2T0C 2D-TMDゲインセルDRAM 計算パラダイム 純粋なデジタルCIM（センスアンプ+アダーツリー） ターゲットワークロード トレーニング（フォワード+バックワード+オプティマイザー）および推論（デコード+プリフィル） 容量 330 GB 計算 2,100 TFLOPS BF16（4,200 TFLOPS FP8推論モード / 8,400 TOPS INT8） エネルギー / MAC 0.620 pJ (BF16フォワード) / 0.940 pJ (フォワード+バックワード) / 0.310 pJ (FP8推論) ピーク効率 3.72 TFLOPS/W (BF16トレーニング平均) 1ワットあたりのトークン数 38.7トークン/秒/W (80B FP8デコード、373 W) — 低バッチでNVIDIA Rubin (R200)またはAMD Instinct MI455Xの約174倍 (~0.22トークン/秒/W、HBM4限界) アクティブ電力 約379 Wフォワード / 約749 Wバックワード (トレーニング平均約564 W); 373 W FP8デコード 80Bモデル性能 2,406トークン/秒トレーニング、0.23 J/トークン; 7,219トークン/秒BF16デコード (14,438トークン/秒FP8モード)、25.8 mJ/トークン 80B + INT4 + 投機的（FP8モード） 72,188トークン/秒実効 BOM $8,358 Sophonは、オフダイの高帯域幅メモリ（HBM）を完全に排除します。80BパラメータのBF16トレーニングの場合、勾配チェックポイントされたマイクロバッチ用に約10GBのアクティベーションヘッドルームを備えた重みと一次最適化状態を完全にオンダイに収容します。推論の場合、ネイティブBF16で80Bモデルを7,219トークン/秒、またはFP8モードで最大14,438トークン/秒で提供します。これにより、ハードウェアを変更することなく、トレーニングとサービングの間で弾力的に再分割できる、単一のトレーニングとサービング部品となります。2026年のHBM4部品であるNVIDIA Rubin（R200）とAMD Instinct MI455Xと比較して、Sophonはダイあたり約2.7〜3.1倍高い80Bバッチ1トレーニングスループットと、約48〜53倍高いシングルストリームFP8デコードスループットを実現します。これは、低バッチでは両GPUがHBM4の限界（Rubin 22 TB/s、MI455X 19.6 TB/s）でHBM帯域幅に制約されるためです。ピークの高密度FLOPSはGPUに有利ですが—Sophon BF16高密度はピークの約0.21〜0.24倍に過ぎません—ピークFLOPSは、重みメモリ帯域幅が支配的である低バッチでは役に立ちません。このアーキテクチャは、HBM4パッケージの約191〜214倍の重み帯域幅を提供します（Rubinに対して191倍、MI455Xに対して214倍）—このギャップは、いかなるHBMロードマップも埋められません（セクション7）。経済性も直接的に続きます。モルガン・スタンレーは、単一のNVIDIA VR200（Rubin）NVL72ラックを約780万ドルと見積もっています—HBMメモリだけで約200万ドル（ラックの25.7%、GB300から+435%）。Sophonはこの項目を排除し、Rubin / MI455Xよりも約9.9倍 / 11.6倍低いハードウェアBOMを実現します[17]。 目次 はじめに & 動機 アーキテクチャの概要 A. プラットフォーム（ダイ、層、MIV、TMD MAC） B. PFG-1「Sophon」— 2T0C DRAMダイ C. ダイフロアプランとオンダイシステム構成 物理計算 A. セルジオメトリと層ごとの密度 B. 帯域幅モデル C. MACあたりのエネルギーと電力エンベロープ D. デジタルCIMタイル物理学と1/Nスケーリング SPICEシミュレーション GPUアーキテクチャとAI性能 A. 推論 B. トレーニング C. システムビュー 熱解析 スケーリングロードマップ モデルサイズのエネルギー制約による上限 推論（サービング）上限 トレーニング上限 経済分析 宇宙用途向け放射線耐性 検証、リスク、今後の作業 参考文献 数式付録 1. はじめに & 動機 現代のAIアクセラレータは、対応しなければならない両方のワークロードにおいてメモリウォールに直面しています。推論は読み出しが支配的です。モデルの重みはデプロイ時に固定されます。すべてのデコードステップは、生成されたトークンごとに完全な重みテンソルを一度読み出します。主要なメトリクスは、ビットあたりの読み出しエネルギー、アイドルリーク電流（モデルはリクエスト間で常駐している必要があります）、および低バッチでの重みフェッチ帯域幅です。従来の高帯域幅メモリ（HBM）は、低バッチで帯域幅に制約されます。すべてのトークンのMACトラフィックは、約22 TB/s（Rubin）/19.6 TB/s（MI455X）のHBM4パスを通じてシリアル化され、288〜432GBのHBM4サブシステムは、モデルを常駐させるためだけに自己リフレッシュで約10〜15Wを消費します。 トレーニングは読み書きが対称的です。すべてのフォワードパスは重みを読み出し、すべてのバックワードパスは勾配更新を書き込みます。最適化器は各ステップで重みをインプレースで更新します。インプレース書き込み可能性、低い書き込みエネルギー、および重みと最適化状態の両方に対応する容量が重要です。不揮発性の推論専用メモリはトレーニングできません。たとえば、シングルレベルセル（SLC）抵抗性RAMの耐久性は約10⁶サイクルで上限に達しますが、80Bモデルをトレーニングするにはパラメータあたり約10¹⁰回の書き込みサイクルが必要です。 2T0C 2D-TMDゲインセルDRAMは、1つのセルで両方の問題を解決します。これは、TMDトランジスタの異常に低いオフ電流密度（28nmでJoff ≈ 10⁻¹⁵ A/µm = 1 fA/µm、つまりセルあたり約0.5 fA）を利用して、明示的な記憶コンデンサなしでマルチ秒の保持時間を実現し、無制限の書き込み耐久性で20fJ/ビットでインプレース勾配書き込みを可能にし、リフレッシュオーバーヘッドはわずか約0.08Wです。ストレージノードは毎サイクル書き込み可能であるため、推論を提供するのと同じダイでトレーニングも可能です。保持時間が数秒間であるため、アイドル電力は約3Wに低下します—完全に書き込み可能なトレーニングダイで推論グレードのアイドルプロファイルです。 PhantaFieldの2D-TMD M3Dプラットフォームは、このDRAMモジュールを各メモリ層のBEOLメタル3層に、MACアレイが重みを消費するロジック層の真上に統合します。 2. アーキテクチャ概要 A. プラットフォーム Sophonは以下の物理スタックを使用します。 層 機能 プロセス ベース（Si） コントローラ、NoCルート、ホストI/O、PCIe/NVLink PHY 28 nmバルクSi CMOS 層 1 – 32 インターリーブされた2D-TMDスタック：32のロジック層（MACアレイ、各750 mm²）と32のメモリ層（2T0C DRAMバンク、各750 mm²）を交互に配置し、32のロジック+メモリの二重構造を形成 BEOL 2D-TMD（MoS₂ n-FET / WSe₂ p-FET）奇数層 + DRAMモジュール偶数層 蓋 Cu / CVDダイヤモンドヒートスプレッダ（オプション）；両面冷却を可能に 総スタック高さ：Siダイ上約22 µm（64層 × 0.35 µm/層）。90nmピッチのMIVグリッドは1.23 × 10⁸スロット/mm²の利用可能な層間接続を提供し、設計では約5.5 × 10⁵/mm²のみを使用しており、99%以上のMIVヘッドルームが残されています。層は単一の層内で分割されません。代わりに、64層スタックは、専用のロジック層とメモリ層をA/B/A/B…の繰り返しパターンでインターリーブします。2つの隣接する層が1つのロジック+メモリ二重構造を形成します。スタックには32の二重構造が含まれます。 ロジック層（32 × 750 mm² = 合計24,000 mm²のMAC領域）：奇数層上の2D-TMD CMOS MACアレイ — NMOSにはMoS₂ n-FET、PMOSにはWSe₂ p-FET。密度0.175 TFLOPS FP8/mm²（0.0875 TFLOPS BF16/mm²）。1.2 GHzでクロック、Vdd = 0.6 V。 メモリ層（32 × 750 mm² = 合計24,000 mm²のメモリ領域）：偶数層上の2T0C 2D-TMD DRAMで、その層のメタル3 BEOLで製造されます。各メモリ層は、そのペアのロジック層の真上に位置します。サブ100 nmピッチの垂直モノリシック層間ビア（MIV）が、ロジックMACアレイからセルへビットライン/ワードライン/センス信号を直接運び、各MACにローカルな重みへの独自の垂直ポートをNoCトラフィックなしで提供します。このインターリーブされた配置は、仮説上の層内50/50分割と同じ総面積と容量を維持しながら、層あたりのMACルーティング領域を2倍にし、MACからセルへの信号経路を単一の層ピッチ0.35 µmに短縮します。 なぜ2D TMDなのか？TMD CMOS（MoS₂ / WSe₂）は、以下の機能を同時に提供する唯一のトランジスタ技術です。(1) ≤ 450 °CでのBEOL互換成長 [6]; (2) 原子スケール