HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

高帯域幅フラッシュがモデル重みの効率的なストレージを提供

High-Bandwidth Flash offers efficient storage for model weights (spectrum.ieee.org)

62 pointsby Gaishan22 コメント

要約

AIモデル、特に大規模言語モデル(LLM)は膨大なメモリを必要としますが、従来のフラッシュメモリは帯域幅が低いという課題がありました。この問題を解決するため、高帯域幅メモリ(HBM)の技術を応用し、複数のNANDフラッシュチップを積層して帯域幅を大幅に向上させる「高帯域幅フラッシュ(HBF)」が登場します。HBFは、特にAI推論のように読み出しが中心となるワークロードにおいて、HBMの代替または補完として、コスト効率と容量のボトルネック解消に貢献すると期待されています。

全文翻訳

High Bandwidth Flash がモデル重みの効率的なストレージを提供

大規模言語モデル(LLM)は膨大なメモリを必要とし、利用者が増えるほど、より多くのメモリが求められます。メモリメーカーは、新しいメモリファブの建設計画を加速しており、特にHigh Bandwidth Memory(HBM)とDRAMに注力しており、HBMは2027年に生産開始が予定されています。しかし、メモリへの需要は、新しいアイデアが定着する機会も提供する可能性があります。

その一つが、SDカードやUSBメモリに搭載されているメモリの改良版であるHigh Bandwidth Flash(HBF)です。これは、HBMを成功させた複数のチップを積層して容量と帯域幅を増やすという考え方を、SDカード、USBメモリ、スマートフォンなどで一般的に使用されているNANDフラッシュメモリに応用したものです。

半導体市場調査会社Objective AnalysisのディレクターであるJim Handy氏は、「これはどうして意味があるのかと人々は尋ねます。フラッシュは非常に遅いのです」と述べています。同氏の説明によると、NANDフラッシュは一般的に帯域幅が不足していますが、HBFはその懸念を軽減するのに役立ちます。「書き込みは非常に遅いですが、読み取りに関しては、かなり速く動作するように調整できます。そしてHigh Bandwidth Flashは、そのように調整されるのです」。

High Bandwidth Flashとは何か?

NANDフラッシュは、浮遊ゲートトランジスタ(FGT)のアレイに閉じ込められた電荷としてデータを格納し、個別にアドレス指定可能なバイトではなく、ブロックとページに編成されています。また、不揮発性であるため、電源がなくてもデータは保持されます。

これらの特性により、フラッシュは長期ストレージに適しています。DRAMよりも同じ面積に多くのバイトを格納でき、電荷を保持するために絶えずリフレッシュが必要な、電力消費の多いコンデンサを必要としません。しかし、フラッシュを密で不揮発性にするメカニズムは、絶縁ゲートへの電荷の出し入れに時間がかかるため、書き込み速度も遅くなります。

最新のフラッシュインターフェース規格は、1ダイあたり最大4.8 GB/sのメモリ帯域幅をサポートできます。これは多くの状況で悪くはありませんが、NANDはソリッドステートドライブのような高性能な長期ストレージで広く使用されています。しかし、DDR5は1DIMMあたり最大70.4 GB/sの帯域幅を提供し、HBM4Eはスタックあたり最大3.6 TB/sに達する可能性があり、HBM4Eはフラッシュに対して約750倍の帯域幅の利点があります。

SK Hynixのメモリシステム研究担当上級副社長であるHoshik Kim氏は、HBFはHBMと同様のパッケージング技術で帯域幅を向上させると述べています。「高度な3Dパッケージングおよび垂直積層技術をNANDフラッシュに適用することで、HBFは標準的なNVMe(不揮発性メモリ)ストレージよりもはるかに高い帯域幅を提供できます」。HBMがDRAMをスタックするように、HBFはNANDフラッシュダイをスタックしてメモリ密度の高いチップを作成します。

HBFは出荷まで少なくとも1年はかかりますが、フラッシュメモリメーカーであるSandiskは、予想される第一世代製品のデータシートを公開しています。同社は、HBFが最大16個のNANDフラッシュチップをスタックし、スタックあたり最大512 GBの総容量を実現すると予想しています。また、メモリ読み取り帯域幅は最大1.6 TB/sになると予測しています。SandiskのHBFロードマップでは、第二世代と第三世代でそれぞれ2 TB/sと3.2 TB/sの読み取り帯域幅を予測しています。

HBFの目的は何か?

HBFは以前のバージョンのフラッシュよりもはるかに高い帯域幅を提供する可能性がありますが、一つ注意点があります。それは、高性能GPUで使用されるHBMよりも依然として遅いということです。では、なぜHBFは有望なのでしょうか?

その答えは、AIトレーニング(LLMにトークンを予測させること)とAI推論(完成したモデルを提供すること)の間の重要な違いにあります。

モデルは、入力トークンを提示し、モデルの予測を確認し、その予測が正しかったかを確認し、バックプロパゲーションと呼ばれるステップで誤差に基づいて重みを変更することによってトレーニングされます。このプロセスは要約すると単純ですが、数十億または数兆のモデル重み全体にわたる計算が含まれます。これは、トレーニングがデータの読み書きの両方に負荷がかかることを意味し、フラッシュには不向きです。

しかし、AI推論は異なります。モデルの重みは固定されており、事実上読み取り専用であるため、フラッシュの書き込み帯域幅の低さはもはや障害ではありません。「推論環境では、大規模な多重パラメータモデルの重みや事前計算されたKVキャッシュのような、読み取り中心の大規模データセットをHBFティアに安全に格納できます」とKim氏は述べています。これにより、HBMは「高速スクラッチパッド」として機能できるようになります。

Handy氏は、推論ワークロードにフラッシュメモリをターゲットにする賢明な方法だと述べています。「それを適切に設定すれば、かなりのパフォーマンスを引き出すことができます。それは基本的なキャッシュにすぎません。私が将来性があると考えている技術の一つです」。

HBFの次は何か?

可能性はありますが、HBFはまだ開発の初期段階にあり、広く展開されるまでには数年かかる可能性があります。

2026年2月25日、SandiskとSK Hynixは、Open Compute Project(OCP)内の専用ワークストリームの下でHBFを標準化するための共同イニシアチブのキックオフイベントを開催しました。OCPは、多くのデータセンターハードウェア仕様を管理するオープン産業団体です。標準化作業は進行中ですが、標準の公開時期はまだ設定されていません。

メモリメーカー、特にSK Hynixが、HBMよりも安価な代替品としてHBFを提案するのは奇妙に思えるかもしれません。結局のところ、HBMはSK Hynixに記録的な収益をもたらしている高マージンの製品です。

しかし、Kim氏はHBFを競合技術ではなく補完的なツールとして位置づけています。「データ配信速度を犠牲にすることなくHBMの深刻な容量ボトルネックを緩和することで、HBFは大規模モデルを実行するために必要な個々のアクセラレータの数を減らす可能性があります」とKim氏は述べています。Kim氏は、これによりエネルギー効率が向上し、コストが削減され、データセンターがAI推論ハードウェアをさらにスケールアップできるようになると予想しています。

この記事は、Spectrumの印刷版に「High-Bandwidth Flash Could Sate AI’s Memory Appetite」として掲載されています。