HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

高帯域幅フラッシュがモデル重みの効率的なストレージを提供

High-Bandwidth Flash offers efficient storage for model weights (spectrum.ieee.org)

62 pointsby Gaishan22 コメント

要約

AIモデル、特に大規模言語モデル(LLM)は膨大なメモリを必要としますが、従来のフラッシュメモリは帯域幅が低いという課題がありました。この問題を解決するため、高帯域幅メモリ(HBM)の技術を応用し、複数のNANDフラッシュチップを積層して帯域幅を大幅に向上させる「高帯域幅フラッシュ(HBF)」が登場します。HBFは、特にAI推論のように読み出しが中心となるワークロードにおいて、HBMの代替または補完として、コスト効率と容量のボトルネック解消に貢献すると期待されています。

全文翻訳

コンピューティングニュース あなたのサムドライブのメモリがAIの大きな問題を解決するかもしれない 高帯域幅フラッシュがモデル重みの効率的なストレージを提供 マシュー・S・スミス 2026年7月14日 4分で読む マシュー・S・スミスはIEEE Spectrumの寄稿編集者であり、Digital Trendsの元リードレビュー編集者です。 高度なパッケージング技術を使用して、おなじみのフラッシュメモリダイを積層することで、読み取り速度を劇的に向上させることができます。 Sandisk 大規模言語モデル(LLM)は膨大な量のメモリを必要とし、使用する人が増えるほど、より多くのメモリが必要になります。メモリメーカーは、高帯域幅メモリ(HBM)とDRAMに焦点を当てた新しいメモリファブの建設計画を加速させており、最初のファブは2027年に生産を開始する予定です。しかし、メモリの需要は、新しいアイデアが足場を見つける機会を提供する可能性もあります。 その一つが、SDカードやサムドライブに入っている種類のメモリを高度に改良した「高帯域幅フラッシュ(HBF)」です。これは基本的に、HBMを成功させたアイデア、つまり複数のチップを積層して容量と帯域幅を増やすという考え方を、SDカード、サムドライブ、スマートフォンなど、多くのデバイスでデータストレージに一般的に使用されているNANDフラッシュメモリに適用したものです。 「人々は、『どうすればこれが意味をなすのか?フラッシュは非常に遅い』と尋ねます」と、半導体市場調査会社Objective Analysisのジェネラルディレクターであるジム・ハンディ氏は言います。彼は、NANDフラッシュは一般的に帯域幅が低いものの、HBFはその懸念を軽減するのに役立つと説明します。「フラッシュは書き込みが非常に遅いですが、読み取りに関しては、かなり速く動作するように仕向けることができます。そして、高帯域幅フラッシュはそのように仕向けられるのです。」 高帯域幅フラッシュとは何か? NANDフラッシュは、浮遊ゲートトランジスタのアレイに電荷を閉じ込めることでデータを格納します。これは、個別にアドレス指定可能なバイトではなく、ブロックとページに編成されています。また、不揮発性であるため、電源がなくてもデータは保持されます。 これらの特性により、フラッシュは長期ストレージに適しています。DRAMよりも同じ面積により多くのバイトを格納でき、電荷を保持するために絶え間ないリフレッシュを必要とする電力消費の多いコンデンサを必要としません。しかし、フラッシュを高密度かつ不揮発性にするメカニズムは、絶縁ゲートへの電荷の出し入れにコンデンサの充電よりも時間がかかるため、書き込み速度を遅くします。 最新のフラッシュインターフェース規格は、ダイあたり最大4.8GB/sのメモリ帯域幅をサポートできます。これは多くの状況で悪くはありませんし、NANDはソリッドステートドライブのような高性能な長期ストレージで広く使用されています。しかし、DDR5はDIMMあたり最大70.4GB/sの帯域幅(オーバークロックメモリを除く)を提供し、HBM4Eはスタックあたり最大3.6TB/sに達することができます。これは、HBM4Eがフラッシュに対して約750倍の帯域幅上の利点を持つことを意味します。 SKハイニックスのメモリシステム研究担当シニアバイスプレジデントであるホシク・キム氏は、HBFはHBMに似たパッケージング技術で帯域幅を改善すると述べています。「高度な3Dパッケージングと垂直積層技術をNANDフラッシュに適用することで、HBFは標準的なNVMeストレージよりもはるかに高い帯域幅を提供できます。」HBMがDRAMを積層するように、HBFはNANDフラッシュダイを積層してメモリ密度の高いチップを作成します。HBFは出荷まで少なくとも1年はかかりますが、フラッシュメモリメーカーのSandiskは、予想される最初の製品のデータシートを公開しています。同社は、HBFが最大16個のNANDフラッシュチップを積層し、スタックあたり最大512GBの総容量を実現すると予想しています。また、メモリ読み取り帯域幅は最大1.6TB/sと予測しています。SandiskのHBFロードマップでは、読み取り帯域幅がそれぞれ2TB/sと3.2TB/sの第2世代と第3世代も予測しています。 HBFの目的は何ですか? HBFは以前のバージョンのフラッシュよりもはるかに多くの帯域幅を提供する可能性がありますが、一つ問題点に気づいたかもしれません。それは、高性能GPUで使用されるHBMよりもまだかなり遅いということです。では、なぜHBFは有望なのでしょうか?その答えは、AIトレーニング(LLMにトークンを予測するように教えること)とAI推論(完成したモデルを提供する)の間の重要な違いにあります。モデルは、入力トークンを提示し、モデルが何を予測するかを確認し、その予測が正しかったかを確認し、バックプロパゲーションと呼ばれるステップでエラーに基づいて重みを変更することによってトレーニングされます。このプロセスは要約すると単純ですが、数十億または数兆のモデル重みにわたる計算を伴います。つまり、トレーニングはデータの読み書きの両方に負荷がかかるため、フラッシュは不向きです。 しかし、AI推論は異なります。モデルの重みは固定されており、事実上読み取り専用であるため、フラッシュの書き込み帯域幅が低いという問題はもはや障害ではありません。「推論環境では、静的な数十億パラメータのモデル重みや事前計算されたKVキャッシュのような、大量の読み取り中心のデータは、HBFティアに安全に格納できます」とキム氏は述べています。これにより、HBMは「高速スクラッチパッド」として機能するために解放されます。 ハンディ氏は、推論ワークロードにフラッシュメモリをターゲットにする賢明な方法だと述べています。「それを正しく設定すれば、かなりの良いパフォーマンスを引き出すことができます。それは基本的なキャッシングにすぎません。私が将来性があると考えている技術の一つです。」 HBFの次は何ですか? HBFには可能性があるものの、まだ開発の初期段階にあり、広く展開されるまでには数年かかる可能性があります。2026年2月25日、SandiskとSKハイニックスは、多くのデータセンターハードウェア仕様を管理するオープン業界団体であるOpen Compute Project(OCP)内の専用ワークストリームの下でHBFを標準化するための共同プロジェクトを開始するキックオフイベントを開催しました。標準化作業は進行中ですが、標準の公開時期は設定されていません。 メモリメーカー、特にSKハイニックスが、HBMよりも安価な代替品としてHBFを提案するのは奇妙に思えるかもしれません。結局のところ、HBMはより高いマージン製品であり、現在SKハイニックスを記録的な収益に導いています。しかし、キム氏はHBFを競合技術ではなく補完的なツールとして位置づけています。「データ配信速度を犠牲にすることなくHBMの深刻な容量ボトルネックを緩和することで、HBFは大規模モデルを実行するために必要な個々のアクセラレータの数を減らす可能性があります」と彼は述べています。キム氏は、これによりエネルギー効率が向上し、コストが削減され、データセンターがAI推論ハードウェアをさらに拡張できるようになると予想しています。 あなたのサイトからの記事 メモリチップ不足はいつ、どのように終わるか › フラッシュメモリは1億回のサイクルを生き残る › Web上の関連記事 SKハイニックスがLLM推論のためにHBMとHBFのハイブリッドを提案 | SemiWiki › メモリの壁をスケーリングする:AI推論のためのSandiskの高帯域幅フラッシュの裏側 | Sandisk › メモリチップ フラッシュメモリ AI データセンター マシュー・S・スミス マシュー・S・スミスは、17年の経験を持つフリーランスのコンシューマーテクノロジー記者であり、Digital Trendsの元リードレビュー編集者です。IEEE Spectrumの寄稿編集者として、ディスプレイイノベーション、人工知能、拡張現実を中心にコンシューマーテクノロジーをカバーしています。ビンテージコンピューティング愛好家であるマシューは、YouTubeチャンネル「Computer Gaming Yesterday」でレトロコンピューターやコンピューターゲームをカバーしています。 AI特集 初代チャットボットの複数の人格 11時間10分で読む ロボティクス AI スポンサー記事 一般目的ロボットのための基盤スタックの構築 2026年7月13日 12分で読む AI特集 コンピューティング AIをダークサイドに転向させた方法 2026年7月14日 11分で読む 半導体ニュース チップを横向きに積層することでAIにメモリを増やす 航空宇宙 AIマガジン 2026年7月 意見 宇宙ベースのデータセンターの誇大広告マシンはすでに軌道に乗っている コンピューティングニュース Vibecodedマルウェアがインターネットに氾濫