Show HN: DDR4タイミングルールを破ってDRAM内でPrismMLのBonsaiを実行
Show HN: Running PrismML's Bonsai inside DRAM by breaking DDR4 timing rules (news.ycombinator.com)
要約
PrismMLの1ビット/3値Bonsaiモデルは、スマートフォンでのLLM実装に注目を集めています。しかし、標準的なLPDDRではメモリ帯域幅の限界が課題となります。この課題に対し、DRAM内で直接推論を実行するアーキテクチャ「CaSA」が開発され、メモリバスを完全にバイパスすることでこの問題を解決します。
全文翻訳
PrismMLの1ビット/3値Bonsaiモデルを取り巻く興奮は、業界がスマートフォン大手、特にAppleがエッジデバイスでLLMをどのように実装するかを注視している状況を生んでいます。
AIをオンデバイスで実行することは、賢明で不可欠な戦略です。これにより、EU規制に沿った絶対的なユーザープライバシーが確保され、高価なクラウド推論から経済性が根本的にシフトし、ユーザーが真のAI対応シリコンを求めるにつれて、大幅なハードウェアアップグレードのスーパーサイクルへの道が開かれます。
スマートなオンデバイス「セマンティックルーター」を作成するには、モデルは27B以上のパラメータスケールに到達する必要があります。これを電話で達成するには、PrismMLの3値重みのような極端な量子化が必要です。
しかし、ソフトウェアの世界ではしばしば見過ごされがちな重要なハードウェアの現実として、RAMに重みを収めることが、それらを移動させることと同義ではないということがあります。標準的なLPDDRで27Bの3値モデルを実行すると、重大なメモリ帯域幅の制限に遭遇します。トークン生成ごとにSoCバスを介してギガバイトのデータを転送すると、NPUのサーマルスロットリングや過剰なバッテリー消費につながる可能性があります。
これは重要な疑問を投げかけます。なぜ私たちはまだデータをコンピューティングに転送しているのでしょうか? なぜメモリ内でネイティブにAI推論を実行しないのでしょうか?
ベアメタル物理学を見落とした学術的なPIMシミュレーションに不満を感じ、私はCaSAを開発しました。これは、チャージシェアリングを通じてCOTS DRAM内で直接3値LLM推論を実行するアーキテクチャであり、メモリバスを完全にバイパスします。
ソフトウェア量子化は素晴らしい最初のステップであり、CaSAはブリッジを完成させるために必要な物理的なハードウェア基盤を提供します: https://github.com/pcdeni/CaSA