HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ユニファイドメモリ解説:なぜミニPCは70Bモデルを実行でき、大型GPUはできないのか

Unified Memory, Explained: Why Mini PCs Can Run 70B Models a Big GPU Can't (vettedconsumer.com)

40 pointsby ermantrout35 コメント

要約

ミニPCに搭載されるユニファイドメモリは、CPU、GPU、NPUが単一のメモリプールを共有する仕組みです。これにより、GPU単体ではVRAM容量の限界で実行できない大規模なAIモデルをミニPCで読み込めるようになります。しかし、この構造はメモリ帯域幅を犠牲にするため、モデルの応答速度は大型GPUに比べて遅くなります。

全文翻訳

ユニファイドメモリ解説:なぜミニPCはGPU搭載機より大規模モデルを実行できるのか(そしてどこで遅くなるのか)

デスクの上に、それぞれ約2,000ドルのマシンを2台置きます。1台はNVIDIA RTX 5090を搭載したタワー型で、史上最速のコンシューマーメモリ32GB、帯域幅1,792 GB/sを備えています。もう1台は、 paperback(文庫本)サイズのミニPCで、AMD Ryzen AI Max+ 395 "Strix Halo"搭載機、約256 GB/sの帯域幅を持つ128GBの半田付けされたメモリを備えています。ここで、それぞれに700億パラメータのモデルを実行するように依頼します。

RTX 5090は実行できません。妥当な4ビット量子化での70Bモデルは約40GBを必要としますが、40GBは32GBには収まりません。一方、小さなミニPCは文句なしにそれをロードし、遅い読書家のペースで応答します。このパラドックスは、ミニPCカテゴリ全体を1枚の画像で表しています。これらのボックスは、はるかに高速なGPUではできないモデルを「保持」でき、その代償として速度を犠牲にします。その理由の理解は、1つのアイデア、ユニファイドメモリ、そして反対方向に引っ張る2つの数字にかかっています。

私たちはこれらのボックスを自社ではベンチマークしていません。以下は、ベンダーの仕様、推論に関する文献、および所有者が測定した数値を統合したものです。これらはすべて末尾にリンクされています。

「ユニファイドメモリ」とは何か

通常のデスクトップでは、CPUは独自のシステムRAMを持ち、グラフィックカードは独自のVRAMを持ち、データはPCIeバスを介してそれらの間で移動します。モデルがGPUで実行されるためにはGPUのVRAMに収まる必要があり、これが24GBカードがシステムRAMをいくら追加しても、常に24GBの天井を設定する理由です。

ユニファイドメモリマシンは、この分割を排除します。CPU、統合GPU、NPUはすべて、半田付けされたLPDDR5Xメモリの単一のプールを共有します。VRAMは分離されていないため、ほぼすべてのプールをモデルに割り当てることができます。128GB構成を購入すれば、モデルが配置される「VRAM」として約128GBが得られ、価格はミドルレンジのグラフィックカード1枚程度です。Appleはこの方法で長年Macを構築してきました。AMDのStrix Halo、NVIDIAのDGX Spark、IntelのCore Ultra、QualcommのSnapdragon Xはすべて同様です。だからこそ、ミニPCがローカルLLMの会話に突然登場したのです。安価に、大容量を。

2つのフォローアップ記事があります。どのMacがどのメモリティアに適しているか はこれを購入決定に落とし込み、M5のmatmulハードウェア は、ここで説明されているプロンプト処理の弱点に対するAppleの回答です。

すべてを決める2つの数字

ローカルLLMに対するマシンの適合性は、人々が常に混同している2つの仕様にかかっています。

  • 容量(メモリが何GBか):モデルがロードされるかどうかを決定します。ユニファイドメモリミニPCが勝利するのはこの点です。
  • メモリ帯域幅(毎秒何GBか):ロードされた後のテキスト生成速度を決定します。ミニPCが実際のGPUに劣るのがこの点であり、大きく劣ります。

現在の状況を以下に示します。帯域幅の数値は理論上のピーク値です(実際の転送帯域幅はそれより低くなります。この点については後述します)。容量は、使用可能なユニファイドメモリの最大構成です。

マシン (SoC)メモリバスピーク帯域幅最大ユニファイドメモリ
Intel "Lunar Lake" (Core Ultra 200V)128-bit LPDDR5X-8533~137 GB/s32 GB
Qualcomm Snapdragon X2 Elite128-bit LPDDR5X~152 GB/s最大 128 GB
Intel "Panther Lake" (Core Ultra X)128-bit LPDDR5X-9600~154 GB/s96 GB
Qualcomm Snapdragon X2 Elite Extreme192-bit LPDDR5X~228 GB/s最大 128 GB
AMD Ryzen AI Max+ 395 "Strix Halo"256-bit LPDDR5X-8000256 GB/s128 GB
NVIDIA DGX Spark (GB10)256-bit LPDDR5X-8533273 GB/s128 GB
Apple M4 (Mac mini)128-bit120 GB/s32 GB
Apple M4 Pro (Mac mini)256-bit273 GB/s64 GB
Apple M4 Max (Mac Studio)384 to 512-bit410 to 546 GB/s128 GB
Apple M3 Ultra (Mac Studio)1024-bit819 GB/s最大 512 GB
参考: ディスクリートGPU(はるかに高速、はるかに少ない容量)
RTX 3090 / 4090384-bit GDDR6X936 / 1,008 GB/s24 GB
RTX 5090512-bit GDDR71,792 GB/s32 GB
RTX PRO 6000 Blackwell (~$8,500)512-bit GDDR71,792 GB/s96 GB

出典:ベンダー仕様書、Chips and Cheese、NotebookCheck、TechPowerUp。帯域幅 = 理論上のピーク値。

この表を2つの物語として読みます。ミニPCの行を見ると、容量は128GB(M3 Ultraでは512GB)まで増加しますが、帯域幅は約120〜270 GB/sの範囲に留まります。GPUの行を見ると、逆です。900〜1,800 GB/sの帯域幅ですが、8,500ドルのワークステーションカードに達するまで、容量は24〜32GBに制限されます。ミニPCと中古のRTX 3090は、1つのスケール上の2つの点ではありません。それらは反対です。

なぜ帯域幅が速度を決めるのか、計算能力ではないのか

高速GPUと広大なメモリを持つミニPCがなぜ so 異なる振る舞いをするのかを理解するには、ルーフラインモデル(Williams, Waterman, and Patterson, 2009)が必要です。これはパフォーマンスを推論するための標準的な方法であり、ワークロードは、チップが計算できる速度か、メモリからデータを移動できる速度のいずれか、つまり最初に枯渇する方によって制限されると述べています。どちらが問題になるかは、読み取るバイトあたりの計算量がどれだけ多いかによります。

テキスト生成は、バイトあたりの計算量が非常に少ないです。1つのトークンを生成するために、マシンは基本的にモデル全体をメモリから一度読み出し、その後、それに対して少量の算術演算を行います。したがって、クロックは計算能力ではなく、メモリ帯域幅によって設定されます。Apple自身の機械学習チームは、MLXのドキュメントでこれを明確に述べています。「後続のトークンを生成することは、計算能力ではなく、メモリ帯域幅によって制限されます。」学術的なバージョンも同様です。Popeらによる「Efficiently Scaling Transformer Inference」(2022)は、生成レイテンシをメモリから重みをストリーミングする時間によって支配されるとモデル化しています。

これにより、あらゆるマシンに対する概算の速度限界が得られます。

トークン/秒のデコード ≈ メモリ帯域幅 ÷ トークンあたりの読み取りバイト数

256 GB/sのStrix Haloボックスで、4ビット(トークンあたり約40GB読み取り)の密な70Bモデルの場合、これは256 ÷ 40、つまり上限で約6トークン/秒となり、実際にはそれ以下です。819 GB/sのM3 Ultraでは、同じモデルで819 ÷ 40、約20トークン/秒になります。1,792 GB/sのRTX 5090では、上限は約45トークン/秒になりますが、モデルがそもそも収まりません。ミニPCの遅さは、ドライバーの問題やチップの弱さではありません。それは帯域幅の数値に対する算術演算です。

1つの大きな例外は知っておく価値があります。それはミニPCの最大のトリックだからです。Mixture-of-Experts(MoE)モデルです。Qwen3-30B-A3BのようなMoEは30Bパラメータを持ちますが、トークンあたり約3Bしかアクティブにしないため、40GBではなくトークンあたり約2GBを読み取ります。同じStrix Haloボックスで、密な70Bモデルを5トークン/秒で処理するマシンが、MoEモデルでは約72トークン/秒を測定しています。ミニPCを高速に感じさせたいなら、MoEモデルを実行してください。

ボックスに書かれていない落とし穴:プロンプト処理

デコード速度は、誰もが引用する数値です。ミニPCでの体験を台無しにする数値はもう1つの方、つまりプロンプト処理、またはプリフィルとも呼ばれるもので、最初の単語が返ってくる前に、入力を読み取る時間です。

プリフィルはデコードの反対です。プロンプト全体を並列で処理するため、生の計算能力に大きく依存し、帯域幅ではなくチップのFLOPSによって制限されます。Splitwise論文(Patel et al., 2023)は明確に線を引いています。LLM推論は「計算集約的なプロンプト計算と、メモリ集約的なトークン生成」です。2つのフェーズ、2つの異なるボトルネックです。

これはまさにミニPCが苦戦する点です。なぜなら、それらの統合GPUはディスクリートカードの計算能力のほんの一部しか持たないからです。デコードは許容範囲に見えても、プリフィルは崩壊します。Strix Haloでllama.cppを使用した所有者のベンチマークは、この分割を示しています(単一実行、平均化せず、ドライバーバージョンに敏感です)。

Strix Halo上のモデル (Q4)プロンプト処理テキスト生成
Llama 2 7B1,014 tok/s45.8 tok/s
Qwen3 30B-A3B (MoE)605 tok/s72.0 tok/s
Shisa V2 70B (dense)94.7 tok/s5.0 tok/s

所有者測定、Level1Techsフォーラムベンチマークスレッド。単一実行。方向性として扱ってください。

密な70Bの行を見てください。95 tok/sのプロンプト処理は、4,000トークンのドキュメント(長いメールスレッド、コードファイル、数ページのメモ)が、モデルが何も言う前に読み取るのに約40秒かかることを意味します。The Registerのハンズオン比較でも同じパターンが見られ、このギャップは「プロンプト処理が計算バウンドになるにつれて、コンテキストウィンドウが大きくなるほど大幅に広がる」と指摘しています。ユースケースが長いドキュメントや大きなコードベースである場合、トークン/秒ではなく、これが壁にぶつかる点です。

NPUはほとんどがまやかし

これらのチップはすべて、大きなNPU TOPS数でマーケティングされており、購入者は合理的にNPUがAIを実行していると想定します。ローカルLLMチャットでは、ほとんどの場合そうではありません。理由は2つあります。

第一に、NPUは他のすべてのものと同じメモリを共有します。デコードはメモリ帯域幅によって制限されるため、作業をNPUに移動しても上限は上がりません。単に同じボトルネックが移動するだけです。これらのチップの特性評価研究(Chen et al., 2025)では、単一ストリームデコードはCPU、GPU、NPUのいずれでもメモリ帯域幅によって制限され、NPUの並列計算を十分に活用できないことがわかりました。

第二に、人々が使用するソフトウェア、llama.cppやOllamaはNPUを駆動しません。IntelのOpenVINOパスは、llama.cppに非常に最近追加されたばかりで、実験的な制限付きで出荷されています。AMDのNPUには、主流のローカルLLMバックエンドがまったくありません。The RegisterがAMD独自のNPUオフロードを試したところ、7Bモデルは「わずか4〜5トークン/秒」で生成され、これは「40に近い値」を期待していたはずです。NPUは、常にオンの小さなビジョンおよびオーディオタスクではその価値を発揮しますが、チャットボットの実行には役立ちません。

所有者の報告

マーケティングを剥ぎ取ると、現場からの報告は一貫しています。容量については、その利点は本物です。ServeTheHomeによる128GB Strix Haloボックスのレビューでは、Llama 3.3 70Bを実行できたと述べており、これは「50GB以上のGPUメモリを必要とし」、NVIDIA L40SのようなGPUクラスでも「そもそも収まらない」モデルです。これが購入する理由です。

速度については、密な70Bモデルでシングル桁を期待してください。2つの独立した情報源が同じ範囲に収まっています。ServeTheHomeはLlama 3.3 70Bを3.7〜3.8 tok/sで測定し、広く引用されているFrameworkフォーラムのテスターは密な70Bモデルを5.0 tok/sで実行しました。バッチジョブや忍耐強いチャットには使用可能ですが、インタラクティブな用途には向きません。

ソフトウェアについては、AMDボックスも、そしてある程度は他のボックスも、まだ忍耐を要求します。The Registerのテスターは、カーネルの調整が必要なGPUハングに遭遇し、スタックの一部をソースからコンパイルする必要があり、ある所有者は公式のROCmアップデートが夜間にモデルのプロンプト処理速度を半分にしたと報告しました。NVIDIAのDGX Sparkはこの点ではよりスムーズで、「CUDAで実行されるほぼすべてのソフトウェア」が動作しますが、これは高価なオプションであり、その273 GB/sのメモリは、はるかに強力なGPUにもかかわらず、デコードを同じシングル〜ローダブル桁の範囲に固定します。

では、どのミニPCを、何のために使うべきか

あなたの目標推奨機種
最大約8Bのモデルを高速に、低消費電力で、常時実行32GBユニファイドボックス(Mac mini M4、Lunar/Panther Lake、Snapdragon X2)。このサイズなら帯域幅は十分です。
30BクラスのMoEモデルをうまく実行64GB〜128GBユニファイドボックス。MoEは控えめな帯域幅にもかかわらず、デコードを高速(60〜70+ tok/s)に保ちます。
密な70Bモデルを安価に、バッチ処理または忍耐強い用途で実行できる128GB Strix Halo(Framework Desktop、GMKtec EVO-X2、Beelink GTR9)または64GB以上のMac。4〜6 tok/sを期待してください。
密な70Bモデルを高速に、または長いプロンプトで実行ミニPCではありません。48GBデュアルGPUリグ、またはクラウドGPUをレンタルしてください。帯域幅とプリフィル計算が重要です。
フロンティアサイズのモデル(200B+)をローカルで実行Mac Studio M3 Ultra(最大512GB)が唯一の単一ボックスオプションであり、MoEモデルがそれを実行可能にします。それ以外の場合は、APIを使用してください。

一言で言えば、ユニファイドメモリミニPCは速度マシンではなく、容量マシンです。あなたが望むモデルが、あなたが購入できるどのGPUにも大きすぎる場合に、その場所を得て、読み取り速度と遅いプロンプト取り込みで我慢できる場合です。モデルが実際のGPUに収まる場合、GPUは重要なすべての軸で勝利します。ステッカーのTOPSではなく、モデルに合わせてボックスを選んでください。

特定のマシンが何を実行でき、どれくらいの速度で実行できるかを正確に確認するには、Can I run it? calculatorにスペックを入力し、quant pickerを使用して適切なファイルサイズを選択し、hardware cheat-sheetを使用してモデルサイズとそれを保持できる最も安価なボックスをマッピングしてください。

出典と調査方法

私たちはこれらのハードウェアを直接テストしていません。この記事は、一次仕様、推論文献、および所有者が測定したベンチマークを統合したものです。フレームワークはルーフラインモデル(Williams, Waterman, Patterson, CACM 2009)です。プリフィル対デコードの分割は、Splitwise (Patel et al., 2023)およびEfficiently Scaling Transformer Inference (Pope et al., 2022)に基づき、デコードがメモリ帯域幅によって制限される点はAppleのMLXチームによって直接確認されています。NPU分析は、モバイルSoC LLM推論に関するChen et al. (2025)に基づいています。ハードウェア仕様は、ベンダー仕様書、Chips and Cheese、NotebookCheck、TechPowerUpから取得しています。所有者およびレビューアの数値は、ServeTheHome、Frameworkコミュニティフォーラム、Level1Techsベンチマークスレッド、およびThe Registerからのものです。所有者の数値は、モデル、量子化、実行時間、ドライバーバージョンによって変動する単一測定値です。