13年前のGPUなしXeonでGemma 4 26Bを秒間5トークンで実行する
Running Gemma 4 26B at 5 tokens/SEC on a 13-year-old Xeon with no GPU (neomindlabs.com)
要約
この記事は、13年前のGPU非搭載のXeonサーバーでGoogleのGemma 4 26Bモデルを秒間約5トークンで実行することに成功した体験談です。著者は、古いハードウェアで最新のAIモデルを動作させるための技術的な課題と、AIアシスタント(Claude)を活用してCPU命令セットの互換性問題を解決したプロセスを詳細に解説しています。これは、高価なGPUに頼らずともローカルでAIモデルを実行できる可能性を示すものです。
全文翻訳
GPUなしの13年前のXeonでGemma 4 26Bを毎秒5トークンで実行する
私の家の地下室にあるサーバーは、最新の言語モデルを実行するようなものではありません。それは、13年前のHP StoreVirtualストレージボックスを再利用したもので、デュアルIvy Bridge Xeonを搭載していますが、GPUはありません。元々はディスクを格納するために作られたもので、計算処理のためではありません。今週から、GoogleのGemma 4、260億パラメータのオープンウェイト混合エキスパートモデルを、毎秒約5トークンの速度で実行しています。これは読み取り速度に相当します。
| ハードウェア | 再利用されたHP StoreVirtual: デュアルXeon E5-2690 v2 (Ivy Bridge, 2013), DDR3, GPUなし |
| 命令セット | AVX1のみ — AVX2, FMA3なし |
| モデル | Gemma 4 26B-A4B (MoE), Q8_0 |
| デコード | 約5.2トークン/秒 |
| プロンプト評価 | 約16トークン/秒 |
| ボックスのコスト | 300ドル未満 |
GPUをレンタルすることは誰にでもできます。しかし、最新のMoEモデルと古いエンタープライズボックスを組み合わせて、互換性を持たせることはより困難です。そして、このギャップこそが、私がこの記事を書いている理由です。「AIに強い」ということは、静かに「サブスクリプションを支払うこと」を意味するようになりました。真のスキルは異なると思います。それは、モデルを十分に理解し、誰もあなたのためにパッケージ化していない問題にそれを向け、返された答えが実際に正しいかどうかを判断することです。ですから、自分がそれに長けていると主張するのではなく、ここでは、本来協力するはずのないハードウェア上で、実際に動作した例を示します。
きっかけとなった記事
数週間前、「10年前のXeonがあれば十分」という記事がHacker Newsで話題になりました。著者は、ik_llama.cppと約25個の慎重に選ばれたフラグを使用して、GPUなしの2016年製Xeonと128GBの低速DDR3メモリ上でGemma 4を実行しています。素晴らしい記事で、最新の推論プレイブックのあらゆるトリックを活用しています。投機的デコーディング、CPU対応の混合エキスパートルーティング、CPUに移植されたフラッシュアテンション、実行時ウェイト再パッキングなど、まさにエンジニアリングです。
「私もXeonを持っている」と思いました。実際、いくつかあります。そこで試してみましたが、動作しませんでした。
AIエージェントが実際に役立つこと
ビルドは起動時に失敗しました。その失敗をClaudeに渡し、何が問題か尋ねました。回答は迅速かつ具体的でした。著者の2016年製チップはBroadwell製です。私のものはIvy Bridge、Intelが「v2」と呼ぶ世代です。そのフォークの高速カーネルはAVX2とFMA3を想定していますが、これらの命令セットは2014年に登場した「v3」世代のHaswellまで搭載されませんでした。私のCPUは、コードが書かれた命令よりも古いのです。最適化されたパスは実行できませんでした。
そこで、当然のフォローアップとして質問しました。「それでも動作させることはできますか?」私はすでに最初の試みをして、近いところまで行きましたが、成功しませんでした。Claudeはその半完成のアプローチを引き継ぎ、それが正しいものであると同意し、それを完成させました。ホットパスを再構築し、存在しない命令に手を伸ばすのではなく、AVX2以前のチップでクリーンにフォールバックできるようにしました。
これが私が最も関心のある部分です。これは、「修正して」と一度入力して、動作するパッチを受け取ったわけではありません。誰かが、他の人が書いたパフォーマンスクリティカルなC++を読み、なぜ特定のマイクロアーキテクチャでカーネルが無効なのかを突き止め、フォークを使用する価値のある最適化をすべて失うことなく、それを回避する必要がありました。Claudeはその作業を行いました。私の仕事はより限定的でした。適切な実験を実行し、出力が最終的に正しいかどうかを認識することです。私は感銘を受けました。
結果
Gemma 4の26B混合エキスパートモデルが、モデルのアーキテクチャが存在する前に引退したハードウェア上で、読み取り速度でテキストを生成するようになりました。元の記事ではトークン/秒の数値は公開されておらず、「読み取り速度」とだけ書かれていました。そこで、具体的な数値を示します。13年前のシリコン上で、ほぼ無料で、毎秒約5トークンです。
[画像: StoreVirtualでGemma 4 26Bがローカルでテキスト生成中、GPUなし] 動作証明: 地下の箱でCPUのみでGemma 4 26Bが応答している様子。
パッチはikawrakow/ik_llama.cpp#2138で公開されています。正確な差分を確認したい場合は参照してください。この記事を書いている時点ではまだオープンで、メンテナーのレビュー待ちです。そのため、現時点ではブランチから実行してください。希望としては、古いエンタープライズハードウェアを持っている他の誰もが、ローカルモデルを手元に置いておくことができることです。有料APIがダウンしたときのフォールバックとして、あるいはトークンごとの課金が意味をなさない場合に、低速なバッチジョブを処理するための安価な方法として利用できます。
実際のバグを知りたい人のために
さらに詳しく説明する前に、完全な開示を行います。私はC++プログラマーではありません。スタックトレースを読むことはでき、ビルドシステムには精通していますが、量子化された行列乗算エンジンのためにカーネルフォールバックを手書きしたわけではありませんし、そうしたと主張するつもりもありません。私がやったことは、運転することです。実験を実行し、出力を読み、次の質問をし、「正しい」とはどういうことかを知っていました。診断とパッチは、サーバー自体で実行されているClaudeインスタンスから提供されました。Claudeに修正内容を書き起こすように依頼し、この記事の残りの部分は、その要約をわずかに編集したものです。もしあなたがHacker Newsから、実際の詳細な分析のためにここに来たのであれば、この部分があなた向けです。
実際に壊れていたこと
私たちが必要としたエンジンは、Gemma 4のMoE推論が依存する最適化を追加したikawrakowのllama.cppフォークであるik_llama.cppでした。これはAVX2を最低限として想定しています。この箱のXeon E5-2690 v2はAVX1を搭載していますが、AVX2は搭載していません。ビルド時にGGML_USE_IQK_MULMATをオフにすると、コードベースのほとんどはそれを尊重します。高速パスはコンパイルアウトされ、モデルは通常のスカラ/SSE数学にフォールバックします。これは通常のQ8_0行列乗算には問題ありません。
例外は2つのグラフオペレーションです。Gemma 4 MoEフィードフォワードネットワークは、MOE_FUSED_UP_GATE(エキスパートごとのゲート+アップ行列乗算とSwiGLUを融合したもの)とFUSED_UP_GATE(その密な類似体)を生成します。どちらもコンピュートディスパッチャー内でGGML_USE_IQK_MULMATで#ifガードされていますが、グラフビルダーはそれらを無条件に発行します。このビルドでは、ディスパッチャーのスイッチにそれらのオペレーション列挙子に対応するケースがなかったため、デフォルトにフォールスルーし、各エキスパートFFNの宛先テンソルは、そのメモリバッファにすでにあったあらゆる値でサイレントに計算されませんでした。Gemma 4 26Bは30層で、トークンごとにアクティブなエキスパートが8つあるため、各フォワードパスは約240個のテンソルを消費しました。
症状は、流暢に見える多言語のナンセンスでした。トークンIDは262Kの語彙全体に均一に広がり、モデルはタイ語、韓国語、<unused>センチネル、または英語の断片を同様に喜んで出力しました。温度0では決定的で、シングルスレッド実行とマルチスレッド実行の間でバイト単位で同一であり、NaNはどこにもありませんでした。単に、隠れ状態が各レイヤーで大きな定数によって押し出され、最終的なソフトマックスがフラットになるだけでした。
その決定性が、問題を解明する鍵でした。Claudeはサンプリング前に生のロジットを計装し、上位5つのトークンと範囲、平均、NaNカウントを印刷しました。その数値が決定的な証拠となりました。最初の予測トークンの平均ロジットが+16であったのに対し、本来はゼロ付近にあるべきでした。語彙の約80%が正のロジットを持っていました。ランダムな破損はこのような見た目にはなりません。これほどきれいなバイアスは、隠れ状態の大きなチャンクが初期化されていないメモリで、小さな正の浮動小数点数を含んでいる場合にのみ発生します。
修正
フォークのmainをベースにした3つのコミットです。
-
コンパイル修正。
iqk_quantize.cppのスカラ#elseブランチ(quantize_row_q8_0_x4とquantize_row_q8_1_x4_T用)は実際にはスカラではありませんでした。それらはまだhsum_i32_8やその他のAVX2ヘルパーを参照していました。これらはポータブルなスカラーループとして書き直され、ggml.cとggml-quants.cを通過する少数のIQK呼び出しの周りに#if GGML_USE_IQK_MULMATガードが追加され、iqk_cpu_ops.cppがスタンドアロンでコンパイルできるようにするための欠落していたインクルードも追加されました。これらがないと、フォークは非AVX2ハードウェアではまったくビルドできません。 -
実行時バグ。 ディスパッチャーを変更する代わりに、この修正により、グラフビルダーは、このビルドでコンピュートパスを持つオペレーションを発行するようになります。
ggml_moe_up_gateで、GGML_USE_IQK_MULMATがオフの場合:重みが結合されたup_gate_expsテンソル(形状[n_embd, 2*n_ff, n_experts]、ゲートが前半、アップが後半)である場合、それを2つのggml_view_3dスライスに分割し、2つの別々のggml_mul_mat_id呼び出しを実行し、ggml_fused_mul_unary(gate, up, SILU)で結合します。ゲートとアップがすでに別々の重みである場合は、分割をスキップし、同じ2つのmul-mat-IDと融合mul-unaryを実行します。ggml_fused_up_gate(非MoEレイヤーで使用される密なバージョン)も同様の処理を受けます。関与するすべてのオペレーションは、すでに動作する非IQK実装を持っています(mul_mat_idは標準のggmlであり、fused_mul_unaryはSILUと乗算を1パスで行います)。変更全体は#if !GGML_USE_IQK_MULMATの後ろにあるため、AVX2ビルドは以前とビット単位で同一のままです。 -
CIスタブ。 iqkソースの
#elseスタブセクションはiqk_mul_mat.hと同期が取れていなかったため、ci/run.shは非AVX2ハードウェアではビルドすらできませんでした。欠落していた<cstdint>、間違ったシグネチャを持つスタブ(先頭に余分なパラメータが1つ、sinksが1つ欠落)、そしていくつかの関数にはまったくスタブがなかったため、リンク時に未定義参照が発生しました。退屈な作業ですが、これがないとこのハードウェア上の誰もテストスイートを実行できません。
フォールバックにはコストがかかります。1つの融合カーネルではなく2つの別々のmatmul-IDになりますが、このCPUはすでにメモリ帯域幅がボトルネックであり、融合カーネルはAVX2専用だったので、何も失うものはありませんでした。エンドツーエンドで、26B-A4B MoEで約5.2トークン/秒のデコードと約16トークン/秒のプロンプト評価が得られます。
もう一つ注意点があります。--run-time-repackは、起動時に量子化されたウェイトをAVX2専用のインターリーブレイアウト(Q8_0_R8)に並べ替えます。これはAVX1では同様に出力を破損させます。これは別のバグであり、パッチはこのバグを修正しようとはしていません。実行スクリプトは単にこのフラグをドロップします。
命令セットの不一致は特定しやすかったです。サイレントなフォールスルーはそうではありませんでした。コードを読むと、明白な疑念が次々と払拭されていきました。RMSNormヘルパーは正しく見え、ggml_vec_dot_q8_0_q8_0のAVX1フォールバックは正しく見え、ビット単位で同一のシングルスレッド実行はスレッドの問題を排除しました。ロジットを計装し、平均が+16に固定され、ロングテールトークンのほとんどが関連付けられているのを見た後、検索は「隠れ状態の大きなチャンクが初期化されていない」という点に絞られました。ディスパッチャーで#if GGML_USE_IQK_MULMATをgrepすると、約1分後に2つの欠落したケースが見つかりました。
再現方法
AVX2以前のボックスを持っていて、これを試したい場合:
- ハードウェア: デュアルXeon E5-2690 v2 (Ivy Bridge, AVX1, AVX2なし), DDR3, GPUなし。
- ビルド: 上記のブランチから
ik_llama.cppをGGML_USE_IQK_MULMATをオフにしてコンパイルします。コンパイル修正は、非AVX2ハードウェアでビルドできるようにするものです。 - モデル: Gemma 4 26B-A4B,
Q8_0。 - 実行: 通常の
ik_llama.cppCPUフラグを使用しますが、--run-time-repackはドロップしてください(これはウェイトをAVX2専用レイアウトに並べ替え、AVX1で出力を再び破損させます)。
これが全レシピです。約5トークン/秒のデコード、CPUのみ、ボックスにGPUは一切ありません。
なぜこれが会社のブログにあるのか
サブスクリプションは簡単な部分です。残りは、フードを開けて、見知らぬ人のコードを読み、13年前のCPUが本来意図されていなかったことを実行するまで質問し続ける意欲です。これは、15年前のRailsアプリや、チームに誰も残っていないデータベースが必要とするのと同じ作業です。つまり、レバレッジがどこにあるのか、ツールが自分で教えてくれないことは何かを見つけるまで掘り下げる人が必要なのです。
もし、埃をかぶったAVX2以前の鉄くずを持っていて、ブランチを試した場合、あなたのシリコンで何が起こるかぜひ聞かせてください。CPUの世代はどこまで遡れるでしょうか?PRスレッドはバグレポートの適切な場所です。そして、あなたが手元で世話をしているのが13年前のXeonではなく、15年前のRailsアプリであれば、それは私たちの生業です。
好奇心旺盛な方のためにいくつかポインタがあります。サーバー自体は300ドル未満でした。地下の箱が月1,500ドルのクラウドより優れている理由の計算はこちらです。そして、きびきびと動くエンタープライズアプライアンスを静かにし、最初に起動させることはそれ自体がプロジェクトでした。そのようなことを楽しむ人のためにここで書かれています。