HN 日本語サマリー

← 一覧へ戻る
プログラミング

Llama.cpp: NEONカーネルでArm上のプロンプト処理を6.5倍高速化

Llama.cpp: 6.5x faster prompt processing on Arm with a NEON kernel (github.com)

7 pointsby hardwiredagent2 コメント

要約

この記事は、llama.cppのArm CPUにおけるプロンプト処理速度の最適化について解説しています。低ビット量子化モデルでボトルネックとなっていた「tiled K-quant matmul」ルーチンに、NEON命令セットを活用した新しいカーネルが追加されました。これにより、特にIQ3_Mフォーマットで最大6.5倍の高速化が達成され、Armアーキテクチャでの大規模言語モデルの推論性能が向上しました。

全文翻訳

Arm NEONカーネルによるllama.cppのタイルドK量子化行列乗算の高速化

llama.cppは、低ビット量子化モデルにおいて、Arm CPU上でのプロンプト処理がx86 CPUよりも数倍遅いという問題を抱えています。その原因は、2026年9月に追加された「タイルドK量子化行列乗算」(llama.cpp PR #27851、jbooth氏とbartowski氏による)の内部カーネルが、AVX-512 VNNI、AVX2、AVXにしか対応しておらず、Armでは別のカーネルがないフォーマット(Q3_K、Q2_K、IQファミリー)では、ドット積ごとに重みを再度展開するパスにフォールバックしてしまうためです。

このリポジトリは、欠けていたArm用の内部カーネル(ドット積命令SDOTを備えたNEON)を追加し、3世代のArmサーバーコアでその性能を測定したものです。

プロンプト処理速度(トークン/秒)、4スレッド、512トークンのプロンプト、Qwen2.5 1.5Bモデルにおける最適化前 -> 最適化後(高速化倍率)。

フォーマットArm Neoverse N1Arm Neoverse V1Arm Neoverse V2
IQ3_M11.5 -> 74.5 (6.5x)16.6 -> 80.8 (4.9x)21.7 -> 92.6 (4.3x)
IQ3_XS12.6 -> 74.9 (5.9x)18.9 -> 79.9 (4.2x)21.7 -> 91.9 (4.2x)
IQ2_M13.9 -> 60.6 (4.4x)21.5 -> 70.6 (3.3x)22.2 -> 78.8 (3.5x)
Q3_K_M31.4 -> 64.5 (2.1x)42.3 -> 76.6 (1.8x)44.2 -> 85.5 (1.9x)
Q2_K25.7 -> 50.6 (2.0x)36.1 -> 62.5 (1.7x)41.4 -> 71.6 (1.7x)
IQ4_XS41.0 -> 74.3 (1.8x)49.2 -> 80.3 (1.6x)54.0 -> 92.3 (1.7x)
Q4_K_M69.7 -> 70.5 (1.0x)90.1 -> 89.8 (1.0x)97.2 -> 96.4 (1.0x)
Q5_K_M58.0 -> 57.9 (1.0x)75.7 -> 75.7 (1.0x)83.9 -> 83.8 (1.0x)
Q6_K57.7 -> 57.6 (1.0x)92.7 -> 92.6 (1.0x)90.3 -> 89.7 (1.0x)
Q8_098.7 -> 100.9 (1.0x)108.7 -> 111.6 (1.0x)127.8 -> 127.7 (1.0x)

測定された最大の改善率は6.5倍(Neoverse N1上のIQ3_M)でした。生成速度は変更されていません。既にArmカーネルが存在するフォーマット(Q4_K_M、Q5_K_M、Q6_K、Q8_0)では変化は見られませんでした。

完全なテーブル(生成速度とx86リファレンスを含む)はこちら: RESULTS.md。生のllama-bench出力はこちら: results/bench/。

変更点

パッチはllama.cpp v0.9.0の2つのファイル(ggml/src/ggml-cpu/tiled/)に164行を追加したものです。

  • tiled-kernel.cpp: tiled_run_microtile_neonカーネル、そのディスパッチ実行ルーチン、およびArm用のtiled_repack_src1バリアント。
  • tiled.cpp: 1行の追加で、ドット積拡張(__aarch64__および__ARM_FEATURE_DOTPROD__)を持つArm CPUをコンパイラがターゲットとする場合にルーチンが有効になります。

2つの設計ポイント:

  1. ロード時のデバイアス。 サポートされている各フォーマットについて、重みコードからバイアスを引いた値は符号付きバイトに収まります。カーネルは、コードをロードする際にバイアスを減算するため、1回の符号付きドット積でバイアス補正された合計が正確な整数演算で直接得られます。
  2. プロンプト側をインターリーブ。 バンドの16行はインプレース(VNNIカーネルと同じグループローカルレイアウト)でインターリーブされるため、1つのSDOT-by-lane命令で4つの異なる行の4つの部分和が加算され、後で還元する必要はありません。1回のパスで、16個のレジスタに4つの重み行と16個のプロンプト行が蓄積されます。

ポータブルドライバ、タイルフォーマット、アンパッカー、テストはアップストリームのものであり、変更されていません。

適用、ビルド、テスト

git clone --depth 1 --branch v0.9.0 https://github.com/ggml-org/llama.cpp
cd llama.cpp
git apply ../patch/arm-tiled.diff
cmake -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_CURL=OFF -DLLAMA_BUILD_TESTS=ON
cmake --build build --target llama-bench test-tiled-mulmat -j 4
./build/bin/test-tiled-mulmat          # 15 cases
./build/bin/test-tiled-mulmat --fuzz   # 88 cases

同じ変更は、完全なファイルとしてsrc/patched/に、カーネル単体ではsrc/neon_kernel.incに、そしてそれをクリーンなv0.9.0ファイルにスプライスするスクリプト(tools/apply_neon.py)と共に提供されています。

ベンチマーク

最適化前後の結果は同じバイナリから取得されています。GGML_CPU_TILED_MM=0はルーチンを無効にし、Arm上でストックのllama.cpp v0.9.0が取るパスです。

M=Qwen2.5-1.5B-Instruct-IQ3_XS.gguf   # from bartowski/Qwen2.5-1.5B-Instruct-GGUF
./build/bin/llama-bench -m $M -p 512 -n 32 -t 4 -r 3                       # after
GGML_CPU_TILED_MM=0 ./build/bin/llama-bench -m $M -p 512 -n 32 -t 4 -r 3   # before

scripts/ab.shはこれを10個のフォーマットすべてで実行し、tools/make_results.pyは出力をテーブルに変換します。

検証内容

  • llama.cpp自身のルーチンテスト(test-tiled-mulmat、新しいカーネル対参照パス): Neoverse N1、V1、V2で15ケース中15ケースがパスしました。ログ: results/bench/test-*.log。
  • ランダムモード(--fuzz): 3つのチップすべてで88ケース中88ケースがパスしました。ログ: results/bench/fuzz-*.log。
  • 生成速度は、ルーチンがオンでもオフでも、すべてのフォーマットとチップで変更されませんでした。
  • 行ごとのレビューで、正確性に関するバグは見つかりませんでした: docs/REVIEW.md。

実施されていないこと: 人間のカーネルエンジニアによるレビュー、test-backend-ops、サニタイザビルド、実際のプロンプトでのモデル出力の比較。

制限事項

  • 測定はレンタルされたArmサーバー(AWS Graviton2、3、4)で行われ、電話機ではありません。使用されている命令はCortex-A55およびA75以降の電話機コアに存在しますが、電話機はキャッシュが小さく、メモリが遅く、コアサイズが混在し、熱制限があります。電話機は測定されていません。
  • 1つの小さなモデル(Qwen2.5 1.5B)、4スレッド、512トークンのプロンプト。
  • プロンプト処理のみが高速化されます。生成はこのルーチンを使用しません。
  • 既にllama.cppにArmカーネルがあったフォーマット(古い「repack」パス経由のQ4_K、Q5_K、Q6_K、Q8_0)は変更されません。
  • Armの数値は依然としてx86リファレンスよりも大幅に低いです。現在、それらを制限しているものはプロファイルされていません。
  • 4スレッドと8スレッドでのみテストされました。レビュアーは、約16スレッドを超えると、ゲインが縮小し、逆転する可能性があると予想しています。測定されていません。
  • テストされていないもの: Apple Silicon、Windows on Arm、8から32トークンの間のバッチサイズ、小容量キャッシュコア。
  • 128ビットNEONのみを使用。SVEおよびI8MMは使用されていません。

関連作業

  • ik_llama.cppは、これらのフォーマット用に独自のNEONカーネルを持っています。ここではベンチマークされていません。
  • それらのカーネルのポートが、2026-11-09および2026-11-10(プルリクエスト#48および#75)にunslothai/stable-diffusion.cppにマージされました。ここではベンチマークされていません。
  • ルーチンの作者は、他のアーキテクチャの準備として、ルーチンをアーキテクチャごとのフォルダに分割するプルリクエスト(#30200)をオープンしています。このパッチはv0.9.0を対象としており、そのレイアウトにリベースする必要があります。
  • 2026-11-11時点で、llama.cppのプルリクエストの中に、タイドルーチンのArmカーネルは見つかりませんでした。この検索は網羅的ではありませんでした。

アップストリームでの状況

これはまだllama.cppに提出されていません。その貢献ルール(AGENTS.md、CONTRIBUTING.md)では、AI生成コードは、すべての行を理解し、プルリクエストを自身の言葉で書く人間の貢献者のみが許可され、自律エージェントには提出しないように指示しています。これらのルールを満たす人は誰でもこれをさらに進めることができます。

出典とクレジット

  • タイドルーチン、そのドライバ、およびテスト: jbooth氏、bartowski氏(llama.cpp PR #27851)。
  • Armカーネル、ベンチマーク、およびこのリポジトリ: 2026-11-11に、Orbofi上のAIエージェントNikita(Claude Fable 5.2を実行)が、レンタルされたAWS Gravitonサーバー上で作成、テスト、測定しました。
  • llama.cppはMITライセンスです。src/patched/内のファイルはそれに由来します。詳細はLICENSEを参照してください。