Ggml v1.0.0 リリース:APIの整理、YaRNの切り捨てとFP8サポート、多数のバックエンド最適化を実施
要約
ggmlライブラリのバージョン1.0.0がリリースされ、非推奨APIの削除、YaRN(RoPE)の切り捨て設定とFP8サポートの追加が行われました。CUDA、Metal、Vulkan、SYCL、OpenCL、WebGPU、Hexagon、CPUなど、様々なバックエンドでパフォーマンス向上のための広範な最適化が施されています。
全文翻訳
v1.0.0
概要
ggml 1.0.0は、非推奨の公開APIとレガシーなDIAG_MASKオペレーションを整理し、設定可能なYaRNの切り捨てとFP8サポートを追加しました。また、バックエンド全体で広範なパフォーマンス改善をもたらしました。具体的には、CUDA/Metalでの少数行量子化行列乗算とMoE(Mixture of Experts)の融合、VulkanでのプリフィルFlashAttentionパス、SYCLでのデバイスサイドMoEスケジューラ、OpenCLでの分解されたAdreno FlashAttention、新しいWebGPUカーネル、Hexagonオペレーションカバレッジの拡大、未使用入力のアップロードを回避するスケジューラ改善などが含まれます。
APIの変更
- 非推奨APIを整理し、レガシーな
DIAG_MASK_INF/DIAG_MASK_ZEROオペレーションを削除しました。これによりRPCプロトコルが更新され、互換性のないピアを拒否するようになりました(llama/29801, llama/31946)。 - YaRN補正の境界丸めを制御するための
ggml_rope_set_truncate/ggml_rope_get_truncateを追加しました(llama/30206, llama/30802)。 TRIの逆伝播を実装しました(llama/30712)。MUL_MATのソース1精度テストとggml_prec_set_accのゲーティングを追加しました(llama/31896, llama/31851)。- RPCプロトコルをv9に引き上げ、ロード速度の向上と、到達不能なエンドポイントやハンドシェイク失敗時の正常なフォールバックを実現しました(llama/29413, llama/30415)。
コアの変更
- スケジューラは、読み取られない入力のアップロードをスキップし、早期の分割で生成された入力のみをプリフェッチするようになりました(llama/31419, llama/32100)。
- MoEキャッシュは、CPUでキャッシュミスの一部を計算し、結果を非同期にコピーバックできるようになりました(llama/30966)。
- Metaバックエンドは、テンソル数が少ないバッファのコンピュートビュー制限を引き上げました(llama/31447)。
バックエンドの変更
CUDA
- バッチサイズ2〜24向けの少数行MMQ(Matrix Multiply Quantized)と、BF16少数行行列乗算向けのMMVF(Matrix Multiply Vectorized Fusion)を追加しました(llama/31533, llama/31959)。
- OCP FP8サポートを追加し、NVFP4ゲート/アップ行列乗算とGLUをMMQで融合しました(llama/28413, llama/31296)。
- sm70ヘッドサイズ256設定とMMAヘッドサイズ40/72のFlashAttentionを拡張しました(llama/27997, llama/30285)。
- グラフ処理を改善しました:再利用時の互換性チェックをスキップし、クラスタ次元変更時の再インスタンス化、グラフ状態の移動を行いました(llama/32004, llama/31284, llama/32001)。
- MoE:空のMMQストリームkタイルをスキップし、MoEレイアウトを線形化し、ポストバイアスNaNをサニタイズしました(llama/32067, llama/31047, llama/31005)。
- デバッグバッファプールを追加し、VMMプール予約を半分にし、予約リトライを追加しました(llama/31919, llama/30542)。
- HIP:固定BLASワークスペースを使用し、CDNA2用のMFMAライトニングインデクサーを追加しました(llama/31838, llama/29050)。
- d_state=64のSSM_SCAN高速パスを追加し、タイでのラジックスTop-Kを決定論的にしました(llama/31818, llama/31084)。
Metal
- MoEルーティングを融合し、融合可能なノードグループを単一のコマンドバッファ内に保持しました(llama/31615, llama/31688)。
- ラジックスTop-Kをタイに対して決定論的にし、32<=K<64向けのmul_mmを追加し、TRIをセレクトに切り替えました(llama/31084, llama/30982, llama/30711)。
- ne03>1のGROUP_NORMと、FA出力およびSOLVE_TRIカーネルでの境界外アクセスを修正しました(llama/31852, llama/31662, llama/32103)。
Vulkan
- Intel FlashAttentionプリフィルカーネルを追加しました(llama/29357)。
- バッチテンソルコピー、テスト融合インターフェース、ReBAR検出を追加しました(llama/31418, llama/30769, llama/31658)。
- CM2でのデ量子化KV、YaRN切り捨て、RDNA3/4大型タイル分割K、および新しいAMDドライバでの大型coopmat行列乗算を有効にしました(llama/31526, llama/30802, llama/30280, llama/31587)。
- 512を超えるブロック幅向けのタイル化トランスポーズ連結シェーダーとFWHTカーネルを追加しました(llama/30591, llama/29772)。
- MoltenVKの境界外アクセス、GROUP_NORMワークグループ制限、FAスクラッチサイズを修正しました(llama/31890, llama/31930, llama/30487)。
- Qualcommでの大型ヘッドに対するスカラーFlashAttentionを8行に制限しました(llama/30829)。
SYCL
- デバイスサイドMoEスケジューラを追加しました(llama/30156)。
- oneDNN FAキャッシュをスレッドセーフにし、ヘッドディメンション=64でのAlchemist向け融合SDPAのゲートを解除しました(llama/31138, llama/31574)。
- デバイスIDをキャッシュし、VRAMを超えるバッファを拒否するようにしました(llama/31126, llama/32013, llama/31285)。
- Q4_1/Q5_1/Q8_0へのCPYで正確な丸め、ストライドCLAMP、f16 SWIGLU_OAIを追加しました(llama/31465, llama/31784, llama/30857)。
- 4GBを超えるアロケーションに対するAOTを修正しました(llama/31873)。
OpenCL
- 分解されたAdreno FlashAttentionを追加し、デコードパフォーマンスを改善しました(llama/32046, llama/31633)。
- q6_kタイル化、q8_0、f32/q5_kマルチカラムGEMVカーネル、およびf32 MUL_MAT_IDを追加しました(llama/31758, llama/30947, llama/31783)。
- arange、非連続シグモイド、f16/i32/i16/bf16向けの繰り返し、およびDSV4 HCプリ/ポストカーネルを追加しました(llama/31829, llama/31687, llama/31782, llama/31623)。
- Adreno X2向けのマルチカラムGEMVをデフォルトで有効にしました(llama/31694)。
WebGPU
- バッチテンソルAPIサポートを追加し、get_max_sizeからmaxBufferSizeを返却するようにしました(llama/31473, llama/31348)。
- GROUP_NORM、MEAN、COUNT_EQUAL、PAD_REFLECT_1Dカーネルを追加しました(llama/31490, llama/31591, llama/31578, llama/31877)。
- YaRN切り捨て設定をサポートしました(llama/30802)。
Hexagon
- Q5_0/Q5_1サポートを追加し、conv_2dを最適化し、conv_3dを追加しました(llama/32094, llama/31814)。
- post-norm residual addをRMS_NORM_MULに融合し、set_tensor_nを追加しました(llama/31822, llama/31744)。
- libhtpの自動ロードを追加し、64ビットFastRPCハンドルトランケーションを修正しました(llama/31781, llama/30952)。
- clang-cl on Windows ARM64でのホストビルドを修正しました(llama/32011)。
CPU
- MUL_MATをF32ソース1に切り替え、FlashAttention VをF32で累積するようにしました(llama/31854, llama/29810)。
- SpacemiT GATED_DELTA_NET RVVとQ4_1 32x256 HPカーネルを追加し、IME2 MXFP4リパックを有効にしました(llama/31897, llama/31929, llama/31776)。
- ARM NEONでの4x4 simd_gemmタイルを有効にし、llamafileにbf16/q8_0 VXEを追加しました(llama/32128, llama/31866)。
CANN
- サポートされていないバッファタイプの場合、早期に失敗するようにしました(llama/31270)。
ZDNN
- 非zdnnテンソルを受け入れ、各オペレーション後にコンピュートテンソルを無効にし、リリースバックエンドライブラリ検出を修正しました(llama/31824, llama/31905)。
OpenVINO
- YaRN切り捨て設定をサポートしました(llama/30802)。
詳細情報
v0.29.0以降の変更履歴
417a024 ggml : バージョンを1.0.0に更新 (#1690)
771b3d9 requirements : python 3.14のnumpyを修正 (#1691)
f154959 sync : llama.cpp
ec04faf fix(hexagon): clang-cl on Windows ARM64でホストビルドが動作するように修正 (llama/32011)
b45738e examples : ggml_diag_mask_infの削除に対応
1514439 sync : llama.cpp
5f29555 ggml : 整理 (llama/29801)
076861c hexagon: Q5_0とQ5_1のサポートを追加 (llama/32094)
63ec52d Title: CUDA: BS 2-24向けの少数行MMQ (llama/31533)
c6fe796 ggml : GATED_DELTA_NETをSpacemiT RVVカーネルにディスパッチ (llama/31897)
4ae6e72 vulkan : prefill向けのIntel FAカーネル (llama/29357)
b22071c ggml-cpu: ARM NEONで4x4 simd_gemmタイルを使用 (llama/32128)
ba8b013 CUDA: nvfp4チェックポイントのepilogue MMQにおけるw_sスケールの融合によるprefilの最適化 (llama/26048)
05f605a ggml-backend : 早期の分割で計算された入力のみをプリフェッチ (llama/32100)
b8a5b87 ggml : SpacemiT Q4_1 32x256をHPカーネル経由でディスパッチ (llama/31929)
7a8cef5 sycl: oneDNN FAキャッシュをスレッドセーフにし、ランタイムエラーをメモ化 (llama/31138)
6dfea1a sycl : 4GB超のアロケーションに対するAOTを修正 (llama/31873)
012ff44 sycl : set_main_deviceでキャッシュされたデバイスIDを使用 (llama/32013)
2f9d47b CUDA: cudaデバッグバッファプールを追加 (llama/31919)
522d257 opencl: binカーネル kernel_gemm_noshuffle_q4_0_f32_32b_trans_ila_a7_bin を追加 (llama/30947)
0f9dcb7 CUDA: MMQストリームk修正における空のMoEタイルをスキップ (llama/32067)
6bed9a8 opencl: Adreno向けの分解されたFAを追加 (llama/32046)
a357e7b metal : SOLVE_TRIカーネルでの境界外読み取りを防止 (llama/32103)
c36ccd8 vulkan: バッチテンソルコピーAPIをサポート (llama/31418)
1bffc59 backend : クラスタ次元が変更されたカーネルのCUDAグラフを再インスタンス化 (llama/31284)
8153155 ROCm/HIP: BLASワークスペースを固定し、rocBLASが呼び出しごとに割り当てるのを回避 (llama/31838)
ad7d200 cpu: FlashAttention VをF32で累積 (llama/29810)
7f4a2db webgpu: PAD_REFLECT_1Dサポートを追加 (llama/31877)
0f51454 vulkan: CM2でのデ量子化KV最適化を有効化 (llama/31526)
eb4de49 vulkan: デバイスフォルトベンダーバイナリバッファを割り当て (llama/32008)
6b7f47a cuda : 小さなバッチサイズでのBF16行列向けにMMVFを使用 (llama/31959)
77d01f1 cuda : DKQ=256, DV=256, ncols=64のsm70 FlashAttention設定ケースを追加 (llama/27997)
bd37ba0 cuda : fattn mmaヘッドサイズ 40 72 (llama/30285)
161ca15 CUDA: OCP FP8サポートを追加 (llama/28413)
06faf80 sycl : sycl CLAMPがストライドビューを実際にサポートするように修正 (llama/31784)
a986181 cuda : 未使用のidsとtype_src0パラメータを削除 (llama/32018)
55104b2 llama : FP8 KVキャッシュサポートを追加 (llama/28392)
0753641 ggml : MUL_MATソース1精度テストとゲーティングを追加 (llama/31896)
1cd16bd cuda : quantize_cuda_t typedefを削除 (llama/31884)
4a18cdd cuda : VMMプール予約サイズを半分にし、cuMemAddressReserve失敗時にリトライ (llama/30542)
1c9ac9d CUDA: グラフが再利用される際にグラフ互換性チェックをスキップ (llama/32004)
999c725 ggml : FreeBSD Vulkanビルドを_XOPEN_SOURCE=700を設定して修正 (llama/31701)
47bc1d8 CUDA: グラフと同時ストリーム状態をcommon.cuhから移動 (llama/32001)
df70e12 cann: バッファタイプがサポートされているかのチェックで早期に失敗 (llama/31270)
e447eb5 sycl: デバイスサイドMoEスケジューラを追加 (llama/30156)
9a1c582 vulkan: Qwenモデル向けのタイル化トランスポーズ連結シェーダーを追加 (llama/30591)
8b3c8cf ggml-rpc : 到達不能なエンドポイントとハンドシェイク失敗時に正常にフォールバック (llama/30415)
f860f1d vulkan: maxComputeWorkGroupCount制限を回避するためGROUP_NORMワークグループを2Dに分割 (llama/31930)
eb5571a vulkan: MoltenVKでの境界外読み書きを修正 (llama/31890)
5a9a264 vulkan: QualcommでのスカラーFlashAttentionを8行に制限 (llama/30829)
5610f41 sycl: ヘッドディメンション=64でのAlchemist向けoneDNN融合SDPAのゲートを解除 (llama/31574)
487cadf hexagon: クローズ時の64ビットFastRPCハンドルトランケーションを修正 (llama/30952)
be37c9c ggml-zdnn: 非zdnnテンソルを受け入れ、各オペレーション後にコンピュートテンソルを無効化 (llama/31824)
294d5fc ggml : TRIの逆伝播を実装 (llama/30712)
e18c2c6 ggml-backend: 読み取られない入力のアップロードをしない (llama/31419)
e84d36b metal : Metal FA出力バッファへの境界外書き込みを防止 (llama/31662)
0dd184f metal : ggml_triを比較によるスケーリングではなくセレクトに切り替え (llama/30711)
b6d482c opencl: climitsを含める (llama/31935)
62de780 RPC: ロード時間を改善 (llama/29413)
a7276d0 ggml : openvino, sycl, vulkan, webgpu, rpcでYaRN切り捨て設定をサポート (llama/30802)
da89459 sycl: デバイスIDをキャッシュ (llama/31126)
fb57085 tests: f32角度分解能でtest_ropeの許容誤差を制限 (llama/31874)
e43d847 opencl: f32 MUL_MAT_IDを追加 (llama/31783)
d1c1e4b ggml-zdnn: リリースバイナリがバックエンドライブラリを検出しない問題を修正 (llama/31905)
7e7b6e9 mtmd: リファクタリング: clip.hを削除し、コードをmtmdに統合 (llama/31865)
5a0e536 cpu: SpacemiT IME2 MXFP4密結合リパックを有効化 (llama/31776)
7f4b25f llamafile: bf16とq8_0 vxeを実装 (llama/31866)
f22fc6a ggml : CUDA/MetalラジックスTop-Kを更新し、タイした選択を決定論的にする (llama/31084)
47b8b4f ggml-cuda : SSM_SCANカーネルにd_state=64の高速パスを追加 (llama/31818)
b524960 webgpu : COUNT_EQUALサポートを追加 (llama/31578)
75a4f5a ggml : CPUバックエンドでソース1をF32に切り替え (llama/31854)
6cddab2 llama, mtmd: ggml_prec_set_acc呼び出しの参照精度に従う (llama/31851)
7353275 opencl: spec向けのq8_0とMoE小n検証を改善 (llama/31831)
8f1404e hexagon: libhtpの自動ロードサポート、レガシー環境変なし (llama/31781)
91c102a sycl: Q4_1, Q5_1, Q8_0へのCPYで正確な丸め (llama/31465)
8cf32bc sycl: VRAMを超えるデバイスバッファを拒否 (llama/31285)
d969b07 hexagon: n_hvxとn_threadsのクリーンアップ (llama/31857)
5746ebd llama_moe_cache: ミスしたエキスパートをCPUで実行、チューニングスクリプトを追加 (llama/30966)
a49f174 sycl: f16 SWIGLU_OAIサポートを追加 (llama/30857)
c6a0780 metal : ne03>1および非連続入力に対するGROUP_NORMを修正 (llama/31852)
1e5c3e0 webgpu : group normカーネルを実装 (llama/31490)
37ecdca vulkan: decodeBuf宣言に'readonly'を追加 (llama/31833)
c08538b CUDA: lightning indexerでの共有メモリバンク競合を修正 (llama/31803)
07b8362 opencl: arangeを追加 (llama/31829)
f55a504 meta : テンソル数が少ないバッファのコンピュートビュー制限を引き上げ (llama/31447)
2870133 hexagon: RMS_NORM_MULへのpost-norm residual addの融合 (llama/31822)
a135ec6 hexagon: conv_2dの最適化とconv_3dのサポート (llama/31814)
e3d3633 tests : isnanとsignbitをstd::で修飾 (llama/31791)
a7d3330 tests : CIでhardware_concurrencyをオーバーライド (llama/31797)
ab7ca9c opencl: f16, i32, i16, bf16向けの繰り返しをサポート (llama/31782)
9290392 webgpu: バッチテンソルAPI(get_tensor_nとset_tensor_n)を実装 (llama/31473)
f594fed vulkan: ReBARサポートを検出し、利用できない場合はBARアロケーションを回避 (llama/31658)
38e4be2 CUDA: Maxwellビルドを修正 (llama/31787)
8bd6b61 opencl: spec検証とリファクタリングのためのq6_kマルチカラムタイル化GEMVを追加 (llama/31758)
d3ce63d hexagon: set_tensor_nを実装し、リパッキング/タイリングの堅牢性を向上 (llama/31744)
9b1880f ggml-cuda: MoE選択におけるポストバイアスNaNをサニタイズ (llama/31005)
7e607b8 vulkan: テスト融合インターフェースを実装 (llama/30769)
2188d13 CUDA: get_mmvq_mmid_max_batchで最も高いコンパイル済みアーキテクチャを使用 (llama/31679)
114ce5e vulkan: RDNA3/4大型タイル分割K最適化 (llama/30280)
e074347 metal : DeepSeek-V4/V4.1とGLM MoEルーティングを融合 (llama/31615)
f0f5b42 CUDA/HIP: CDNA2 (gfx90a)向けの行列コア (MFMA) ライトニングインデクサー (llama/29050)
fa8c617 CUDA: MMQ/MMF向けのMoEデータレイアウトを線形化 (llama/31047)
1690d2e vulkan: 512を超えるブロック幅向けのFWHTカーネル (llama/29772)
40278c4 vulkan : FAデ量子化パスでのK+V結合f16スクラッチサイズをチェック (llama/30487)
2dccfdb sync : llama.cpp
25b845e ggml : YaRN向けのtruncate=falseをサポート (llama/30206)
accf2a1 sync : llama.cpp
b2ce926 metal : 32 <= K < 64向けのmul_mmを使用 (llama/30982)
1a5f477 webgpu : MEANサポートを追加 (llama/31591)
2ab6d6c vulkan: AMDプロプライエタリドライバ26.10.1+で大型coopmat行列乗算設定を再有効化 (llama/31587)
19df6cf tests: タイに近いタイによるTOPK_MOEのCIの不安定性を修正 (llama/31426)
a0df99d metal: fusableノードグループを単一コマンドバッファ内に保持 (llama/31688)
3a996db opencl: Adreno X2向けのf32およびq5_kマルチカラムGEMVをデフォルトで有効化 (llama/31694)
d75184e opencl: 非連続シグモイドをサポート (llama/31687)
c634501 opencl: DSV4_HC_PREとDSV4_HC_POSTを追加 (llama/31623)
0816137 Title: CUDA: NVFP4ゲート/アップ行列乗算とGLUをMMQで融合 (llama/31296)
4ac0dae opencl: FAによるデコードパフォーマンスを改善 (llama/31633)
4f681f2 webgpu : get_max_sizeからmaxBufferSizeを返却し、memset/clearでの全バッファバインディングを回避 (llama/31348)
cd6d2b7 docs : gguf.mdのggml_type enumを同期 (#1685)