Unsloth Dynamic 3.0 GGUFs
Unsloth Dynamic 3.0 GGUFs (unsloth.ai)
要約
Unslothは、大規模言語モデル(LLM)の量子化技術であるDynamic v3.0 GGUFsを発表しました。この新バージョンは、従来のバージョンと比較して同サイズで10%以上の精度向上を実現し、特にDivergence-300 @32やKL Divergenceといった指標で優れた結果を示しています。より高品質なキャリブレーションデータセットと改良された量子化手法により、モデル品質の維持と効率化を両立させています。
全文翻訳
🦥Unsloth Dynamic 3.0 GGUFs
Unsloth Dynamic v3.0 は、当社のDynamic量子化の次期バージョンであり、Dynamic v2.0からの大きな進歩です。
本日、Qwen3.8-27B Dynamic v3.0の量子化モデルをリリースします。これは、他の全てのプロバイダーと比較して、同サイズでトップ1の精度が10%以上向上しています。これは、Dynamic v3.0の最初の共有早期プレビュー版のアップデートです。新しい3.0 GGUFは、llama.cppやUnsloth Desktopを含むほとんどの推論エンジンで動作します。
Dynamic v3.0は、全体としてモデルの品質をより多く維持しつつ、同じサイズを保ち、Divergence-300 @32やKL Divergenceなどの指標でより強力な結果をもたらします。
皆様の多大なサポートにも感謝いたします!わずか5日間で510万以上のUnsloth Qwen3.8ダウンロードを記録しました!
[画像]
詳細なグラフ/ベンチマークと分析は以下をご覧ください。
当社の新しい手法は、多くの新機能と改善から構成されています。現在、多様なソースからの、はるかに高品質なimatrixキャリブレーションデータセットを使用しています。このデータセットは、エージェントコーディング、チャット、および多言語パフォーマンスのために洗練されています。また、レイヤー選択を改善し、可能な限り多くのモデル品質を維持するために、さらに多くの量子化技術を導入しました。
私たちは、imatrixキャリブレーションデータセットでトレーニングを行っておらず、QATやQADも使用していません。全てポストトレーニング量子化で行われています。使用しているimatrixファイルは、コミュニティがテスト、評価、使用するために公開されています。研究者や開発者の皆様には、当社のUnsloth量子化/imatrixを使用してQwen3.8のバリエーションやファインチューニングを作成することを奨励します。過学習分析](https://unsloth.ai/docs/basics/dynamic-3.0-ggufs#not-overfitting)もお読みいただけます。
- また、ディスクスペースを約500MB節約するために、
UD-Q2_K_XL(8.37GB以下)より小さい量子化モデルからMTPモジュールを削除しました。必要であれば、Q4_0MTPの別モジュールを使用できます。 - また、
UD-IQ1_S(MTPなしで6.2GB)のような、より小さいUD-1ビット量子化モデルも作成しました。これはトップ1精度約72%を維持しつつ、89%小さくなっています。 UD-Q2_K_XLは、次に良いものよりトップ1精度で約8%高く、9.83GBで、以前は壊れていた小さなJSバグのある動作するHTMLプログラムを作成することに成功しました。
[画像]
2ビットQwen3.8-27B GGUFで生成
🔀 Divergence-300 @32
通常、Kimi-K3の「Dynamic 1-bitは約78.9%のトップ1精度を達成し、62%小さい」といった形でトップ1精度を報告します。しかし、トップ1は1つの予測に対するargmaxであり、実際の推論を評価するには効果的ではありません。
Terminal-Bench 2.1 + DeepSWE + Harbor + MathArena 2025-26 + 非ラテン文字/長文プロンプトから取得した300個のホールドアウト例(キャリブレーションデータセットには含まれていない)のデータセットを作成し、BF16と全ての量子化モデルおよびプロバイダーに対して32トークンでグリッドargmaxデコーディングを行いました。過学習に関する詳細は、過学習分析を参照してください。
これにより、過学習の有無や、量子化出力が複数のトークンにわたるBF16の軌跡と類似しているかを評価できます。これはトップ1精度よりも優れた指標であり、KLDトップ1を32トークンでのKLDトップ1のように拡張しています。
[画像]
❓1ビットはエージェントユースケースには使用すべきではありません
🔀 Divergence-300 @32で見たように、UD-Q2_K_XLからUD-IQ2_Sへの急激な低下があり、32トークン予測では約25%の精度から8-10%未満になります。この急激な低下は、ツール呼び出しや思考モードが壊れることを意味します。1ビットを使用する場合のいくつかの問題と緩和策は以下の通りです。
- 過剰なループ UD-Q2_K_XL未満の量子化モデルを使用すると、多くのループが発生します。常に
presence_penalty = 1.5(またはそれ以上)を使用してください。 - 空の応答 1ビット量子化モデルでは、常に低レベルの推論であっても思考を有効にしてください。推論モード以外では、モデルは何も出力しない可能性があります。
- エージェントユースケースとツール呼び出し ツール呼び出しにはモデルを使用しないでください。重度に量子化された場合、一般的な知識のみが保持され、モデルはツールを呼び出せない、呼び出し続ける、または全く呼び出さないかのいずれかになります。
- 一般的な知識は機能します トップ1回復率77%は、8%のDivergence-300 @32の代替にはなりません。これは実際の推論ワークロードのより良い指標です。非常に短い一般的な知識の事実に関する質問にはモデルを使用できますが、UD-Q2_K_XLを使用するのが最善です。
🔀 KL Divergence ベンチマーク
全てのプロバイダーに対してKLDベンチマークも実行し、トップ1とKLD平均を報告しています。特に小さい量子化サイズでは、全てのレベルでUnsloth UD-3量子化モデルは、同じディスクスペースで最大+10%のトップ1精度を追加で獲得しています!
全てのプロットは、ディスクスペースを計算する際にMTPヘッドをX軸から除外しており、全てのプロバイダーとの公平な比較を可能にしています。
[画像]
[画像]
🕊️過学習なし
以前のUD-2と未見のWikitextおよびコードを比較すると、KLDで大幅な改善が見られます。大きいモデルではそれほどではありません。そのため、大きいモデルには引き続き古いUD-2を使用しています。これらも実験して改善していく予定です!
また、キャリブレーションとテストに完全に異なるデータセットを使用し、可能な限り全ての漏洩を排除することで、過学習を制御しています。これらの未見のデータセットでKLDをテストしており、QAD / QATは行わず、純粋なPTQのみであるため、他のQAD / QATアプローチと比較して過学習の懸念は少なくなっています。
[画像]
同様に、🔀 Divergence-300 @32は、DeepSWE、Terminal Benchなどからの300個のプロンプトからなる未見のデータセットを使用しており、過学習を示さない新しいUD-3手法を評価するための別のデータセットとして機能しています。
Dynamic v2.0 (旧バージョン)
Unsloth Dynamic v2.0量子化を導入します。これは以前の量子化モデルからの大幅なアップグレードです。この新しい手法は、主要な量子化手法を上回り、Aider Polyglot、5-shot MMLU、およびKL Divergenceの新しいベンチマークを確立しています。
これにより、可能な限り多くの精度を維持しながら、量子化されたLLMを実行およびファインチューニングできるようになりました!2.0 GGUFは、llama.cpp、Unsloth Studioなどのほとんどの推論エンジンで実行できます。
2025年9月10日更新:より厳しいベンチマークを求められたため、Aider Polyglotの結果を公開します!当社のDynamic 3ビットDeepSeek V3.1 GGUFは75.6%を記録し、多くのフル精度SOTA LLMを上回っています。続きを読む。
[画像: DeepSeek-V3.2 Thinking Aider Benchmarks][画像: Llama 4 5-shot MMLU Benchmarks]
Benjamin MarieがLiveCodeBench v6、MMLU Proなどで実施した実世界のユースケースベンチマークもご覧いただけます。
UnslothのGGUFが、約8GB小さいにもかかわらず、非Unsloth量子化モデルよりも優れたパフォーマンスを発揮していることがわかります。
ベンチマークと評価の詳細な分析は以下にあります。
💡 Dynamic v2.0の新機能?
- GGUFs + safetensorsのレイヤー選択の改良: Unsloth Dynamic 2.0は、よりインテリジェントかつ広範囲にレイヤーを選択的に量子化するようになりました。一部のレイヤーを変更するだけでなく、全ての可能なレイヤーの量子化タイプを動的に調整し、その組み合わせはレイヤーとモデルごとに異なります。
- 現在の選択された全ての将来のGGUFアップロードはDynamic 2.0と新しいキャリブレーションデータセットを利用します。このデータセットは、150万トークン以上(モデルによる)を含み、高品質で手作業でキュレーションおよびクリーニングされたデータで構成されており、会話チャットパフォーマンスを大幅に向上させます。
- 以前は、当社のDynamic量子化(DeepSeek-R1 1.58ビットGGUF)はMoEアーキテクチャでのみ効果的でした。Dynamic 2.0量子化は、全てのモデル(MoEおよび非MoEを含む)で動作するようになりました。
- モデル固有の量子化: 各モデルはカスタムテーラードされた量子化スキームを使用するようになりました。例えば、Gemma 3で量子化されたレイヤーは、Llama 4で量子化されたレイヤーとは大きく異なります。
- 特にApple SiliconおよびARMデバイスでの効率を最大化するために、Q4_NL、Q5.1、Q5.0、Q4.1、およびQ4.0フォーマットも追加しました。
ベンチマークの精度を確保するため、Llama 4およびGemma 3の公式報告の5-shot MMLUスコアに一致する内部評価フレームワークを構築しました。これにより、フル精度 vs. Dynamic v2.0、QAT、および標準的なimatrix GGUF量子化モデル間で、直接比較が可能になりました。
全ての将来のGGUFアップロードはUnsloth Dynamic 2.0を利用し、当社のDynamic 4ビットsafe tensor量子化モデルも将来的に恩恵を受けるでしょう。
📊 KL Divergence を使用する理由?
Accuracy is Not All You Need は、不要なレイヤーを選択することによるレイヤーのプルーニングでさえ、「フリップ」の点で大きな違いを生むことを示しています。「フリップ」とは、間違った回答が正しい回答に、またはその逆に変化することと定義されます。この論文では、レイヤーをプルーニングしたり量子化を行ったりしてもMMLUが減少しない場合があるが、それは一部の間違った回答が正しい回答に「フリップ」した可能性があるためだと示しています。当社の目標は元のモデルに一致させることなので、「フリップ」を測定することは良い指標です。
研究論文「Accuracy is Not All You Need」によると、KL Divergenceは量子化エラーを報告するためのゴールドスタンダードの一つであるべきです。パープレキシティの使用は不正確です。なぜなら、出力トークンの値が相殺される可能性があるため、KLDまたはAiderのようなより困難なベンチマークを使用する必要があります。
この論文では、KL Divergenceがフリップと高い相関があることも示されており、当社の目標は、ディスクスペースの増加を最小限に抑えながら、平均KL Divergenceを削減することです。
⚖️ キャリブレーションデータセットの過学習
ほとんどのフレームワークは、Wikipediaの記事のテストセットを使用してパープレキシティとKL Divergenceを報告しています。しかし、キャリブレーションデータセットもWikipedia関連であるため、量子化モデルが過学習し、低いパープレキシティスコアを達成することに気づきました。公平なテストのために、Calibration_v3とCalibration_v5データセットを使用しており、これにはウィキテキストデータなどが含まれています。また、インストラクトモデルには独自のチャットテンプレートがあり、テキストのみのキャリブレーションデータセットを使用することはインストラクトモデルには効果的ではありません(ベースモデルには有効です)。実際、ほとんどのimatrix GGUFは通常、これらの問題でキャリブレーションされています。その結果、モデルが本質的にそのドメインに最適化されているため、同様にWikipediaデータを使用するKL Divergenceベンチマークで自然にパフォーマンスが向上します。
公平で管理された評価を保証するために、KL Divergenceのベンチマークを行う際に、チャットパフォーマンスに最適化された独自のキャリブレーションデータセットを使用しないようにしました。代わりに、同じ標準的なWikipediaデータセットを使用してテストを実施し、Dynamic 2.0手法のパフォーマンスをベースラインのimatrixアプローチと直接比較できるようにしました。
🔢 MMLU再現の冒険
- MMLU 5ショットの再現は悪夢でした。Llama 3.1 (8B) Instruct、Gemma 3 (12B)など、多くのモデルでMMLUの結果を再現できませんでした。これは微妙な実装上の問題によるものです。例えば、Llama 3.1 (8B)は本来約68.2%の精度を達成すべきですが、不正確な実装を使用すると35%の精度しか得られません。
[画像]
MMLU実装の問題
- Llama 3.1 (8B) Instructは、ナイーブなMMLU実装で67.8%のMMLU 5ショット精度を持っています。しかし、Llamaは「A」と「_A」(先頭にスペースのあるA)を異なるトークンIDとしてトークン化することを発見しました。スペースの有無にかかわらずトークンを考慮すると、68.2%(+0.4%)になります。
- 興味深いことに、Eleuther AIのLLM Harnessによると、Llama 3はLlama 3の元のMMLUベンチマークに従って、質問に「The best answer is」を付加します。
- 他にも多くの微妙な問題があり、全てを管理された環境でベンチマークするために、github.com/hendrycks/testを直接調査して独自のMMLU実装をゼロから設計し、複数のモデルで結果を確認し、報告されている数値と比較しました。
✨ Gemma 3 QAT再現、ベンチマーク
GemmaチームはGemma 3の2つのQAT(Quantization Aware Training)バージョンをリリースしました。
- Q4_0 GGUF - 各ブロックに32個の重みを持つ式
w = q * block_scaleを使用して、全てのレイヤーをQ4_0に量子化します。詳細についてはllama.cpp wikiを参照してください。
全てのQ4_0 GGUFバージョンをベンチマークし、12Bモデルで広範な実験を行いました。12B Q4_0 QATモデルは5ショットMMLUで67.07%を達成し、フルbfloat16の12Bバージョンは67.15%を達成しました。これは非常に印象的です!27Bモデルもほぼそれに近いです!
MMLU 5 shot
26.12%
55.13%
67.07% (67.15% BF16)
70.64% (71.5% BF16)
ディスクスペース
0.93GB
2.94GB
7.52GB
16.05GB
効率*
1.20
10.26
5.59
2.84
ディスクサイズとMMLU 5ショットスコアを考慮して、モデルの有用性を計算する新しい効率メトリックを設計しました。
Efficiency = (MMLU 5 shot score - 25) / Disk Space GB
MMLUには4つの選択肢(A、B、C、D)があるため、25を引く必要があります。ランダムに回答を選択するだけのモデルを作成した場合、精度は25%になり、ディスクスペースは数バイトになります。しかし、明らかにこれは有用なモデルではありません。
ベースモデルとのKL Divergenceと比較すると、以下の表が改善点を示しています。0に近いほど良い(つまり、フル精度モデルと同一の場合は0)ことを思い出してください。
IQ1_S
1.035688
5.83
0.972932
6.06
IQ1_M
0.832252
6.33
0.800049
6.51
IQ2_XXS
0.535764
7.16
0.521039
7.31
IQ2_M
0.26554
8.84
0.258192
8.96
Q2_K_XL
0.229671
9.78
0.220937
9.95
Q3_K_XL
0.087845
12.51
0.080617
12.76
Q4_K_XL
0.024916
15.41
0.023701
15.64
ディスクスペースの増加率とKL Divergenceの比率をプロットすると、より明確な利点が見られます!当社のダイナミック2ビットQ2_K_XLはKLDをかなり(約7.5%)削減します。
[画像]
Gemma 3 (27B) のMMLUの表の結果(一部抜粋)。以下を参照。
- 当社のダイナミック4ビットバージョンは、QATバージョンと比較して2GB小さく、+1%の精度が高いです!
- 効率の面では、2ビットQ2_K_XLなどが非常にうまく機能しているようです!
IQ1_M
48.10
47.23
6.51
3.42
IQ2_XXS
59.20
56.57
7.31
4.32
IQ2_M
66.47
64.47
8.96
4.40
Q2_K_XL
68.70
67.77
9.95
4.30
Q3_K_XL
70.87
69.50
12.76
3.49
Q4_K_XL
71.47
71.07
15.64
2.94
Google QAT
70.64
17.2
2.65
GoogleのGemma 3 (27B) QATベンチマークの全容はこちらをクリック:
IQ1_S
41.87
43.37
6.06
3.03
IQ1_M
48.10
47.23
6.51
3.42
IQ2_XXS
59.20
56.57
7.31
4.32
IQ2_M
66.47
64.47
8.96
4.40
Q2_K
68.50
67.60
9.78
4.35
Q2_K_XL
68.70
67.77
9.95
4.30
IQ3_XXS
68.27
67.07
10.07
4.18
Q3_K_M
70.70
69.77
12.51
3.58
Q3_K_XL
70.87
69.50
12.76
3.49
Q4_K_M
71.23
71.00
15.41
2.98
Q4_K_XL
71.47
71.07
15.64
2.94
Q5_K_M
71.77
71.23
17.95
2.58
Q6_K
71.87
71.60
20.64
2.26
Q8_0
71.60
71.53
26.74
1.74
Google QAT
70.64
17.2
2.65
🦙 Llama 4 バグ修正 + 実行
Llama 4のいくつかのバグも修正・支援しました。
-
Llama 4 Scoutは公式リポジトリでRoPEスケーリング設定を変更しました。この変更を有効にするためのllama.cppの問題を解決するのを支援しました。こちら
[画像]
-
Llama 4のQK Normのepsilonは、ScoutとMaverickの両方で設定ファイルから取得すべきです。つまり、1e-06ではなく1e-05を使用する必要があります。これらの問題をllama.cppとtransformersで解決するのを支援しました。
-
Llama 4チームとvLLMは、QK Normが全てのヘッドで共有されている問題(そうすべきではない)を独立して修正しました。こちら。MMLU Proは68.58%から71.53%の精度に向上しました。
-
Wolfram Ravenwolfは、llama.cpp経由の当社のGGUFがサードパーティの推論プロバイダーよりもはるかに高い精度を達成することを示しました。これは、上記で説明した問題の組み合わせと、おそらく量子化の問題によるものと思われます。
[画像]
グラフで示されているように、当社の4ビットDynamic QAT量子化は、サイズが小さいながらも5-shot MMLUでより優れたパフォーマンスを発揮します。
Llama 4 Scoutの実行:
例えばLlama 4 Scoutを実行するには、まずllama.cppをクローンします。
次に、Scout用の新しいdynamic v 2.0量子化モデルをダウンロードします。
そして推論を実行しましょう!
最終更新 27日前
この記事は役に立ちましたか?
- 🔀 Divergence-300 @32
- ❓1ビットはエージェントユースケースには使用すべきではありません
- 🔀 KL Divergence ベンチマーク
- 🕊️過学習なし
- Dynamic v2.0 (旧バージョン)
- 💡 Dynamic v2.0の新機能?
- 📊 KL Divergence を使用する理由?
- ⚖️ キャリブレーションデータセットの過学習
- 🔢 MMLU再現の冒険
- ✨ Gemma 3 QAT再現、ベンチマーク
- 🦙 Llama 4 バグ修正 + 実行
- Llama 4 Scoutの実行:
この記事は役に立ちましたか?
apt-get update
apt-get install pciutils build-essential cmake curl libcurl4-openssl-dev -y
git clone https://github.com/ggml-org/llama.cpp
cmake llama.cpp -B llama.cpp/build \
-DBUILD_SHARED_LIBS=OFF -DGGML_CUDA=ON -DLLAMA_CURL=ON
cmake --build llama.cpp/build --config Release -j --clean-first --target llama-cli llama-gguf-split
cp llama.cpp/build/bin/llama-* llama.cpp
# !pip install huggingface_hub hf_transfer
import os
os.environ["HF_HUB_ENABLE_HF_TRANSFER"] = "1"
from huggingface_hub import snapshot_download
snapshot_download(
repo_id = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
local_dir = "unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF",
allow_patterns = ["*IQ2_XXS*"]
)
./llama.cpp/llama-cli \
--model unsloth/Llama-4-Scout-17B-16E-Instruct-GGUF/Llama-4-Scout-17B-16E-Instruct-UD-IQ2_XXS.gguf \
--threads 32 \
--ctx-size 16384 \
--n-gpu-layers 99 \
-ot ".ffn_.*_exps.=CPU" \
--seed 3407 \
--prio 3 \
--temp 0.6 \
--min-p 0.01 \
--top-p 0.9 \
-no-cnv \
--prompt "<|header_start|>user<|header_end|>\n\nCreate a Flappy Bird game.<|eot|><|header_start|>assistant<|header_end|>\n\n"