Unsloth Dynamic 3.0 GGUFs

完全なドキュメントインデックスについては、llms.txt を参照してください。このページはMarkdownでも利用可能です。 Unsloth Dynamic v3.0 は、当社の Dynamic 量子化の次のイテレーションであり、Dynamic v2.0 からの大きな改善です。本日、Qwen3.8-27B Dynamic v3.0 クアントをリリースします。これらは、同じサイズで他のすべてのプロバイダーと比較して、トップ1%の精度が10%以上向上しています。これは、Dynamic v3.0 の最初の早期プレビュー版のアップデートです。新しい 3.0 GGUF は、llama.cpp や Unsloth Desktop を含むほとんどの推論エンジンで動作します。 Dynamic v3.0 は、全体として、同じサイズを維持しながらより多くのモデル品質を保持し、Divergence-300 @32 や KL Divergence などの指標でより強力な結果をもたらします。 また、皆様のサポートに心より感謝いたします！わずか5日間で 510万以上の Unsloth Qwen3.8 ダウンロードを記録しました！ 詳細なグラフ/ベンチマークと分析については、以下をご覧ください。 当社の新しい方法論は、多くの新機能と改善から構成されています。私たちは、多様なソースから、はるかに高品質なイマトリックスキャリブレーションデータセットを使用するようになりました。このデータセットは、エージェントコーディング、チャット、多言語パフォーマンスのために洗練されています。また、レイヤー選択を改善し、可能な限り多くのモデル品質を維持するために、さらに多くの量子化技術を導入しました。 私たちは、イマトリックスキャリブレーションデータセットでトレーニングを行っておらず、QAT や QAD も使用していません。すべてポストトレーニング量子化を通じて行われます。使用しているイマトリックスファイルは、コミュニティがテスト、評価、使用するために利用可能です。研究者や開発者の皆様には、当社の Unsloth クアント/イマトリックスを使用して Qwen3.8 のバリエーションやファインチューニングを作成することを奨励します。過学習分析もご覧いただけます。 また、UD-Q2_K_XL (8.37GB以下) のような小さいクアントから MTP モジュールを削除し、ディスクスペースを約500MB節約しました。必要であれば、Q4_0 MTP の別モジュールを使用できます。 UD-IQ1_S は 6.2GB (MTPなし) で、トップ1%の精度は約72%を維持しながら、89%小さくなる、より小さい UD-1bit クアントも作成しました。 UD-Q2_K_XL は、次のベストよりもトップ1%で約8%高精度であり、9.83GBで、以前は壊れていたHTMLプログラムを1つの小さなJSバグで作成することに成功しました。 🔀 Divergence-300 @32 通常、Kimi-K3 のようにトップ1%の精度を報告します。「Dynamic 1-bit は約78.9%のトップ1%精度に達し、62%小さい」しかし、トップ1%は1つの予測に対するargmaxであり、実際の推論を評価するにはあまり効果的ではありません。 Terminal-Bench 2.1 + DeepSWE + Harbor + MathArena 2025-26 + 非ラテン/ロングドキュメントプロンプトから、300個のホールドアウトされた例 (キャリブレーションデータセットには含まれていない) のデータセットを作成し、BF16 vs すべてのクアントとプロバイダーに対して32トークンでグリッドargmaxデコーディングを行いました。過学習の詳細については、過学習分析を参照してください。 これにより、過学習が発生しているかどうか、およびクアントの出力が複数のトークンにわたるBF16の軌跡と類似しているかどうかを評価できます。これは、KLDトップ1%を32トークンでのKLDトップ1%のように拡張するため、トップ1%精度よりも優れたメトリックです。 🔀 KL Divergence ベンチマーク すべてのプロバイダーに対して KLD ベンチマークも実行し、トップ1%と KLD 平均を報告しました。すべてのレベル、特に小さいクアントサイズでは、Unsloth UD-3 クアントは、同じディスクスペースで最大10%の追加トップ1%精度を獲得します！ すべてのプロットは、ディスクスペースを計算する際に MTP ヘッドを x軸から削除し、すべてのプロバイダーとの公平な比較を提供します。 🕊️ 過学習しない 古い UD-2 と未見の Wikitext および Code を比較すると、KLD で大幅な改善が見られます。大きいものはそれほどではありません。そのため、大きいクアントには古い UD-2 を引き続き使用します。これらも実験して改善する予定です！ また、キャリブレーションと過学習を制御するために、完全に異なるデータセットを使用し、すべての漏洩を可能な限り排除します。これらの未見のデータセットで KLD をテストし、QAD / QAT も行わず、純粋な PTQ のみを行うため、他の QAD / QAT アプローチと比較して過学習の懸念は少なくなります。 同様に、🔀 Divergence-300 @32 は、DeepSWE、Terminal Bench などからの300個のプロンプトの未見のデータセットを使用し、過学習を評価するための別のデータセットとして機能します。そして、新しい UD-3 メソッドが過学習しないことを示しています。 Dynamic v2.0 (旧) 当社の以前のクアントに対するメジャーアップグレードである Unsloth Dynamic v2.0 量子化を紹介します。この新しい方法は、主要な量子化方法を上回り、Aider Polyglot、5-shot MMLU、および KL Divergence の新しいベンチマークを設定します。 これにより、可能な限り多くの精度を維持しながら、量子化された LLM を実行およびファインチューニングできるようになりました。llama.cpp、Unsloth Studio などのほとんどの推論エンジンで 2.0 GGUF を実行できます。 2026年4月20日 更新: Qwen3.6 および Gemma 4 の新しい GGUF ベンチマークをご覧ください。 2026年2月27日 更新: Qwen3.5 がリリースされ、ツール呼び出しチャットテンプレートの問題をいくつか修正し、各 GGUF をパープレキシティと KL Divergence でベンチマークしました。ベンチマークをご覧ください！ Unsloth パッケージとクアントを使用する主な利点は、主要モデルのバグ修正における当社の積極的な役割です。Qwen3、Meta (Llama 4)、Mistral (Devstral)、Google (Gemma 1–3)、Microsoft (Phi-3/4) のチームと直接協力し、精度を向上させる修正に貢献しました。 Gemma 4 26B A4B ベンチマーク (低いほど良い) Qwen3.6 ベンチマーク (低いほど良い) Unsloth Dynamic GGUF は Unsloth Studio で実行できるようになりました ✨ 2025年9月10日 更新: より厳しいベンチマークを求められたので、Aider Polyglot の結果をご覧ください！当社の Dynamic 3-bit DeepSeek V3.1 GGUF は 75.6% を記録し、多くのフルプレシジョンの SOTA LLM を上回っています。詳細はこちらをご覧ください。 Benjamin Marie による LiveCodeBench v6、MMLU Pro などの実世界のユースケースベンチマークも確認できます。 Unsloth の GGUF が、約8GB小さいにもかかわらず、非 Unsloth クアントよりもパフォーマンスが良いことがわかります。 当社のベンチマークと評価の詳細な分析は、さらに下にあります。 💡 Dynamic v2.0 の新機能 GGUF + safetensors のためのレイヤー選択の刷新: Unsloth Dynamic 2.0 は、レイヤーをよりインテリジェントかつ広範囲に選択的に量子化するようになりました。選択したレイヤーのみを変更するのではなく、すべての可能なレイヤーの量子化タイプを動的に調整し、その組み合わせはレイヤーとモデルごとに異なります。現在選択されている GGUF アップロードと将来のすべての GGUF アップロードは Dynamic 2.0 を利用し、新しいキャリブレーションデータセットを使用します。データセットは 150万トークン以上 (モデルによる) を含み、会話チャットパフォーマンスを大幅に向上させるために、高品質で手作業でキュレーションおよびクリーニングされたデータで構成されています。以前は、当社の Dynamic 量子化 (DeepSeek-R1 1.58-bit GGUF) は MoE アーキテクチャにのみ有効でした。Dynamic 2.0 量子化は、すべてのモデル (MoE および非 MoE を含む) で動作するようになりました。 モデル固有のクアント: 各モデルは、カスタムテーラリングされた量子化スキームを使用します。例えば、Gemma 3 で量子化されたレイヤーは、Llama 4 で量子化されたレイヤーとは大きく異なります。効率を最大化するために、特に Apple Silicon および ARM デバイスでは、Q4_NL、Q5.1、Q5.0、Q4.1、および Q4.0 フォーマットも追加しました。正確なベンチマークを保証するために、Llama 4 および Gemma 3 の公式報告された 5-shot MMLU スコアに一致する内部評価フレームワークを構築しました。これにより、フルプレシジョン vs. Dynamic v2.0、QAT、および標準イマトリックス GGUF クアント間で、リンゴ対リンゴの比較が可能になりました。将来のすべての GGUF アップロードは Unsloth Dynamic 2.0 を利用し、当社の Dynamic 4-bit safe tensor クアントも将来的にこの恩恵を受けることになります。 📊 なぜ KL Divergence なのか？ Accuracy is Not All You Need は、レイヤーのプルーニングでさえ、不要なレイヤーを選択することによって「フリップ」の点で大きな違いを生むことを示しています。「フリップ」とは、不正解から正解、またはその逆に回答が変わることを指します。この論文は、レイヤーをプルーニングしたり量子化を行ったりしても MMLU が減少しない場合があるが、それは一部の不正解が正解に「フリップ」した可能性があるためだと示しています。当社の目標は元のモデルに一致させることなので、「フリップ」を測定することは良いメトリックです。 KL Divergence は、研究論文「Accuracy is Not All You Need」に従って、量子化エラーを報告するためのゴールドスタンダードの1つであるべきです。パープレキシティを使用するのは不正確です。なぜなら、出力トークンの値が相殺される可能性があるため、KLD または Aider のようなより困難なベンチマークを使用する必要があります。この論文はまた、興味深いことに KL Divergence がフリップと強く相関していることを示しており、当社の目標は平均 KL Divergence を削減しつつ、量子化のディスクスペースを可能な限り少なくすることです。 ⚖️ キャリブレーション