HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Unsloth Qwen3.8-27B 量子化モデル – Dynamic v3.1 アップデート

Unsloth Qwen3.8-27B Quantizations – Dynamic v3.1 Update (unsloth.ai)

226 pointsby Retro_Dev71 コメント

要約

Unslothは、Qwen3.8-27Bモデルの量子化モデルにDynamic v3.1アルゴリズムを導入し、精度を5-10%向上させました。このアップデートにより、ローカル環境での実行が容易になり、特にエージェントコーディング、ビジョン、チャットタスクにおいて性能が向上しています。また、NVFP4形式の量子化モデルも提供され、高速な推論が可能になっています。

全文翻訳

Qwen3.8 - ローカルでの実行方法

Qwen3.8-27Bを含むQwen3.8の量子化モデルをローカル環境で実行するためのガイド。

Qwen3.8-27Bは、ビジョンと推論能力、256Kのコンテキストウィンドウを備えた270億パラメータの密なモデルで、17GBのRAM/VRAMでローカル実行可能です。Qwen3.8はエージェントコーディング、ビジョン、チャットタスクに優れており、Unsloth GGUFs、NVFP4、およびUnsloth Desktop経由で実行できるようになりました。

11月11日アップデート: Qwen3.8-27B GGUFは、Unsloth Dynamic V3.1を採用し、Terminal Bench、DeepSWEなどのベンチマークにおいて、同等サイズで平均精度が5-10%向上しました。現在、さらに優れたDynamic量子化バージョンをQwen4および将来のモデルに適用する作業を進めています。

Qwen3.8実行ガイドUnslothをダウンロード

Qwenによるデイゼロアクセスに感謝します。Unslothの量子化モデルには以下も含まれます。

  • Codexのようなエージェントツール向けの開発者ロールサポート
  • ツール呼び出し: ネストされたオブジェクトの解析を改善し、ツールの成功率を向上

[画像: Unsloth DesktopでのDynamic 4ビットQwen3.8-27B]

Dynamic V3.1 アップデート(2026年11月11日)

最新のUnsloth Dynamic V3.1(プレビュー)アルゴリズムを使用した新しいQwen3.8-27B GGUFをリリースできることを嬉しく思います。このアルゴリズムは、ほとんどのベンチマークで同サイズでのUnsloth量子化モデルの精度を5-10%向上させ、コーディング、エージェントワークロード、一般的なチャットを含むほとんどのタスクでクラス最高の性能を発揮します。

2ビットから6ビットまでのほとんどの量子化モデルが更新されました。3ビットUD3量子化モデルはUD3.1と同等の性能を示したため、更新していません。私たちはすべての量子化モデルを改善するために積極的に取り組んでいます!

[画像: Unsloth Dynamic V3.1のベンチマーク結果]

Terminal Bench 2.1、DeepSWE v1.1などのエージェントベンチマーク、およびLiveCodeBench v6、GPQA Diamond、MMLU-Pro、AIME25などの一般的なベンチマークを実行しました。すべてエージェントベンチマークでは256K、それ以外では128Kのコンテキスト長を使用しました。Qwen3.8-27Bでは、V3.1プレビューアルゴリズムを利用したDeepSeek-V4.1-FlashおよびQwen3.8-Flash-Nextと同じ方法論に従いました。

[画像: Qwen3.8-27Bのベンチマーク結果]

Dynamic V3.1 完全内訳

ベンチマークの詳細と内訳は以下をクリックして表示してください。

詳細と内訳を表示するにはクリック

Exllama-v3 に関する考慮事項

GSQ-RCOとExllama-v3を比較するために、トークン埋め込み層をX軸から除外する必要がありました。これは、Exllama-v3がトークン埋め込み層にBF16を使用しているためです。

ダウンロードサイズ全体とExllama-v3の総RAM使用量を考慮すると、BF16埋め込みテーブルを追加し、すべての埋め込みサイズを含めると、プロットは変化します。私たちのメインプロットのX軸は、すべての量子化プロバイダーから埋め込み層サイズを除外しています。ただし、純粋なRAM使用量とディスクスペース使用量と精度の比較においては、以下のプロットが実際の使用状況を正確に反映しています。

[画像: Exllama-v3のRAM使用量と精度]

Exllama-v3がトークン埋め込みをBF16で保持する理由は調査していませんが、lm_headが依然として大幅に量子化されているため、埋め込み層がそこからの量子化ダメージの大部分を「吸収」した可能性があります。例えば8ビットを使用した新しいExllama-v3非BF16トークン埋め込み量子化モデルをベンチマークし、ベンチマークが変化するかどうかを確認することに興味があります。

GSQ-RCO の結果は誤解を招く

LiveCodeBenchにおいて、GSQ-RCOはUnsloth UD3量子化モデルがISTAのものよりも一貫して劣ることを示しました。しかし、私たちは逆の結果を発見しました。UD3量子化モデル(当社の古い量子化モデル)は、最小サイズを除いてすべてのサイズでLCBにおいてISTAよりも優れています。 UD3.1はLCBでさらに改善されています。

GSQ-RCOがコンテキスト予算を96K使用したと推定しています。これは、実行データに最もよく適合するためです。96Kでは、GSQ-RCOはUD3よりもいくらか優れていますが、128KではUD3がはるかに優れています。

[画像: LiveCodeBenchでのUD3とISTAの比較]

別のベンチマークでは、ISTA GSQ-RCOのAIME25ベンチマークにおいて、彼らの量子化モデルは100%、100%、100%、96.7%の精度回復を達成しました。そして彼らは当社の量子化モデルが劣ると述べました。

調査の結果、ISTAは1回の試行しか行っていないと推定しています。私たちは14回の試行を行い、平均して回復率は93%から96%であり、100%の精度回復ではありません。実際、当社のUD3古い量子化モデルは、彼らの1回の試行に対して、私たちの14回の試行の平均で、彼らの量子化モデルよりも優れています。 したがって、試行回数を増やすと逆の結論に至ります。

Math Verify Dynamic 3.1 GGUFsおよびLightEvalを使用して回答をチェックおよび採点したところ、全く同じ結論に至りました。また、グリッドデコーディング(温度0)も試しましたが、GPU自体が非決定的であるため、複数のグリッド実行でISTAが見つけた100%の精度回復を得ることはできませんでした。そのため、ベンチマークは複数回実行する必要があります。グリッドデコーディングは、実際のユースケースも代表していません。

96K(ISTAの予算である可能性が高い)と128Kもチェックしましたが、当社の量子化モデルは依然として平均して優れています。

[画像: AIME25ベンチマークでのUD3とISTAの比較]

Unsloth v3.1 vs v3 の KLD

Unsloth UD3.1量子化モデルとUD3量子化モデルについて、複数のドメインでKLD(カルバック・ライブラー情報量)を測定しました。ほとんどの量子化モデルとドメインでKLDを削減しました。3ビットモデルは置き換えていません。なぜなら、UD3は全体的に良好であり、UD3.1によるベンチマークでの精度回復はそれほど顕著ではなかったため、更新する必要がないと判断したからです。

[画像: Unsloth v3.1とv3のKLD比較]

ベンチマークの詳細とセットアップ

すべてのベンチマークについて、Qwen3.8-Flash-Next、DeepSeek-V4.1-Flashと同様の手順に従い、Dynamic 3.1 GGUFsで議論されている通りです。Qwen3.8-27Bでは、temperature 1.0、top_p 0.95、top_k 20、min_p 0、presence penaltyおよびrepetition penaltyなし、preserve_thinkingおよびxhigh reasoningを使用しました。

⚙️ 使用ガイド
Qwen3.8-27B の要件:

Qwen3.8-27B 4ビット量子化モデルは、RTX 5080、4090などの16-19GB VRAM、または24GB RAMを搭載したMacで動作します。表: ハードウェア要件(単位:合計メモリ:RAM + VRAM、または統合メモリ)

メモリサイズ7-8 GB9-11 GB12-14 GB16-19 GB23-26 GB31 GB56 GB
Qwen3.8-27B (4-bit)❌❌❌✅✅✅✅

MTPを使用して推論を高速化したい場合は、1-2GBの追加ヘッドルームを準備してください。

推奨設定

Qwen3.8-27Bは、思考モードと非思考モードで異なるデフォルト設定を持つハイブリッド思考モデルです。Extra highがデフォルトで有効になっているため、思考トレースを短くしたい場合は、思考努力を調整できます。

設定項目値1値2
temperature1.00.7
top_p0.950.80
top_k2020
min_p0.00.0
presence_penalty0.01.5
repetition_penalty1.01.0
  • 最大コンテキストウィンドウ: 262,144(YaRN経由で1Mまで拡張可能)
  • 思考モード: temperature=1.0、top_p=0.95、top_k=20、min_p=0.0、presence_penalty=0.0、repetition_penalty=1.0
  • 指示(または非思考)モード: temperature=0.7、top_p=0.80、top_k=20、min_p=0.0、presence_penalty=1.5、repetition_penalty=1.0
💡 思考 + 思考の保持

Qwen3.8には、以前の会話からの思考トレースを残す思考の保持(Preserve Thinking)機能があります。これにより、使用するトークン数は増加しますが、継続的な会話での精度が向上する可能性があります。Unslothには、Qwen3.8用の「思考」と「思考の保持」トグルがあります(右参照)。

[画像: Unsloth Desktopでの思考トグル]

Qwen3.8-27Bは、推論の深さを調整しコストを制御するために使用できるreasoning_effortをサポートしています。これらのトグルはUnslothで自動的に有効になります。

  • xhigh(デフォルト): 綿密な分析を必要とする複雑なタスク向け
  • medium: 精度と速度のバランス
  • low: 速度とコストを最適化する効率的な推論
  • none: 推論なし

unsloth runまたはllama-serverで思考/推論の努力を変更するには、`--chat-template-kwargs '{