Qwen3.8 27Bの量子化モデルのベンチマーク：4ビットは健闘、1ビットは崩壊

Qwen3.8 27Bの量子化をベンチマーク: 4ビットは健闘、1ビットは崩壊

品質を犠牲にすることなくQwen3.8 27Bを実行するために、実際にどれだけのGPU RAMが必要でしょうか？

フルモデルのBF16は55 GBを占有し、ほとんどのコンシューマー向けハードウェアでは扱えません。しかし、17 GBのQ4_K_Mは、人気のエージェント型コーディングベンチマークであるTerminal-Bench 2.1において、フルモデルと同等の性能を示しました。これはRTX 4090のような24 GBカードに収まり、約64kトークンのコンテキスト用にも余裕が残ります。

圧縮は最終的に限界に達します。1ビットでは、モデルはGPQA Diamondでランダムに近い性能しか発揮せず、より長い推論を行うとさらに悪化します。

背景

［画像: UnslothからHugging Faceで入手可能なQwen3.8 27B GGUF量子化］(https://huggingface.co/unsloth/Qwen3.8-27B-GGUF)

UnslothからHugging Faceで入手可能なQwen3.8 27B GGUF量子化。選択肢は豊富です！ここでは、8ビットのQ8_0（29 GB）、4ビットのQ4_K_M（17 GB）、2ビットのUD-Q2_K_XL（10.7 GB）、そして最も小さい1ビットのUD-IQ1_S（6.2 GB）を検証します。

以前、私はQwen3.6 27Bモデルを調査し、そのモデルは12GBでもSVGペリカンを生成するのに優れており、16GBまでほとんどの知識を維持していました。同時に、Redditのスレッドでは、8ビットでさえすべての量子化が劣った結果をもたらすと多くの人が不満を述べており、「なぜローカルLLMは実際よりも賢くないように感じるのか」という質問が寄せられています。これらの不満は根拠があるのでしょうか？

トークン予測の違い（KLダイバージェンス、トップ1予測）を測定するのは簡単ですが、それがモデルのタスク解決能力の低下を意味するわけではありません。ノイズの一部はタスク解決には無関係である可能性があります。例えば、量子化されたモデルがわずかに言い換えただけで全く同じ品質の回答を生成する場合などです。他のケースでは、単一の異なるトークンが論理的エラーであったり、出力を突然終了させたりする可能性があります。

［画像: モデルサイズとBF16とのトップ1トークンの一致率］

そのため、私は人気のベンチマークであるGPQA Diamond、指示追従のIFBench、プログラミングのTerminal-Bench 2.1で直接結果を測定することに焦点を当てます。まず、フルモデルBF16の公式結果を再現し、次に量子化が結果にどのように影響するかを確認します。

私はModalのGPUで約3,000ドルを費やしました。これは、8月16日時点のビルドであるllama.cppを使用してモデルを実行したためです（それ以前のビルドはこのモデルでは動作しません）。原理的には自分のラップトップで実行することもできましたが、（ペリカン生成とは異なり）これらのベンチマークは時間がかかります。

モデルの量子化に関わらず、KVキャッシュにはF16を使用しました。これは32kトークンあたり約2.3 GBを占有します。

私はUnslothの量子化を使用しました。2ビット、4ビット、8ビットモデルにはv2、1ビットモデルにはv3を使用しました。Unslothは8月19日（2026年）にv2ファイルを置き換えたため、ほとんどのテストで使用された正確なファイルは現在入手できません。

要するに、4ビット量子化Q4_K_M（17GB）を選択した場合、これらのベンチマークでは違いに気づかないでしょう。同時に、設定（デフォルトはxhigh）が結果に大きく影響します。これは難しい選択であり、考えすぎると問題が生じる可能性もあります。

ワンショットテスト

最も簡単なのはワンショットテストです。ここでは、大学院レベルの科学問題であるGPQA Diamondと、指示追従のIFBenchを行います。それぞれ3つの推論設定（low、medium、デフォルトのxhigh）で実行します。

GPQA Diamond

［画像: モデルサイズとGPQA Diamondスコア］

まず第一に、公式結果を再現できたことに満足しています。ベンチマークの実行は困難であり、結果を劇的に変える可能性のある隠れた設定や仮定がたくさんあります。ここでは、最初の試みで、Qwenが報告した通りの結果が得られました。

次に、ノイズ（バーはWilson 95%信頼区間であり、実行ごとのノイズに対して非常に保守的です）を除けば、4ビットまではほとんど差がありません。2ビットだけがわずかにスコアが低いです。

同時に、思考レベルがスコアを劇的に変化させました。最良の結果（xhigh）を得るには、約8kトークンの推論が必要でした。

IFBench

［画像: モデルサイズとIFBenchスコア］

ここでは、驚くべきことに、モデル間には変化がありませんでした。11 GB未満のまともな2ビットモデルまで、性能は維持されています。ただし、コンテキストはさらに低く、約4kトークンです。

エージェント型コーディングとTerminal-Bench 2.1

プログラミングにおいてはどうでしょうか？Terminal-Bench 2.1は、89のタスクを持つ標準的なエージェント型ベンチマークです。ここでは3時間のタイムアウトとxhigh設定を使用します。98kのコンテキストを確保します。

［画像: モデルサイズとTerminal-Bench 2.1合格率］

私のBF16の測定値が公表結果を再現しただけでなく、驚くべきことにQ4_K_Mも同様でした。Q8_0の実行を誤ってスキップしましたが、この場合、4ビットとフルモデルの値の間を安全に補間できます。実行はコストがかかり、不要であり（非公式ブログ記事の予算を超える）、コストもかかります。2ビットのUD-Q2_K_XLになって初めて性能がわずかに低下します。顕著な低下ですが、それでもOpus 4.7やGemini 3.1 Proのレベルです。フロンティアからは程遠いですが、無用というわけでもありません。

結果は一つの側面ですが、プロセスはどうでしょうか？より小さなモデルは、結果を得るためにより多くのターン、トークン、または時間を必要とするのでしょうか？

［画像: 同じタスクを解決した場合の出力トークン数とターン数］

同じタスクを解決した場合、UD-Q2_K_XLはBF16と同じターン数を要しますが、トークン数は約4分の1多く生成します。ターン数はほぼ同じままです。

1ビットの崖

品質は1ビットで劇的に低下します。知識の喪失と同様に、量子化によるダメージは非線形です。最初は測定可能な変化がなく、次にわずかな低下があり、最後に崩壊します。

2ビット量子化はいくらか機能しますが、最高の1ビットモデルでさえこれらのベンチマークでは役に立ちません。

［画像: 推論設定とGPQA Diamondスコア］

ご覧の通り、スコアはランダム推測レベル付近であり、最も小さいモデルはさらにその閾値を下回ります。そして、長い推論は状況を悪化させます。xhighでは、モデルがトークン予算を使い果たして空の回答を返すことが多いため、スコアはlowを下回ります。確かに、Unslothは次のように主張しています。

また、UD-IQ1_Sが6.2GB（MTPなし）で、トップ1%の精度を約72%維持しながら89%小さくなる、より小さなUD-1ビット量子化も作成しました。

しかし、この場合、残りの28%が非常に重要になります。これは、他のユーザーの経験とも一致します。例えば、r/LocalLLaMAのQwen3.8 27b 1ビット脳損傷量子化を参照してください。

コスト

これらのベンチマークを実行するのは安くはありません。API経由でベンチマークを実行するのは、以前のベンチマークで知っているように、コストがかかります。レンタルGPUで実行するのはさらに高価です。

［画像: ベンチマーク実行コスト］

私はModalを使用しました。CLIから、エージェントからも簡単に実行できるためです。他のセットアップでは価格が異なる場合があります。明らかに、この計算は自分でデバイスを持っている場合には変わります。

モデルを実行する最適な方法を見つけるには、ある程度のテストが必要です。通常、単一ストリームでうまく機能するマルチトークン予測（MTP）を使用する代わりに、いくつかの並列ストリームを使用します。主な制約は、GPUがモデルと必要なKVキャッシュの両方を保持するのに十分なメモリを持っているかどうかです。

私はNVIDIA L40S（RTX 4090と同じAda Lovelaceチップですが、メモリは2倍の48 GB）、H100（80 GB）、H200（141 GB）を使用しました。自分でベンチマークを実行したい場合に、概算の見積もりを提供するためにコストを共有したいと思います。

［画像: トークン/秒あたりの速度と1M出力トークンあたりの価格］

比較のために、DeepSeek V4 Flash 0731（284Bモデル）は、OpenRouterの最も安価なプロバイダーからの出力で約$0.1/Mtokかかります。この差が、大規模なモデル実行の効率、価格設定戦略、または人気によるものなのかは定かではありません。

結論

ローカルで実験を実行する場合、通常は、必要なコンテキストとともにGPUメモリに収まる最適なモデルを選択してください。ほとんどのタスクでは、UnslothのQ4_K_Mで十分であり、目立った違いはありません。より単純なタスクでは、UD-Q2_K_XLで十分でしょう。KVキャッシュは量子化の影響を受けやすいという報告があるため、それもテストするかもしれません。

しかし、一般的に、量子化は恐れるのではなく、受け入れられるべきだと私は信じています。

皆さんの経験はどうですか？r/LocalLLaMA、Hacker News、またはLinkedInで議論に参加してください。