AI・機械学習

Shapelearn Qwen 3.8 27B (13.1 GB VRAM)

Shapelearn Qwen 3.8 27B (13.1 GB VRAM) (byteshape.com)

89 pointsby syntaxing2026年9月18日25 コメント

要約

ByteShapeは、大規模言語モデルQwen 3.8 27Bの新しい量子化モデル「ShapeLearn」を発表しました。このモデルは、以前の「ShapeLearn-Lite」よりも品質と速度のバランスが向上しており、特にGPU-5構成で高い性能を発揮します。スペキュラティブデコーディング技術（MTPまたはDFlash2）を併用することで、スループットがさらに向上し、様々なGPU環境での利用が可能です。

全文翻訳

ShapeLearn-Lite は健闘。ShapeLearn はさらに高性能に: Qwen 3.8 27B

私たちは少しせっかちでした。

Qwen 3.8 27B は 2026年8月14日にリリースされました。その4日後の8月18日、私たちは最初のGGUFセットを公開しました。それらをShapeLearn-Liteと呼んだのには理由があります。はるかに少ない最適化予算、少ないチェック、そしてはるかに少ない待ち時間で生成されたからです。

今回、完全なShapeLearnモデルが完成し、Liteセットや競合する量子化モデルと比較してベンチマークを行いました。

良いニュース：ShapeLearn-Lite はかなり健闘しました。これについては後ほど「ShapeLearn-Lite、 retrospect」で触れます。

さらに良いニュース：完全なShapeLearnモデルはさらに高性能です。

lama.cpp でのクイックスタート

MTPドラフトヘッドは、すべてのGGUFにバンドルされています。DFlash2 は、別の1.1 GBのドラフトモデルを使用します。どちらのコマンドも [GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) を使用します。タグをリリース内の他のモデルに置き換えてください。

MTP 埋め込みドラフト。画像入力に対応。

llama-server \
  -hf byteshape/Qwen3.8-27B-GGUF:Qwen3.8-27B-IQ4_XS-3.84bpw \
  --mmproj-auto \
  --spec-type draft-mtp --spec-draft-n-max 3

DFlash2 外部ドラフト。最速オプション、テキストのみ。

llama-server \
  -hf byteshape/Qwen3.8-27B-GGUF:Qwen3.8-27B-IQ4_XS-3.84bpw \
  -hfd incoai/Qwen3.8-27B-DFlash2-GGUF:Q4_K_M \
  --spec-type draft-dflash --spec-draft-n-max 7 \
  --no-mmproj

DFlash2 には llama.cpp b10658 以降が必要です。各モデルの実行可能コマンドと推奨サンプリング設定は、run tool および model card にあります。

TL;DR

完全なShapeLearnは、Liteよりも測定された品質・速度のフロンティアを押し広げます。新リリースに含まれる5つのモデルすべてが、6つのGPU比較すべてでフロンティア上に位置します。
[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) は、フィットする限りデフォルトの推奨事項です。BF16の集計ベンチマークスコアの99.63%に達します。必要なコンテキストに合わない場合は、[GPU-4](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ3_S-3.23bpw.gguf) も依然として非常に競争力があります。BF16の98.72%に達し、サイズもはるかに小さい（13.1 GBではなく11.0 GB）うえに高速です。
ShapeLearn-Liteも、KLDランキングが示唆するよりも良好なパフォーマンスを示しました。6つのモデルのうち3つが、Lite対Unsloth Dynamic v3の比較でフロンティア上に位置します。
MTPまたはDFlash2を使用したSpeculative Decodingは、テストされたすべてのShapeLearnモデルとGPUでスループットを向上させます。DFlash2は通常高速ですが、より多くのメモリを必要とし、llama.cppでの画像入力はサポートしません。メモリが許す場合はテキストのみの最大スループットにDFlash2を選択し、VRAMまたはマルチモーダルサポートがより重要な場合はMTPを選択してください。

完全なShapeLearnがフロンティアを押し広げる

Qwen 3.8 27B の完全なShapeLearn実行をリリースします。

このリリースでは、より大きなモデルはより高い集計スコアをもたらし、より小さなモデルはより高いスループットを提供します。この順序は、テストされた6つのGPUすべてで維持されます。これは密なモデルであり、メモリ転送がボトルネックとなるため、BPWが低いほどMoEよりもTPSへの変換が直接的になります。

GPUごとの比較には、AtomicChat、Bartowski、ISTA-DASLab、Prism-ML Ternary Bonsai 2、およびUnsloth Dynamic v3 も含まれます。Bartowskiの最新モデルは、私たちのテスト後にリリースされたため含まれていません。完全なShapeLearnは、図ではByteShapeとラベル付けされています。

ShapeLearnの5つのモデルすべてが測定されたフロンティア上に留まっており、[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) はプロットされた量子化モデルの中で最も高い集計スコアを達成しています。他のチームも競争力のあるポイントを提供しています。特に、ISTA-DASLabの優れたモデル（下のグラフの黄色い「d」）もフロンティア上に位置しています。

Prism-MLのTernary Bonsai 2モデル（灰色の「a」と「b」）は、すべてのGPUで最速のポイントです。1.77および2.14 BPWで、これらは最も小さいモデルでもあります。BF16の91.4%と91.7%のスコアであり、[GPU-1](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ2_XXS-2.56bpw.gguf) の93.0%を下回っています。また、カスタムビルドが必要です。標準のllama.cppでは実行できません。

「フロンティア」とは、プロットされた他のどのモデルも、それより高速かつ高精度ではないことを意味します。

96 GB: RTX Pro 6000

最もメモリが多いGPUであるRTX PRO 6000は、テストされたモデルの全範囲を示すことを可能にします。

［画像: RTX Pro 6000: tokens per second vs quality (full ShapeLearn and competing quants)］
RTX Pro 6000: tokens per second vs quality (full ShapeLearn and competing quants) モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX Pro 6000: tokens per second vs quality (full ShapeLearn and competing quants) バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ByteShape
GPU-1
IQ2_XXS-2.56bpw
0.9304
116.11
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
108.01
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
105.44
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
101.11
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
90.42
3.84
Unsloth
A
UD-IQ2_S
0.8633
114.81
2.49
B
UD-Q2_K_XL
0.9572
106.95
2.82
C
UD-IQ3_XXS
0.9359
100.51
3.14
D
UD-IQ3_S
0.9555
95.53
3.47
E
UD-Q3_K_XL
0.9760
90.88
3.80
F
UD-IQ4_XS
0.9920
86.73
4.13
G
UD-Q4_K_S
0.9877
82.21
4.46
H
UD-Q4_K_M
0.9703
78.58
4.79
I
UD-Q4_K_XL
0.9871
74.75
5.12
J
UD-Q5_K_S
0.9878
71.00
5.44
K
UD-Q5_K_M
0.9897
67.71
5.77
L
UD-Q5_K_XL
0.9905
65.52
6.10
ISTA-DASLab
a
GSQ-RCO-IQ2_XS
0.8647
112.77
2.50
b
GSQ-RCO-IQ2_S
0.9364
108.22
2.75
c
GSQ-RCO-IQ3_XXS
0.9438
103.39
3.00
d
GSQ-RCO-IQ3_S
0.9943
94.77
3.50
Bartowski
a
IQ2_XXS
0.7986
112.21
2.72
b
IQ2_S
0.9296
106.33
2.99
c
Q2_K
0.9616
96.08
3.45
d
IQ3_XXS
0.9594
92.43
3.68
e
IQ3_XS
0.9582
88.36
3.89
f
IQ3_M
0.9667
86.17
4.06
AtomicChat
a
AD-IQ2_XXS
0.8385
116.28
2.58
b
AD-IQ2_XS
0.9296
108.67
2.85
c
AD-IQ2_S
0.9061
100.28
3.22
d
AD-IQ3_XXS
0.9644
95.29
3.50
e
AD-IQ3_S
0.9730
88.52
4.04
Prism-ML
a
Bonsai-2-PTQ1_0
0.9144
131.52
1.77
b
Bonsai-2-PQ2_0
0.9165
133.50
2.14

[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) は、99.63%のBF16ベースラインで90.4トークン/秒を達成するため、フィットする限りデフォルトです。

32 GB: RTX 5090

RTX 5090も同様の話を語っており、同じ推奨事項につながります。

［画像: RTX 5090: tokens per second vs quality (full ShapeLearn and competing quants)］
RTX 5090: tokens per second vs quality (full ShapeLearn and competing quants) モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX 5090: tokens per second vs quality (full ShapeLearn and competing quants) バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ByteShape
GPU-1
IQ2_XXS-2.56bpw
0.9304
119.13
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
110.78
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
108.08
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
103.57
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
93.66
3.84
Unsloth
A
UD-IQ2_S
0.8633
115.34
2.49
B
UD-Q2_K_XL
0.9572
108.12
2.82
C
UD-IQ3_XXS
0.9359
102.87
3.14
D
UD-IQ3_S
0.9555
97.87
3.47
E
UD-Q3_K_XL
0.9760
93.46
3.80
F
UD-IQ4_XS
0.9920
89.69
4.13
G
UD-Q4_K_S
0.9877
85.28
4.46
H
UD-Q4_K_M
0.9703
81.63
4.79
I
UD-Q4_K_XL
0.9871
77.51
5.12
J
UD-Q5_K_S
0.9878
73.60
5.44
K
UD-Q5_K_M
0.9897
69.87
5.77
L
UD-Q5_K_XL
0.9905
67.59
6.10
ISTA-DASLab
a
GSQ-RCO-IQ2_XS
0.8647
114.11
2.50
b
GSQ-RCO-IQ2_S
0.9364
110.19
2.75
c
GSQ-RCO-IQ3_XXS
0.9438
105.67
3.00
d
GSQ-RCO-IQ3_S
0.9943
95.49
3.50
Bartowski
a
IQ2_XXS
0.7986
115.77
2.72
b
IQ2_S
0.9296
109.39
2.99
c
Q2_K
0.9616
99.29
3.45
d
IQ3_XXS
0.9594
95.83
3.68
e
IQ3_XS
0.9582
91.14
3.89
f
IQ3_M
0.9667
89.08
4.06
AtomicChat
a
AD-IQ2_XXS
0.8385
119.53
2.58
b
AD-IQ2_XS
0.9296
112.39
2.85
c
AD-IQ2_S
0.9061
103.46
3.22
d
AD-IQ3_XXS
0.9644
98.22
3.50
e
AD-IQ3_S
0.9730
91.72
4.04
Prism-ML
a
Bonsai-2-PTQ1_0
0.9144
132.41
1.77
b
Bonsai-2-PQ2_0
0.9165
138.92
2.14

ここでも [GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) がデフォルトの選択肢であり、93.7トークン/秒を達成します。わずかに長いコンテキスト長またはわずかに優れたTPSを得るには [GPU-4](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ3_S-3.23bpw.gguf) を選択してください。

24 GB: RTX 4090 と RTX 3090

どちらの24 GBカードも、5つのShapeLearnモデルすべてをフィットさせます。スループットが異なるため別々にプロットしますが、両者での順序は同じです。

RTX 4090

RTX 4090も同じパターンを維持しています。[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) がデフォルトで、59.2トークン/秒を達成します。

［画像: RTX 4090: tokens per second vs quality (full ShapeLearn and competing quants)］
RTX 4090: tokens per second vs quality (full ShapeLearn and competing quants) モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX 4090: tokens per second vs quality (full ShapeLearn and competing quants) バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ByteShape
GPU-1
IQ2_XXS-2.56bpw
0.9304
78.67
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
72.89
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
71.12
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
67.77
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
59.16
3.84
Unsloth
A
UD-IQ2_S
0.8633
78.23
2.49
B
UD-Q2_K_XL
0.9572
72.79
2.82
C
UD-IQ3_XXS
0.9359
67.24
3.14
D
UD-IQ3_S
0.9555
63.02
3.47
E
UD-Q3_K_XL
0.9760
59.13
3.80
F
UD-IQ4_XS
0.9920
55.62
4.13
G
UD-Q4_K_S
0.9877
52.44
4.46
H
UD-Q4_K_M
0.9703
49.77
4.79
I
UD-Q4_K_XL
0.9871
47.08
5.12
J
UD-Q5_K_S
0.9878
44.80
5.44
K
UD-Q5_K_M
0.9897
42.45
5.77
L
UD-Q5_K_XL
0.9905
40.84
6.10
ISTA-DASLab
a
GSQ-RCO-IQ2_XS
0.8647
77.80
2.50
b
GSQ-RCO-IQ2_S
0.9364
73.34
2.75
c
GSQ-RCO-IQ3_XXS
0.9438
69.26
3.00
d
GSQ-RCO-IQ3_S
0.9943
62.41
3.50
Bartowski
a
IQ2_XXS
0.7986
75.28
2.72
b
IQ2_S
0.9296
71.27
2.99
c
Q2_K
0.9616
63.74
3.45
d
IQ3_XXS
0.9594
61.03
3.68
e
IQ3_XS
0.9582
58.20
3.89
f
IQ3_M
0.9667
56.16
4.06
AtomicChat
a
AD-IQ2_XXS
0.8385
79.51
2.58
b
AD-IQ2_XS
0.9296
74.19
2.85
c
AD-IQ2_S
0.9061
67.40
3.22
d
AD-IQ3_XXS
0.9644
63.60
3.50
e
AD-IQ3_S
0.9730
57.38
4.04
Prism-ML
a
Bonsai-2-PTQ1_0
0.9144
95.34
1.77
b
Bonsai-2-PQ2_0
0.9165
89.26
2.14

RTX 3090

古いですが、これらの測定でも依然として高速です。

［画像: RTX 3090: tokens per second vs quality (full ShapeLearn and competing quants)］
RTX 3090: tokens per second vs quality (full ShapeLearn and competing quants) モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX 3090: tokens per second vs quality (full ShapeLearn and competing quants) バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ByteShape
GPU-1
IQ2_XXS-2.56bpw
0.9304
53.03
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
51.20
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
50.75
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
49.49
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
45.79
3.84
Unsloth
A
UD-IQ2_S
0.8633
52.82
2.49
B
UD-Q2_K_XL
0.9572
50.37
2.82
C
UD-IQ3_XXS
0.9359
48.16
3.14
D
UD-IQ3_S
0.9555
46.39
3.47
E
UD-Q3_K_XL
0.9760
46.28
3.80
F
UD-IQ4_XS
0.9920
46.12
4.13
G
UD-Q4_K_S
0.9877
44.49
4.46
H
UD-Q4_K_M
0.9703
43.30
4.79
I
UD-Q4_K_XL
0.9871
41.37
5.12
J
UD-Q5_K_S
0.9878
39.37
5.44
K
UD-Q5_K_M
0.9897
37.38
5.77
L
UD-Q5_K_XL
0.9905
36.16
6.10
ISTA-DASLab
a
GSQ-RCO-IQ2_XS
0.8647
51.56
2.50
b
GSQ-RCO-IQ2_S
0.9364
50.07
2.75
c
GSQ-RCO-IQ3_XXS
0.9438
48.66
3.00
d
GSQ-RCO-IQ3_S
0.9943
47.19
3.50
Bartowski
a
IQ2_XXS
0.7986
53.63
2.72
b
IQ2_S
0.9296
51.21
2.99
c
Q2_K
0.9616
45.34
3.45
d
IQ3_XXS
0.9594
47.46
3.68
e
IQ3_XS
0.9582
44.68
3.89
f
IQ3_M
0.9667
43.42
4.06
AtomicChat
a
AD-IQ2_XXS
0.8385
53.95
2.58
b
AD-IQ2_XS
0.9296
51.91
2.85
c
AD-IQ2_S
0.9061
48.24
3.22
d
AD-IQ3_XXS
0.9644
47.10
3.50
e
AD-IQ3_S
0.9730
47.22
4.04
Prism-ML
a
Bonsai-2-PTQ1_0
0.9144
62.40
1.77
b
Bonsai-2-PQ2_0
0.9165
73.73
2.14

[GPU-4](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ3_S-3.23bpw.gguf) は49.5トークン/秒に達し、[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) の45.8トークン/秒と比較されます。より大きなモデルへの移行はスループットで約7.5%のコストがかかる一方、集計スコアはBF16の98.72%から99.63%に上昇します。これにより、[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) がここでもデフォルトとなります。

16 GB: RTX 4080 と RTX 5060 Ti

VRAM予算がタイトな場合、実用的な選択肢は、モデルウェイトだけでなく、必要なコンテキストのためのスペースを残すことです。これらのプロットには競合する構成が少なくなりますが、5つのShapeLearnモデルすべてが表現されています。

RTX 4080

RTX 4080では、[GPU-4](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ3_S-3.23bpw.gguf) は52.4トークン/秒を達成し、[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) は45.7トークン/秒を達成します。

［画像: RTX 4080: tokens per second vs quality (full ShapeLearn and competing quants)］
RTX 4080: tokens per second vs quality (full ShapeLearn and competing quants) モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX 4080: tokens per second vs quality (full ShapeLearn and competing quants) バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ByteShape
GPU-1
IQ2_XXS-2.56bpw
0.9304
62.01
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
56.84
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
55.14
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
52.43
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
45.74
3.84
Unsloth
A
UD-IQ2_S
0.8633
61.70
2.49
B
UD-Q2_K_XL
0.9572
56.70
2.82
C
UD-IQ3_XXS
0.9359
52.32
3.14
D
UD-IQ3_S
0.9555
49.06
3.47
ISTA-DASLab
a
GSQ-RCO-IQ2_XS
0.8647
60.47
2.50
b
GSQ-RCO-IQ2_S
0.9364
57.37
2.75
c
GSQ-RCO-IQ3_XXS
0.9438
54.19
3.00
d
GSQ-RCO-IQ3_S
0.9943
48.42
3.50
Bartowski
a
IQ2_XXS
0.7986
58.69
2.72
b
IQ2_S
0.9296
55.39
2.99
c
Q2_K
0.9616
48.91
3.45
d
IQ3_XXS
0.9594
46.99
3.68
e
IQ3_XS
0.9582
44.71
3.89
AtomicChat
a
AD-IQ2_XXS
0.8385
62.55
2.58
b
AD-IQ2_XS
0.9296
57.82
2.85
c
AD-IQ2_S
0.9061
52.43
3.22
d
AD-IQ3_XXS
0.9644
49.15
3.50
Prism-ML
a
Bonsai-2-PTQ1_0
0.9144
76.84
1.77
b
Bonsai-2-PQ2_0
0.9165
71.37
2.14

RTX 5060 Ti

RTX 5060 Tiでは、対応する数値は33.1トークン/秒と29.1トークン/秒です。

［画像: RTX 5060 Ti: tokens per second vs quality (full ShapeLearn and competing quants)］
RTX 5060 Ti: tokens per second vs quality (full ShapeLearn and competing quants) モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX 5060 Ti: tokens per second vs quality (full ShapeLearn and competing quants) バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ByteShape
GPU-1
IQ2_XXS-2.56bpw
0.9304
38.05
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
35.41
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
34.50
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
33.05
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
29.15
3.84
Unsloth
A
UD-IQ2_S
0.8633
38.02
2.49
B
UD-Q2_K_XL
0.9572
35.42
2.82
C
UD-IQ3_XXS
0.9359
32.80
3.14
D
UD-IQ3_S
0.9555
30.97
3.47
ISTA-DASLab
a
GSQ-RCO-IQ2_XS
0.8647
37.62
2.50
b
GSQ-RCO-IQ2_S
0.9364
35.80
2.75
c
GSQ-RCO-IQ3_XXS
0.9438
33.95
3.00
d
GSQ-RCO-IQ3_S
0.9943
30.72
3.50
Bartowski
a
IQ2_XXS
0.7986
36.33
2.72
b
IQ2_S
0.9296
34.76
2.99
c
Q2_K
0.9616
30.79
3.45
d
IQ3_XXS
0.9594
29.69
3.68
e
IQ3_XS
0.9582
28.24
3.89
AtomicChat
a
AD-IQ2_XXS
0.8385
38.42
2.58
b
AD-IQ2_XS
0.9296
36.05
2.85
c
AD-IQ2_S
0.9061
32.61
3.22
d
AD-IQ3_XXS
0.9644
31.01
3.50
Prism-ML
a
Bonsai-2-PTQ1_0
0.9144
45.81
1.77
b
Bonsai-2-PQ2_0
0.9165
48.73
2.14

[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) は、モデル、KVキャッシュ、およびランタイムバッファがメモリ予算内に収まる場合、両方のカードでデフォルトのままです。収まらない場合、[GPU-4](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ3_S-3.23bpw.gguf) は依然として非常に競争力があります。BF16のほぼ99%を、はるかに小さいサイズで、かつ高速に実現します。これらの測定にモデルが表示されることは、すべてのコンテキスト長またはサービング構成がフィットすることを保証するものではありません。

ShapeLearn-Lite、retrospect

ShapeLearn-Lite は、完全なShapeLearnよりも少ない最適化予算を使用します。これにより、数日以内にQwen 3.8 27Bを12 GBから24 GBのGPUに搭載することができました。

ターゲットを絞った健全性チェックの後、私たちはリリースし、その後完全な評価を開始しました。完全なShapeLearnモデルは、ベンチマークが完了する前に準備ができていました。両方のセットと競合モデルを評価することが、ほとんどの時間を費やしたことです。

その後、UnslothがDynamic v3モデルをリリースしました。同程度のサイズで、いくつかKLDがLiteよりも低いと測定されました。KLDだけを見ると、Liteは競争力が低いように見えました。

KLD は決定的だったように見えた

KLD は、特定の評価セットアップの下で、量子化モデルの予測トークン分布とBF16参照との間のダイバージェンスを測定します。これは substantial な変更を診断するのに役立ちますが、低いダイバージェンスが自動的に優れたタスクパフォーマンスを意味するわけではありません。

私たちは、約500万トークンのプロンプトと応答ペアのデータセットでKLDを測定しました。このデータセットは、ロングコンテキストおよびエージェントタスクを含むいくつかのベンチマークから抽出されています。また、KLDが測定する内容に近いものになるように、KLDの計算方法を変更しました。

KLD は応答トークンのみで測定され、プロンプトトークンでは測定されません。モデルがプロンプトを生成する能力を測定したくありません。
KLD は、各位置で生成中にサンプリングされる可能性のあるトップ20、トップ40、またはトップ60トークンのみを考慮します。テールトークンは決してサンプリングされないため、寄与しません。
リクエストには明確な境界があります。各プロンプトと応答のペアは、1つの長い連結ストリームの一部ではなく、それ自体のリクエストとしてスコアリングされます。

［画像: KL divergence versus model size for ShapeLearn-Lite and Unsloth］
KL divergence versus model size for ShapeLearn-Lite and Unsloth モデルの詳細については、下の「Show Legend」をクリックしてください。

KL divergence versus model size for ShapeLearn-Lite and Unsloth バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
KLD
Size (GB)
BPW
ShapeLearn-Lite
Lite-1
IQ3_S-3.44bpw
0.035875
10.79
3.44
Lite-2
IQ4_XS-3.67bpw
0.028296
11.51
3.68
Lite-3
IQ4_XS-4.00bpw
0.018249
12.52
4.00
Lite-4
IQ4_XS-4.40bpw
0.009901
13.78
4.40
Lite-5
Q5_K_S-4.72bpw
0.007578
14.78
4.72
Lite-6
Q5_K_M-5.60bpw
0.003297
17.53
5.60
Unsloth
i
UD-IQ1_S
0.389550
5.76
1.84
ii
UD-IQ1_M
0.261876
6.26
2.00
iii
UD-IQ2_XXS
0.181493
6.76
2.16
iv
UD-IQ2_S
0.108374
7.79
2.49
v
UD-Q2_K_XL
0.065200
8.81
2.81
vi
UD-IQ3_XXS
0.040407
9.84
3.14
vii
UD-IQ3_S
0.028759
10.87
3.47
viii
UD-Q3_K_XL
0.019844
11.90
3.80
ix
UD-IQ4_XS
0.011992
12.93
4.13
x
UD-Q4_K_S
0.008827
13.96
4.46
xi
Q4_0
0.019264
14.69
4.69
xii
UD-Q4_K_M
0.007054
14.99
4.79
xiii
UD-Q4_K_XL
0.005210
16.01
5.11
xiv
Q4_1
0.009603
16.06
5.13
xv
UD-Q5_K_S
0.003619
17.04
5.44
xvi
UD-Q5_K_M
0.002839
18.07
5.77
xvii
UD-Q5_K_XL
0.002432
19.10
6.10
xviii
UD-Q6_K
0.001771
20.13
6.43
xix
UD-Q6_K_M
0.001426
21.16
6.76
xx
UD-Q6_K_L
0.001150
22.19
7.09
xxi
UD-Q6_K_XL
0.000985
23.22
7.42
xxii
UD-Q8_K_L
0.000726
25.78
8.23
xxiii
Q8_0
0.000648
26.62
8.50
xxiv
UD-Q8_K_XL
0.000503
28.76
9.19

例えば、UnslothのUD-IQ3_S (vii) は、同様のサイズの最小のLiteモデル（Lite-1）よりも約20%低いKLD（0.028759対0.035875）を持っています。しかし、その集計ベンチマークスコアは低いです（BF16の95.55%対97.33%）。

もし低いKLDがこれらのモデルをタスクパフォーマンスでランク付けするのに十分であれば、ベンチマークの順序はそれに従うべきでした。

それはしませんでした。

ポイントはKLDが無用だということではありません。忠実度ランキングはタスクパフォーマンスランキングではないということです。これは、私たちのKLD評価ブログで探求された区別です。私たちのKLDと量子化忠実度メトリクスに関する関連論文も最近EMNLP Industry Trackに採択されました。

Lite は健闘した

当然ながら、私たちはさらに多くのプロットを作成しました。

ここでは、完全な比較に対応できるRTX Pro 6000を示します。各モデルのベンチマークスコアはGPUプロット全体で再利用されます。測定されたスループットと表示されるモデルのセットは変化します。

［画像: RTX Pro 6000: ShapeLearn, ShapeLearn-Lite, and Unsloth Dynamic v3］
RTX Pro 6000: ShapeLearn, ShapeLearn-Lite, and Unsloth Dynamic v3 モデルの詳細については、下の「Show Legend」をクリックしてください。

RTX Pro 6000: ShapeLearn, ShapeLearn-Lite, and Unsloth Dynamic v3 バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
TPS
BPW
ShapeLearn (this release)
GPU-1
IQ2_XXS-2.56bpw
0.9304
116.11
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
108.01
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
105.44
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
101.11
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
90.42
3.84
ShapeLearn-Lite
Lite-1
IQ3_S-3.44bpw
0.9733
98.74
3.45
Lite-2
IQ4_XS-3.67bpw
0.9802
94.48
3.68
Lite-3
IQ4_XS-4.00bpw
0.9880
89.85
4.00
Lite-4
IQ4_XS-4.40bpw
0.9856
85.03
4.40
Lite-5
Q5_K_S-4.72bpw
0.9909
79.75
4.72
Lite-6
Q5_K_M-5.60bpw
0.9919
70.28
5.60
Unsloth
A
UD-IQ2_S
0.8633
114.81
2.49
B
UD-Q2_K_XL
0.9572
106.95
2.82
C
UD-IQ3_XXS
0.9359
100.51
3.14
D
UD-IQ3_S
0.9555
95.53
3.47
E
UD-Q3_K_XL
0.9760
90.88
3.80
F
UD-IQ4_XS
0.9920
86.73
4.13
G
UD-Q4_K_S
0.9877
82.21
4.46
H
UD-Q4_K_M
0.9703
78.58
4.79
I
UD-Q4_K_XL
0.9871
74.75
5.12
J
UD-Q5_K_S
0.9878
71.00
5.44
K
UD-Q5_K_M
0.9897
67.71
5.77
L
UD-Q5_K_XL
0.9905
65.52
6.10

完全なShapeLearnモデルを一時的に除外すると、6つのShapeLearn-Liteモデルのうち3つがLite対Unslothのフロンティア上に位置します。これは、Liteモデルの中で最も小さい3つ（明るいオレンジ色のバブル1～3）です。

表示されている12のUnsloth v3モデルのうち、3つもそのフロンティア上に位置します。UD-IQ2_S (A)、UD-Q2_K_XL (B)、およびUD-IQ4_XS (F) です。UD-IQ4_XS (F) は強力な高精度ポイントであり、Liteは範囲の中央でその場所を確保しています。

5つの完全なShapeLearnモデル（暗いオレンジ色のバブル）を再度追加すると、それらがフロンティア全体を占有します。

Liteは最終結果になるようには設計されていませんでした。それでも、重要な場面ではその実力を発揮しました。

Speculative Decoding

新しいモデルでMTPとDFlash2も評価しました。MTPには3つのドラフトトークン、DFlash2には7つのドラフトトークンを使用しました。どちらの方法も、テストされた6つのGPUすべてで、5つのShapeLearnモデルすべてでスループットを向上させました。

ほとんどの場合、DFlash2はMTPよりも高速でした。完全なラインナップ全体で、DFlash2はベースラインのネクストトークン予測（NTP）スループットの1.34〜2.10倍に達し、MTPは1.28〜1.66倍に達しました。

エージェントタスク、コーディング、数学、および一般的な知識に関する多様なリクエストセットに対して、Qwenが推奨する思考モードのサンプリングパラメータを使用して測定しました。貪欲デコーディングではスピードアップはさらに大きくなる可能性がありますが、温度ベースのサンプリングは実際の使用状況をよりよく反映します。

下の図は、6つのGPUすべてでのNTP、MTP、およびDFlash2のスループットを示しています。品質軸は、上記で報告されたターゲットモデルのベンチマークスコアです。これらのプロットは、デコーディング方法間の品質同等性を個別に確立するものではありません。

［画像: Tokens per second vs quality for NTP, MTP and DFlash2 on all six GPUs］
Tokens per second vs quality (NTP vs MTP vs DFlash2), one panel per GPU. MTP uses 3 draft tokens, DFlash2 uses 7. モデルの詳細については、下の「Show Legend」をクリックしてください。

Tokens per second vs quality (NTP vs MTP vs DFlash2), one panel per GPU. MTP uses 3 draft tokens, DFlash2 uses 7. バブルにカーソルを合わせるか、下の「Show Legend」をクリックしてモデルの詳細を表示します。

Show Legend

Model
Acc
NTP TPS
MTP TPS
DFlash2 TPS
BPW
RTX Pro 6000 (96 GB)
GPU-1
IQ2_XXS-2.56bpw
0.9304
116.11
165.52 (1.43x)
172.01 (1.48x)
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
108.01
153.48 (1.42x)
165.94 (1.54x)
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
105.44
152.19 (1.44x)
166.03 (1.57x)
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
101.11
146.85 (1.45x)
164.24 (1.62x)
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
90.42
145.69 (1.61x)
150.83 (1.67x)
3.84
RTX 5090 (32 GB)
GPU-1
IQ2_XXS-2.56bpw
0.9304
119.13
164.44 (1.38x)
175.53 (1.47x)
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
110.78
156.63 (1.41x)
175.97 (1.59x)
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
108.08
155.19 (1.44x)
171.97 (1.59x)
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
103.57
148.34 (1.43x)
169.69 (1.64x)
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
93.66
147.00 (1.57x)
166.57 (1.78x)
3.84
RTX 4090 (24 GB)
GPU-1
IQ2_XXS-2.56bpw
0.9304
78.67
111.73 (1.42x)
135.39 (1.72x)
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
72.89
108.40 (1.49x)
132.20 (1.81x)
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
71.12
107.21 (1.51x)
133.38 (1.88x)
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
67.77
101.47 (1.50x)
131.12 (1.93x)
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
59.16
98.25 (1.66x)
124.15 (2.10x)
3.84
RTX 3090 (24 GB)
GPU-1
IQ2_XXS-2.56bpw
0.9304
53.03
68.19 (1.29x)
70.94 (1.34x)
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
51.20
65.76 (1.28x)
68.90 (1.35x)
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
50.75
65.82 (1.30x)
68.40 (1.35x)
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
49.49
64.50 (1.30x)
66.34 (1.34x)
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
45.79
66.55 (1.45x)
63.93 (1.40x)
3.84
RTX 4080 (16 GB)
GPU-1
IQ2_XXS-2.56bpw
0.9304
62.01
87.06 (1.40x)
101.63 (1.64x)
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
56.84
81.25 (1.43x)
96.90 (1.70x)
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
55.14
79.74 (1.45x)
96.95 (1.76x)
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
52.43
76.88 (1.47x)
94.09 (1.79x)
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
45.74
74.01 (1.62x)
87.49 (1.91x)
3.84
RTX 5060 Ti (16 GB)
GPU-1
IQ2_XXS-2.56bpw
0.9304
38.05
50.54 (1.33x)
56.71 (1.49x)
2.56
GPU-2
IQ3_XXS-2.88bpw
0.9656
35.41
47.94 (1.35x)
52.57 (1.48x)
2.88
GPU-3
IQ3_XS-3.01bpw
0.9726
34.50
47.93 (1.39x)
52.28 (1.52x)
3.01
GPU-4
IQ3_S-3.23bpw
0.9872
33.05
46.25 (1.40x)
50.34 (1.52x)
3.23
GPU-5
IQ4_XS-3.84bpw
0.9963
29.15
45.82 (1.57x)
47.01 (1.61x)
3.84

また、両アプローチ間にはメモリのトレードオフがあります。埋め込み量子化MTPウェイトは約250 MBしかモデルに追加されず、MTPが使用されない場合、これらのウェイトはGPUメモリにロードされません。これに対し、4ビットDFlash2ドラフトモデルは約1.1 GBであるため、DFlash2を有効にするには約1.1 GBの追加GPUメモリが必要です。

MTPを別個のGGUFファイルとしてパッケージ化すると、この利点は大幅に失われます。スタンドアロンモデルは、独自のMTP埋め込みおよび出力レイヤーを必要とします。これらは、そのテンソルの中で最も大きいものであり、メモリフットプリントは約1 GBになります。

さらに、llama.cppのDFlash2は現在画像入力をサポートしていません。これは、マルチモーダルユースケースにとって重要な考慮事項です。

ベンチマーク方法論

報告されているすべてのモデルを、インストラクトベンチマークとシンキングベンチマークのセットで評価します。

インストラクトベンチマーク：

数学のためのGSM8K
命令追従のためのIFEval
一般知識のためのMMLU
コーディングのための**LiveCodeBench V6

マルチターンおよび多言語命令追従のためのMulti-IF
ツール使用とエージェントタスクのためのACEBench

シンキングベンチマーク：

ツール使用とエージェントタスクのためのACEBench
コーディングのための複数のHumanEval
ツール呼び出しとエージェントタスクのための**BFCL V4

シンキングベンチマークでは、Qwen 3.8の中程度の思考設定を使用しました。

各ベンチマークについて、量子化モデルのスコアは対応するBF16モデルのスコアで正規化されます。報告される全体的なスコアは、これらの正規化されたベンチマークスコアの平均です。

私たちのLiveCodeBench V6*評価には、2024年1月1日以降の問題が含まれており、2023年の問題は除外されています。2023年の問題は現在のモデルにとって比較的簡単であり、ほとんどのモデルがそれらで非常に高いスコアを達成しました。その結果、モデル間の差別化が限定的でありながら、評価時間を大幅に増加させました。

BFCL V4*については、以下の8つのサブセットを評価します。

live_simple
live_parallel
live_parallel_multiple
live_relevance
multi_turn_base
multi_turn_miss_func
multi_turn_miss_param
multi_turn_long_context

すべての評価はllama.cpp b10430で実行されました。インストラクトとシンキングの両方の実験で、対応するモードでQwenが推奨するサンプリングパラメータを使用します。

結論

ShapeLearn-Lite は、設計どおりの役割を果たしました。有用なQwen 3.8 27B量子化モデルを迅速に12〜24 GBのGPUに搭載し、KLDランキングが示唆するよりも良好なパフォーマンスを示しました。

完全なShapeLearnはさらに進んでいます。Liteよりも測定された品質・速度のトレードオフを改善し、テストされた6つのGPUすべてでフロンティアモデルを5つ貢献しました。

[GPU-5](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ4_XS-3.84bpw.gguf) は、フィットする限りデフォルトの推奨事項であり、BF16の集計ベンチマークスコアの99.63%に達します。メモリがタイトな場合、[GPU-4](https://huggingface.co/byteshape/Qwen3.8-27B-GGUF/blob/main/Qwen3.8-27B-IQ3_S-3.23bpw.gguf) は依然として非常に競争力があります。BF16のほぼ99%を、はるかに小さいサイズで、かつ高速に実現します。

KLDは依然として有用ですが、タスクパフォーマンスのリーダーボードではありません。忠実度メトリクスは、特定の測定下でモデルの分布がどのように変化したかを示します。ベンチマークは、それらの変化がテストしたタスクで重要かどうかを示します。

私たちはせっかちでした。今回は、かなりうまくいきました。