量子化のビジュアルガイド (2024)
A Visual Guide to Quantization (2024) (newsletter.maartengrootendorst.com)
要約
この記事は、大規模言語モデル(LLM)の圧縮技術である量子化について、50以上のビジュアルを用いて直感的に解説します。LLMはパラメータ数が多く、多くのVRAMを必要とするため、コンシューマーハードウェアでの実行が困難な場合があります。量子化は、モデルのパラメータをより少ないビット数で表現することで、モデルサイズを削減し、推論を高速化する手法です。FP32からFP16、BF16、INT8へのデータ型の変更や、対称・非対称量子化といった手法、そしてそれに伴う精度低下(量子化誤差)について、図解を交えながら説明しています。
全文翻訳
量子化のビジュアルガイド
翻訳 *
その名の通り、大規模言語モデル(LLM)は、多くの場合、コンシューマーハードウェアで実行するには大きすぎます。これらのモデルは数十億のパラメータを超えることがあり、推論を高速化するためには通常、大量のVRAMを持つGPUが必要です。
そのため、より優れたトレーニングやアダプターなどを用いてモデルを小さくすることに、ますます多くの研究が集中しています。この分野の主要な技術の1つが「量子化」です。
[ [画像] ]
この記事では、言語モデリングの文脈で量子化の分野を紹介し、その分野の直感を養うために概念を一つずつ探求していきます。様々な方法論、ユースケース、そして量子化の背後にある原理を探ります。
このビジュアルガイドには、量子化の直感を養うのに役立つ 50以上のカスタムビジュアル が含まれています!
LLMに関連する他のビジュアルをご覧になり、このニュースレターをサポートするには、私が書いた大規模言語モデルに関する書籍をチェックしてください!
追伸:もし本をお読みになったら、簡単なレビュー をいただけると大変嬉しいです。著者にとって本当に助けになります!
パート1: LLMの「問題」
LLMがその名前を得たのは、含まれるパラメータの数によるものです。現在、これらのモデルは通常、数十億のパラメータ(主に重み)を持っており、保存にはかなりのコストがかかる可能性があります。
推論中、アクティベーションは入力と重みの積として生成され、これも同様に大きくなる可能性があります。
[ [画像] ]
その結果、私たちは数十億の値を可能な限り効率的に表現し、1つの値を保存するために必要なスペースを最小限に抑えたいと考えます。
最適化する前に、まず数値がどのように表現されるかを見てみましょう。
数値の表現方法
与えられた値は、しばしば浮動小数点数(またはコンピュータサイエンスではfloat)として表現されます。これは、小数点を持つ正または負の数です。
これらの値は「ビット」、つまり二進数で表されます。IEEE-754規格は、ビットが値の表現に3つの機能のいずれかをどのように使用できるかを記述しています。それは、符号、指数、または小数部(または仮数部)です。
[ [画像] ]
これら3つの側面を組み合わせることで、特定のビット値のセットが与えられた場合に値を計算できます。
[ [画像] ]
値を表現するために使用するビットが多いほど、一般的に精度は高くなります。
メモリの制約
利用可能なビットが多いほど、表現できる値の範囲は大きくなります。
[ [画像] ]
特定の表現が取りうる数値の範囲はダイナミックレンジと呼ばれ、隣接する2つの値の間の距離は精度と呼ばれます。
[ [画像] ]
これらのビットの便利な機能は、デバイスが特定の値の保存に必要なメモリ量を計算できることです。メモリの1バイトには8ビットがあるため、ほとんどの形式の浮動小数点表現に対して基本的な計算式を作成できます。
[ [画像] ]
注: 実際には、コンテキストサイズやアーキテクチャなど、推論中に必要な(V)RAMの量には、より多くの要因が関係します。
ここで、700億パラメータを持つモデルがあると仮定しましょう。ほとんどのモデルはネイティブに32ビット浮動小数点数(フルプレシジョンと呼ばれることが多い)で表現されており、モデルをロードするだけで280GBのメモリが必要になります。
[ [画像] ]
そのため、モデルのパラメータを表現するために必要なビット数を最小限に抑えることは非常に魅力的です(トレーニング中も同様です!)。しかし、精度が低下すると、モデルの精度も一般的に低下します。
精度を維持しながら、値を表現するビット数を減らしたい…ここで「量子化」が登場します!
パート2: 量子化の紹介
量子化は、モデルのパラメータの精度を、より高いビット幅(32ビット浮動小数点数など)からより低いビット幅(8ビット整数など)に削減することを目指します。
[ [画像] ]
元のパラメータを表現するビット数を減らす際には、しばしば精度の(粒度の)低下が生じます。
この効果を説明するために、任意の画像を取り、それを表現するために8色だけを使用してみましょう。
拡大された部分が、元の画像よりも「ザラザラ」に見えることに注意してください。なぜなら、それを表現するために使用できる色が少ないからです。
量子化の主な目標は、元のパラメータを表現するために必要なビット数(色数)を、元のパラメータの精度を可能な限り維持しながら削減することです。
一般的なデータ型
まず、一般的なデータ型を見て、32ビット(フルプレシジョンまたはFP32)表現の代わりにそれらを使用した場合の影響を見てみましょう。
FP16
32ビットから16ビット(ハーフプレシジョンまたはFP16)浮動小数点数への移行の例を見てみましょう。
[ [画像] ]
FP16が取りうる値の範囲がFP32よりもかなり小さいことに注意してください。
BF16
元のFP32と同様の値の範囲を得るために、bfloat 16は「切り捨てられたFP32」の一種として導入されました。
[ [画像] ]
BF16はFP16と同じビット数を使用しますが、より広い範囲の値を取り込むことができ、ディープラーニングアプリケーションでよく使用されます。
INT8
ビット数をさらに減らすと、浮動小数点数表現ではなく、整数ベースの表現の領域に近づきます。例として、FP32からINT8(わずか8ビット)に移行すると、元のビット数の4分の1になります。
[ [画像] ]
ハードウェアによっては、整数ベースの計算は浮動小数点数計算よりも高速になる場合がありますが、常にそうとは限りません。しかし、一般的にビット数が少ないほど計算は高速になります。
ビット数の各削減に対して、元のFP32表現をより低いビットに「圧縮」するためのマッピングが行われます。
実際には、FP32の全範囲
[-3.4e38, 3.4e38]
をINT8にマッピングする必要はありません。単に、データ(モデルのパラメータ)の範囲をINT8にマッピングする方法を見つけるだけで十分です。
一般的な圧縮/マッピング方法は、対称量子化と非対称量子化であり、これらは線形マッピングの形態です。
これらの方法を使用してFP32からINT8に量子化してみましょう。
対称量子化
対称量子化では、元の浮動小数点数の範囲は、量子化された空間のゼロを中心とした対称範囲にマッピングされます。以前の例では、量子化の前後の範囲がゼロを中心に保たれていることに注意してください。
これは、浮動小数点空間でのゼロの量子化値が、量子化された空間でも正確にゼロであることを意味します。
[ [画像] ]
対称量子化の一形態である絶対最大値(absmax)量子化は良い例です。
値のリストが与えられた場合、最大絶対値(α)を線形マッピングを実行する範囲として使用します。
[ [画像] ]
注意:
[-127, 127]
の値の範囲は制限された範囲を表します。制限されていない範囲は
[-128, 127]
であり、量子化方法によって異なります。
ゼロを中心とした線形マッピングであるため、計算式は簡単です。
まず、スケールファクター(s)を次のように計算します。
- b は量子化したいバイト数(8)です。
- α は最大絶対値です。
次に、s を使用して入力 x を量子化します。
[ [画像] ]
値を代入すると、次のようになります。
[ [画像] ]
元のFP32値を取得するには、以前に計算したスケーリングファクター(s)を使用して、量子化された値を逆量子化できます。
[ [画像] ]
量子化と逆量子化のプロセスを適用して元に戻すと、次のようになります。
[ [画像] ]
3.08 や 3.02 のような値がINT8の 36 に割り当てられていることがわかります。値を逆量子化してFP32に戻すと、精度が失われ、区別がつかなくなります。
これはしばしば量子化誤差と呼ばれ、元の値と逆量子化された値の差を見つけることで計算できます。
[ [画像] ]
一般的に、ビット数が少ないほど、量子化誤差は大きくなる傾向があります。
非対称量子化
対照的に、非対称量子化はゼロに対して対称ではありません。代わりに、浮動小数点範囲の最小値(β)と最大値(α)を、量子化範囲の最小値と最大値にマッピングします。
ここで探求する手法は「ゼロ点量子化」と呼ばれます。
[ [画像] ]
ゼロの位置がずれていることに注意してください。だから「非対称量子化」と呼ばれるのです。
[-7.59, 10.8]
の範囲では、最小値/最大値とゼロの距離は異なります。
位置がずれているため、線形マッピングを実行するためにINT8範囲のゼロ点(z)を計算する必要があります。以前と同様に、INT8の範囲の差(
[-128, 127]
)を使用してスケールファクター(s)も計算する必要があります。
[ [画像] ]
ゼロ点(z)を計算して重みをシフトする必要があるため、これが少し複雑になっていることに注意してください。
以前と同様に、計算式に値を代入してみましょう。
[ [画像] ]
INT8からFP32に量子化された値を逆量子化するには、以前に計算したスケールファクター(s)とゼロ点(z)を使用する必要があります。
それ以外は、逆量子化は簡単です。
[ [画像] ]
対称量子化と非対称量子化を並べて比較すると、方法の違いがすぐにわかります。
[ [画像] ]
非対称量子化のオフセットと比較して、対称量子化のゼロ中心の性質に注意してください。
範囲のマッピングとクリッピング
以前の例では、特定のベクトル内の値の範囲を低ビット表現にマッピングする方法を探りました。これにより、ベクトル値の全範囲をマッピングできますが、外れ値という大きな欠点があります。
次のような値を持つベクトルがあると想像してください。
[ [画像] ]
1つの値が他のすべての値よりもはるかに大きいことに注意してください。これは外れ値と見なすことができます。このベクトルの全範囲をマッピングすると、すべて小さい値が同じ低ビット表現にマッピングされ、区別する要素を失います。
[ [画像] ]
これは以前使用したabsmaxメソッドです。非対称量子化でも、クリッピングを適用しない場合は同様の動作が発生することに注意してください。
代わりに、特定の値にクリッピングを選択できます。クリッピングとは、すべてのアウトライアに同じ値が割り当てられるように、元の値の異なるダイナミックレンジを設定することです。
以下の例では、ダイナミックレンジを
[-5, 5]
に手動で設定すると、その範囲外の値は、その値に関係なく
-127
または
127
のいずれかにマッピングされます。
[ [画像] ]
主な利点は、非外れ値の量子化誤差が大幅に削減されることです。しかし、外れ値の量子化誤差は増加します。
キャリブレーション
例では、
[-5, 5]
という任意の値の範囲を選択するという単純な方法を示しました。この範囲を選択するプロセスはキャリブレーションとして知られており、量子化誤差を最小限に抑えながら、できるだけ多くの値を含む範囲を見つけることを目指します。
このキャリブレーションステップの実行は、すべての種類のパラメータで同じではありません。
重み(およびバイアス)
LLMの重みとバイアスは、モデルを実行する前に既知であるため、静的な値と見なすことができます。例えば、Llama 3の約20GBのファイルは、主にその重みとバイアスで構成されています。
[ [画像] ]
バイアス(数百万)は重み(数十億)よりも大幅に少ないため、バイアスはしばしばより高い精度(INT16など)で保持され、量子化の主な努力は重みに向けられます。
静的で既知の重みの場合、範囲を選択するためのキャリブレーション手法には以下が含まれます。
- 入力範囲のパーセンタイルを手動で選択する
- 元の重みと量子化された重みの間の平均二乗誤差(MSE)を最適化する。
- 元の値と量子化された値の間のエントロピー(KLダイバージェンス)を最小化する
[ [画像] ]
例えばパーセンタイルを選択すると、以前に見たクリッピング動作と同様の結果になります。
アクティベーション
LLM全体で継続的に更新される入力は、通常「アクティベーション」と呼ばれます。
[ [画像] ]
これらの値は、シグモイドやReLUなどの活性化関数を通過することが多いため、アクティベーションと呼ばれます。
重みとは異なり、アクティベーションは推論中にモデルに入力される各入力データによって変化するため、正確に量子化することが困難です。
これらの値は各隠れ層の後に更新されるため、入力データがモデルを通過する推論中にのみ、それらが何になるかを知ることができます。
[ [画像] ]
広義には、重みとアクティベーションの量子化方法をキャリブレーションするための2つの方法があります。
- トレーニング後量子化(PTQ)
- トレーニング後の量子化
- 量子化アウェアトレーニング(QAT)
- トレーニング/ファインチューニング中の量子化
パート3: トレーニング後量子化
最も一般的な量子化技術の1つが、トレーニング後量子化(PTQ)です。これは、モデルのトレーニング後にモデルのパラメータ(重みとアクティベーションの両方)を量子化することを含みます。
重みの量子化は、対称量子化または非対称量子化のいずれかを使用して実行されます。
一方、アクティベーションの量子化は、その範囲がわからないため、モデルの推論を使用してその潜在的な分布を取得する必要があります。
アクティベーションの量子化には2つの形式があります。
- 動的量子化
- 静的量子化
動的量子化
データが隠れ層を通過した後、そのアクティベーションが収集されます。
[ [画像] ]
このアクティベーションの分布を使用して、出力の量子化に必要なゼロ点(z)とスケールファクター(s)を計算します。
[ [画像] ]
このプロセスは、データが新しい層を通過するたびに繰り返されます。したがって、各層には独自の別々の z と s 値があり、それゆえ異なる量子化スキームが適用されます。
静的量子化
動的量子化とは対照的に、静的量子化は推論中にゼロ点(z)とスケールファクター(s)を計算するのではなく、事前に計算します。
これらの値を見つけるために、キャリブレーションデータセットが使用され、モデルに与えられてこれらの潜在的な分布を収集します。
[ [画像] ]
これらの値が収集された後、推論中に量子化を実行するために必要な s と z 値を計算できます。
実際の推論を実行する際には、s と z 値は再計算されず、すべての活性化に対してグローバルに使用されて量子化されます。
一般的に、動的量子化は、s と z 値を隠れ層ごとに計算しようとするだけなので、わずかに精度が高くなる傾向があります。しかし、これらの値の計算が必要になるため、計算時間が増加する可能性があります。
対照的に、静的量子化は精度は低いですが、量子化に使用される s と z 値がすでにわかっているため、高速です。
4ビット量子化の世界
8ビット量子化を下回ることは困難であることが証明されています。ビットの損失ごとに量子化誤差が増加するためです。幸いなことに、ビット数を6、4、さらには2ビットに削減するためのいくつかの巧妙な方法があります(ただし、これらの方法で4ビットを下回ることは一般的に推奨されません)。
HuggingFaceで一般的に共有されている2つの方法を探求します。
- GPTQ(GPU上のフルモデル)
- GGUF(CPUにレイヤーをオフロード可能)
GPTQ
GPTQは、4ビット量子化の実践で最もよく知られている方法の1つと言えるでしょう。1
非対称量子化を使用し、レイヤーごとに処理を行うため、各レイヤーは次のレイヤーに進む前に独立して処理されます。
[ [画像] ]
このレイヤーごとの量子化プロセス中、まずレイヤーの重みを損失関数の二次導関数である逆ヘッセ行列に変換します。これは、各重みの変化に対するモデルの出力の感度を示します。
簡単に言うと、これは本質的に、レイヤー内の各重みの(逆の)重要性を示しています。
ヘッセ行列の値が小さい重みは、これらの重みの小さな変化がモデルのパフォーマンスに大きな変化をもたらす可能性があるため、より重要です。
[ [画像] ]
逆ヘッセ行列では、値が小さいほど「重要」な重みを示します。
次に、重み行列の最初の行の重みを量子化し、逆量子化します。
[ [画像] ]
このプロセスにより、事前に計算した逆ヘッセ行列(h_1)で重み付けされた量子化誤差(q)を計算できます。
本質的に、重みの重要性に基づいた重み付け量子化誤差を作成しています。
[ [画像] ]
次に、この重み付け量子化誤差を、行内の他の重みに再分配します。これにより、ネットワークの全体的な機能と出力を維持できます。
例えば、2番目の重み、つまり
.3
(x_2)に対してこれを行う場合、量子化誤差(q)に2番目の重みの逆ヘッセ行列(h_2)を掛けたものを追加します。
[ [画像] ]
与えられた行の3番目の重みに対しても同じプロセスを実行できます。
[ [画像] ]
すべての値が量子化されるまで、この重み付け量子化誤差の再分配プロセスを繰り返します。
これは、重みは通常互いに関連しているため、うまくいきます。したがって、ある重みが量子化誤差を持つ場合、関連する重みは(逆ヘッセ行列を通じて)適切に更新されます。
注: 著者は、計算を高速化しパフォーマンスを向上させるために、ヘッセ行列への減衰係数の追加、「遅延バッチ処理」、およびコレスキー法を使用した情報の事前計算など、いくつかのトリックを使用しました。このトピックに関するこのYouTube動画を強くお勧めします。
ヒント: パフォーマンス最適化と推論速度の向上を目的とした量子化方法が必要な場合は、EXL2をチェックしてください。
GGUF
GPTQは、LLM全体をGPUで実行するための優れた量子化方法ですが、常にその能力があるとは限りません。代わりに、GGUFを使用してLLMの任意のレイヤーをCPUにオフロードできます。2
これにより、VRAMが不足している場合にCPUとGPUの両方を使用できます。
GGUFの量子化方法は頻繁に更新される可能性があり、ビット量子化のレベルによって異なります。しかし、一般的な原則は次のとおりです。
まず、特定のレイヤーの重みは、「スーパー」ブロックと「サブ」ブロックのセットを含む「スーパー」ブロックに分割されます。これらのブロックから、スケールファクター(s)とアルファ(α)を抽出します。
[ [画像] ]
特定の「サブ」ブロックを量子化するために、以前に使用したabsmax量子化を使用できます。これは、与えられた重みにスケールファクター (s) を掛けることを思い出してください。
[ [画像] ]
スケールファクターは「サブ」ブロックからの情報を使用して計算されますが、「スーパー」ブロックからの情報を使用して量子化されます。この「スーパー」ブロックは独自のスケールファクターを持っています。
[ [画像] ]
このブロックごとの量子化は、「スーパー」ブロックのスケールファクター(s_super)を使用して、「サブ」ブロックのスケールファクター(s_sub)を量子化します。
各スケールファクターの量子化レベルは異なる場合があり、「スーパー」ブロックは通常、「サブ」ブロックのスケールファクターよりも高い精度を持ちます。
例として、いくつかの量子化レベル(2ビット、4ビット、6ビット)を探求してみましょう。
[ [画像] ]
注: 量子化タイプによっては、追加の最小値(m)がゼロ点を調整するために必要になります。これらはスケールファクター(s)と同じように量子化されます。
すべての量子化レベルの概要については、元のプルリクエストをご覧ください。重要度行列を使用した量子化の詳細については、このプルリクエストも参照してください。
パート4: 量子化アウェアトレーニング
パート3では、トレーニング後にモデルを量子化する方法を見ました。このアプローチの欠点は、この量子化が実際のトレーニングプロセスを考慮していないことです。
ここで量子化アウェアトレーニング(QAT)が登場します。PTQでトレーニングされたモデルの後にモデルを量子化する代わりに、QATはトレーニング中に量子化プロセスを学習することを目指します。
[ [画像] ]
QATは、量子化がトレーニング中にすでに考慮されているため、PTQよりも精度が高い傾向があります。その仕組みは次のとおりです。
トレーニング中、「偽」の量子化が導入されます。これは、まず重みを例えばINT4に量子化し、その後FP32に逆量子化するプロセスです。
[ [画像] ]
このプロセスにより、モデルはトレーニング中の量子化プロセス、損失の計算、および重みの更新を考慮することができます。
QATは、量子化誤差を最小限に抑えるために、「広い」最小値の損失ランドスケープを探求しようとします。「狭い」最小値はより大きな量子化誤差をもたらす傾向があるためです。
[ [画像] ]
例えば、逆伝播中に量子化を考慮しなかったと想像してください。勾配降下法に従って損失が最小の重みを選択します。しかし、それが「狭い」最小値にある場合、より大きな量子化誤差が生じます。
対照的に、量子化を考慮すると、「広い」最小値で異なる更新された重みが選択され、量子化誤差ははるかに小さくなります。
[ [画像] ]
したがって、PTQは高精度(例:FP32)で低い損失をもたらしますが、QATは低精度(例:INT4)で低い損失をもたらします。これが私たちが目指すものです。
1ビットLLMの時代:BitNet
前述のように4ビットにすることはすでに非常に小さいですが、さらに削減するとどうなるでしょうか?
ここでBitNetが登場します。モデルの重みを、-1または1のいずれかを使用して、単一の1ビットで表現します。
これは、量子化プロセスをTransformerアーキテクチャに直接注入することによって行われます。
TransformerアーキテクチャはほとんどのLLMの基盤として使用されており、線形層を含む計算で構成されていることを思い出してください。
[ [画像] ]
これらの線形層は一般的にFP16のような高精度で表現されており、ほとんどの重みが配置されています。
BitNetはこれらの線形層をBitLinearと呼ばれるものに置き換えます。
[ [画像] ]
BitLinearレイヤーは通常の線形レイヤーと同じように動作し、重みをアクティベーションに掛けた結果に基づいて出力を計算します。
対照的に、BitLinearレイヤーはモデルの重みを1ビットで表現し、アクティベーションをINT8で表現します。
[ [画像] ]
BitLinearレイヤーは、量子化アウェアトレーニング(QAT)と同様に、トレーニング中に一種の「偽」量子化を実行して、重みとアクティベーションの量子化の影響を分析します。
[ [画像] ]
注: この論文では α の代わりに γ を使用していますが、例全体で α を使用したため、ここではそれを使用しています。また、β はゼロ点量子化で使用したものとは異なりますが、平均絶対値です。
BitLinearのステップを順を追って見ていきましょう。
重み量子化
トレーニング中、重みはINT8で保存され、符号関数と呼ばれる基本的な戦略を使用して1ビットに量子化されます。
本質的に、重みの分布をゼロを中心に移動させ、ゼロより左のすべてを-1、右のすべてを1に割り当てます。
[ [画像] ]
さらに、逆量子化に使用する値 β (平均絶対値)を追跡します。
アクティベーション量子化
アクティベーションを量子化するために、BitLinearはabsmax量子化を使用して、アクティベーションをFP16からINT8に変換します。これは、行列乗算(×)のために高精度である必要があるためです。
[ [画像] ]
さらに、逆量子化に使用する α (最大絶対値)を追跡します。
逆量子化
α(アクティベーションの最大絶対値)とβ(重みの平均絶対値)を追跡しました。これらの値は、アクティベーションをFP16に逆量子化するのに役立ちます。
出力アクティベーションは、{α, γ} で再スケーリングされて元の精度に逆量子化されます。
[ [画像] ]
これで完了です!この手順は比較的単純で、モデルを -1 または 1 の2つの値のみで表現できます。
この手順を使用すると、著者らはモデルサイズが大きくなるにつれて、1ビットとFP16でトレーニングされたモデルのパフォーマンスギャップが小さくなることを観察しました。
ただし、これは大規模モデル(>30Bパラメータ)に限られ、小規模モデルとのギャップは依然としてかなり大きいです。
すべてのLLMは1.58ビットである
BitNet 1.58bは、前述のスケーリング問題を改善するために導入されました。4
この新しい方法では、モデルのすべての重みは -1 または 1 だけでなく、0 も値として取ることができるため、三値になります。興味深いことに、0 を追加するだけで、BitNetが大幅に改善され、はるかに高速な計算が可能になります。
0の力
では、なぜ0を追加することが大きな改善につながるのでしょうか?
それはすべて行列乗算に関係しています!
まず、一般的な行列乗算の仕組みを探ってみましょう。出力を計算する際には、重み行列を入力ベクトルに掛けます。以下は、重み行列の最初のレイヤーの最初の乗算の視覚化です。
[ [画像] ]
この乗算には2つのアクションが含まれることに注意してください。個々の重みと入力を乗算し、それらをすべて加算します。
BitNet 1.58bは対照的に、三値の重みは本質的に次のことを示すため、乗算の操作を省略できます。
- 1:この値を追加したい
- 0:この値は不要
- -1:この値を減算したい
その結果、重みが1.58ビットに量子化されている場合、加算のみを実行すればよくなります。
[ [画像] ]
これにより、計算が大幅に高速化されるだけでなく、特徴フィルタリングも可能になります。
特定の重みを0に設定することで、1ビット表現の場合のように、重みを加算または減算するのではなく、無視できるようになりました。
量子化
重み量子化を実行するために、BitNet 1.58bは、以前に見たabsmax量子化のバリエーションであるabsmean量子化を使用します。
重みの分布を圧縮し、絶対平均値(α)を使用して値を量子化します。その後、-1、0、または1に丸められます。
[ [画像] ]
BitNetと比較して、アクティベーション量子化は1つの点を除いて同じです。アクティベーションを範囲
[0, 2^b-1]
にスケーリングする代わりに、absmax量子化を使用して、範囲
[-2^(b-1), 2^(b-1)]
にスケーリングされます。
これで完了です!1.58ビット量子化には、主に2つのトリックが必要でした。
- 0 を追加して三値表現(-1、0、1)を作成する
- 重みに対するabsmean量子化
「13B BitNet b1.58は、3B FP16 LLMよりも、レイテンシ、メモリ使用量、およびエネルギー消費量の点で効率的です」
その結果、計算効率の高い1.58ビットのみを持つ軽量モデルが得られます。
結論
これで量子化の旅は終わりです!この記事が、量子化、GPTQ、GGUF、BitNetの可能性についての理解を深めることを願っています。将来、モデルはどれほど小さくなるのでしょうか?!
LLMに関連する他のビジュアルをご覧になり、このニュースレターをサポートするには、私が書いた大規模言語モデルに関する書籍をチェックしてください!
リソース
この記事が量子化への分かりやすい入門となれば幸いです!さらに深く学びたい場合は、以下のリソースをお勧めします。
- LLM.int8()量子化方法に関するHuggingFaceのブログ。論文はこちらで見つけることができます。
- 埋め込みの量子化に関するもう1つの優れたHuggingFaceブログ。
- Transformerの計算とメモリ使用量に関連する基本的な数学を説明するTransformer Math 101に関するブログ。
- これとこれは、特定のモデルに必要な(V)RAMを計算するための2つの優れたリソースです。
- ファインチューニングのための量子化技術であるQLoRA5についてさらに知りたい場合は、私の今後の書籍「Hands-On Large Language Models」で詳しく説明されています。
- GPTQに関する本当に素晴らしいYouTube動画で、非常に直感的に説明されています。
Frantar, Elias, et al. "Gptq: Accurate post-training quantization for generative pre-trained transformers." arXiv preprint arXiv:2210.17323 (2022)。
Wang, Hongyu, et al. "Bitnet: Scaling 1-bit transformers for large language models." arXiv preprint arXiv:2310.11453 (2023)。
Ma, Shuming, et al. "The era of 1-bit llms: All large language models are in 1.58 bits." arXiv preprint arXiv:2402.17764 (2024)。
Dettmers, Tim, et al. "Qlora: Efficient finetuning of quantized llms." Advances in Neural Information Processing Systems 36 (2024)。