非対称量子化: ストレージを97%削減し、ほぼロスレスな検索を実現
Asymmetric Quantization: Near-Lossless Retrieval with 97% Storage Reduction (mixedbread.com)
要約
このブログ記事では、Late Interactionモデルにおける検索精度を維持しつつ、ストレージ容量を大幅に削減する「非対称量子化」という手法について解説しています。クエリベクトルを高精度に保ち、ドキュメントベクトルを1ビットの符号(バイナリ)として保存することで、ドキュメントあたりのベクトルストレージを平均32倍(97%)削減しながら、検索品質の低下を最小限に抑えることを目指します。これにより、大規模な検索システムでのLate Interactionの実装が現実的になります。
全文翻訳
非対称量子化:ストレージを97%削減し、ほぼロスレスな検索を実現
Wholembed v3のようなLate Interactionモデルは、ドキュメント全体を単一のベクトルに圧縮するのではなく、きめ細かな情報を保持するため、検索精度を大幅に向上させます。しかし、その代償としてストレージの経済性が変化します。単一のドキュメントから複数のベクトルが生成され、ドキュメントの複雑さに応じて数百から数千ものベクトルが生成されることがあります。これらの各ベクトルは保存され、後で検索に使用される必要があります。
Mixedbread Searchは、数十億ドキュメント規模でのマルチモーダルLate Interactionのための検索エンジンであるsilo上で動作します。Siloはオブジェクトストレージに25億件以上のドキュメントのベクトルを保存し、クエリの必要に応じてより高速な階層にロードします。この規模では、ドキュメントあたりの追加バイトは数十億回繰り返され、保存ドキュメントあたりのコスト、シャードのコールドスタート時間、クエリが読み取るバイト数に直接影響します。システム全体を安価にしつつ、Late Interactionを実行する価値のある品質を維持するために、このトレードオフを回避する必要があります。
この記事では、非対称量子化について説明します。これは、Late Interactionを本番環境で実用的に実行可能にする最適化の1つです。クエリベクトルは高精度を維持し、ドキュメントベクトルはバイナリ符号として保存します。内部ベンチマークスイートでは、これにより生のドキュメントベクトルストレージが平均32倍(ドキュメントあたり393 KiBから12.28 KiBへ)削減され、検索品質はfp32の90.26に対して89.65 NDCG@10を維持します。
int8クエリとバイナリドキュメントの場合、マルチベクトルドキュメントあたりのストレージはfp32の393 KiBから12.28 KiBに低下し、32倍、97%の削減となります。fp32は32個のセルとして描画されており、各セルは単一のint8-by-binaryセルのサイズです。
TL;DR:
ドキュメントは永続的に保存され、クエリは一度だけ実行されます。そのため、ドキュメントベクトルを1ビットの符号として保存し、クエリはint8に保ちます。これにより、ドキュメントあたりのストレージが32倍に縮小され、内部ベンチマークでは0.61 NDCG@10(90.26から89.65)しか失われません。
量子化:マルチベクトルストレージを実用的にする
量子化とは、高精度の浮動小数点ベクトルをint8や1ビット符号などの低精度値で表現することです。目標は、ランキング品質を維持しながらペイロードサイズを削減することです。これは特にsiloにとって重要です。オブジェクトストレージは、耐久性があり低コストな永続性を提供します。これを実際のワークロードに適したものにするためには、高速にサービスを提供するためのコンパクトなインデックスが必要です。ドキュメント側では、ペイロードサイズがコストを支配します。
単純なLate Interactionは、より多くのベクトルを保存するため高価です。fp32の3072次元の標準的な単一ベクトル埋め込みは、ドキュメントあたり12 KiBを消費します。128次元の786ベクトルを持つマルチベクトル表現は、はるかに多くの情報を含んでいますが、非圧縮では約33倍大きくなります。
| 表現 | 次元数 | ドキュメントあたりのストレージ | 3072次元fp32単一ベクトルとの相対値 |
|---|---|---|---|
| 単一ベクトル, fp32 | 3072 | 12,288 B / 12 KiB | 1.0x |
| 単一ベクトル, int8 | 3072 | 3,072 B / 3 KiB | 0.25x |
| マルチベクトル, fp32 | 786 × 128 | 402,432 B / 393 KiB | 32.75x |
| マルチベクトル, int8 | 786 × 128 | 100,608 B / 98.25 KiB | 8.19x |
| マルチベクトル, バイナリ | 786 × 128 | 12,576 B / 12.28 KiB | 1.02x |
ここでのストレージ数値は、生のベクトルペイロードのみを指します。本番環境のインデックスには、ドキュメントID、メタデータ、レイアウトオーバーヘッドも含まれます。
バイナリドキュメントベクトルを使用すると、786トークンのマルチベクトルドキュメントは、3072次元のfp32単一ベクトルよりも約2%大きいだけです。これは、単一ベクトルストレージに近いコストでLate Interactionの品質を得られることを意味します。これにより、トレードオフを変更できます。Late Interactionは、ストレージを正当化するケースに限定されるのではなく、デフォルトで実行可能になります。
これはLate Interactionの新しい方向性ではありません。ColBERTv2は、積極的な圧縮が品質を維持しながらLate Interactionモデルのフットプリントを削減できることを示しました。PLAIDは、最適化された検索とプルーニングを使用して、Late Interaction検索を実用的なレイテンシまでエンジニアリングできることを示しました。本番システムでは、両方の教訓が重要です。モデルは正確である必要があり、表現はハードウェアを通過させるのに十分安価である必要があります。
非対称量子化を採用する理由
ドキュメントベクトルの圧縮は、コーパス全体のストレージ、IO、キャッシュスペース、コールドスタート時間を節約します。クエリベクトルの圧縮は、クエリが小さく、短命で、インデックスに保存されないため、ほとんど何も節約しません。
これが、両方のサイドをバイナリ化しない理由でもあります。完全にバイナリな検索は最もコンパクトなオプションですが、クエリを単一ビットに落とすと、ランキングが依存するマグニチュード情報を失い、ドキュメントのみをバイナリ化するよりもはるかに多くの品質を犠牲にします(後述)。
そのため、クエリはint8に保ち、ドキュメントベクトルのみをバイナリ符号として保存します。クエリはランキングを維持するのに十分な精度を保ち、ドキュメントはサービングに重要なストレージ削減を実現します。
スコアリングのトリック
バイナリドキュメントベクトルは小さく、したがって保存コストが低くなります。
int8 x int8 スコアリングの場合、最新のARM CPUはNEONドット積命令を通じて直接サポートを提供します。AArch64カーネルはSDOTを使用して、16個のint8乗算をint32レーンに蓄積し、その後vaddvq_s32で結果を水平方向に削減します。int8 x バイナリ スコアリングの場合、有用な恒等式はより単純です。各ドキュメント次元が符号ビットとして保存され、b_iが{-1, +1}の場合:
$$ \mathbf{q} \cdot \mathbf{b} = \sum_i q_i b_i = 2 \sum_{i,:,b_i = +1} q_i - \sum_i q_i $$
したがって、スコアリングは各次元で完全な乗算を必要としません。正のドキュメントビットによって選択されたクエリ値の合計と、クエリ全体の合計が必要です。
浮動小数点数のドキュメントベクトルは、その符号ビットに削減され、バイトにパックされます。int8クエリをバイナリドキュメントに対してスコアリングするには、次元ごとの乗算は不要です。それは、正のドキュメントビットによって選択されたクエリ値の合計の2倍から、クエリ全体の合計を引いたものになります。
カーネルでは、ドキュメントの符号はビットにパックされます。128次元パスの場合、クエリの合計と8つのクエリビットプレーンを事前計算します。各ドキュメントトークンは、16個のパックされたバイトとしてロードされ、NEON整数演算でシフトおよびマスクされて8つの0/1マスクになり、SDOTを使用してクエリプレーンとスコアリングされます。最終スコアは上記の恒等式2 * selected_query_sum - query_sumを使用します。
バイナリxバイナリは、ハミング距離を使用できるため、計算上さらに安価ですが、品質の低下がメインの検索パスには大きすぎます。
検索品質
内部検索ベンチマークスイート全体で、いくつかの精度ペアリングを評価しました。スコアはスイート全体で平均されたNDCG@10で、0〜100にスケーリングされています。NDCG@10(ランク10での正規化割引累積ゲイン)は、上位10件の結果が理想的なランキングに対してどれだけうまく並べ替えられているかを測定し、関連ドキュメントがより高い順位に現れるほどより多くの報酬を与え、100は完璧なランキングです。フルプレシジョンベースラインの平均は90.26です。バイナリドキュメントに対するint8クエリの平均は89.65で、0.61ポイントの低下ですが、ドキュメントベクトルのストレージは32倍削減されます。パフォーマンスの低下は最小限です。なぜなら、Wholembed v3はsiloのトレードオフを念頭に置いてトレーニングされており、量子化に対して堅牢だからです。
実行時間については、ARMマシンで33×128のクエリを、各786×128のドキュメント1000件のリストに対してベンチマークしました。表は、2回のウォームアップ後の9回の測定実行における中央値レイテンシと、fp32ベースラインに対するスピードアップを示しています。
| クエリ形式 | ドキュメント形式 | 平均NDCG@10 | ベースラインからの差 | ドキュメントあたりのストレージ | 中央値レイテンシ | fp32に対するスピードアップ |
|---|---|---|---|---|---|---|
| Float | Float | 90.26 | – | 393 KiB | 14.20 ms | 1.00x |
| Int8 | Int8 | 90.27 | +0.01 | 98.25 KiB | 4.44 ms | 3.20x |
| Int8 | Binary | 89.65 | -0.61 | 12.28 KiB | 3.71 ms | 3.82x |
| Binary | Binary | 83.06 | -7.20 | 12.28 KiB | 3.32 ms | 4.27x |
ストレージあたりのドキュメントあたりのNDCG@10を4つの精度ペアリングで示します。x軸は逆対数スケールで、右に行くほどストレージが縮小します。線はfp32(393 KiB、90.26)、int8×int8(98.25 KiB、90.27)、およびint8×binary(12.28 KiB、89.65)を接続しています。品質はほぼフラットに保たれながら、ストレージは32倍に縮小します。同じ12.28 KiBで、binary×binary(83.06)は、クエリのバイナリ化がシグナルを過剰に破棄するため、その線から7.2ポイント下落します。
有用な運用ポイントは2つあります。
最大品質と低帯域幅、高速な整数スコアリングを求める場合、int8 × int8はこのセットアップでは実質的にロスレスです。測定ノイズの範囲内でfp32ベースラインをわずかに上回り、ドキュメントストレージを4倍に削減し、このベンチマークではfp32の3.2倍高速に動作します。
最高のストレージ経済性を求める場合、int8 × binaryがより興味深いポイントです。ランキング品質のほとんどを維持しながら、ドキュメントベクトルを32倍に縮小し、fp32よりも3.8倍高速に動作します。オブジェクトストレージベースのシステムにとって、これはコーパス側のバイト数を直接削減することになります。
Binary × binaryは紙面では魅力的です。int8 × binaryと同じ12.28 KiBのドキュメントストレージを使用し、4.3倍で最も高速なオプションです。しかし、パフォーマンスはベースラインから7.20ポイント低下します。これはint8 × binaryの低下の10倍以上ですが、読み取るドキュメントバイトは全く同じです。唯一変わったのはクエリです。実際には、クエリシグナルを過剰に除去してしまいます。
これが可能にすること
非対称量子化が機能するのは、検索システムがクエリとドキュメントの精度を同じ方法で負担しないからです。ドキュメントベクトルはシステムの長期的なコストを支配します。それらは保存、複製、キャッシュ、エビクション、再ロード、スコアリングが繰り返し行われます。クエリベクトルは短命であるため、クエリにビットをいくつか多く費やし、保存されるすべてのドキュメントのビットを節約することは、正しいトレードオフです。
Siloにとって、これによりLate Interaction検索を大規模にサービス提供することがはるかに容易になります。ドキュメントあたりのコストが低くなることで、シャードのコールドスタートが速くなり、QPSが向上し、バイトの移動よりもスコアリングに時間を費やすハードウェアパスが可能になります。これにより、各ドキュメントを大きなfp32オブジェクトとして扱わずに、マルチベクトル表現の品質を得ることができます。
このような最適化問題に取り組みたい場合は、採用情報をご覧ください。