ハニー、埋め込みを縮小しました:マトリョーシュカ対PCA
Honey, I shrunk the embeddings: Matryoshka vs. PCA (dylancastillo.co)
要約
LLMで独自のドキュメントを扱う際、埋め込み(embeddings)の効率的な保存と検索が課題となっています。この課題に対し、AI研究者は次元数を減らしつつ検索精度を維持するMatryoshka Representation Learning (MRL) を開発しました。本記事では、このMRLと、より古くシンプルな手法である主成分分析(PCA)を比較実験し、どちらが埋め込み次元削減において優れているかを検証しています。
全文翻訳
Honey, I shrunk the embeddings: Matryoshka vs. PCA
人々がLLMを自身のドキュメントと共に使い始めたとき、新たな問題が生じました。その大量の情報をいかに効率的に保存し、検索するかということです。
ベクトルデータベースはすぐに標準的な解決策となりました。しかし、ベクトルは何千もの次元を持つことがあり、数百万ものベクトルを保存すると、検索が遅く高価になる可能性があります。
AIラボは、Matryoshka Representation Learning (MRL)と呼ばれる手法でこれに対応しました。これは、検索精度をあまり犠牲にすることなく、より少ない埋め込み次元を使用できるというものです。つまり、ベクトルデータベースの請求額が少なくなり、クエリが高速化されます。
ハッピーエンド。ほとんど。
私は普段、水曜日にベクトルデータベースの請求額を心配して過ごすことはありません。しかし、Doug Turnbull氏の記事で、主成分分析 (PCA)を使ってベクトルの次元を削減する方法が紹介されており、興味をそそられました。この古くからあるシンプルな手法は、MRLと比較してどうだろうか?
それを知るために、私は8つの標準的な検索品質データセットで両手法を比較しました。この記事では、実験の過程と結果を共有します。
すべてのコードとデータはGitHubで入手可能です。
MRLとPCAとは何か?
どちらの手法も、元のベクトルとほぼ同様に機能する小さなベクトルを生成します。しかし、そのアプローチは異なります。
MRLはトレーニング中に機能します。モデルを、複数のプレフィックス長(最初の64次元、最初の128次元など)で同時に適用される損失でトレーニングします。これにより、入れ子になったマトリョーシカ人形のように、最も重要な情報をベクトルの先頭に詰め込むように学習します。
推論時には、最初のd次元を保持し、結果のベクトルを再正規化するだけです。多くの最新の埋め込みモデルはこの方法でトレーニングされていますが、古いモデルはそうではないため、MRLベースの切り捨ては多くの人気のある埋め込みモデルでは利用できません。
PCAはトレーニング後に機能するため、どのモデルでも使用できます。埋め込みのサンプルを取得し、それらが最も変化する方向を見つけ、上位d個を射影行列1として保持します。PCAはより小さなベクトルを提供しますが、運用上の複雑さも増します。PCA変換を保存およびバージョン管理し、インデックスへの追加とクエリの際に同じバージョンを一貫して適用する必要があります。
実験の実施方法
実験のアイデアはシンプルでした。各手法で埋め込みを縮小し、ベンチマークを実行して、各サイズで検索品質がどの程度低下するかを確認することです。
OpenRouterを通じてすべての埋め込みを生成し、8つのBEIRデータセットで検索を評価しました。SciFact、NFCorpus、ArguAna、FiQA、SciDocs、Quora、TREC-COVID、Webis-Touché 2020です。各データセットについて、埋め込みを512、256、128、64、32次元に削減しました。
| dataset | task | corpus | queries |
|---|---|---|---|
| SciFact | scientific claim verification | 5.2K | 300 |
| NFCorpus | medical search | 3.6K | 323 |
| ArguAna | counterargument retrieval | 8.7K | 1,406 |
| FiQA-2018 | financial question answering | 57K | 648 |
| SciDocs | citation recommendation | 25K | 1,000 |
| Quora | duplicate question retrieval | 523K | 10,000 |
| TREC-COVID | biomedical search (COVID-19) | 171K | 50 |
| Touché 2020 | argument retrieval from web docs | 382K | 49 |
3つの質問に答えたいと思いました。
Q1: 次元を削減するにつれて、どちらの手法がより多くの検索品質を維持するか?
これに答えるために、2つのMRLトレーニング済みモデルを使用しました。OpenAIのtext-embedding-3-small(1,536次元)と、オープンウェイトMTEB BEIRリーダーボードのトップに位置するAlibabaのqwen3-embedding-8b(4,096次元)です。
各モデルの埋め込みを2つの方法で削減しました。
- 切り捨て:最初のd次元を保持し、再正規化しました。これはMRLで次元を削減する方法です。
- PCA:検索対象の同じデータセットのドキュメント埋め込みのフル次元で射影を適合させ、上位d個のコンポーネントを保持しました。その後、すべてのドキュメントとクエリの埋め込みをその射影行列で乗算し、検索前に再正規化しました。
次に、8つのデータセットでベンチマークを実行し、埋め込みが小さくなるにつれてどちらの手法がより多くの検索品質を維持するかを、両方のモデルで比較しました。
Q2: MRLトレーニングだけが理由か?
PCAがうまくいくのは、MRLトレーニングがすでに埋め込み空間を便利な方法で整理していたからかもしれないと懸念しました。もしそうなら、MRLトレーニングを受けていない古いモデルであるtext-embedding-ada-002に対するPCAは、著しく劣るはずです。
ほとんどの場合、そうではありません。128次元まで、PCAはtext-embedding-ada-002でtext-embedding-3-smallとほぼ同じ品質シェアを維持します。それ以下では、小さなギャップが開きます。
| dims | ada-002 (no MRL) | 3-small (MRL) |
|---|---|---|
| Truncation | PCA | |
| 512 | 96% | 99% |
| 256 | 89% | 96% |
| 128 | 83% | 89% |
| 64 | 66% | 78% |
| 32 | 41% | 59% |
PCAはtext-embedding-ada-002で64次元で78%、32次元で59%の品質を維持するのに対し、text-embedding-3-smallではそれぞれ82%、65%を維持します。MRLが実際に役立つのか、あるいは単にtext-embedding-3-smallが新しく、より優れたモデルなのかは、この実験では分離できません。しかし、どちらにしても、PCAがうまくいくのはMRLのおかげだという仮説は、MRLモデルの切り捨てが非MRLモデルのPCAよりも劣る(32次元で59%対46%)ことを考えると、可能性は低いと思われます。
興味本位で、モデルがトレーニングされていないにもかかわらず、text-embedding-ada-002で切り捨てを試しました。128次元では想像以上にうまく機能し、83%を維持しました。
Q3: フィッティングデータは重要か?
MRLと比較して、PCAは運用上の複雑さを増します。射影のフィッティングとバージョン管理、クエリ時の使用、インデックス変更時の射影の更新などです。そこで、怠惰な場合、つまりPCAをインデックスを最初に作成したときに一度だけフィッティングし、その後は一切触らない場合に何が起こるかを知りたいと思いました。
少量のサンプルでのインドメインフィット。このシナリオでは、最初に持っているドキュメント(FiQAの57Kドキュメントのうち1,000、5,000、20,000、またはすべて)でPCAをフィッティングし、その後インデックス化するすべてのものにその射影を使用します。この規模では、あまり違いはありません。1,000ドキュメントでフィッティングされた射影は、フルコーパスでフィッティングされたものと、すべての次元で、両方のモデルでほぼ同じパフォーマンスを発揮します。
- 3-small
- qwen3-8b
ドメイン外フィット。このシナリオでは、フィッティングに使用するデータが、最終的に検索するデータと一致しません。これは、コーパスが時間とともに変化したか、あるいは利用可能なデータでフィッティングしたためです。極端なバージョンをシミュレートするために、10万件の一般的なMS MARCOパッセージでPCAを一度フィッティングし、その射影ですべての他のデータセットを検索しました。
text-embedding-3-smallでは、転送されたフィットは、512から64次元まで平均して同等かそれ以上です。個々のデータセットは、両方向でより多く変動します。qwen3-embedding-8bでは、128次元までは追随しますが、それ以下の次元では遅れをとります(32次元で56%対71%)。
- 3-small
- qwen3-8b
私のような怠惰な人々にとって朗報です。フィットサンプルのサイズは予想よりも重要ではなく、ドメイン外フィットは適度な圧縮率でうまく機能します。ただし、これらのパターンは実験の規模や使用した特定のベンチマークの結果である可能性があります。そのため、これらの結果は注意して解釈してください。
量子化(Quantization)については?
量子化と呼ばれる手法を使ってベクトルを縮小することもできます。次元数を減らすのではなく、量子化は各次元をより少ないビットで保存します。int8では、各次元は1バイト(float32の4分の1)を使用します。バイナリでは、サインビットのみ(32分の1)です。以下の数値では、int8はクエリをfloat32のままにしてドキュメントベクトルを量子化します。バイナリはドキュメントとクエリの両方を量子化し、ドット積によるランキングを行います。これはハミング距離ランキングと同等です。
量子化のみを使用した場合、text-embedding-3-smallのフル1,536次元での結果は以下のようになります。
| config | bytes per vector | size vs full float32 | quality retained |
|---|---|---|---|
| int8 | 1,536 | 25% | 100% |
| binary | 192 | 3.1% | 95% |
これをさらに進めるには、量子化と切り捨てまたはPCAを組み合わせることができます。結果のベクトルは劇的に小さくなる可能性がありますが、驚くほど多くの検索品質を維持できます。
例えば、バイナリ量子化とPCAを512次元で組み合わせると、元のパフォーマンスの82%を維持しながら、生のベクトルサイズをfloat32ベースラインの約1%に削減できます。これは少し楽観的すぎるように思えるので、私のAI精神病かもしれません。完全な結果はこちらです。
限界
- 少数の埋め込みモデル:3つのモデルをテストしましたが、そのうち2つはOpenAI製です。Qwenは、より強力なMRL実装がPCAのリードを狭めることを示しており、他のモデルファミリーでは結果がさらに変動する可能性があります。
- コーパスサイズ:予算(約30ドル)を管理するために、最大のBEIRデータセットは除外しました。そのため、到達できなかった規模ではPCAがMRLに劣る可能性があります。
- 実験室条件:私の評価は生のベクトルに対する正確な検索を実行しますが、実際のベクトルデータベースの動作方法ではありません。実際のデプロイメントでは、近似インデックスを使用し、独自の圧縮を適用し、フルプレシジョンのベクトルで再スコアリングし、多くの場合BM25とリランカーを混在させます。これにより、私の結果が無効になる可能性があります。
- ベンチマーク汚染:BEIRデータセットは埋め込みモデルのトレーニングに広く使用されているため、絶対スコアはおそらくインフレしています。
結論
PCAはMRL切り捨て手法に互角に渡り合っただけでなく、ほとんどの次元で勝利しました。
text-embedding-3-smallでは、PCAはほぼすべての次元でMRL切り捨てを上回り、積極的な圧縮では大きな差をつけました。32次元で65%の品質を維持したのに対し、切り捨ては46%でした。qwen3-embedding-8bでは、MRLは512次元でわずかに優位性があり、256次元では実質的に同等でしたが、それ以下の次元ではPCAがリードしました。
これらの結果は、MRLトレーニングのアーティファクトでもないようです。PCAは、切り捨て用にトレーニングされていないada-002でも同様にうまく機能しました。
また、予想よりもメンテナンスが容易でした。少量のインドメインサンプルでフィッティングした場合、結果はほとんど変わりませんでした。ドメイン外フィットも、適度な圧縮率でうまく機能しました。
洗濯機よりも古い技術にしては悪くないですね2!
自分でデータを確認したい場合は、完全なパイプラインがリポジトリにあります。
フットノート
引用
BibTeX引用:
@online{castillo2026,
author = {Castillo, Dylan},
title = {Honey, {I} Shrunk the Embeddings: {Matryoshka} Vs. {PCA}},
date = {2026-08-01},
url = {https://dylancastillo.co/posts/matryoshka-vs-pca.html},
langid = {en}
}
帰属表示については、この作品を次のように引用してください。
Castillo, Dylan. 2026. “Honey, I Shrunk the Embeddings: Matryoshka Vs. PCA.” August 1. https://dylancastillo.co/posts/matryoshka-vs-pca.html。