エンベディングは総当たりで処理する
Just brute force your embeddings (softwaredoug.com)
要約
この記事は、多くのチームがベクトルデータベースの複雑さを必要としないにもかかわらず、それを導入している現状に疑問を呈しています。100万件程度のドキュメントを検索する場合、単純なNumpy操作でエンベディングを総当たり(ブルートフォース)検索する方が、はるかに高速でコスト効率が良いと主張しています。必要最低限の処理能力があれば、複雑なデータベースシステムは不要であるという見解を示しています。
全文翻訳
埋め込み(embeddings)は単純な総当たりで十分
2000年代に組み込みCコードを書いていた頃、私たちはRaymond Chenがさりげなく書いたことに飛びつきました。
私のO(n)アルゴリズムはあなたのO(log n)アルゴリズムを凌駕できます。学校で学んだことの多くが役に立たない理由
ソートアルゴリズムには当てはまります。ベクトル検索にも当てはまります。
人々はベクトルデータベースが必要だと考えていますが、多くの場合、検索対象のドキュメントは100万件程度です。Numpyはfloat32の配列を非常に高速に総当たり検索できます。
| インデックスサイズ | クライアントスレッド | QPS | 平均レイテンシ |
|---|---|---|---|
| 1000000 | 1 | 79.7 | 0.012秒 |
| 1000000 | 10 | 170.5 | 0.058秒 |
| 8841823 | 1 | 9.34 | 0.106秒 |
| 8841823 | 10 | 18.34 | 0.106秒 |
これは、私のM4 MBPで実行している384次元の埋め込みに対して、この1行のPythonコードを実行しただけです。
# 全てのベクトルとの内積を計算
scores = self.doc_vectors @ query_vector.astype(np.float32, copy=False)
私は多くのチームと仕事をしてきましたが、彼らはベクトルデータベースの複雑さを必要としません。彼らは検索対象のドキュメントが約100万件あり、クエリトラフィックは少なく、埋め込みはすべて事前に作成されています。彼らは数百万ドルもするベクトルデータベースを購入したり、それを操作するために半年を費やしたりする必要はありません。
nが十分に小さい場合は、我慢できなくなるまで埋め込みを総当たりで検索してください。検索の旅人であるJo Kristian Bergumが言うように、「網羅的な検索だけで十分な場合があります」。
それを少し超える場合は、データベースを検討するかもしれませんか?あるいは、すべてをFAISSなどにメモリにロードして完了とすることもできます。
脚注として、これは単純なNumPy操作であり、おそらくもっと高速化できるでしょう。Andreas Ericksonが言うように、スループットは、スキャン中にスレッドに複数のクエリを与えることで改善される可能性があります。また、NumPyが行うことよりも、トップNヒープに収集するために検索中にさらに多くのことを行うことができます。
AI-Powered Searchの著者と共に最新のAI検索スキルを学びましょう。Doug TurnbullとTrey Graingerが人間とエージェントのための現代的な検索について探求します。Mavenでコースを見る。