RIP、ベクトルデータベース
RIP, vector database (turbopuffer.com)
要約
Turbopufferは、検索パフォーマンスを向上させるためにストレージアーキテクチャをv3へ移行することを発表しました。従来のベクトル検索中心の設計から、ANN(近似最近傍)検索を二次インデックスとして扱い、他のクエリタイプ(テキスト、正規表現、SQLなど)のパフォーマンスを向上させる新しいプライマリインデックスを採用します。これにより、ストレージと書き込みの効率化、およびベクトル化の向上が期待されます。
全文翻訳
RIP, ベクトルデータベース
2026年9月30日 • Dan Harrison (エンジニア)
Turbopufferは、検索を次のレベルに引き上げるため、ストレージアーキテクチャを変更します。Turbopuffer v3は、ドキュメントとインデックスのレイアウト、書き込み、圧縮、クエリの方法を変更します。これにより、テキスト、正規表現、ベクトル検索を含むあらゆる面で検索を高速化できるだけでなく、より多くのSQLクエリをTurbopufferに移行し、高速化するための基盤も築きます。
Turbopufferは、サーバーレスベクトルデータベース (v1)としてローンチされ、極めて安価で比較的高速なベクトル検索の提供に特化していました。オブジェクトストレージを真実の情報源とすることで経済性を、階層化されたNVMe SSD/メモリキャッシュでパフォーマンスを実現しました。これらの特定のトレードオフの価値は、CursorやNotionを含む初期の顧客によって検証されました。
Turbopufferは、非常に強力なテキストおよび正規表現検索 (v2) を持つように進化し、Linearの同期エンジンのような、検索以外の多くのユースケースにも使用されています。クエリエンジンは、これらのすべてのクエリプランをサポートするように進化しましたが、ストレージアーキテクチャはほとんど変更されていませんでした。ANNベクトルインデックスは、他のすべてのインデックスとクエリプランがその周りを回るプライマリインデックスであり、現在もそうです。この設計は、GROUP BYや集計などのいくつかのクエリプランを制限してきました。
私たちは、ベクトル中心のアーキテクチャを可能な限り推し進めてきましたが、もう次に進む時です。私たちは新しいプライマリインデックスに移行するプロセスにあり、ANNを「単なる」セカンダリインデックスにします。この過程を皆さんと共有できるのは楽しいだろうと考えています。
最初のアップデートでは、そもそもなぜこれを行うのかという背景を設定します。v1から現在までの短い旅に私と一緒にお付き合いください。
v1: IDとベクトル
Turbopufferの最初のバージョンでは、ドキュメントはIDとベクトルのみで構成されていました。当時、一般的な考え方はグラフベースのベクトルインデックスでしたが、階層的クラスタリングインデックスはオブジェクトストレージとの相性が良いです。私たちはSPANNから始め、最終的に増分インデックス作成をサポートするためにSPFreshに移行しました。ベクトルはグループにクラスタリングされ、その重心はさらにクラスタリングされ、単一のルートを持つツリーを形成するように繰り返されます。
┌───────────────────┐
│ root centroid │
└───────────────────┘
╱ │ ╲
╱ │ ╲
┌───────────────────┐ ┌───────────────────┐ ┌───────────────────┐
│ leaf centroid │ │ leaf centroid │ │ leaf centroid │
└───────────────────┘ └───────────────────┘ └───────────────────┘
╱ ╲ ╱ ╲ ╱ ╲
╱ ╲ ╱ ╲ ╱ ╲
┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐ ┌────────┐
│ vector │ │ vector │ │ vector │ │ vector │ │ vector │ │ vector │
└────────┘ └────────┘ └────────┘ └────────┘ └────────┘ └────────┘
┌───────────────┐
│ root centroid │
└───────────────┘
╱ │ ╲
╱ │ ╲
┌────────┐┌────────┐┌────────┐
│ leaf ││ leaf ││ leaf │
│centroid││centroid││centroid│
└────────┘└────────┘└────────┘
╱ ╲ ╱ ╲ ╱ ╲
┌───┐┌───┐┌───┐┌───┐┌───┐┌───┐
│vec││vec││vec││vec││vec││vec│
└───┘└───┘└───┘└───┘└───┘└───┘
これをキーバリューマップとして提示するストレージレイヤーの上に実装しました。キーはソートされ、一意です。各クラスタにはClusterIdが与えられ、クラスタ内のベクトルには密なLocalIdが与えられます。
// leaf vectors
K::Vector(C0L0) = vec![0.45, 0.32, ...]
K::Id(C0L0) = 7
K::Vector(C0L1) = vec![-0.28, 0.96, ...]
K::Id(C0L1) = 13
// cluster centroid for C0 is itself clustered at the next level of the tree
K::Vector(C1L4) = vec![0.64, -0.48, ...]
K::Id(C1L4) = C0
上記のように、すべてがClusterIdとLocalId (例: C0L1)でキー付けされています。これらを合わせてANNアドレスと呼びます。これが、ANNインデックスがプライマリインデックスであると言うときの意味です。
v2: 属性フィルタリングと全文検索
2つの新しいクエリプランが、Turbopuffer v1 → v2への非公式な移行を示しました。属性フィルタリングと全文検索です。
属性フィルタリング
当然ながら、顧客は属性値を追加し、それらでベクトル検索をフィルタリングできるようにしたいと考えました。フィルタリングを高速かつ高リコールにするために、属性値をそれを含むドキュメントのANNアドレスにマッピングする逆インデックスとしてモデル化しました。
K::AttrIndex("family", "Alcidae") -> vec![C0L3, C1L2, C1L3, ...]
K::AttrIndex("genus", "Fratercula") -> vec![C0L3, C1L2, C1L9, ...]
射影 (include_attributes) のために、ドキュメントの属性もIDとベクトルと一緒に保存しました。
K::Vector(C0L0) = vec![0.45, 0.32, ...]
K::Id(C0L0) = 7
K::Attr(C0L0, "family") = "Alcidae"
K::Attr(C0L0, "genus") = "Fratercula"
全文検索
BM25全文検索も、もう一つの明白で需要の高いクエリプランでした。属性検索と同様に、全文検索は、クエリ用語が存在するドキュメント(一般に「投稿」と呼ばれる)を最初に見つけることで機能します。FTSインデックスの場合、BM25スコアリングに必要な(term count, document length)メタデータも含まれます。
K::FTS("description", "Atlantic") -> vec![(C0L0, 2, 37), (C9L4, 1, 42), ...]
K::Attr(C0L0, "description") -> "A sharply dressed black-and-white seabird with a \n huge, multicolored bill, the Atlantic Puffin is often \n called the clown of the sea. It breeds in burrows on \n islands in the North Atlantic, and winters at sea."
時間の経過とともに、私たちはいくつかの他のインデックス構造とクエリエンジンを出荷しました。 集計、正規表現検索、あいまいマッチング、スパースベクトル検索、および属性による順序付け — これらすべてが同じベクトル中心のストレージレイアウトを中心に構築されています。
ベクトル中心プライマリインデックスの問題点
ANNプライマリインデックスは、オブジェクトストレージ上でのANN検索に非常に優れているため、今日までほとんどそのまま維持されてきました。このアーキテクチャの上に、私たちはベクトル検索を100B以上のベクトルを持つ単一インデックスで、1k+ QPSで200msのp99リードを提供するまで押し上げました。ここでの大幅な変更は、ANNパフォーマンスの低下を引き起こすリスクがあります。
しかし、このレイアウトは、サポートする非ベクトルクエリ形状において、ストレージ増幅、書き込み増幅、およびベクトル化の制限という3つの主な方法で、最先端から私たちを引き離しています。
ストレージ増幅
前述のように、Turbopufferは現在、各ドキュメントの全内容をそのANNアドレスの下に置いています。ベクトルが1つしかない場合、非ベクトルデータはベクトルと一緒に一度だけ保存されます。
しかし、ドキュメントのネストや後からのインタラクションのような、ドキュメントの複数ベクトル表現の場合、これは各ベクトルに対してコンテンツを複製する必要があることを意味します。これが、制限の一部が残念な理由です。
書き込み増幅
ドキュメントが挿入、更新、または削除されるたびに、SPFreshはベクトルが適切にクラスタリングされたままであることを保証するためにベクトルを再バランスする可能性があります(そうでなければ、リコールが低下する可能性があります)。ドキュメント内のすべてがドキュメントベクトルのANNアドレスでキー付けされて保存されているため、この再バランスは、ドキュメントの全コンテンツ、およびそれを参照する逆(属性およびFTS)インデックスの移動に連鎖します。1つのベクトルを更新するだけで、数百の属性とそのインデックスが移動する可能性があります。
この書き込み増幅は十分に大きいため、インデックス作成スループットを調整する努力は、収穫逓減に達し始めています。
ベクトル化の制限
最新のクエリエンジンはベクトル化されています。つまり、値のブロック上でタイトなループを実行し、ブロックごとの固定コストを償却し、より良く圧縮し、CPUパイプラインをいっぱいに保ち、SIMDをアンロックします。例えば、DuckDBは2,048行のバッチで動作し、ClickHouseは最大約65k、Luceneの投稿ブロックは256ドキュメント、ANNインデックスは100〜200ドキュメントのクラスタで最適に動作します。すべてのクエリプランには最適なブロックサイズがありますが、今日、それらはすべてANNプライマリインデックスによって制約されています。CPUを飽和させるために数千ドキュメントのブロックを必要とするプランは、依然として100〜200に制限されています。
Turbopufferでこれがどれほど重要かはすでに文書化しています。全文検索の最初のバージョンでは、投稿リストをANNクラスタ境界に沿ってパーティション化し、中央のブロックには約1.5の投稿しかありませんでした。FTS v2は投稿を約256の固定ブロックに再構築し、インデックスは10倍小さくなり、クエリは最大20倍高速になりました。投稿リストは、それらが別々に保存され、ドキュメントを指しているため、レイアウトがクラスタに従う必要がないため、これを行うことができました。集計およびその他のスキャンはドキュメント自体を読み取りますが、それらはクラスタごとに1つのブロックとして保存されます。ANNアドレスがプライマリキーである限り、それらがより大きいサイズを好む場合でも、ブロックサイズはクラスタサイズに制限されます。
RIP, プライマリベクトルインデックス
これらの問題に対する解決策は単純です。ANNアドレスをキーにしないことです。それがTurbopuffer v3が行う変更です。想像できるように、これは些細な変更ではありません。
v3は、すべてのクエリプランで大幅なパフォーマンス向上のロックを解除する新しい基盤であり、今月上旬に主要なマイルストーンを達成しました。Turbopuffer v3でCIが100%パスしました。私たちはまず正確性に焦点を当てました。次に、それを正確かつ高速にします。ベンチマーク数値が下がるのを見るのは非常に楽しいので、パフォーマンスのグラインドの初日から皆さんに参加してほしかったのです。v3を本番環境にロールアウトする前に、今後数週間でパフォーマンスの同等性(およびそれを超える)に向けて取り組む中で、ベンチマークを公開で共有します。
turbopuffer
Turbopufferは、1兆以上のドキュメントをホストし、毎秒1000万件以上の書き込みを処理し、毎秒10万件以上のクエリを提供する高速検索エンジンです。私たちはさらに多くのものに対応する準備ができています。あなたのクエリを私たちに信頼していただけることを願っています。