HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

Lakegres: 既存のOpen/Hudi/Icebergテーブルでのベクトル検索

Lakegres: Vector search on existing Open/Hudi/Iceberg tables (onehouse.ai)

35 pointsby cloud8bits6 コメント

要約

Onehouseは、既存のデータレイクテーブルフォーマット(Open/Hudi/Iceberg)上で直接ベクトル検索を実行できる「Lakegres」を発表しました。これにより、データレイク内の大規模データセットからベクトルを検索する際に、データを別のデータベースにコピーする必要がなくなり、ストレージと運用のコストを削減できます。この新機能は、Postgresエンドポイントを通じて利用可能で、データレイクのデータとベクトルインデックスを統合管理します。

全文翻訳

Look ma, no vector database: open table formats でのレイクスケールのベクトル検索

本日、Onehouse Lakegres におけるベクトル検索を発表します。これは、既存および新規のオープンテーブル内にネイティブインデックスとして保存されます。データレイクに既に存在するテーブルに対して、Postgresエンドポイント経由で埋め込み(embedding)を検索できます。インデックスとデータは、お客様自身のバケット内のオープンフォーマットで管理されます。

ベクトル検索はアプリケーションデータベースで止まっていた

数年前まで、ベクトル検索を追加するには別のデータベースが必要でした。Postgresにはpgvectorがあり、OpenSearchにはk-NNがあり、MySQL、Oracle、MongoDB、SQL Serverも独自のインプリメンテーションを持っています。DatabricksもLakebase Searchでベクトル検索を提供しています。類似性検索は、アプリケーションデータのための標準的なインデックスタイプになりました。

エージェントがクエリする必要のあるデータのほとんどは、レイクハウス内にあります。トランスクリプト、ログ、ドキュメント、製品カタログ、長年のイベント履歴などは、オブジェクトストレージ上のオープンテーブルに保存されています。これらのデータセットは、典型的なPostgresインスタンスの100倍から1,000倍の大きさです。これらのデータベースでそれらを検索するには、まずデータをデータベースにコピーする必要があります。ベクトルを検索するためだけに、レイクスケールのデータセットをリレーショナルデータベースにコピーするという要件は不条理です。結局、データを2回保存するためのコストを支払い、コピーを同期させ続けるためのパイプラインを運用することになります。

昨日、Onehouseでの非構造化データ処理を発表しました。これは、ドキュメント、画像、ビデオを解析し、その埋め込みをオープンテーブルに保存するものです。Lakegresは現在、これらのベクトルをインデックス化して検索できるため、エージェントはレイクハウスに既に存在するビジネスレコードと並行して、その非構造化コンテンツをクエリできます。

現在の市場におけるレイクデータの検索方法

レイクハウスおよびウェアハウスベンダーもベクトル検索を追加しています。以下の各ベンダーは、インデックスをオープンテーブルの外、独自のエンジンで読み取る必要があるサービスまたはフォーマットに保存しています。

ベンダー仕組みインデックスの場所
SnowflakeCortex Searchはテーブルから同期されるサービスとして実行されます。VECTOR列自体では総当たり検索しかできません。Snowflake内。VECTOR列はIcebergテーブルではサポートされていません。
DatabricksAI SearchはDeltaテーブルをサービングエンドポイントに同期します。Databricks管理ストレージ、Deltaテーブル外のコピーとして。
AWSS3 Vectorsは専用のベクトルバケットにベクトルを保存します。S3 Tablesとは別のバケットタイプで、Icebergを保持します。
Google BigQuery標準BigQueryテーブル上に構築されたIVFおよびTreeAHインデックス。Icebergテーブルにベクトルインデックスはありません:Googleはインデックス作成を標準テーブルに制限しています。BigQuery管理ストレージ。
VAST Data分散VAST DataBase内のベクトルストア。HudiまたはIcebergテーブルフォーマット外の、VAST独自のElement Store。

これらのベンダーは、検索インデックスをクローズドフォーマットに保ちながら、オープンテーブルフォーマットを推進しています。別のエンジンに移行する場合、基盤となるテーブルはオープンであっても、そのベンダーのフォーマットで全てのインデックスを再構築する必要があります。

なぜデータベース技術はレイクスケールで通用しないのか

現在の本番環境のベクトル検索のほとんどは、OpenSearchまたはPostgresで実行されています。どちらもHNSW(OpenSearchの実装、pgvectorの実装)を提供しており、これはグラフ全体がメモリに収まる場合に良好なパフォーマンスを発揮するグラフインデックスです。AWS独自のOpenSearchのサイジング式は、ベクトルあたり1.1 × (4 × 次元数 + 8 × m) バイトのRAMを必要とします。私たちのベンチマークテーブルには、1,024次元で2億4,700万ベクトルがあります。mを16とすると、1つのテーブルで約1.15 TBのメモリが必要となり、100億ベクトルでは約46 TBになります。

Postgresのpgvector HNSWインデックスも、高速化のためには共有バッファまたはページキャッシュに収まっている必要があります。作業セットがRAMを超えるとレイテンシが急激に低下します。グラフのトラバーサルは、オブジェクトストレージとの相性も悪いです。なぜなら各ホップは小さなランダムリードだからです。これらの設計は、数千万ベクトルのアプリケーションデータベースにはうまく機能しますが、データレイクはそれよりも数桁大きくなる可能性があります。

LinkedInは2021年に、そのHadoopクラスター全体でエクサバイト規模のデータを報告しました。Uberのレイクは350ペタバイトを保持し、1日あたり6兆行を取り込みます。PinterestはIceberg上で500ペタバイトのレイクを運用しており、NetflixはIcebergウェアハウスをエクサバイトスケールと表現しています。これらのデータセットのほんの一部を埋め込んだとしても、数十億のベクトルが生成されます。それほど多くのベクトルをメモリに保持することは、ほとんどのチームにとって高すぎます。

トレーニングデータのキュレーションにも大規模な類似性検索が必要です。トレーニング後のワークフローでは、関連する例を選択し、大規模な候補データプールからニアデュプリケートを削除するために使用できます。繰り返し検索を行うため、レイテンシと同様に検索あたりのコストも重要になります。

VASTは、AIトレーニング用のストレージを提供しており、その分散Element Storeでフラッシュベースのクラスタリングされたベクトルインデックスを使用しています。そのローンチ資料では、メモリ常駐インデックスは、数十億から数百億ベクトルでは法外に高価であると説明されています。turbopufferもストレージベースのクラスタリングを使用しています。Lakegresは、このアプローチを既存のHudiおよびIcebergテーブルに、オープンインデックスを通じて適用します。

私たちが構築したもの

Lakegresは、ベクトルインデックスをテーブルのメタデータ内に、データファイルと同じバケットに保存します。行の挿入、更新、削除を行うコミットは、インデックスも更新します。これにより、別の同期ジョブやベクトルの2番目のコピーなしで、インデックスをテーブルと一貫した状態に保ちます。私たちの知る限り、これは既存のHudiおよびIcebergテーブル向けの、テーブル書き込みで維持され、データファイルを変更しない唯一のオープンベクトル検索インデックスです。

Icebergサポートは、Apache XTable (Incubating) のHudiベースのインデックス作成作業に基づいています。UberとWalmartのエンジニアと協力してオープンな設計を開発し、彼らのプラネットスケールのテーブルをサポートしました。オープンRFCは、ストレージレイアウト、クエリパス、整合性モデルを文書化しています。

設計は確定しており、本日Lakegresでリリースされます。Hudiの実装はアップストリームに組み込まれ、XTableはOSSリリースに先立ってリリース候補テスト中です。これにより、他のエンジンも統合できるようになります。

LakegresはPostgresワイヤプロトコル経由でクエリを受け付けるため、任意のPostgresクライアントまたはエージェントフレームワークがSQLで類似性検索を実行できます。同じエンドポイントは、これらのテーブルに対する分析スキャン、インデックス付きポイントルックアップ、およびテキスト検索も既に提供しています。

仕組み

テーブルを書き換えることなくインデックスの追加・削除が可能

ベクトルインデックスは派生メタデータです。ベクトル列を持つ既存のHudiまたはIcebergテーブル上に、基盤となるデータファイルを書き換えることなく構築できます。インデックスを試したり、異なる設定で再構築したり、不要になったら削除したりできます。既存の分析クエリは引き続き機能します。ベクトル検索を試すコストは、インデックスのビルドとストレージのみです。

ベクトル検索を利用するために、ParquetからLanceやVortexのような別のファイルフォーマットに移行する必要はありません。Lakegresは、オープンテーブルフォーマットをそのまま維持しながら、LanceやVortexファイルに対しても既にクエリを実行できます。ストレージと読み取り特性のために、ベクトルインデックスの追加とは独立してファイルフォーマットを選択できます。

ベーステーブルは、他の列と共にフルベクトルを保存します。インデックスは、候補行を見つけるために必要なより小さな構造(クラスタ中心点、量子化器の状態、パックされたインデックスエントリ)を保存します。これらの構造はテーブルのメタデータに保存され、インデックス生成にグループ化されます。各クエリは、テーブルのスナップショットとアクティブな生成を解決してからデータを読み取るため、インデックス構造の互換性のあるセット全体で使用されます。

クラスタが検索空間を限定された読み取りに分割

ビルド時に、k-meansはベクトルを中心点(セントロイド)の周りにグループ化します。各ベクトルはクラスタに割り当てられ、RaBitQ量子化を使用してセントロイドに対する相対的なエンコーディングが行われます。エンコーディングは、1次元あたり1〜8ビットの固定ランダム回転とコンパクトコードを使用し、デフォルトは4ビットです。保存されたコードは、L2、コサイン、ドット積の距離計算をサポートします。

クラスタはポーティングセグメントに分割され、各セグメントは1つのメタデータファイルグループに保存されます。セグメント内では、約1,000〜4,000のベクトルエントリがポーティングブロックにパックされ、約512 KBをターゲットとします。ポーティングには、圧縮されたスコアリング情報、レコードキー、および基盤となる行へのロケータが含まれます。それらをブロックにグループ化することで、数十億の個別のメタデータレコードの作成を回避し、クエリがクラスタのエントリを連続したキー範囲として読み取れるようにします。

[画像: インデックスストレージレイアウト:元のベクトルはベーステーブルに残ります。メタデータには、生成状態、セントロイド、クラスタセグメント、および6つのパックされた配列セクションを持つポーティングブロックが含まれます。]

インデックスは派生メタデータであり、作成または削除しても基盤となるデータファイルは変更されません。各ポーティングブロックは、6つの配列を含む1つのメタデータレコードであり、ブロックがフェッチされた後に選択的にデコードされます。

各ブロックには、符号ビット、追加精度ビット、補正係数、行ロケータ、辞書、およびレコードキーの個別の配列が含まれます。最初のスコアリングパスで符号ビットと係数がデコードされます。後続のパスでは、残りのビットを使用して、生き残った候補の追加ビットと行IDがデコードされます。リーダーはブロックを1つのレコードとしてフェッチし、その後、配列を選択的にデコードしてスコアリング作業を減らします。

クエリがフルベクトルをフェッチする前に候補を絞り込む

Lakegresはまず、クエリベクトルをセントロイドと比較し、最も近いクラスタをプローブします。nprobes設定は、開くクラスタの数を制御します。より多くのクラスタをプローブすると、一般的に作業量が増える代わりにリコールが向上します。これらのクラスタ内では、最初のパスで1ビット推定と誤差範囲を使用して、現在のショートリストを上回ることができない候補を破棄します。2番目のパスでは、残りのビットを使用して、生き残った候補を洗練します。

[画像: ベクトルクエリパス:スナップショットとインデックスの鮮度を解決し、最も近いクラスタを選択し、ブロックとデルタを読み取り、候補を絞り込み洗練し、レコードキーを検証し、オプションでフルベクトルを使用して再ランク付けします。]

候補の発見は、コンパクトインデックスを使用します。オプションの正確な再ランク付けは、同じテーブルスナップショットからショートリストのフルベクトルを読み取ります。

結果を返す前に、リーダーはクエリのスナップショットでのレコードインデックスに対して候補キーを検証します。削除された候補は削除され、移動されたレコードは現在の場所に解決されます。近似モードは、コンパクトコードを使用して候補をランク付けします。オプションの正確な再ランク付けは、ベーステーブルからショートリスト化されたベクトルを読み取り、それらのフル距離を計算します。正確な再ランク付けは、候補セット内の順序を改善します。検索は依然として選択されたクラスタのみを調べます。

テーブルが変更されてもインデックスは最新の状態に保たれる

各書き込みはインデックスに小さな更新を追加します。ベクトルが変更されると、ライターは古いインデックスエントリを削除済みとしてマークし、新しいエントリを追加します。行が移動すると、ライターはインデックス内のその場所を更新します。クエリはパックされたブロックとこれらの更新を一緒に読み取ります。それらは各レコードの最新のエントリを使用します。コンパクションは定期的に更新をブロックにマージします。

検索する前に、リーダーはテーブルのコミット履歴をチェックします。クエリのスナップショットに必要な書き込みがインデックスに含まれていることを検証します。古いまたは互換性のないインデックスはクエリを提供できません。設定に応じて、クエリはエラーを返すか、正確な結果のためにテーブルをスキャンします。

クエリが実行されている間でも、インデックスを再構築できます。同時実行プロトコルは、テーブル書き込み、インデックスのキャッチアップ、およびスナップショット読み取りを調整するため、ライターはコミットを継続でき、リーダーは一貫したインデックスを使用し続けることができます。再構築は、現在のものの隣に新しいインデックスバージョンを作成します。また、再構築中に発生したテーブル書き込みも取り込みます。新しいバージョンが準備できると、単一のメタデータコミットによってクエリで利用可能になります。クエリは、新しいバージョンがアトミックにオンラインになるまで、現在のバージョンを使用します。部分的に構築されたインデックスを読み取ることはありません。

ベンチマーク

Cohereの公開多言語Wikipedia埋め込みデータセットを使用しました。私たちのテーブルには2億4,715万4,006件のパッセージ、約2億4,700万ベクトルが含まれており、Cohere Embed v3によって生成された1,024次元の埋め込みがあります。テーブルはS3上で約1 TBを占有しています。

Lakegresベクトル検索は、数十億ベクトルに成長するテーブル向けに設計しました。そのため、大規模データセット向けのDatabricks AI Searchのストレージ最適化ティアと比較します。その標準ティアは、768次元で約3億2,000万ベクトルという文書化された容量を持っていますが、ここでは1,024次元を使用しているため、約2億4,000万ベクトルに相当します。

レイクデータに対して最も直接比較可能なサービスであるLakegresとDatabricks AI Searchで、同じワークロードを実行しました。各システムは、最も近い10個の近傍を1つずつ検索する同じ200クエリを実行しました。リコールは、正確な総当たり結果に対してスコアリングされました。

[画像: 2億4,700万ベクトルに対するLakegresとストレージ最適化Databricks AI Searchのレイテンシ比較。ウォームp50: 63.5 vs 655 ms; p90: 67.9 vs 876 ms; p99: 75.3 vs 1,209 ms。コールドp50: 536.2 vs 8,242 ms。]

Lakegres: 5つのエグゼキュータと1つのドライバ。レイテンシが低いほど良い。ウォームとコールドの結果は別々のスケールを使用し、どちらもゼロから始まります。

ウォームクエリの場合、Lakegresはp50で63.5 ms、p90で67.9 ms、p99で75.3 msで結果を返しました。Databricks AI Searchはそれぞれ655 ms、876 ms、1,209 msでした。コールドp50レイテンシは、Lakegresが536.2 ms、AI Searchが8,242 msでした。Recall@10は、Lakegresが0.95、AI Searchが0.952でした。

ウォームクエリは、部分的にキャッシュされたインデックスデータから恩恵を受けます。クエリは選択されたクラスタのポーティングブロックを読み取り、キャッシュされていない場合はストレージからブロックをフェッチします。フルベクトルデータセットはテーブル内に留まり、メモリに収まる必要はありません。

Lakegresは設定可能なコンピューティングクラスターを使用します。Databricks AI Searchは、独立したインデックスをサーバーレスエンドポイントで提供し、容量はインデックス化されたデータに合わせて自動的にサイズ調整されます。

Lakegresは5つのm8gd.4xlargeエグゼキュータノードと1つのr8gd.4xlargeドライバで実行されました。AI Searchは6つのストレージ最適化ユニットと1つのレプリカで実行され、そのハードウェアは顧客には見えません。AI Searchにはサーバーサイドのレイテンシ測定を使用し、Lakegresにはクライアントサイドのpsqlタイミングを使用しました。したがって、2つの測定はクエリ実行の異なる部分をカバーしています。より小さい1,000万ベクトルテーブルでの予備的な標準ティアテストでは、インデックスビルドは約70,000行/分で実行されましたが、その後停止しました。そのティアでのクエリレイテンシは測定しませんでした。

Lakegresはウォーム中央値で約10倍、コールドで15倍高速です。AWSインスタンスのコストは、Onehouse料金を除くと、オンデマンド料金で約5.79ドル/時 (US East)でした。6つのAI Searchユニットのコストは7.68ドル/時でした。これらの数値は、Lakegresの結果の背後にある控えめなインフラストラクチャ予算を示しています。これらは総コスト比較ではありません。

Lakegresをスケールアウトするにつれて、マルチ数十億ベクトルテーブルでも同様のクエリレイテンシが期待されます。この実行では、5つのSparkエグゼキュータとドライバのみを使用しました。テーブルが成長するにつれて、インデックスクラスタの数を増やし、ポーティングブロックの読み取りとスコアリングをより多くのワーカーに分散させることができます。各クエリは依然として選択されたクラスタを検索し、ワーカーはインデックス全体をメモリにロードすることなくストレージから必要なブロックをフェッチできます。これにより、データセットの成長に合わせてワーカーあたりの作業量を制御できます。後続のブログで、はるかに大きなベクトルデータセットの結果を公開する予定です。

別のインデックスビルドベンチマークでは、Lakegresでのインデックス構築に18分、AI Searchでは約3時間10分かかりました。Lakegresはレイクハウスの弾性コンピューティング上でインデックスを構築するため、クラスターサイズを増やしてより速く構築できます。AI Searchはビルドクラスターサイズを制御できず、進捗をパーセンテージのみで報告します。

専用のベクトル検索システムやストレージプラットフォームも検索レイテンシの数値を公開しています。以下の表は、異なるデータセット、ハードウェア、次元数、レイテンシメトリック、クエリ同時実行性におけるそれらの公開結果を示しています。

システム公開結果
turbopuffer1,000万 × 1,024次元: ウォームp90 17 ms
OpenSearch, インメモリ1億1,300万 × 1,024次元: p90 24 ms
Databricks Lakebase Search (Postgres)1億 × 768次元: p99 71 ms (リコール97%)
OpenSearch, ディスクモード1億1,300万 × 1,024次元: p90 104 ms
Amazon S3 Vectorsよくあるクエリで100 ms、まれなクエリでサブ秒
VAST Data500億 × 128次元: 606 QPSで平均レイテンシ約114 ms (8 CNodesで75クライアントスレッド使用)

開始方法

CREATE INDEXステートメントでインデックスを作成します。これらはベンチマークテーブルで使用したオプションです。

CREATE INDEX embedding_idx ON wiki_passages
USING VECTOR (embedding)
OPTIONS (
  `vector.metric` = 'l2',
  `vector.num_clusters` = '65536',
  `vector.rabitq.bits` = '4'
);

検索するには、任意のPostgresクライアントからテーブル関数を呼び出します。これは最も近い行とその距離を返します。nprobesオプションは、クエリが開くクラスタの数を制御します。これはレイテンシとリコールの間の主なトレードオフです。

SELECT id, _distance
FROM vector_search(
  'wiki_passages', 'embedding',
  ARRAY[0.12, -0.03, 0.44],   -- クエリ埋め込み、ここでは短縮
  10, 'l2', 'ivf_rabitq_mdt',
  'vector.query.nprobes=128'
);

今後の展望

最も高速な専用システムとの残りのレイテンシ差のほとんどは、インデックス外の作業に起因します。各クエリの約20〜25 msは、インデックスブロックが読み取られる前に、Sparkでの計画とタスクスケジューリングに費やされます。Trinoやその他のレイクエンジンをテストした際にも、数十ミリ秒の同様の固定オーバーヘッドが見られました。これらのエンジンは、大規模スキャンを計画するために構築されました。このオーバーヘッドをインデックスルックアップから削除する方法を設計し、次期に実装する予定です。

最初のリリースは、パーティションプルーニングによるフィルタリングをサポートします。最近傍検索と任意の述語の組み合わせはサポートしていません。クラスタレイアウトがデータからずれた場合、クエリを実行したままインデックスを再構築し、新しい世代をアトミックにアクティブ化できます。

結論

エージェントはデータプラットフォームに対して、分析スキャン、インデックス付きポイントルックアップ、テキスト検索、ベクトル検索の4種類のクエリを必要とします。Lakegresは現在、これらすべてをオープンテーブルの1つのコピーから、1つのPostgresエンドポイントを通じて提供します。これはプラットフォームガイドに記載されている通りです。

無料トライアルで、独自のテーブルでLakegresベクトル検索を試してみてください。エンジニアはOnehouseコミュニティSlackにも参加していますので、ユースケースについて話し合うことができます。

謝辞

インデックスのストレージレイアウト、整合性保証、およびクエリの動作は、オープンRFCおよび実装PRを通じて公開で開発およびレビューされました。コミュニティは、インデックスおよびそれらが依存するテーブルフォーマットを検査、実装、改善できます。

ベクトルインデックスの設計と実装に貢献してくれたEthan Guo、Vinoth Chandar、およびWalmartのエンジニアでApache HudiコントリビューターであるRevanthに感謝します。

また、この深遠で重要な機能のレビューに協力してくれた@rahil-c、@nsivabalan、@sushrut-raina、@voonhous、@danny0405、@TheR1sing3un、@suryaprasanna、@bvaradar、@shangxinli、@cshuoにも感謝します。