HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: ParqDB – Parquet over HTTP によるブラウザ内でのベクトル検索

Show HN: ParqDB – Vector search in the browser from Parquet over HTTP" (search.parqdb.io)

7 pointsby petrizhang0 コメント

要約

ParqDBは、HTTP経由で保存されたParquetファイルを利用し、ブラウザ内で直接ベクトル検索を実行するシステムです。クエリサーバーを必要とせず、ブラウザとWebAssembly(WASM)のみで動作するため、ユーザーデータは外部に送信されません。これにより、Wikipediaのような大規模データセットに対しても、ローカル環境で高速かつプライベートな検索が可能になります。

全文翻訳

WIKI SEARCH

クエリサーバー不要。オブジェクトストレージ + ブラウザのみ。

QUERY IDLE

0%

10万件のWikipedia記事を検索するための質問を入力してください。ParqDBは、MiniLM埋め込みデータの上にIVF-LVQ8インデックスを構築し、それを不変のParquetファイルとしてオブジェクトストレージに公開します。あなたのブラウザはクエリを埋め込み、必要なバイト範囲のみを読み取り、WASMで結果をランク付けします。クエリサーバーはあなたのデータを見ません。

LEGACYbrowser ──QUERY──> vector DB ──READ──> object storageVECTOR DB ×

PARQDBbrowser + WASM ──HTTP RANGE──> object storageDIRECT

02 / query profilerAWAITING EXECUTION

requests0

memory range hits0

transferred0 B

selected cids**—**

candidates**—**

query time**—**

EMBEDtext → 384d in ONNX/WASM

DISCOVERmanifest.json

ROUTEglobal LVQ8 centroid top-nprobe

PRUNEfooter → selected row groups

RANKLVQ8 distance + bounded top-k

LOOKUPdoc_id → Wikipedia rows

03 / HTTP trace0 MEM HITS · ORDERED CACHE + NETWORK EVENTS

$ waiting for range requests_

04 / WIKIPEDIA RESULTS · RANGE-LOOKED-UP BY DOC_ID

$ no rows materialized