Show HN: ParqDB – Parquet over HTTP によるブラウザ内でのベクトル検索
Show HN: ParqDB – Vector search in the browser from Parquet over HTTP" (search.parqdb.io)
要約
ParqDBは、HTTP経由で保存されたParquetファイルを利用し、ブラウザ内で直接ベクトル検索を実行するシステムです。クエリサーバーを必要とせず、ブラウザとWebAssembly(WASM)のみで動作するため、ユーザーデータは外部に送信されません。これにより、Wikipediaのような大規模データセットに対しても、ローカル環境で高速かつプライベートな検索が可能になります。
全文翻訳
WIKI SEARCH
クエリサーバー不要。オブジェクトストレージ + ブラウザのみ。
QUERY IDLE
0%
10万件のWikipedia記事を検索するための質問を入力してください。ParqDBは、MiniLM埋め込みデータの上にIVF-LVQ8インデックスを構築し、それを不変のParquetファイルとしてオブジェクトストレージに公開します。あなたのブラウザはクエリを埋め込み、必要なバイト範囲のみを読み取り、WASMで結果をランク付けします。クエリサーバーはあなたのデータを見ません。
LEGACYbrowser ──QUERY──> vector DB ──READ──> object storageVECTOR DB ×
PARQDBbrowser + WASM ──HTTP RANGE──> object storageDIRECT
02 / query profilerAWAITING EXECUTION
requests0
memory range hits0
transferred0 B
selected cids**—**
candidates**—**
query time**—**
EMBEDtext → 384d in ONNX/WASM
DISCOVERmanifest.json
ROUTEglobal LVQ8 centroid top-nprobe
PRUNEfooter → selected row groups
RANKLVQ8 distance + bounded top-k
LOOKUPdoc_id → Wikipedia rows
03 / HTTP trace0 MEM HITS · ORDERED CACHE + NETWORK EVENTS
$ waiting for range requests_
04 / WIKIPEDIA RESULTS · RANGE-LOOKED-UP BY DOC_ID
$ no rows materialized