HN 日本語サマリー

← 一覧へ戻る
プログラミング

Slater – 読み込み負荷の高いグラフ向けに設計された低メモリグラフデータベース

Slater – Low-memory graphdb designed for read-heavy graphs (github.com)

34 pointsby rickkjp9 コメント

要約

Slaterは、メモリに収まらない大規模グラフ(数百ミリオンノード、数十億エッジ)を、わずか数百MBのRAMで提供するグラフデータベースです。標準Boltプロトコルに対応しているため、既存のNeo4jドライバーがそのまま利用可能です。ディスクネイティブなベクトル検索も統合されており、耐久性のあるライブ書き込みにも対応しています。メモリ使用量はグラフサイズではなく、ユーザーが設定したキャッシュ予算によって決まります。

全文翻訳

Slater – 読み込み負荷の高いグラフ向け低メモリグラフDB

URL: https://github.com/Hikari-Systems/slater
本文:
[画像: CI] [画像: Release]

現在のバージョン: v0.25.2 — すべてのリリース。

一言で言うと: Slaterは、メモリに収まらないグラフ — 数億ノード、数十億エッジを数百MBのRAMで提供します — 標準のBolt経由で提供するため、任意のneo4jドライバーがそのまま動作します。ディスクネイティブなベクトル検索もグラフの隣に配置され、グラフを失うことなくライブで耐久性のある書き込みが可能です。常駐メモリは、グラフサイズではなく、選択したキャッシュ予算によって設定されます。


ショートカット

Slaterが存在する理由

グラフデータベースは、データを「モノ」(ノード)と「それらの間の関係」(エッジ)として格納し、関係をファーストクラス市民として扱います。これは、行よりも接続に関する質問をする場合に役立ちます。「このアカウントから3ホップ以内の人は?」「このビルドの背後にある完全な依存関係チェーンは?」「デバイス、住所、カードを共有するアカウントは?」といった質問は、SQLでは再帰的なJOINの泥沼になりますが、グラフでは自然に解決できます。

グラフデータベースに関する最も一般的な不満は、RAMに収まる範囲を超えてスケールしないことです。 多くのグラフデータベース(例: neo4j, Memgraph, FalkorDBなど)は、グラフ全体を常駐させます。40GBのグラフには、インスタンスごとに40GBのメモリが必要です。リージョンごと、テナントごと、またはポッドごとにレプリカが必要ですか?請求額を掛け算してください。そして、あるサイズを超えるとロードできなくなります。例えば、9000万ノード/15億エッジのWikidataグラフは約64〜128GiBの常駐メモリを必要とするため、インメモリエンジンではまったく開けません。

Slaterはこの問題への回答です。グラフをメモリにロードする代わりに、一度オフラインでコンパイルします。slater-buildはデータをコンテンツアドレス可能な、ディスク上の不変イメージに変換し、多数のSlaterサーバーがそのイメージをBolt経由で提供します(既存のneo4jドライバーがそのまま動作します)。ブロックはオンデマンドでページングされ、固定のキャッシュ予算のみを常駐させます。これにより、同じ9000万ノードのグラフが数百MBのRAMから提供されます — グラフサイズとメモリコストは分離されます。4GBのグラフと400GBのグラフは、提供に必要なRAMコストが同じなので、安価でステートレスな読み取りレプリカを多数展開し、グラフはストアに保持させ、ヒープには保持させません。

これは、RAGの背後にあるナレッジグラフ、レコメンデーショングラフ、IDグラフ、依存関係グラフなど、安価かつ頻繁にクエリしたい、大きくて接続されたあらゆるものに自然に適合します。ディスクネイティブなベクトル検索はグラフのすぐ隣に配置されているため、同じエンジンが埋め込み用の検索レイヤーにもなります。

一度コンパイルしても、凍結を意味するわけではありません。そのイメージはベースであり、最終状態ではありません。オプションの書き込み可能なレイヤーがその上に配置されているため、再構築なしでライブグラフを修正および拡張できます。

読み込みと書き込み

コアは不変ですが、グラフ自体はそうではありません。書き込み可能なレイヤーを有効にし (delta.enabled)、Bolt経由で書き込みます — プロパティを修正する、ノードを追加する、エッジを削除するなど — 変更は耐久性があり、再構築は不要です。読み込み側でコストを抑えているのは、書き込みがどこに保存されるかです。

書き込みは、不変コアの上に配置されたログ構造化マージ(LSM)レイヤーに蓄積されます。ライトアヘッドログとインメモリテーブルがあり、不変のデルタセグメントにスピルし、定期的なコンソリデーションによって新しいコアに折りたたまれます。これにより得られるもの:

  • 書き込みのないグラフに対する読み込みは、以前とまったく同じコストです。 空のデルタは、マージではなく、単一の予測可能なブランチです — 書き込み可能なレイヤーがオンになっているかどうかにかかわらず、読み込みパスはバイト単位で同一です。
  • 書き込みの読み込みコストは、グラフのサイズではなく、デルタのサイズに比例します。 全グラフの回答 — count(*), ラベルとリレーションシップタイプのマージナル — 書き込みが保留中でもメタデータ読み込みのままです。デルタは独自のカウンターを保持しているため、50万件の保留中の書き込みがある9160万ノードのコアに対するcount(*)でも、1ブロックも触らずに数十ミリ秒で回答します。
  • 承認されたら耐久性がある。 単一のライターはキューをドレインし、書き込みをカバーするfsyncが完了した後にのみSUCCESSを返します。書き込みをグループ化すると、行ごとに1回のfsyncではなく、バッチごとに1回のfsyncで済みます。
  • どちらの言語でもビジネスキーによる書き込み。 MERGE / MATCH … SET / DELETE(およびCREATE / REMOVE, detach delete, relationship writes)をノードのIDプロパティでキー付け — または同等のISO GQLデータ変更ステートメント(INSERT / SET / REMOVE / DELETE)を同じパスにマッピングします。ノードとエッジに対する修正、挿入、更新、削除を、データが既に存在する形式でアドレス指定します。

レイヤーをオフにした場合(デフォルト)、Slaterは純粋な不変コアを提供し、書き込みを拒否します。完全なモデルについては、書き込み可能なレイヤーを参照してください。

名前について。 Slaterは、Archer(素晴らしい番組)のCIAエージェント、スレーターにちなんで名付けられました。彼は単一の名前「スレーター」で通すことを主張します。彼は私のお気に入りのキャラクターの一人です。キャラクターのウィキページを参照してください。

得られるもの
  • RAMはキャッシュ予算によって設定され、グラフサイズには依存しません — 好きなだけ読み取りレプリカを展開できます。グラフがメモリに収まる必要はありません。
  • グラフのドロップイン交換 — Boltを話すため、標準のneo4jドライバー(JS、Python、Go…)が変更なしで動作します。Cypher(ISO GQLの一部も含む、読み書き両方)です。新しいことを学ぶ必要はありません。
  • ライブで耐久性のある書き込み — 不変コアの上にオプションのLSMレイヤーがあります。ビジネスキーによるMERGE / SET / DELETE(ノードとエッジ)、バッチコミットとfsyncで耐久性があり、コンソリデーションによって新しいコアに折りたたまれます。読み込みはこれによるコストを負担しません。
  • ファイルスワップによるデプロイ — 新しいコンテンツハッシュ化された世代をオフラインでビルドし、currentポインタをアトミックに切り替えると、サーバーがそれを取得します。すべてのブロックはチェックサム付きなので、半分コピーされたイメージは提供されずに拒否されます。
  • ベクトル検索を内蔵 — ディスクネイティブな近似最近傍(コサイン、L2、またはドットKNN)がグラフのすぐ隣にあり、RAGパイプラインの検索レイヤーとして使用する場合に便利です。埋め込みは書き込み可能で、オフライン再構築なしでベクトルを追加または変更できます。
  • 設計によるロックダウン — 読み取りと書き込みの権限は独立しており、オプションで保存時の暗号化、TLS Bolt、argon2idハッシュ化されたACL、読み取り専用コンテナルートFSを備えています。マスターキーを設定すると、ディスク上のイメージは暗号化されているだけでなく認証されます。マニフェストにはキー付きMACが含まれるため、データディレクトリへの書き込みアクセス権を持つ攻撃者は、キーなしではマニフェストを偽造できません。キーなしでもコンテンツハッシュは取得できますが、これは半コピーまたは破損したイメージを検出するもので、意図的な改ざんではありません。どの設定が何を購入するかを参照してください。

機能

機能あなたにとっての意味
制限された予測可能なメモリ常駐メモリは、あなたが設定した3つのキャッシュ予算を、エントリごとおよびアロケータのオーバーヘッドの範囲内で追跡します。グラフサイズとともに増加するのではなく、グラフ全体をプロビジョニングする代わりにパフォーマンス/RAMのトレードオフを調整します。バックグラウンドパージを備えたjemallocアロケータは、重いクエリバーストの後で解放されたメモリをOSに返却するため、常駐サイズはバースト後の高水位マークに留まるのではなく、アイドルフロアに戻ります。
マルチテナント対応1つのサーバーで複数のグラフを、ユーザーごとの読み取り権限付きでホストできます。ほとんどのグラフDBでは有料/エンタープライズティアでしか利用できないマルチデータベース分離機能です。
保存時および転送時の暗号化ブロックごとのXChaCha20-Poly1305シーリング(キーはディスクに書き込まれません)とオプションのTLS(bolt+s://)。構築によりGDPRに準拠します。暗号化は認証済み整合性も提供します。ビルダーはマニフェストをキー付きMACでシールし、サーバーはキーを検証して偽造、変更、またはMACが削除されたマニフェストを持つ世代の提供を拒否します。キーなし(プレーンテキスト)イメージは、キーなしコンテンツハッシュのみで保護されます(完全性と破損、改ざんではありません)。各設定での整合性とはを参照してください。
最小限のインストールdistroless glibcベースの小さなストリップ済みバイナリ(シェル/aptなし) — マルチアーキテクチャ(amd64/arm64)イメージは約22MB、サーバー専用のslater:latest-liteタグは約12MBです。ピュアRust TLS、OpenSSLなし。プルして実行します。
定期的な公開向けに構築グラフをオフラインでビルドし、不変で提供し、新しいバージョンをアトミックにスワップしてダウンタイムゼロを実現します。データウェアハウス/スケジュール更新ワークロードに最適です。
負荷下でも堅牢サーバーとオフラインビルダーは両方とも#![forbid(unsafe_code)]でコンパイルされます。エンジンの唯一のunsafeは監査済みのjemallocアロケータクレートにあります。コアは不変なので、読み取りはロックを取らず、ライターを待つこともありません。単一のクエリがサーバーをダウンさせることはありません。GCの一時停止、データ競合はありません。1つの悪いクエリがサーバーをダウンさせることはありません。
neo4jツールとの互換性Bolt 5.4 / 4.4 / 4.1を話します。標準のneo4jドライバー(JS、Python、Go、Java…)、cypher-shell、またはグラフブラウザをそのまま使用できます。
豊富なCypherクエリ機能幅広い読み取り機能:MATCH/WHERE/WITH/UNION、CALL {…}サブクエリ、70以上の関数と集計、時間的および地理空間値、正規表現。
ライブで耐久性のある書き込み不変コアの上にオプションのシングルライターLSMレイヤー(delta.enabled)があります。ビジネスキーによるMERGE / SET / DELETE / CREATE / REMOVE(ノードとリレーションシップ)、バッチ書き込みUNWIND(バッチごとに1つのfsync)、およびCALL slater.consolidate() — グループコミット、fsyncで耐久性があり、コンソリデーションによって新しいコアに折りたたまれます。デルタが空の場合、読み取りパスはバイト単位で同一です。
ISO GQL、読み書き両方同じBolt接続上でISO GQL(ISO/IEC 39075)のサブセットを話します — 量化パス、パス制限子、最短パスセレクター、ラベル/タイプブール式、FOR、CAST、オプションのGQL/CYPHERダイアレクトプレフィックス — そして、書き込み可能なレイヤーがオンの場合、GQLのデータ変更ステートメント(INSERT / SET / REMOVE / [DETACH] DELETE)は同じ耐久性のある書き込みパスにマッピングされます。CypherとGQL、読み書き両方を1つのエンジンで。
ベクトル+グラフを1つのエンジンで埋め込み/RAG用のディスクネイティブANNベクトル検索(Vamana + PQ; コサイン/L2/ドット)と、グラフアルゴリズム(PageRank、BFS、betweenness、WCC…) — 数百万のベクトルがあってもメモリは制限されます。埋め込みは書き込み可能です(FreshDiskANNスタイルの書き込みラダー):ベクトルを挿入/更新/削除すると、KNNで即座に認識され、再構築なしでベースに折りたたまれます。
ネットワークストレージでも安全すべてのファイルはBLAKE3コンテンツハッシュ化され、オープン時に検証されます。破損または半コピーされたイメージは提供されずに拒否されます。NFS/リモートボリューム向けに設計されています(mmapの誤動作なし)。
プラグ可能なストレージバックエンド同じ世代フォーマットをローカルファイルシステム、S3(S3互換)バケット、またはGoogle Cloud Storageバケットから提供します — 一度公開すれば、ステートレスレプリカに展開できます。オプションでオブジェクトストアの前にローカルSSDキャッシュティアを配置できます。ストレージバックエンドを参照してください。

ワークスペースは2つのバイナリで構成されます:

バイナリ役割
slaterオンラインBoltサーバー(コンテナENTRYPOINT):読み取りと、delta.enabledの場合はシングルライター耐久書き込みパスを提供します。
slater-buildオフラインコンパイラ:プリミティブなCypherダンプを、不変のコンテンツハッシュ化された世代ディレクトリに変換します。

Slaterはバルクビルドとサービングを分離します。slater-buildはオフラインで重い処理を行い、データをインポートして不変の世代にコンパイルします。そのため、コールドグラフがサービングホットパスで組み立てられることはありません。サーバー内では、読み取りサーフェスは幅広いCypherスライスを提供します — パターンマッチング、WITH/UNION/CALL {…}サブクエリ、70以上のスカラー&アグリゲート関数、時間的および地理空間値、グラフアルゴリズム(algo.*)、およびディスクネイティブベクトルKNN(db.idx.vector.queryNodes) — 一方、書き込み可能なレイヤーのデルタオーバーレイは、そのサーフェスの下に配置され、空の場合はゼロコストなので、読み取りは書き込み側メカニズムを負担しません。グラフは2つの方法で更新できます:Bolt経由でライブで書き込む(書き込み可能なレイヤーを参照)、またはオフラインで新しい世代をビルドしてcurrentポインタをアトミックにスワップする(実行中のサーバーが世代ガード経由で取得します(世代ガードを参照))。

ドキュメント

完全なユーザーマニュアルはdocs/manual/にあります。これは、各機能について、それが何であるか、なぜ存在するのか、そしてどのように使用するのかを、バンドルされたサンプルグラフで実行できる動作例とともに説明する、機能ごとのガイドです。この概要を超えるものについては、まずそちらを参照してください。

GraphitiメモリストアとしてのSlaterの使用

graphiti-slaterは、GraphitiがSlaterに時系列ナレッジグラフを保存できるようにするアダプターです。実行可能なdocker-example/も含まれており、MCPサーバーとしてClaude Codeに公開することもできます。その仕組みと実行方法については、そのリポジトリを参照してください。

Dockerでの実行

SlaterはDockerデプロイメントとして実行するように設計されており、それが期待される使用方法です。事前ビルドされたマルチアーキテクチャイメージ(linux/amd64 + linux/arm64)は、hikarisystems/slaterとしてDocker Hubに公開されており、すべてのリリースで:latestおよび:vX.Y.Zタグが付いています。

docker pull hikarisystems/slater:latest

Dockerコマンドのみの使用法、設定、および操作ガイドはDOCKERHUB.mdにあります(Docker Hubの概要ページにもミラーリングされています) — デプロイする場合はまずそちらを参照してください。 要約すると:

# オフラインライターでグラフ世代をビルド:
docker run --rm -v slater-data:/data -v "$PWD/dumps:/dumps:ro" \
  --entrypoint /app/slater-build hikarisystems/slater:latest \
  --input /dumps/people.cypher --graph people --data-dir /data

# Bolt経由で7687で提供(delta.enabled`でない限り読み取り専用):
docker run -d --name slater -p 7687:7687 \
  -v slater-data:/data:ro -v "$PWD/acl.json:/config/acl.json:ro" \
  hikarisystems/slater:latest

ローカルでイメージをビルドする場合(例:開発用):

# イメージをビルド(両方のバイナリ)。
docker compose build

# 提供(slater-dataボリューム /dataマウント下の世代を想定)。
docker compose up slater

# オフラインライターで世代をビルド(プロファイル `build`)。
docker compose run --rm builder \
  --input /dumps/people.cypher --graph people --data-dir /data

ビルダー段階では、rustls aws-lc-rsバックエンド用にcmake、clang、libclang-devをインストールします。git(ベースイメージに既に存在)は、.cargo/config.tomlがgit CLI経由で取得するhs-utils git+tag依存関係に必要です。

以下のセクションでは、ディスク上のフォーマット、設定、ACL、およびローカル(非Docker)の動作例について説明します。

仕組み

            slater-build                         slater (Bolt server)
   dump.cypher ──────────▶ /data/<graph>/<uuid>/ ──────────▶ neo4j driver
   (オフライン、アトミック)     MANIFEST.json, *.blk,            (bolt / bolt+s)
                            range/*.isam, vector/*.{vamana,pq},
                            current → <uuid>
  • 世代とは、1つの不変ディレクトリです。MANIFEST.json(シンボルテーブル、インデックス記述子、オプションの暗号化ヘッダー)、カラムブロックファイル(node_props.blk, node_labels.blk, edge_props.blk, topology.csr.blk, vectors.f32.blk)、レンジインデックス(range/<name>.isam)、しきい値以上のANNインデックス(vector/<label>.<prop>.{vamana,pq})、およびcurrentテキストポインタが含まれます。
  • 各ブロックはzstd圧縮され、BLAKE3チェックサムが付いています。--encryptを使用すると、各ブロックはXChaCha20-Poly1305(保存時のAEAD)でさらにシールされます。
  • サーバーは、マニフェストに対してすべてのファイルを再ハッシュして世代を開きます。そのため、半分コピーされた/切り詰められたイメージ(データディレクトリへの破損コピー、リモート/ネットワークストレージの場合がある)は、提供されずに拒否されます。
  • 読み込みは、3つの制限されたキャッシュプール — 解凍済みブロックLRU、ベクトルインデックスプール(常駐PQコード+VamanaブロックLRU)、および結果LRU — を通過します。各プールには独自のバイト予算があり、保持しているものを重み付けして予算内に収まるようにエビクトします。そのため、RSSはグラフサイズではなく、予算を追跡します。
書き込み可能なレイヤー

delta.enabledを使用すると、不変の世代は小さなログ構造化マージツリーの完全に圧縮された下位レベル(「コア」)となり、ライブ書き込みはその上に配置されます:

   書き込み (Bolt)                                    読み込み (Bolt)
        │                                               │
        ▼                                               ▼
   ┌──────────────┐  flush   ┌──────────────┐    ┌──────────────────────┐
   │ WAL + active │ ───────▶ │  L0 delta    │    │  クエリは1つの       │
   │  memtable    │          │  セグメント  │    │  (コア、デルタ)ビュー│
   └──────────────┘          └──────┬───────┘    │  をピン留めし、マージを│
        (fsync = ack)               │            │  読み取る            │
                          consolidation │  (コア + デルタ → 新しいコアを折りたたむ) │    └──────────────────────┘
                                        ▼
                                 ┌─────────────┐
                                 │  新しいコア │  (アトミック `current` スワップ)
                                 └─────────────┘
  • 耐久性のフロア — WAL。 各ミューテーションは、グラフごとに単一のライターの後ろでシリアライズされ、グラフごとのライトアヘッドログに追加され、Bolt SUCCESSが返される前にfsyncされます。したがって、承認されたら耐久性がある、そして破損したテールはリプレイ時にドロップされます。バッチ書き込みUNWINDは、行をアペンドし、バッチ全体に対して1つのfsyncをコミットします。WALはローカルディスクのみ(ストレージバックエンドを介してルーティングされません)であり、ライターノードをステートフルにします。これはdelta.walDirで耐久性のあるローカルボリュームを必要とします。読み取りレプリカはステートレスのままです。
  • Memtable → L0 → コンソリデーション。 書き込みはRAMのmemtable(delta.memtableBytesで制限)に蓄積されます。満杯になると、不変のL0デルタセグメントにフラッシュされます。コンソリデーションは、{core + delta}をslater-build経由でシリアライズされたマージされたビューに折りたたみ、currentをアトミックにスワップすることで新しいコアを作成します。これは、公開された世代と同じコンテンツハッシュガードです。CALL slater.consolidate()で手動でトリガーするか、コアサイズのdelta.deltaCorePercentで自動的にトリガーします(オプションでオフピークのdelta.consolidateWindowに制限される)、またはdelta.deltaHardBytesスロットルバックストップで暴走する成長を抑えます。
  • オーバーレイは読み取りサーフェスの下に配置されます。 エグゼキュータは、ベアコア(デルタは常に空)またはマージされた(core, delta)ビューのいずれかであるReadViewを介して読み取ります。エンジンはそれを介してモノモルフィゼーションされるため、空のデルタは単一の予測可能なブランチにコンパイルされ、読み取り専用パスはバイト単位で同一です。全グラフカウンター(count(*), ラベル/リレーションシップタイプマージナル)は、デルタ独自のライブカウンターから提供されるため、書き込みが保留中でもメタデータ読み込みのままです。
  • クエリは安定したスナップショットを見ます。 クエリは、その寿命全体で1つの(core, delta)タプルをピン留めします。複数ステートメントトランザクションやロールバックはありません — 書き込みは、OLTPトランザクションではなく、耐久性があり、ビジネスキーでアドレス指定された修正です。

正確な書き込み構文とノブは、設定テーブル(delta.*)と、以下の動作例にあります。

レンジインデックス(ISAM)

レンジインデックス(range/<name>.isam、インデックス付けされた(label, property)ごとに1つ)は、MATCH (n:Label {prop: v})またはWHERE n.prop <op> vが、ラベルをスキャンすることなく、一致するノードIDを解決できるようにします。これはISAM(Indexed Sequential Access Method)構造です — クラシックな静的、ソート済み、ブロック構造インデックスであり、不変世代に最適な形状です。再バランスのための挿入がないため、ISAMのシンプルさがBツリーのミューテーションメカニズムが複雑にするだけよりも利点となります。

  • エントリ(value, entity_id)は値でソートされ、他のすべてのものと同じzstd圧縮された256KiBブロックにパックされます。
  • 小さな常駐トップレベルには各ブロックの最初のキー(スパースインデックス)が含まれます。ルックアップは、そのインメモリトップレベルをバイナリ検索して、キーが存在できる唯一のブロックを見つけ、そのブロックを読み取り+解凍し、スキャンします — したがって、等価ルックアップは1ブロックの読み取りであり、レンジスキャンはその範囲をカバーする連続したブロックの実行をウォークします。(これがmeshUiでインデックス付けされたルックアップが単桁ミリ秒であるのに対し、インデックス付けされていないプロパティでの同じマッチがラベル全体をスキャンする理由です。)
  • プランナーはNodeScan::RangeEq / RangeRangeを介してそれを選択します。インデックス付けされていない述語はラベルスイープまたはフルスキャンにフォールバックし、エグゼキュータはどちらの場合も各述語を再チェックします。
ベクトル検索(Vamana + PQ) — コサイン、L2、およびドット、読み取りおよび書き込み

ベクトルKNN(db.idx.vector.queryNodes)は、コサイン、L2、またはドット積(MIPS)インデックス上で実行されます。ベースインデックスはオフラインで2つの実行パスでビルドされ、インデックスごとに--ann-threshold(デフォルト50,000ベクトル)によって選択されます:

  • しきい値未満 — 総当たり。 完全なf32ベクトルはvectors.f32.blkに格納されます。クエリはインデックスのグループをスキャンし、インデックスのメトリックで正確な距離を計算します。シンプルで正確。ベクトルセットが小さい場合に適しています。
  • しきい値以上 — Vamana + PQ、ディスクネイティブANNパスで、ベクトルの数に関係なく常駐メモリを制限します:
    • Vamana はDiskANNの研究ラインからのグラフインデックスです。エッジがプルーニングされた単一の近傍グラフです(--vamana-rアウトデグリーおよび--vamana-alphaロングエッジファクター)。これにより、ビームサーチ — メドイドから開始し、クエリに向かって繰り返しホップし、幅vectorQuery.beamWidthの候補リストを保持します — 数回のホップでノードの真の近傍に到達します。つまり、クエリあたり数回のランダムブロック読み取りで済みます。グラフブロック(vector/<label>.<prop>.vamana)は、ベクトルキャッシュを介してページングされ、まとめて保持されません。
    • プロダクト量子化(PQ) は、各ベクトルを短いコードに圧縮します(--pq-subspaces × --pq-bits)。次元はサブスペースに分割され、それぞれが独立してk-meansクラスタリングされ、ベクトルは最近傍セントロイドIDのタプルとして格納されます。これらのコード(vector/<label>.<prop>.pq)は小さいため、常駐させることができます。そのため、ビームサーチはRAMから候補をスコアリングし、選択された少数の完全なベクトルのみがディスクから読み取られます。その常駐PQセットがcache.vectorCacheBytesプールがピン留めするものです。

書き込み可能な埋め込み — ベクトル書き込みラダー(FreshDiskANN
-スタイル)。
インデックス付けされた埋め込みはファーストクラスの書き込み可能な値です。SET n.embedding = vecf32([…])(およびREMOVE)は書き込みデルタに着地し、即座にKNNで認識可能で、正確なランクを持ちます。その後、セグメントフラッシュ、マージ、コンソリデーションを生き残ります。クエリは最大3つのレベルをマージします — シールされたベースインデックス、シールされたセグメントごとのインデックス、およびインメモリのRW-index(書き込みデルタ上のライブVamana) — そのため、レイテンシは書き込みの数が増加してもフラットに保たれます。削除は穴を残します。ノードは返されなくなりますが、コンソリデーションがグラフから切り出すまでナビゲーションウェイポイントとして残ります。そのため、削除はクエリIOのコストをかけなくなります。また、ディスク上のグラフはノードIDではなくレイアウト位置でアドレス指定するため、CALL slater.consolidate()はVamanaを参照で運びます — ハードリンクされ、バイト単位で同一です — そして小さなID列のみを書き直すことで、ベクトル書き込みをベースに再構築なしで折りたたみます。測定された数値(注意点あり)はパフォーマンスレポートにあります。

ストレージバックエンド(ファイルシステム / S3 / GCS)

各世代ファイルは、std::fsの代わりにObjectStore抽象化を介して開かれるため、同じディスク上のバイトフォーマット — ブロック、インデックス、マニフェスト、currentポインタ — がどのバックエンドからでも変更なしで提供されます。バイトの出所のみが異なり、リーダー、クエリエンジン、または整合性チェックは変更されません。ホットパスは位置指定読み取り(read_exact_at)であり、ローカルファイルへのpreadとオブジェクトストアへのHTTPバイト範囲リクエストにマッピングされます — Slaterはmmapを使用しないため、明示的で制限された読み取りモデルはどこでも同一です。

3つのファーストクラスバックエンド、dataBackend.kindで選択されます。ファイルシステムはシンプルなデフォルトです。Amazon S3およびGoogle Cloud Storageは同等で、完全にサポートされたオブジェクトストアバックエンドです — 公開されたイメージには両方がコンパイルされているため、それぞれ設定のみで済み、一度ビルドされた世代はそれらのいずれからでも提供できます(fs → S3 → GCSへの移行も可能)再構築なしで。

dataBackend.kind位置指定読み取りオープン時の整合性認証情報
fs (デフォルト)pread各ファイルの完全なBLAKE3再ハッシュ—
s3HTTP Range GETサーバー SHA-256 をHEAD経由で(存在しない場合はBLAKE3ボディ再ハッシュへ)設定キー、AWSチェーン、またはIAMロール
gcsHTTPレンジ読み取りサーバー CRC32C をget_object経由で(存在しない場合はBLAKE3ボディ再ハッシュへ)ADC / Workload Identity、またはサービスアカウントJSON

両方のオブジェクトストアは、オブジェクトメタデータとして取得されるストアが既に計算して保持しているチェックサムを検証します。slater-buildはアップロード時にチェックサムを送信し(ストアはバイトをそれに対して検証して保存します)、サーバーはオープン時にそれを読み取ってマニフェストと比較します — ファイルごとに1つのメタデータリクエスト、ボディダウンロードなし。これはコンテンツグレードであり、S3(SHA-256)とGCS(CRC32C)全体で精神的に同一です。オブジェクトがサーバー側で保持するチェックサムを持たない場合(帯域外でコピーされた、または異なるデフォルトでアップロードされた)、サーバーはボディ長を信頼するのではなく、マニフェストBLAKE3に対してオブジェクトボディを再ハッシュします — 要求された整合性チェックがサイズ比較にダウングレードされることはありません。Slaterで公開された世代は常にチェックサムを保持するため、安価なメタデータパスで処理されます。

この列がすべてのバックエンドでチェックするのは、ファイルがマニフェストと一致するかどうかです。マニフェスト自体が信頼できるかどうかは別の問題であり、それを解決するのはマスターキーです。キーが設定されている場合、マニフェストはキー付きMACを運び、サーバーはそれを検証してからフィールド(これらのハッシュを含む)のいずれかを信頼し、改ざんされたファイルを記述するように書き直されたマニフェストは拒否されます。キーがない場合、比較は全体でキーなしで行われ、データディレクトリに書き込むことができる人はファイルとマニフェストを一緒に書き直すことができます。各設定での整合性とはを参照してください。チェック自体はdataBackend.verifyIntegrity: falseで無効にでき、整合性を犠牲にしてオープンを高速化します。

ファイルシステム (fs)

デフォルトで、dataBackend.fs.dirをルートとします。ほとんどのデプロイメントに適しています。ローカルSSD(またはNFS/EBSマウント)上の世代を読み取り専用で提供します。整合性は、オープン時の各ファイルの完全なBLAKE3再ハッシュです。

Amazon S3 (s3)

S3またはS3互換バケット(AWS、MinIO、localstack)。認証情報は、まず設定(dataBackend.s3.awsAccessKey / awsSecretKey、一時STS認証情報用のawsSessionTokenも含む)から取得され、次に標準のAWSチェーン(AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY環境変数、共有プロファイル、またはインスタンス/IRSAロール)にフォールバックします(空の場合)。

# S3から提供(環境変数形式。すべてのキーについては設定テーブルを参照)
dataBackend__kind=s3
dataBackend__s3__bucket=slater
dataBackend__s3__region=eu-west-2
dataBackend__s3__awsAccessKey=…        # AWSチェーン/インスタンスロールを使用する場合は省略
dataBackend__s3__awsSecretKey=…
# S3互換(例:MinIO):以下も設定
dataBackend__s3__endpoint=http://minio:9000
dataBackend__s3__pathStyle=true        # ほとんどのS3互換サーバーで必要
# バケットに世代を公開(リモート `current` ポインタが最後に書き込まれる)
slater-build --input people.cypher --graph people --data-dir /data \
  --publish-s3-bucket slater --publish-s3-region eu-west-2 --publish-s3-prefix prod
#   MinIO: 追加 --publish-s3-endpoint http://localhost:9000 --publish-s3-path-style
Google Cloud Storage (gcs)

GCSバケット、JSON API経由でアクセス。認証はGCPネイティブです。デフォルトでは、Application Default Credentialsを解決します — GKE Workload Identity、GCEメタデータサーバー、またはgcloud / GOOGLE_APPLICATION_CREDENTIALSキー。明示的なキーの場合は、dataBackend.gcs.credentialsPath(サービスアカウントJSONキーファイル)またはインラインのcredentialsJsonを設定します。dataBackend.gcs.endpointはfake-gcs-serverエミュレーターを指し、dataBackend.gcs.anonymous=trueはそのエミュレーターのみで認証されていないアクセスを有効にします — 本物のGCSに対しては決して使用しません。

# GCSから提供(環境変数形式。すべてのキーについては設定テーブルを参照)
dataBackend__kind=gcs
dataBackend__gcs__bucket=slater
dataBackend__gcs__prefix=prod
dataBackend__gcs__credentialsPath=/secrets/sa.json   # ADC / Workload Identityの場合は省略
# バケットに世代を公開(リモート `current` ポインタが最後に書き込まれる)
slater-build --input people.cypher --graph people --data-dir /data \
  --publish-gcs-bucket slater --publish-gcs-prefix prod
#   明示的なキー:追加 --publish-gcs-credentials /secrets/sa.json

すべての場合において、slater-buildはまず完了した世代を--data-dir(ローカルステージングエリア)に書き込み、さらにバケットにアップロードします。リモートのcurrentポインタは最後に書き込まれるため、サービングノードが破損した世代を見ることはありません。

オブジェクトストア(S3またはGCS)を使用する場合

世代を耐久性のある中央オブジェクトストレージに配置したい場合(通常は一度公開して多数のステートレス、ディスクレスレプリカに展開する、ビルドホストとサーブホストを分離する、またはストアの耐久性/バージョン管理/ライフサイクルを活用する場合)にs3またはgcsを選択します。トレードオフはレイテンシです。コールドブロックはネットワーク往復(約10〜50ms)であり、ローカル読み取り(約0.1ms)ではありません。Slaterは、インメモリブロックキャッシュ、同時読み取り先行、およびオプションのローカルディスクキャッシュティアでそのほとんどを隠します。世代が既に高速なローカルストレージ上にある場合、または中央バケットモデルを必要としない場合は、fsがよりシンプルで高速です。

ローカルディスクブロックキャッシュ(オブジェクトストアのセカンドティア)

インメモリのBlockCacheは意図的に小さく(RSSの制限が主な保証)、そのため、ワーキングセットがRAMを超える場合、同じブロックがオブジェクトストアから再取得されることになります。オプションのローカルSSDセカンドキャッシュティアがこれを修正します。RAMからエビクトされたブロックは、オブジェクトストアからのリクエスト数を削減し、コストを削減します。オブジェクトストアバックエンドのノードをウォーム状態にすると、ローカルファイルシステムに近いパフォーマンスになります。これはs3とgcsの両方でオプションであり、dataBackend.s3.diskCacheBytes / dataBackend.gcs.diskCacheBytes > 0と書き込み可能なdiskCacheDirを設定することで有効になります。

  • キャッシュは、取得されたバイトをそのまま(既に圧縮され、暗号化された世代の場合はシールされたまま)キャッシュします。キャッシュレイヤーは暗号化キーを保持せず、再暗号化もしないため、保存時の状態は無料で維持されます。暗号化された世代はディスクに書き込まれてもシールされたままです。
  • 書き込みはライトビハインドです。ミスが発生すると、取得されたバイトが即座にクエリに返され、バックグラウンドスレッドがディスク書き込みとLRUトリムを行います。そのため、クエリパスはディスクI/Oでブロックされません。エビクションはキャッシュをバイト予算内に保ちます。各ファイルごとに検証されるチェックサムは、破損したキャッシュファイルをミスに自己修復します(オブジェクトストアから再取得)。
  • diskCacheDirは実際の書き込み可能なボリュームを指す必要があります — tmpfsは絶対にダメ(tmpfsはRAMであり、RSS制限保証を無効にします)。それを追跡するインメモリインデックスは、わずかなRAM(キャッシュブロックあたり約数十バイト)を消費し、これはRSS上限に含まれます — ディレクトリのサイズはインメモリブロックキャッシュよりもはるかに大きくしてください。
  • このティアの他のRAMコストは、ディスクへの経路をステージングするライトビハインドキューです。これはblockCacheBytes / 8(diskCacheBytesで下限設定)で制限され、成長ではなくシェッドされるため、コールドスキャンでそれを増やすことはできません。設定は不要です。blockCacheBytesと連動するため、ディスクティアはRSS予算に新しい数値を追加しません。

マウント

読み取りレプリカは読み取り専用のルートファイルシステムと非ルートユーザー(appuser:1000)で実行されます — 必要なものはすべて読み取り専用でマウントされます。ライター(delta.enabled)は、WAL用に耐久性のある書き込み可能なボリュームが追加で必要です。

パス目的注意点
/dataグラフ世代(<graph>/<uuid>/… + current)。レプリカの場合は読み取り専用。slater-buildによって生成されます。リモート/ネットワークストレージ(例:NFS)上に存在する場合があるため、読み取りが高速なローカルSSDレイテンシであるとは限りません。
/sandbox環境ごとの設定オーバーレイ + シークレット。/sandbox/config.jsonは、組み込みのconfig.jsonの上にディープマージされます。acl.json、TLS PEMマテリアル、保存時のキーファイルも保持します。
/tmp, /run一時ファイル(tmpfs)。読み取りレプリカはデフォルトでディスクに書き込みません。
(ライター) delta.walDir書き込みアヘッドログ + L0デルタセグメント(delta.enabledの場合)。書き込み可能であり、耐久性のある実際のボリューム — tmpfsは不可(耐久性のフロアです)。相対パスはデータディレクトリの下に解決されます。ライターには独自の永続ボリュームをここに指定してください。
(オプション) ディスクキャッシュローカルディスクブロックキャッシュ(dataBackend.s3.diskCacheBytes / dataBackend.gcs.diskCacheBytes > 0の場合)。書き込み可能であり、実際のボリューム — tmpfsは不可。s3およびgcsバックエンドで使用されます。ストレージバックエンドを参照してください。

環境 / 設定

設定はハウス標準のレイヤードローダーによってロードされます。組み込みのconfig.json、次に/sandbox/config.jsonがその上にディープマージされ、次にKEY__sub環境オーバーライド(ネストにはダブルアンダースコア。キーはcamelCase設定に一致)が適用されます。

すべての設定ノブ — そのcamelCaseキー、KEY__sub環境オーバーライド、デフォルト値、およびその機能 — は、設定リファレンスに表形式で記載されています。最も調整されるノブは、キャッシュ予算(cache.*)、クエリガード(query.*)、接続キャップ(server.*)、ストレージバックエンド(dataBackend.*)、および書き込みレイヤー(delta.*)です。

常駐メモリは、blockCacheBytes + vectorCacheBytes + resultCacheBytesをエントリごとおよびアロケータのオーバーヘッドの範囲内で追跡します。各プールは独自のコンテンツ(割り当てられた容量による文字列とコンテナ)を重み付けし、予算内に収まるようにエビクトしますが、エントリごとのブックキーピングとアロケータのサイズクラス丸めは設定した数値の上にあります。さらに、小さな固定オーバーヘッド(およびdegreeColumnBytesまで、lazy度列の場合、度合計count(endpoint)の高速パスが実行された後)があります。これはグラフサイズに依存しません — それがヘッドライン保証であり、rss_stays_bounded_under_sustained_knn_load統合テストによって行使されます。このテストは、ピーク対ウォームRSSの成長を合計予算内にうまく収めています。接続ごとのバッファはキャッシュ予算の外に配置されるため、保証は、server.maxConnectionsが同時に存在できる数を制限するため、敵対的な負荷下でも有効です。

ネットワークポスチャー

Slaterは読み取りレプリカハンドルです。プライマリ接続セキュリティ制御はネットワークであり、バイナリではありません。プライベートインターフェイスにバインドし、ネットワークレイヤー(セキュリティグループ/NetworkPolicy)でソース範囲を制限し — 信頼できるクライアント以外のものに面している場合は — 接続制限付きL4プロキシ(HAProxy maxconn + ソースごとのstick-table、またはnftables connlimit + hashlimit)でフロントします。これはファイルディスクリプタがプロセスに渡される前に配置されるため、最も堅牢な制限です。

上記のバイナリ内制限(maxConnections, maxPreAuthConnections, maxConnectionsPerIp, 差分バイトキャップ、およびloginTimeoutMs)は防御の深さです。デフォルトでオンになっており、正当なクライアント人口には目立たないように寛大ですが、プロキシが忘れられてもRSS制限保証を有効にします。完全な防御ポスチャーについてはdocs/HARDENING.mdを参照し、標準的な詳細についてはTHREAT_MODEL.md / SECURITY_WORKLIST.mdを参照してください。

世代ガード

Slaterは、各グラフのcurrentポインタをgenerationPollMsごとにポーリングします(ポーリング、inotifyではない — データディレクトリはNFSのようなリモート/ネットワークストレージの場合があり、ファイルシステム変更イベントが信頼できないため)。変更があった場合:

  • reloadStrategy=exit(デフォルト):サーバーは致命的なログを記録し、非ゼロで終了するため、オーケストレーターが新しい世代に対してクリーンに再起動します。
  • reloadStrategy=swap:サーバーは新しい世代を開き、検証します(起動時と同じコンテンツハッシュガード)。それをアトミックにスワップインし、実行中のクエリは古い世代で完了させます。破損/不完全な新しいイメージは拒否され、古い世代は提供を続けます。

ACL

acl.jsonは、ユーザーをargon2idパスワードハッシュとグラフごとのread / write権限にマッピングします。ハッシュを生成します(クリアテキストは決して保存しないでください):

slater hash-password 's3cret'        # acl.json用の$argon2id$…文字列を出力します

開始用のacl.jsonがリポジトリのルートにあります。その形状は次のとおりです。

{
  "users": {
    "reporting": {
      "passwordArgon2id": "$argon2id$v=19$m=19456,t=2,p=1$<salt>$<hash>",
      "grants": {
        "people": ["read"],
        "products": ["read", "write"]
      }
    }
  }
}
  • users — ログインごとのエントリ、ユーザー名でキー付けされます。

  • passwordArgon2id — slater hash-passwordからの$argon2id$…文字列(クリアテキストは不可。ファイル自体はプレーンJSONで共有ストレージ上にあります)。

  • grants — グラフごとの権限リスト。2つの権限が意味を持ちます:

    • read — グラフをクエリします。ユーザーの権限にグラフが存在しない場合、そのユーザーには見えません。
    • write — 書き込み可能なレイヤー(delta.enabled)を介してグラフを変更します:MERGE / SET / DELETEステートメントとCALL slater.consolidate()。

    これらは独立しています。read権限は書き込みアクセス権を付与しません。 書き込み可能なレイヤーをオンにしても、既存のリーダーがライターに昇格されることはありません。ライターは両方が必要です — `[