HN 日本語サマリー

← 一覧へ戻る
プログラミング

SQLite上で構築された分散型高性能ブロブストレージ

Distributed, high-performance blob storage on SQLite (zerodha.tech)

259 pointsby ghostfoxgod69 コメント

要約

Zerodhaは、数百万の顧客を持つ取引プラットフォームKiteで発生する高スループットのブロブ(主にJSON形式のユーザー設定やメタデータ)の読み書きユースケースに対応するため、SQLiteを基盤とした分散型ブロブストレージサーバー「Blobasaur」を開発しました。このシステムは、Commodityハードウェア上で単桁ミリ秒のレイテンシを維持しながら、毎秒数千回のブロブの読み書きを実現します。

全文翻訳

SQLite上で構築された分散型高性能ブロブストレージ

TLDR; 私たちは、高スループットのブロブ読み書きユースケースを解決するために、SQLiteの上に構築されたシャーディングされた分散型軽量ブロブストレージサーバー「Blobasaur」を開発しました。数KBから数MBのJSONブロブは、現在、コモディティハードウェア上で単桁ミリ秒のレイテンシを維持しながら、毎秒数千回読み書きされています。


Kite は、約2000万人の顧客を持つ私たちの取引プラットフォームで、ユーザーは投資および取引画面を高度にカスタマイズできます。彼らはマルチチャートレイアウト、財務指標テンプレート、ベクトル描画、および様々な種類の任意のUI設定を保存します。さらに、ウィジェットのドラッグアンドドロップやカスタマイズによって独自のワークスペースを設計できるターミナルモードを提供しています。バックエンドサービスは、これらのユーザー設定とメタデータを、数KBから数MBの範囲の不透明なブロブ(主にJSON)として保存しています。

数年前、私たちはこのようなブロブをCouchDBに保存していましたが、当時のスループットには不向きであることが判明しました。その後、Redisプロトコルを使用するC++製のディスクベースストアであるSSDB(ssdb)に移行しました。これにより、統合が非常に容易になりました。SSDBは当面のパフォーマンス問題を解決し、数年間本番環境で安定して稼働しました。

しかし、時間の経過とともに、2つの問題が私たちに代替策を探すことを余儀なくさせました。

  1. SSDBはメンテナンスされなくなり、明らかな運用リスクとなりました。C++で書かれているため、私たちのスタックや専門知識の一部ではなく、フォークしてメンテナンスすることも現実的ではありませんでした。
  2. スケーリングとサイズ制限。SSDBは分散システムではなく、単一ノードでしか実行できません。これは、ブロブサイズが1MBに制限されたり、ペイロードが大きいとレイテンシが悪化したりするなど、将来的なスケーリングに大きな課題を課しました。

ターミナルモードのような機能を追加し、より多くの内部サービスをオンボーディングするにつれて、堅牢なソリューションが必要になりました。私たちの要件は以下の通りでした。

  • シンプルなAPIを持つキーバリューストア。
  • マルチメガバイトのブロブ読み書き操作と高スループット向けに設計されていること。私たちは、数千から数万リクエスト/秒のブロブの読み書きを処理します。これらは、株式市場のボラティリティにより予測不可能でバースト的です。
  • 水平スケーラブルで分散型であること。
  • ディスクスペース効率/圧縮。
  • 容易にメンテナンスでき、非常に経済的であること。

そこで、高スループットのブロブストレージに最適化されたFOSSデータベースを調査し、以下のものを検討しました。

  • ScyllaDB: 私たちはすでに高スループットのワークロードにScyllaDBを使用していますが、テストでは大きなブロブには最適ではないことが判明しました。スループットが大幅に低下し、リソース使用量が増加しました。特にマルチメガバイトのブロブが必要です。頻繁な上書きやTTL期限切れによるTombstoneは、ScyllaDBで慎重なチューニングが必要です。
  • PostgreSQL: 私たちはすでにスタックでPostgresに関するかなりの経験がありますが、BYTEAカラムとしてブロブを保存することを実験しましたが、パフォーマンスとディスクスペース効率の点でユースケースには再び深刻な非最適であることが判明しました。
  • YugabyteDB: ブロブストレージをオプションの一つとしていますが、主にそれ向けに設計または最適化されていません。また、機能が多すぎる大規模なシステムです。
  • RocksDB: 適切なプリミティブを持っていましたが、これも高スループットのマルチMBブロブ書き込み向けにアーキテクトされていませんでした。
  • Ceph: 運用上の複雑さとリソース要件が深刻でした。試すことすらできませんでした。
  • SeaweedFS: これは最も近い候補でした。しかし、いくつかのブロッカーがありました。私たちのユースケースは、同じキーに対する上書きが多い(ユーザーがワークスペースを変更する)ため、SeaweedFSはコンパクションの前に常に追記するため、ディスク使用量が制御不能に増加する可能性があります。ブロブには独自のIDがあり、それを別のDBのユーザーキーにマッピングする必要があり、さらにレイヤーが追加されます。ブロブごとのTTLをサポートしていません。また、多くの部分からなる比較的複雑なセットアップです。
  • S3とMinIO: オブジェクトストレージは、小さなブロブに対するリクエストあたりのレイテンシが高く、書き込み負荷が高いワークロード(トラフィックの50%が書き込み)ではリクエストコストが高く、正確なキー期限切れではなく、ライフサイクルTTLが粗いです。ましてや、S3は毎秒数千、1日あたり数千万のリクエストではかなりのコストがかかるでしょう。
  • 生のファイルシステム(ブロブごとに1ファイル): ブロブを直接ディスクに配置することは、アトミック書き込みと書き込みバッチの実装、大量のファイルとディレクトリの管理、古き良きアトミック読み書きディスクパフォーマンスとinodeの頭痛の種、そしてTTLのメタデータを別途管理することを意味しました。AWSストレージボリューム全体でこれをオーケストレーションすることは言うまでもありません。

この頃、私たちは別のプロジェクトでSQLiteをいじっており、そのファイルシステムよりも35%高速という主張に感銘を受けていました。また、Postgresインスタンスで毎日何百万ものテーブルを作成するクエリキャッシュシステムも持っており、これはデータベースを非常にうまく限界まで押し上げています。これらを組み合わせて、なぜSQLiteの上に数百万のブロブを保存するシステムを構築し、何が起こるか見てみないのかと考えました。

そこで、私たちはBlobasaurを開発しました。これはRedisプロトコルを使用し、SQLiteをストレージエンジンとして使用する、Rustで書かれたオープンソースのシャーディングされたブロブサーバーです。これは単一バイナリアプリケーションであり、高性能で、デプロイとメンテナンスが非常に簡単です。Zerodhaで本番稼働しており、SSDBを正常に置き換えました。

[画像: Blobasaurロゴ]

私たちが必要としたもの

ストレージにはいくつかの選択肢がありました。明らかなのは生のファイルシステムで、ブロブごとに1つのファイルです。しかし、それだとすべてを自作する必要がありました。

  • アトミック書き込みとバッチ処理。
  • TTLクリーンアップ。これにはセカンダリインデックスまたはディレクトリのウォークが必要です。
  • fd制限の処理。
  • 生データとは別にメタデータを管理すること。

SQLiteは、生のファイルシステムが欠けていたもののほとんどすべてを提供してくれました。小さなブロブの場合、SQLiteは生のファイルシステムI/Oよりも最大35%高速です。生のファイルはSQLiteを約100KiBを超えると上回りますが、書き込む前にブロブを圧縮します。そして幸いなことに、圧縮された値の99%は100KiB未満に収まります。

SQLiteを使用することは、テスト済みのストレージエンジン、ACIDトランザクション、クラッシュリカバリ、標準ツールを引き継ぐことも意味しました。ディスク上のどのシャードでも、標準のsqlite3 CLIで検査したり、分析などのためにプレーンSQLでクエリしたりできます。

バックエンドスタックのほとんどはGoで書かれていますが、BlobasaurはRustで書きました。Goの標準SQLiteドライバーはCGoを必要とし、これは静的ビルドを複雑にし、高同時実行下でのC呼び出し中にOSスレッドをピン留めし、マルチメガバイトバッファの割り当てと圧縮時にガベージコレクションの負荷を増加させます。Rust(sqlx、rusqlite、tokio)を使用すると、SQLiteのC APIに直接呼び出し、予測可能なメモリ使用量で、単一の静的バイナリを配布できます。

アーキテクチャ

データをシャードに分割する

WAL(Write-Ahead Logging)モードでは、単一のSQLiteデータベースは同時リーダーを許可しますが、一度に1つのライターしか許可しません。書き込みは本番トラフィックの約50%を占めるため、ノードあたりの単一のSQLiteファイルはすぐにボトルネックになります。

単一マシンでの書き込み同時実行性を得るために、Blobasaurはディスク上の複数のSQLiteデータベースファイル(シャードと呼ばれる)にデータを分割します。

  • 一貫性ハッシュ:各キーはマルチプローブ一貫性ハッシュを介して1つのシャードにマッピングされます。
  • シャードごとのライターとグループコミット:各シャードには、バウンドキューから供給される専用のライタータスクがあります。ライターは、キーを1つずつコミットするのではなく、キューから保留中の書き込みバッチをドレインし、単一のBEGIN IMMEDIATE ... COMMITトランザクション内で実行します。これにより、トランザクションとWALのオーバーヘッドが同時クライアント間で償却されます。
  • 同時リーダー:読み取りは、読み取り専用SQLite接続のシャードごとのプールに直接送られ、ライターと同時に実行できます。

[画像: Blobasaurノード:シャードごとのライターとリーダープール]

シャーディングはどの程度役立つか?

16個のシャードを使用した1つのシャードのベンチマークを、64個の同時接続を開いたロードジェネレーターを使用して行いました。各リクエストは64KiBのJSONブロブペイロード(本番の平均に近い)を使用し、zstdで約9倍に圧縮されます。

すべての実行で、100,000個のキー、同期書き込み、batch_size = 50を使用し、データディレクトリはSQLiteのロックとCPUオーバーヘッドをディスクのばらつきから分離するためにtmpfsに配置しました。両方のセットアップは同じ合計リソースを受け取りました:1,600 MBのSQLiteページキャッシュと合計64個の読み取り接続です。

ワークロード1シャード16シャード
HSETのみ7,740 ops/s, p99 10.7 ms25,324 ops/s, p99 8.3 ms
50% HSET、50% HGET14,227 ops/s, p99 10.5 ms29,538 ops/s, p99 8.5 ms
HGETのみ67,128 ops/s, p99 2.1 ms70,884 ops/s, p99 2.3 ms

16シャードを使用すると、書き込みスループットは3.3倍になり、中央値の書き込みレイテンシは8.2 msから2.1 msに低下します。SQLite WALモードはすでに同時リーダーを競合なしでサービスするため、読み取りスループットはほぼ同じままです。

毎秒25,324回のHSET操作で、それぞれ64KiBのペイロードを処理すると、Blobasaurはzstdを介して約1.66 GB/sの非圧縮JSONを処理します。サーバーとロードジェネレーターは両方とも同じ16コアラップトップで実行され、CPUリソースを共有していました。

スキーマ

私たちのサービスは、プレーンキー(SET/GET)とRedisハッシュ(HSET/HGET)の両方を使用して、サービスまたは機能ごとにブロブをグループ化しています(例:HSET prefs userID <json>)。

各シャード内では、プレーンキーはblobsテーブルに格納されます。

CREATE TABLE IF NOT EXISTS blobs (
    key TEXT PRIMARY KEY,
    data BLOB,
    created_at INTEGER NOT NULL,
    updated_at INTEGER NOT NULL,
    expires_at INTEGER,
    version INTEGER NOT NULL DEFAULT 0
);

CREATE INDEX IF NOT EXISTS idx_expires_at
    ON blobs(expires_at)
    WHERE expires_at IS NOT NULL;

SETはblobsに書き込みます。HSETは、同じカラムを持つ名前空間のテーブルblobs_<namespace>に書き込みます。例えば、HSET prefs user42 ...はblobs_prefsにuser42を保存します。

有効期限は同じ行のexpires_atに保存されます。読み取りクエリは、読み取り時に有効期限切れの行を除外します(expires_at IS NULL OR expires_at > ?)。バックグラウンドワーカーが有効期限切れの行を非同期に削除します。expires_atのインデックスは部分インデックス(WHERE expires_at IS NOT NULL)であるため、TTLがない行は有効期限インデックスにスペースを占有しません。

圧縮

Blobasaurは、SQLiteに書き込む前にzstd、lz4、gzip、brotli圧縮をサポートしています。本番環境ではzstdを使用しています。

これは、1時間の本番HSETトラフィックにおける圧縮率です。

HSETペイロードクライアントから送信SQLiteに保存削減率
平均63.6 KiB5.5 KiB約11倍
p99935 KiB59.3 KiB約16倍

SQLiteのデフォルト4KiBページでは、63.6KiBのペイロードを5.5KiBに縮小すると、行とインデックスのオーバーヘッドを考慮しない場合、ストレージフットプリントは約16ページから約2ページに減少します。ブロブデータを持つページが少なくなると、ページキャッシュへの負荷が軽減され、WALを介してデータベースに書き込むデータ量が少なくなります。

[画像: 圧縮前後のHSETペイロードサイズ]

耐久性

UI設定という特定のユースケースでは厳密な耐久性を必要としないため、シャードはWALモードでPRAGMA synchronous = NORMALで実行されます。SQLiteはトランザクションコミットごとにfsyncを実行しません。OSのクラッシュや電源喪失により、永続ストレージにまだ同期されていない最近のコミット済みトランザクションが失われる可能性がありますが、データベースの一貫性は維持されます。

さらに低い書き込みレイテンシを求めるワークロードのために、Blobasaurはオプションのasync_writeモードもサポートしており、書き込みはシャードのメモリキューに入った時点で、SQLiteバッチコミットを待つ前に確認応答されます。

マシン間のスケーリング

単一サーバーを超えてスケーリングするために、BlobasaurはRedis Clusterプロトコルを実装しており、標準のクラスター対応Redisクライアントと互換性があります。Redis Clusterと同様に、キー空間はCRC16を使用して16384個のハッシュスロットに分割されます。各Blobasaurノードは設定されたスロット範囲を所有し、ノードはゴシップを介して互いを検出します。クライアントが間違ったノードにキーを送信した場合、ノードは所有ノードを示すMOVEDリダイレクトで応答します。

[画像: Blobasaurノード間の2レベルルーティング]

これにより、Blobasaurは2レベルのルーティングを提供します。

  1. クラスターレベル:CRC16(key) % 16384がマシンを選択します。
  2. ノードレベル:マルチプローブ一貫性ハッシュがそのマシン上のSQLiteシャードを選択します。

現時点ではいくつかの制限があります。現在のところ、スロット割り当ては設定で静的です。実行中のノード間のライブスロット再分散と自動フェイルオーバーはまだ実装されていません。

シャード数の変更

ノードの再シャーディングが最小限のデータ移動で済むように、仮想ノードを必要としないマルチプローブ一貫性ハッシュを選択しました。単純なhash % num_shardsでは、4から5にシャード数を増やすと約80%のキーが移動します。一貫性ハッシュでは、約20%のキーのみが移動します(新しいシャードに属するシェア)。

再シャーディングは現在、組み込みCLIを介したオフライン操作です。

  1. サーバーを停止します。
  2. blobasaur shard migrate 4 5 --verifyを実行します。
  3. config.tomlのnum_shardsを更新してサーバーを起動します。

移行ツールは、ターゲットシャードが変更されたキーを移動します。--verifyを使用すると、キーが期待されるシャードにあることを確認し、移行後の行数を報告します。

SSDBからの移行

Blobasaurは段階的なデプロイメント戦略で展開しました。

  1. 新規ワークロードを優先:Kiteターミナルモードをローンチした際、ワークスペースストレージを直接Blobasaurに向けました。
  2. デュアル書き込みとバックフィル:チャート設定などの既存ワークロードについては、SSDBとBlobasaurの両方にデュアル書き込みを行うようにサービスを更新し、履歴キーのバックグラウンド移行を実行しました。読み取りはまずBlobasaurに行き、キャッシュミスまたはエラーの場合はSSDBにフォールバックしました。
  3. カットオーバー:クライアント側では、コードの変更は単一ノードRedisクライアントから、3つのBlobasaurノードIPを持つRedis Clusterクライアントに切り替えることだけでした。

1ヶ月間、不整合ゼロでデュアル書き込みを実行した後、SSDBを停止しました。

その過程で学んだこと

行の削除はSQLiteファイルを縮小しない

初期の頃、数百万のキーが期限切れまたは削除された後でも、ディスク使用量が増加し続けることに気づきました。デフォルトでは、SQLiteは解放されたページをOSに返すのではなく、将来の書き込みのために内部フリーリストに保持します。

これを修正するために、すべてのシャードでPRAGMA auto_vacuum = INCREMENTALを有効にし、blobasaur shard vacuumサブコマンドを追加して、設定された割り当て(デフォルト128MB)内の未使用のフリーリストページを回収しました。WALモードで実際のデータベースファイルを縮小するにはチェックポイントが必要なため、Blobasaurは増分バキュームを実行した直後にPRAGMA wal_checkpoint(TRUNCATE)を実行します。

非同期書き込みはすべての読み取りから見える必要がある

async_writeが有効な場合、書き込みはシャードのメモリキューに入り、次のバッチコミットを待っている間にOKを返します。Read-your-writesの一貫性を維持するために、キューに入れられた書き込みは、読み取りがSQLiteにクエリする前にチェックするインメモリの保留マップにも配置されます。

テスト中、保留マップをバイパスしたり、削除を考慮しなかったりする特定の読み取りおよび存在チェックパスでエッジケースに遭遇しました。例えば、DELの直後にGETを実行すると、キューに入れられたDELがまだコミットされていなかったため、SQLiteから古い値が返される可能性がありました。これを修正するために、保留マップに明示的なTombstoneを格納し、すべての読み取り(GET、HGET、EXISTS、TTL)を最初にそこを通すようにしました。

本番環境では、p99書き込みレイテンシは通常5ms未満でしたが、時折30〜50msへのスパイクが見られました。

スパイクの原因は、バックグラウンドTTLクリーンアップタスクにあることが判明しました。当初、クリーンアップワーカーは独自の書き込み接続を開き、期限切れのすべての行に対して単一の大きなDELETEステートメントを実行していました。この大きなDELETEは、SQLiteの単一の書き込みロックのためにシャードのメインライターと競合し、通常のクライアントバッチを遅延させていました。

これを2つの方法で修正しました。クリーンアップバッチをシャードの既存のライター接続にルーティングして、クライアント書き込みとクリーンに順番待ちするようにし、各パスをcleanup_chunk_size(デフォルト1,000行)で制限しました。期限切れの行はすでに読み取り時にフィルタリングされているため、物理的な削除を小さなチャンクに分散させることで、正確性に影響を与えることなくレイテンシのスパイクを排除しました。

本番環境

現在のBlobasaurデプロイメントは、3ノード(4 vCPU、8 GB RAM)クラスターとして実行されています。取引セッション全体(09:00〜15:30)で、すべてのコマンドのp99レイテンシは各ノードで約2msに留まり、p50は250〜550µsの間です。

[画像: 取引セッション中のノードごとのコマンドレイテンシ(p50、p90、p99)]

コマンド別に内訳すると、HSETのp99は約2ms、HGETのp99は約1.4ms、HDELのp99はほとんど1ms未満です。

[画像: 取引セッション中のノードごとのコマンド別p99レイテンシ]


BlobasaurはAGPLv3ライセンスの下でオープンソースであり、GitHub(@iamd3vil/blobasaur)で入手できます。Zerodha.techハッカーコレクティブの他のプロジェクトは4th Cross Labsで見つけられます。