Show HN: SirixDB 1.0 Beta – Git風バージョン管理、差分、タイムトラベルクエリ
Show HN: SirixDB 1.0 Beta – Git-Like Versioning, Diffs, Time-Travel Queries (github.com)
要約
SirixDB 1.0 Betaは、履歴をファーストクラス市民として扱うデータベースです。これにより、任意の時点でのクエリ、リビジョンの差分比較、イベントの再生なしでの効率的なデータ進化追跡が可能になります。以前のGC負荷によるパフォーマンス問題を解決するため、AIを活用してストレージレイヤーをオフヒープメモリに移行する大規模な書き換えが行われました。このデータベースは、アペンドオンリーの物理ログと永続的なコピーオンライトページトライブに基づいています。
全文翻訳
Hi HN!
SirixDBについては、2019年 (https://news.ycombinator.com/item?id=19834681) と2023年 (https://news.ycombinator.com/item?id=38252963) にも投稿しました。
SirixDBの核となるアイデアは、履歴が第一級市民であるということです。各コミットは、軽量でクエリ可能なリビジョンを保存します。任意の時点をクエリしたり、個々のノード(例えばJSON値)をクエリしたり、任意の2つのリビジョン間の差分を検出したり、イベントを再実行することなくデータの進化を効率的に追跡したりできます。
従来のイベントストアとは異なり、履歴状態をイベントを再実行して再構築する必要も、プロジェクションについて考える必要もありません。リビジョンは直接クエリ可能です。
簡単な例:
1月1日: "価格 = $100、1月1日から有効" というレコードを記録。1月1日(トランザクション時間)に保存。
1月20日: 実際には1月1日の価格が$95だったことを発見。修正をコミット。
修正後、両方の軸について以下のような質問ができます:
- "1月16日に私たちは価格がいくらだったと考えていたか?" -> $100(トランザクション時間)
- "1月1日時点の実際の価格はいくらだったか?" -> $95(有効時間)
私は2013年からこのプロジェクトに余暇を費やしてきました。これはコンスタンツ大学の学術的な前身(Idefix/Treetank)に続くものです。アーキテクチャは、アペンドオンリーの物理ログと、永続的なコピーオンライトのページトライブに基づいています。
アーキテクチャの概要:
物理ログ(アペンドオンリー、シーケンシャル書き込み)
┌────────────────────────────────────────────────────────────────────────┐
│ [R1:Root] [R1:P1] [R1:P2] [R2:Root] [R2:P1'] [R3:Root] [R3:P2'] ... │
└────────────────────────────────────────────────────────────────────────┘
t=0 t=1 t=2 t=3 t=4 t=5 t=6 → time
各リビジョンはインデックス化され、変更されていないページは共有されます:
[Rev 1] [Rev 2] [Rev 3]
│ │ │
▼ ▼ ▼
[Root₁] [Root₂] [Root₃]
│ │ │ │ │ │
│ └─────────┐ │ └────────┐ │ └─────────┐
▼ ▼ ▼ ▼ ▼ ▼
┌──────┐ ┌──────┐ ┌──────┐ ┌──────┐
│ P1 │ │ P2 │ │ P1' │ │ P2' │
└──────┐ └──────┐ └──────┐ └──────┐
Rev 1 Rev 1+2 Rev 2+3 Rev 3
(shared) (shared)
ルートページの下には、ノードインデックスとセカンダリインデックスがあり、読み書きパフォーマンスのバランスを取るための新しいスライディングスナップショットアルゴリズムを使用しています。すべてJSONiqとBrackitコンパイラを使用してクエリ可能です。
2019年、そして2023年でさえ、SirixDBはGCの圧力により非常に遅かったです。他のほとんどのドキュメントストアとは異なり、SirixDBは細かい粒度のノードを保存するため、大量の小さなオブジェクトで構成されるオンヒープ(JVM)表現は理にかなっていないことに気づきました。Andrei Pangin自身の手助けを得てasync-profilerで測定したところ、スループットが低い原因は、オープンなトランザクション数にほぼ線形にスケールする膨大な数のアロケーションにあることが判明しました。
フルタイムのソフトウェアエンジニアリングの仕事をしているため、大規模な書き直しを行うエネルギーがありませんでした。約1年前にAIの実験を始めました。AIは、ストレージレイヤーをJavaのForeign Function & Memory APIに移行し、ページを完全にオフヒープに格納するという、退屈で反復的な部分を自動化するのに理想的であることがわかりました。
さらに将来を見据えると、アペンドオンリーでイミュータブルなページ設計は、S3のようなオブジェクトストレージやKafkaのような分散ログにクラウドバージョンとして自然にマッピングされます。初期のプロトタイプはすでに存在します。いつか商用サービスになるかもしれませんが、今のところ、これらのコア設計原則がついに証明されたことを見るだけで興奮しています。インタラクティブデモ、ドキュメントがあり、コードはGitHubにあります。フィードバックを歓迎し、質問にも喜んでお答えします!
敬具
Johannes
[1] https://sirix.io | https://github.com/sirixdb/sirix