HN 日本語サマリー

← 一覧へ戻る
プログラミング

BriskDB

BriskDB (github.com)

39 pointsby schapman197410 コメント

要約

BriskDBは、標準的なSQLiteファイルを並列書き込み、PostgreSQL互換性、HTTPアクセス、および組み込みRust/Python APIを備えた単一のデータベースに変換するプロジェクトです。SQLiteの堅牢なストレージエンジンとツールを維持しつつ、ルーティングレイヤー、シャードセーフID、クロスシャードインデックス、プロトコル、運用上のガードレールを追加します。これは、SQLiteのシンプルさとスケーラビリティの向上を両立させることを目指したアルファ版のデータベースサービスです。

全文翻訳

BriskDB

[画像: CI] [画像: Release] [画像: PyPI] [画像: License: MIT]

SQLiteファイル。1つのシャーディングされたデータベース。

BriskDBは、通常のSQLiteファイルを、並列書き込み、PostgreSQL互換性、HTTPアクセス、埋め込みRust/Python APIを備えた単一のデータベースに変換します。SQLiteの実績あるストレージエンジンとツールはそのままに、BriskDBはルーティングレイヤー、シャードセーフID、クロスシャードインデックス、プロトコル、運用上のガードレールを追加します。オプションの読み取り専用アドオンを使用すると、Python標準のsqlite3で、ローカルまたはリモートサーバー経由でBriskDBテーブルをクエリすることも可能です。これは同じPythonホイールを使用します。

[画像: BriskDBデモ:4つのPythonライター・スレッドが、1つのエンジンを通じて4つの通常のSQLite WALシャードに書き込み、HTTPおよびPostgreSQLリスナーも稼働]

便利な機能意味
並列SQLite書き込み個別のシャードファイルは、独立したWALライターロックを持ちます。
既存クライアントの使用PostgreSQLとHTTPは現在利用可能で、オプションのMongoDBサブセットが開発中で、MySQLも計画中です。
埋め込みまたはサービスとしての実行同じRustエンジンが、バイナリ、Pythonホイール、Rustクレートをサポートします。
検査可能なファイルの維持各データシャードは通常のSQLiteデータベースのままで、SQLiteのフォークではありません。

コンパイラなしで試す · Python sqlite3を使用する · プレリリースをダウンロードする · データブラウザを開く · MongoDBとMySQLをフォローする

重要

このベータ版は、ローカル開発、アプリケーションテスト、およびドキュメント化されたPyMongoサブセットを対象としており、本番環境対応のデータベースサービスや完全なMongoDB互換性を意図したものではありません。境界線は明示されています; セキュアなリモートMongoホスティングは実験的なままです。

リリースバージョン: 0.1.0-beta.3 (Python: 0.1.0b3)。このチェックアウトのバージョン自体は公開を意味するものではありません。リリースゲートを通過した後、対応するGitHubプレリリースとPyPIアーティファクトを使用してください。

ベータ版には、ローカル同期/非同期クライアント、briskdb.patch()、永続SQLiteストレージ、クエリ、CRUD/upsert、インデックス、および制限付き集計が含まれます。完全なデータベースディスク統計/統計フィルター、および高度なコレクション作成オプションは除外されています。発見にはlist_database_names()を使用してください。TTL有効期限、全文検索、Mongoセッション/トランザクション、および完全なTinyMongoバックエンドエミュレーションは提供されていません。テストする既存のアプリケーションの前にベータスコープを確認してください。

開発者が気にする理由

  • SQLiteフォークなし。 各シャードは通常のSQLite WALデータベースであり、通常のツールで検査できます。
  • 中央書き込みロックなし。 異なるシャードへの書き込みは、異なるWALを使用し、並列で進行できます。
  • 行ごとの中央ID書き込みなし。 ネイティブの範囲およびhi/lo割り当ては、シャードやプロセス間で衝突のない生成IDを提供します。
  • 安全なクロスシャード削除。 グローバル一意性が権威であり、非同期インデックスは検証、ウォーターマーク、ブルームフィルター、min/maxサマリーを使用するため、最適化が行をサイレントに隠すことはありません。
  • すべての場所で1つのエンジン。 PostgreSQL、HTTP、Rust、Pythonは、ルーティング、制限、キャンセル、エラー、ストレージの動作を共有します。
  • 操作は可視化されます。 別個のループバック管理リスナーは、データリスナーでこれらのハンドラーを公開することなく、/health、/metrics、管理JSON、およびブラウザを提供します。

1つのエンジン、多様なアクセス方法

flowchart LR
    subgraph Clients
        WEB[ブラウザ + HTTP]
        PG[PostgreSQLクライアント]
        MONGO[MongoDBクライアント · オプションサブセット]
        MYSQL[MySQLクライアント · 計画中]
        RUST[Rust埋め込み]
        PY[Python埋め込み]
    end

    WEB --> ENGINE
    PG --> ENGINE
    MONGO -.-> ENGINE
    MYSQL -.-> ENGINE
    RUST --> ENGINE
    PY --> ENGINE

    ENGINE[プロトコルニュートラルなRustエンジン] --> ROUTER[4,096仮想バケット]
    ROUTER --> S0[(SQLite WAL · シャード0)]
    ROUTER --> S1[(SQLite WAL · シャード1)]
    ROUTER --> S2[(SQLite WAL · シャード2)]
    ROUTER --> SN[(SQLite WAL · シャードN)]

ロード中

プロトコルアダプターはデータベースセマンティクスを所有しません。ルーティング、制限、キャンセル、値、セッション、実行は共有Rustエンジン内にあり、後でさらに多くのプロトコルやストレージアダプターのためのスペースを残しています。

実験的なISAMメタデータ

メタデータとアプリケーションデータは別々の選択肢です。Unixのみのexperimental-isam機能は、オプションのネイティブISAMマニフェストと通常のSQLiteデータシャードを追加します。SQLiteメタデータはデフォルトのままです。これは将来のオールISAMデータバックエンドではなく、NFS/EFSサポートも有効にしません。

beta.3のPythonホイールにはこの機能が含まれています。明示的に選択してください。

import briskdb

config = briskdb.Config(shards=4, metadata_backend="isam")
with briskdb.open("./hybrid-data", config=config) as db:
    with db.session(routing_key="example") as session:
        session.migrate("CREATE TABLE notes (id INTEGER PRIMARY KEY, body TEXT)")
        session.execute("INSERT INTO notes VALUES (?, ?)", [1, "hello"])
        print(session.query("SELECT * FROM notes")["rows"])

Rustビルダーは.with_metadata_backend(briskdb::MetadataBackend::Isam)を受け入れ、デーモンは機能が有効なビルドで--metadata-backend isamを受け入れます。同じ選択で再度開いてください。既存のSQLiteルートは決して変換されません。新しいISAMメタデータマニフェストはV4パイプライン化された永続コミットを使用します。既存のパックされたV3マニフェストは、変換なしで読み書き可能です。これはSQLiteデータシャードコミットや別個のS3オーバーレイカタログ形式を変更しません。

現在のスコープはSQLのみです:ルーティング、テーブル宣言、永続スキーママイグレーション履歴、およびリカバリは、隠されたSQLiteマニフェストではなくmanifest.isamを使用します。Mongo/ドキュメントメタデータ、グローバルインデックスメタデータ、生成IDメタデータ、およびセキュアなルートは未完成であり、このオプションではサポートされていません。形式は実験的であり、コンパクション、変換、共有ファイルシステム資格はまだ保留中です。EFSについては、以下の別個のS3オーバーレイモードを使用してください。

オプションのS3/Parquet書き込みオーバーレイ(実験的)

これは別個の明示的なモードであり、通常のオープン操作の変更や既存データベースの自動変換ではありません。不変のネイティブISAMカタログ、共有ストレージ上のインデックス付きSQLiteベーススナップショット、およびS3での永続Parquet変更を組み合わせます。SQL読み取りは、ベースと保留中の変更を組み合わせます。挿入、更新、削除は、夜間マージを待たずに表示されるようになります。

例:サーバーレスアプリ

製品カタログやナレッジポータルは、このフローを使用できます。

flowchart TD
    App["あなたのアプリ"]
    App -->|"1. リクエストを送信"
    Gateway["API Gateway"]
    Gateway --> API["LambdaがAPIを実行 · FastAPI + Mangum"]
    API -->|"2. データを読み書き"
    DB["BriskDB · S3オーバーレイモード"]
    DB --> EFS["EFS: カタログ + データベーススナップショット"]
    DB --> S3["S3: 保存された変更"]
    API -->|"3. 結果を返す"
    App

ロード中

Lambdaはオンデマンドでアプリケーションを実行します。BriskDBはスナップショットと新しいS3変更を組み合わせて読み取るため、書き込みはコンパクション前に表示されます。別個のオンデマンドメンテナンス機能でスナップショットに変更をマージできます。常に実行されているデータベースサーバーはありません。EFSとS3はリクエスト間でデータを保持し、ストレージとリクエストの料金が発生します。

これらは例示的なアプリケーションであり、バンドルされたアプリではありません。この図は実験的なS3オーバーレイモードを説明しており、通常のSQLite WALデータベースをEFS上で実行するものではありません。

オーバーレイのビルドと使用

ベータ版3のホイールをpython -m pip install --only-binary=:all: 'briskdb==0.1.0b3'でインストールします。サポートされているLinux/macOSホイールにはネイティブオーバーレイが含まれています。通常のSQLiteはデフォルトのままです。次に、オーバーレイを明示的にプロビジョニングします。

import briskdb
from briskdb.s3_overlay import Database, OpenOptions

# 一度だけ実行します。データベースルートは既に存在してはいけません。
with Database.create(
    "/mnt/shared/my-overlay", bucket="my-private-bucket", region="us-east-1",
    tables=[{
        "name": "events",
        "columns": [
            {"name": "id", "kind": "Text", "nullable": False},
            {"name": "message", "kind": "Text", "nullable": False},
        ],
        "primary_key": ["id"], "shard_key": "id", "indexes": [],
    }],
) as db:
    db.execute("INSERT INTO events VALUES (?, ?)", ("event-1", "Hello"))

# Lambdaリクエストごとに新しい接続。レスポンス後にバックグラウンド作業はありません。
with briskdb.open(
    "/mnt/shared/my-overlay", storage_mode="s3-overlay",
    overlay_options=OpenOptions(parquet_pruning=True),
) as db:
    print(db.query("SELECT * FROM events WHERE id = ?", ("event-1",)).rows)

# Cron/スケジュールされたワーカー。バッチ処理のために呼び出しごとに1つのパーティションを選択します。
with Database("/mnt/shared/my-overlay") as db:
    db.compact("events", 0)  # デフォルトで全てのパーティション、0..63をスケジュールします

認証情報はカタログからではなく、AWSロール/環境から取得されます。Lambdaのライフサイクル、権限、設定、コンパクション、デプロイメント制限については、サーバーレスガイドから始めてください。AWSリソースは自動的に作成されません。

安全な更新とオプションの永続キューハンドオフ

編集がバッチ処理され、重複排除されたリトライを必要とする場合は、明示的なポイント更新APIを使用します。リクエストとその操作IDを保存し、レスポンスを失った後に両方を再利用します。

from briskdb.s3_overlay import Database, RetryOptions, UpdateRequest

edit = UpdateRequest("events", {"id": "event-1"},
                     set={"message": "Updated"}, expected={"message": "Hello"})
with Database("/mnt/shared/my-overlay") as db:
    result = db.update(edit, retry=RetryOptions(timeout_ms=1000, max_retries=2))
    print(result["status"])  # committed OR condition_not_met

タイムアウトが発生すると、結果が不明なままになる可能性があります。通常のSQLは自動的に再再生されません。オプションのSQS FIFOアダプターは、編集を永続的に引き渡すことができますが、キューに入れられたものはコミットされていません。ステータスチェック、期待値ガード、権限、および形式の互換性については、安全な更新とキューの設定を参照してください。

このモードの選択と設定

通常のオープン操作は引き続きSQLiteを使用します。storage_mode="s3-overlay"は、通常のセッション、Mongoアダプター、またはネットワークリスナーではなく、別個の同期SQL APIを選択します。書き込みは、単一のテーブル/キーパーティション内でアトミックです。クロスパーティショントランザクション、オンラインDDL、および自動マイグレーションはサポートされていません。古いスナップショットとオブジェクトは保持されます。年齢のみの削除ルールを追加しないでください。

設定とCLIフラグおよび現在の制限を参照してください。beta.3ホイールにはこれらの機能が含まれていますが、使用は常にオプションです。Rustソースビルドはs3-overlayを選択し、CLIビルドはs3-overlay-cliを選択します。

オプションのDuckDBリーダー(実験的)

追加のduckdb-readerビルドは、1つのルーティングされたオーバーレイパーティションをクエリできます。これはデフォルトのSQLiteリーダーを置き換えるものではなく、書き込みを変更するものでもありません。ネイティブDuckDB依存関係は別途提供され、複数のスレッドが高速な読み取りを保証するわけではありません。セットアップとスコープおよび測定比較を参照してください。

Python sqlite3でBriskDBを使用する

実際のsqlite3.Connectionと通常のSQLを使用して、BriskDBサーバー上のテーブルを読み取ります。briskdb.attach_remote()は、これらをremoteスキーマ内のSQLite仮想テーブルとして公開します。Pythonのsqlite3ドライバーを置き換えるものではなく、サーバーのデータベースファイルをコピーするものでもありません。SQLiteは、ローカルで結合、フィルター、集計を実行します。

このアドオンは、ホイールに含まれる読み取り専用の実験的プレビューのままです。

python -m pip install --only-binary=:all: 'briskdb==0.1.0b3'

チェックアウトからビルドするには、Python 3.9+とRust 1.85+を使用してpython -m pip install ./pythonを使用してください。

Pythonインタープリタには、拡張機能ロードサポート付きのSQLite 3.31+が必要です。一部のmacOS Pythonビルドでは無効になっています。拡張機能が有効なHomebrew Python 3.14でテストされています。ホスト要件を参照してください。

既存のサーバーに接続する

サーバーのHTTPSオリジンとベアラートークンを使用します。サーバーは、SQLiteリモートコネクタを明示的に有効にし、usersへのアクセスを許可する必要があります。

import os
import sqlite3
from contextlib import closing

import briskdb

with closing(sqlite3.connect(":memory:")) as conn:
    with briskdb.attach_remote(
        conn, "https://db.example.com", token=os.environ["BRISKDB_TOKEN"]
    ):
        rows = conn.execute(
            "SELECT id, name FROM remote.users WHERE id = ?", (123,)
        ).fetchall()
        print(rows)

ローカルで完全なラウンドトリップを試す

この自己完結型例は、一時的なデータを作成し、認証されたBriskDBリスナーを開始し、sqlite3経由でクエリし、その後すべてを閉じます。

import secrets
import sqlite3
import tempfile
from contextlib import closing

import briskdb

token = secrets.token_urlsafe(32)

with tempfile.TemporaryDirectory(prefix="briskdb-sqlite3-") as data_dir:
    with briskdb.open(data_dir, shards=2) as db:
        with db.session(routing_key="demo") as session:
            session.migrate("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT)")
            session.execute(
                "INSERT INTO users (id, name) VALUES (?1, ?2)", [123, "Ada"]
            )

        with db.serve(
            admin=None,
            sqlite_remote_token=token,
            sqlite_remote_tables=["users"],
            sqlite_remote_routing_key="demo",
        ) as server:
            with closing(sqlite3.connect(":memory:")) as conn:
                with briskdb.attach_remote(
                    conn, f"http://{server.http_address}", token=token
                ):
                    print(conn.execute(
                        "SELECT id, name FROM remote.users WHERE id = ?", (123,)
                    ).fetchall())  # [(123, 'Ada')]

セットアップはBriskDBを通じて書き込みを行います。sqlite3接続は読み取りのみです。この新しく、カタログ化されていないデモでは、sqlite_remote_routing_key="demo"を使用して1つのルーティングされたシャードを公開します。データベース全体や行レベルの権限フィルターではありません。登録済みの論理テーブルの場合は、その引数を省略してください。BriskDBはデータベース全体にわたる通常のシャード配置を使用します。

他のマシンからのアクセスについては、コネクタをループバックにバインドしたままにし、専用のデータリスナーのみを信頼できるHTTPSリバースプロキシ経由で公開してください。プレーンHTTPは、リテラルのループバックIPにのみ受け入れられます。トークンは秘密にしておき、別個の管理リスナーまたは通常のSQL HTTPリスナーを公開しないでください。

現在の制限:最大4,096行の読み取り専用フルスキャン、1 MiBのエンジン結果、および8 MiBのレスポンス(またはより厳しいエンジン設定)。WHEREとLIMITはローカルで実行され、これらのスキャン制限をバイパスしません。リモート書き込み、ページングカーソル、共有トランザクションスナップショット、または隠しrowidはまだありません。SQLiteアドオンAPIで完全な契約と、#349で残りの作業を参照してください。

論理データベース全体をブラウズする

[画像: 4つのSQLiteシャードにまたがる1つの論理テーブルを表示するBriskDBデータブラウザ]

BriskDBは、別個の管理リスナーで/adminにレスポンシブな読み取り専用データブラウザを提供します。これは他のクライアントと同じバウンドされたエンジンパスを使用し、シャーディングされた行を1つの論理ビューに結合し、グローバルテーブルを一度読み取り、大きな整数値を保持します。

ローカル/開発者ベータ版の場合:

http://127.0.0.1:7655/admin
ユーザー名: admin
パスワード: admin

一時的な認証情報は開発の便宜のためのものであり、セキュリティ境界ではありません。そのため、両方のHTTPリスナーは現在ループバックアドレスを必要とします。

珍しい部分:シャードセーフ生成ID

BriskDBには、シャーディングされたテーブル用の2つの生成ID設計があります。

  • native_range_v1:各シャードに、重複しない正の64ビット範囲を割り当てます。SQLite自身のINTEGER PRIMARY KEY AUTOINCREMENTが、各挿入行に対して中央書き込みなしで、ローカルで実際の割り当てを実行します。
  • hilo_v1:マニフェストから4,096個のIDのブロックを永続的にリースし、メモリ内で割り当て、各IDをハッシュルーティングします。クラッシュするとギャップが残る可能性がありますが、IDが再利用されることはありません。

両方のポリシーはマニフェストでバージョン管理されています。生成キー実行はまだ実験的でオプションです。正確な契約は生成キーにあります。

現在動作するもの

機能アルファステータス
独立したSQLite WALファイル über 仮想バケットの永続ルーティング動作中
正確なキーのルーティングとバウンドされた散布/収集読み取り動作中
HTTPクエリ/書き込みAPI、運用API、および管理データブラウザ別個のループバック専用データ/管理リスナーで動作中。リクエスト相関、バウンドNDJSON行、リクエストローカル結果制限、適格書き込み永続リプレイ、準備完了、検査、キャンセル、停止コピー機能、およびパッシブチェックポイントはバージョン管理されています
PostgreSQLワイヤープロトコルTLS/SCRAM、バックプレッシャー付き行ストリーミング、SQLite割り込みキャンセル、テキスト/バイナリCRUD、実際のシングルシャードトランザクション、およびライブpsql/tokio-postgres/psycopg/SQLAlchemyマトリックス
標準SQLiteデータベースからのオフラインインポート動作中
ネイティブ範囲およびhi/lo生成ID実験的、オプション
クロスシャードインデックスおよびグローバル値リース実験的/オプション:正しさ、リカバリ、シャード削除はパス。現在のレイテンシ/書き込みオーバーヘッドはリリースゲートで文書化されています
グローバルインデックスの健全性とPrometheusメトリクス管理リスナー /health、/v1/admin/global-indexes、/metrics、およびRust運用レポート
Ubuntu/macOS x86-64およびARM64リリースアーティファクト公開済み
Debianパッケージと強化されたsystemdサービス公開済み
オプションの添付リスナーを持つRustライブラリエントリーポイント動作中。オプションのdocuments機能は、薄いネイティブドキュメントコマンドファサードを追加します
同じホストサービスと埋め込みプロセスが1つの準備完了ルートを共有ローカルファイルシステムで動作中
TinyMongo互換性を持つネイティブMongoDBワイヤープロトコルオプションのループバック検出、クエリ/カーソル、基本的な集計、メタデータ、ユニークインデックスと安全な等価候補、削除、置換/演算子upsert(find-and-modifyを含む)、およびフィールド/配列更新はドキュメントエンジンを共有します。完全なMongo互換性、全体的なバルクポストイメージセマンティクス、およびより広範なクエリ計画は進行中です
MySQLワイヤープロトコル計画中
ネイティブPython拡張型付き同期/非同期SQLおよびオプションのBSONドキュメントコマンド。タグ付きリリースは監査済みのmacOS/Linux ARM/x86ホイールをビルドします
Python標準のsqlite3読み取り専用リモートアドオン、まだ実験的。認証されたテーブルアクセス、パラメータ、およびローカル結合
サーバーレスライフサイクル計画中

BriskDBの立ち位置

これらのプロジェクトは異なる問題を解決します。この表は、コンパスであり、ベンチマークスコアボードではありません。

プロジェクト対象書き込みモデルアクセスストレージ形状
BriskDB同じホストでのシャーディング、サービス+埋め込み個別のシャードWALを横断した並列処理PostgreSQL、HTTP、Rust、Pythonマニフェスト + 通常のSQLiteシャードファイル
SQLite小規模、組み込み、単一ファイルデータベースWALファイルあたりの1つのライターSQLite APIとエコシステム通常のSQLiteファイル1つ
rqliteシンプルなマルチノード可用性書き込みはRaftログを流れる。HA向けに最適化、書き込みスケーリング向けではないHTTP + クライアントライブラリノード間でレプリケートされたSQLite状態
Turso / libSQLクラウド/エッジアクセスとローカルファースト同期製品依存のプライマリまたはローカルプッシュ/プルモデルSDK + HTTPTursoデータベースまたはレガシーSQLite互換libSQL
Citus成熟した分散PostgreSQLPostgreSQLワーカーシャードを横断した並列処理PostgreSQLPostgreSQLコーディネーター + ワーカークラスタ

ローカルサービスまたは埋め込みエンジンで書き込み競合を検査可能なSQLiteファイルに分散させながら、馴染みのあるデータベースプロトコルを話したい場合はBriskDBを選択してください。単一のSQLiteファイル、レプリケートされた高可用性、管理されたエッジ同期、または成熟したマルチノードPostgreSQLクラスタが真の要件である場合は、他のものを選択してください。

30秒で試す

公開されているネイティブホイールをインストールします。クローンやRustコンパイラは不要です。

python -m pip install --only-binary=:all: briskdb
curl -fsSLO https://raw.githubusercontent.com/schapman1974/briskdb/main/examples/launch_demo.py
python launch_demo.py

このデモは、4つのPythonスレッドから32回のルーティングされた書き込みを行い、4つの通常のSQLiteシャードファイルすべてに行が書き込まれたことを証明し、すべての行を読み戻し、HTTPヘルスチェックを行い、PostgreSQLリスナーを開始します。一時ディレクトリを使用し、終了後にクリーンアップします。GIFレンダラーはこの正確なシナリオを実行し、CIはそれを公開されているすべてのホイールターゲットに対してテストします。

スタンドアロンサービスを実行するには、最新のGitHubリリースから対応するmacOS/Linux ARM64またはx86-64アーカイブをダウンロードし、次に以下を実行します。

./briskdb --data-dir ./briskdb-data --shards 4

データブラウザを開くか、別個の管理リスナーでサービスを検査します。

curl http://127.0.0.1:7655/health
curl http://127.0.0.1:7655/v1/ready
curl http://127.0.0.1:7655/v1/admin/catalog
curl http://127.0.0.1:7655/metrics

PostgreSQLリスナーを明示的に有効にします。単純なクエリとパラメータ化されたテキスト/バイナリ準備済みクエリは、同じバウンドエンジンパスを共有します。

./briskdb --data-dir ./briskdb-data --postgres-listen 127.0.0.1:5433
psql -h 127.0.0.1 -p 5433 -d default

そのローカル開発形式は認証されておらず、したがってループバック専用です。PostgreSQLクイックスタートは、TLSおよびSCRAM-SHA-256の4つの設定を示しています。セキュアモードは、リモートバインドには必要です。

PyMongoでオプションのMongoリスナーを使用する

mongo機能を非デフォルトでソースからビルドし、次にリスナーを明示的に有効にします。これは、完全なMongoDB互換性ではなく、開発中のMongoDBサブセットです。

cargo run --locked --features mongo --bin briskdb -- \
  --data-dir ./briskdb-data --shards 4 --mongo-listen 127.0.0.1:27017

別のターミナルで、pymongoをインストールした後:

from pymongo import MongoClient

with MongoClient("mongodb://127.0.0.1:27017/?directConnection=true") as client:
    client.demo.users.update_one(
        {"_id": 123}, {"$set": {"name": "Ada"}}, upsert=True
    )
    print(client.demo.users.find_one({"_id": 123}))

BRISKDB_MONGO_LISTENは環境変数で、--mongo-listen disabledで上書きできます。Mongoはデフォルトで無効になっており、Mongoが有効なビルドでも同様です。この機能を持たないビルドは、データベースファイルを開く前にアクティベーションを拒否します。このデーモンパスは認証されておらず、ループバック専用です。パブリックプロキシ経由で公開しないでください。HTTP/PostgreSQLとMongoはエンジンとライフサイクルを共有しますが、SQLテーブルとBSONコレクションは別個のデータモデルのままです。Ctrl-C/SIGTERMは、有効になっているすべてのリスナーをドレインし、データベースを閉じます。サポートされている操作、制限、およびRustアタッチドサーバーAPIについては、Mongo互換性契約を参照してください。バウンドzlibトランスポートをオプションで有効にするには、MongoClientまたはAsyncMongoClientにcompressors="zlib"を追加してください。デフォルト接続は圧縮されません。

ソースからビルドされたPythonパッケージは、同じリスナーを、別個のデータベースプロセスなしでホストできます。./pythonとpymongoをインストールし、次に以下を実行します。

import briskdb
from pymongo import MongoClient

with briskdb.open("./briskdb-data", shards=4, documents=True) as db:
    with db.serve(mongo="127.0.0.1:0") as server:
        with MongoClient(f"mongodb://{server.mongo_address}") as client:
            client.demo.users.update_one(
                {"_id": 123}, {"$set": {"name": "Ada"}}, upsert=True
            )
            print(client.demo.users.find_one({"_id": 123}))

mongo=Noneがデフォルトです。documents=Trueはデータベースを開く際に設定する必要があります。await db.serve(mongo=...)もAsyncDatabaseで機能します。サーバーを閉じてもデータベースは実行されたままですが、データベースを閉じるとそのサーバーはドレインされます。Mongoは、TLS/SCRAM PostgreSQLや認証済みSQLiteリモートと並行しても、ループバック専用のままです。それらの認証情報はMongoポートを保護しません。

ベータ版1は、同期/非同期Pythonでdb.serve(mongo=..., mongo_tls_cert=..., mongo_tls_key=...)もサポートしています。検証済み接続にはtls=TrueとtlsCAFileを使用して、標準のPyMongoを使用してください。Python TLS例を参照してください。Rustホストはmongo-tlsを選択します。Rust TLS例を参照してください。デーモンは--features mongo-tlsとペアの--mongo-tls-cert / --mongo-tls-keyでTLSをオプションで有効にすることもできます。デーモンTLS設定を参照してください。Unixデーモンは、設定されたMongo/PostgreSQL IDローテーションのために--reload-on-sighupをオプションで選択できます。リロード契約を参照してください。これらのデーモン/Pythonパスは、Mongoを匿名およびループバック専用のままにします。プレーンテキストはデフォルトのままです。管理対象のbriskdb.patch()クライアントは、既存のプレーンテキストローカルトランスポートを保持します。

実験的なスタンドアロンRustホストは、mongo-tls,auth-scramでアクティブ化されたセキュリティルートをオプションで選択できます。検証済みTLS、Mongo SCRAM-SHA-256、現在のドキュメント権限、IDバウンドプールカーソル、スコープ付きユーザー/パスワード/ロールメンバーシップコマンド、およびバウンドアカウント/ロール検査。これは、ホイールをインストールしたり、TLSフラグを上記のように設定したりしても有効になりません。ワンウェイプロビジョニング境界と標準PyMongoログイン例については、認証済みMongo設定を参照してください。ホストは、明示的にデータベースローカルread/readWriteプロファイルをプロビジョニングし、サポートされているユーザーコマンドを通じてそれらを割り当てることができます。プロファイルは自動組み込みではなく、既存のカスタムロールを上書きすることはありません。

既存のPyMongoコードをBriskDBホイールで使用する

ベータホイールは、別個のデータベースプロセスなしでTinyMongoスタイルの使用をサポートします。ホイールとそのオプションの固定PyMongoコンパニオンをインストールします。

python -m pip install --only-binary=:all: 'briskdb[pymongo]==0.1.0b3'

ソースビルドの場合、リポジトリのルートからRust 1.85+をインストールしてpython -m pip install './python[pymongo]'を実行します。

既存のPyMongoコードを隔離されたテスト用にパッチします。

import briskdb
import pymongo

with briskdb.patch():
    # このスコープ内でMongoClientをキャプチャするアプリケーションモジュールをインポートします。
    client = pymongo.MongoClient("mongodb://ignored.example.com")
    client.app.users.insert_one({"_id": 1, "name": "Ada"})
    print(client.app.users.find_one({"_id": 1}))

フォルダなしのpatch()は、隔離された一時SQLiteファイルを使用し、終了時に削除されます。実行間でデータを保持するには、briskdb.patch(folder="./test-data")を使用します。PyMongoのコンストラクタは復元され、アプリケーションコードが例外を発生させた場合でも、スコープで作成されたクライアントは閉じられます。

パッチを適用せずに、永続クライアントを直接使用します。

from briskdb import MongoClient

with MongoClient(folder="./app-data") as client:
    client.app.users.update_one({"_id": 1}, {"$set": {"name": "Ada"}}, upsert=True)
    print(list(client.app.users.find({"name": "Ada"})))

非同期PyMongoコードを非同期スコープでパッチします。

import asyncio
import briskdb
import pymongo

async def main():
    async with briskdb.patch():
        client = pymongo.AsyncMongoClient()
        await client.app.users.insert_one({"_id": 1, "name": "Ada"})
        print(await client.app.users.find_one({"_id": 1}))

asyncio.run(main())

これらは、ホイールのRustエンジンと1つのプライベートループバックMongoソケットを使用する実際のPyMongo 4.17クライアントです。別個のデーモンまたはHTTP/管理リスナーはありません。指定されたMongoホスト、認証情報、TLS、およびトポロジ設定はリモートでは使用されません。パッチエントリの前にインポートされた既存のクライアントとエイリアスは変更されないため、アプリケーションをインポートする前にパッチを適用してください。これは、新しいMongoクエリやTinyMongoの代替ストレージバックエンドではなく、統合の利便性を追加します。パッチ適用と非同期例を参照してください。

ソースビルドは、これらのローカルクライアントを通じてTinyMongoスタイルのインデックスモデル辞書、ジェネレータ、およびPyMongo IndexModelオブジェクトも受け入れます。

with briskdb.MongoClient(folder="./app-data") as client:
    users = client.app.users
    users.create_index("name", name="by_name")
    names = users.create_indexes([{"key": {"name": -1}}])
    print(names)  # ["by_name"] — 既存の等価インデックスを再利用し、警告が表示されます

非同期クライアントはawait users.create_indexes(...)を使用します。これらのオプションヘルパーは、サーバー解決された名前を返し、降順/ハッシュ/TTL/バックグラウンド/テキストモデルが削減された動作を使用する場合に警告します。それらはTTL有効期限やテキスト検索を追加しません。通常のPyMongoクライアントは独自のAPI動作を保持します。インデックスモデル境界を参照してください。

リリースされていないメインでは、管理対象クライアントはデフォルトでインデックスビルドに5分間を割り当てます。これは通常のコマンドの15秒のデッドラインとは独立しています。MongoClient(..., index_build_timeout_ms=600_000)またはbriskdb.patch(..., index_build_timeout_ms=600_000)を使用して別の制限を選択してください。create_indexes(..., maxTimeMS=120_000)はそれを2分に絞ることができます。同じ設定は非同期クライアントでも機能します。ビルドは引き続き排他的なスキーマアクセスを必要とします。

HTTP経由で登録済みSQLテーブルをクエリする

登録済みのテーブルは、HTTP経由でもクエリできます。

curl -X POST http://127.0.0.1:7654/v1/query \
  -H 'content-type: application/json' \
  -d '{"sql":"SELECT id, name FROM widgets WHERE id = ?1","params":["widget-1"]}'

バージョン化されたHTTP契約は、リクエスト、レスポンス形状、値エンコーディング、リクエストID、適格書き込みの冪等性、バウンド行ストリーミング、制限、およびエラーを定義します。GET /v1は、サポートされているAPIバージョンと設定された結果上限を報告します。チェックされたOpenAPI 3.1アーティファクトは、同じルートとDTO定義からの正確なv1マシンサーフェスを説明しており、Cargo、ネイティブアーカイブ、およびDebianディストリビューションに含まれています。HTTPリスナー契約は、厳密なルート分割、設定、および共有の起動/シャットダウン動作を定義します。データリスナーはデフォルトで127.0.0.1:7654、管理リスナーはデフォルトで127.0.0.1:7655であり、--admin-listen disabledで無効にできます。

既存のSQLiteデータベースがありますか?オフラインのSQLiteインポーターを使用してください。Linuxリリースには、強化されたsystemdサービスを含む.debパッケージも含まれています。

Rustへの埋め込みは、BriskDb::open()または検証済みビルダーから始まります。埋め込みRustガイドには、完全なリスナーなしの例が含まれています。データを作成する際にシャード数を選択してください。後で開くときにマニフェストから検出され、明示的な不一致は拒否されます。SQL専用の埋め込みには、default-features = falseとembedded機能を組み合わせて使用します。ネイティブBSONコマンドをBriskDbまたは所有するBriskSession経由で送信するには、documentsを選択し、DocumentSupportを明示的に有効にします。両方の形式は、将来のプロトコルアダプターと同じドキュメントエンジンとルーティング計画を使用します。クレート機能マップを参照してください。

Pythonは同じエンジンを直接インプロセスで実行します。デフォルトではリスナーを開始しませんが、Database.serve()でデータHTTP、管理HTTP、およびPostgreSQLリスナー(リモートPostgreSQLにはTLS/SCRAM引数が必要)をアタッチできます。

with briskdb.open("./data", shards=4) as db:
    with db.serve(postgres="127.0.0.1:0") as server:
        print(server.data_address, server.admin_address, server.postgres_address)

beta.1では、既にセキュアなアタッチされたPostgreSQLサーバーは、server.reload_postgres_security(...)とその非同期同等物もサポートしています。TLSリロード例を参照してください。暗号化されたアタッチされたMongoもserver.reload_mongo_tls(...)とその非同期同等物をサポートしています。Mongo証明書ローテーションを参照してください。

ホイールは、同期および非同期セッションを通じて、現在のプロトコルニュートラルなドキュメントスライスも公開します。PyMongoをインストールしてBSON値クラスを使用し、次にデータベースハンドルでドキュメントコマンドを有効にします。

python -m pip install briskdb pymongo
from bson import ObjectId
import briskdb

with briskdb.open("./data", shards=4, documents=True) as db:
    with db.session() as session:
        session.create_collection("app", "notes")
        note_id = ObjectId()
        session.insert_one("app", "notes", {"_id": note_id, "body": "hello"})
        print(session.find("app", "notes", {"_id": note_id})["documents"])

PyMongoはオプションのままで、ドキュメントメソッドが実行されたときにのみロードされるため、SQL専用のインストールにはBSON依存関係がありません。現在のスライスは、コレクション/インデックスメタデータ、単一ドキュメント挿入(オプションの_id付き)、BSON find/count/distinct、基本的な集計と保持されたカーソル、フィルタリングされた削除、置換、フィールド/配列更新をサポートします。置換、update_one/many、およびfind-and-modify upsertはサポートされています。その他の更新演算子、ネイティブPythonバルク書き込みヘルパー、およびより広範なインデックスベースの計画は、引き続き計画中です。セカンダリインデックス宣言はpending_buildのままです。同期および非同期書き込み/読み取り例についてはPythonクイックスタートを参照し、BSON値、datetime、UUID、およびエラー動作についてはPython値契約を参照してください。タグ付きリリースは、サポートされているプラットフォームマトリックスに対してコンパイラ不要のcp39-abi3ホイールを公開します。リポジトリチェックアウトは、Rust 1.85+でソースからインストールできます。独立して起動されたPython、Rust、およびサーバープロセスは、準備完了のローカルデータディレクトリを共有できます。マルチプロセス契約を読んでから、そのパターンをデプロイしてください。

まだ検査可能なファイルのみ

briskdb-data/
├── .briskdb-process.lock
├── .briskdb-startup.lock
├── manifest.sqlite
├── global-indexes/
│   └── global.sqlite
└── shards/
    ├── 0000.sqlite
    ├── 0001.sqlite
    ├── 0002.sqlite
    └── 0003.sqlite

マニフェストは、ルーティング、カタログ、マイグレーション、生成IDの所有権、および整合性メタデータをバージョン管理します。アプリケーション行は通常のSQLiteファイルに残ります。

今後の展開

  • MongoDB: 共有マッチャーとオプションのRustリスナーを、書き込み、インデックス、カーソル、および集計セマンティクスで拡張し、埋め込みおよびワイヤークライアント全体で差分TinyMongo互換性を証明します。
  • より多くのワイヤープロトコル: より広範なPostgreSQLクライアント互換性とMySQLリスナーを、すべて同じエンジン動作を共有します。
  • サーバーレスストレージ: アトミックスナップショット、オブジェクトストアアダプター、および今日の埋め込みウォームハンドラーパターンを超えるフェンス付きシングルライター操作。
  • 将来のストレージアダプター: SQLiteは最初のバックエンドですが、エンジン境界は他の永続バックエンドで再利用可能に保たれています。

ロードマップをフォローするか、オープンイシューを参照してください。

ビルドをフォローする

これらのいずれかの賭けに続く場合は、BriskDBにスターを付けてください。

  • 大規模アプリのTinyMongo互換性を持つネイティブMongoDBワイヤープロトコル。
  • 同じプロトコルニュートラルなRustエンジン über MySQL互換性。
  • サーバーレススナップショットとオブジェクトストアバックエンドのライフサイクル。
  • 通常のSQLiteオプションを手放すことなく、より多くのストレージバックエンド。
  • ベータテスト全体での正直なベンチマークと障害証拠。

試してみて、クライアント、ワークロード、または欠落しているSQL形状に関する問題があれば、スターよりもさらに価値があります。まずプレリリースから始め、次に何が壊れたか、または何が驚いたかを教えてください。

正直なベータ境界線

  • PostgreSQLにはTLSと単一IDのSCRAM-SHA-256認証がありますが、ロールや承認はまだありません。分離されたHTTPデータおよび管理リスナーは、ループバック専用の開発サーフェスとして残ります。デーモン、Rust、およびPythonアタッチドホストは、HTTP/管理TLSとIDリロードをオプションで有効にできますが、その認証境界は変更されません。
  • 複数のシャードファイルにわたる一般的なアトミックトランザクションはありません。
  • グローバル順序付け/ページネーションと一般的な集計プッシュダウンはまだ制限されています。
  • HTTPはバウンド行ストリーミングを提供しますが、保持されたカーソル、継続トークン、クロスシャードスナップショット、または新しいグローバルORDER BY/OFFSET/LIMITセマンティクスはありません。
  • 現在サポートされているバックアップは、すべてのサーバーとエンベッダーが終了した後の完全なデータディレクトリの停止サーバーコピーです。パッシブチェックポイントは現在、Rustと管理APIの両方を通じてシャード、マニフェスト、およびグローバルインデックスストレージを報告しますが、オンラインスナップショットではありません。バックアップ機能エンドポイントは、ライブファイルをコピーするのではなく、この制限を報告します。オンライン/サーバーレススナップショットが計画されています。
  • マルチプロセスアクセスは、同じホスト/ローカルファイルシステムのみです。スキーマ、カタログ、アップグレード、およびリカバリ作業には、単一プロセス所有権が必要です。
  • 1.0未満のストレージと公開ライブラリの互換性は、リリース間で変更される可能性があります。
  • Pythonドキュメントコマンドは、バウンドBSONクエリ、基本的な集計、メタデータ/カーソル、フィルタリングされた削除、置換、およびフィールド/配列更新をサポートします。置換、update_one/many、およびfind-and-modify upsertはサポートされています。その他の更新演算子、ネイティブPythonバルク書き込みヘルパー、およびより広範なインデックスベースの計画は、引き続き計画中です。明示的なbuild_indexビルドはエントリを維持しました。PyMongo create_index / create_indexesも、通常の、複合、スパース、および部分的なインデックス(unique=Trueを含む)をビルドします。ユニークキーは、すべてのレコード書き込みでシャード全体で強制され、重複はコード11000で失敗します。ビルドは単一プロセス所有権を必要とします。サポートされている完全な等価タプルは、Readyインデックス候補と完全なBSONマッチングを使用します。非ユニークインデックスは、ネスト/オブジェクト/配列およびその他の有効なBSON値を受け入れ、値に通常の等価キーがない場合は保守的な候補を保持します。混合PyMongoインデックスモデルは、非ユニークハッシュキーを等価インデックスとして受け入れ、TTL/バックグラウンドオプションを明示的な削減動作警告とともに受け入れます。TTLはデータを期限切れにしません。非ユニークテキスト宣言は明示的にスキップされ、ビルドされません。$textクエリは引き続きサポートされていません。インデックス互換性を参照してください。部分インデックス、スパース全ヌルクエリ、およびサポートされていない形状はスキャンを保持します。PyMongo drop_index / drop_indexesは、ドキュメントを削除せずにセカンダリインデックスを削除します。_id_は保護されたままです。マルチドキュメント書き込みはシャードごとにコミットされ、グローバルアトミック性やMongoDBのドキュメントごとの障害境界保証はありません。バルク更新は、最終的なポストイメージがユニークになる場合でも、一時的なキーの衝突を拒否する可能性があります。そのTinyMongo互換性作業は未解決のままです。
  • Ubuntu 24.04 x86-64は、完全な必要なRust CIスイートを受け取ります。Pythonホイールは、Linux/macOS x86-64およびARM64でネイティブビルド、監査、インストール、再起動、破損、および並列処理チェックを受け取ります。
  • グローバルインデックスの運用メトリクスは利用可能ですが、BriskDBはまだトレース、スロークエリログ、リソース飽和、アラートルール、および長時間実行される容量検証のためのより広範な本番スイートを持っていません。

さらに深く

BriskDBはMITライセンスの下で利用可能です。