NixにSQLiteを組み込む3つの方法
Three ways to smuggle SQLite into Nix (fzakaria.com)
要約
この記事では、Nixパッケージマネージャーで大量のデータを扱う際に、JSONファイルよりも効率的なSQLiteデータベースの組み込み方法を3つ紹介しています。`builtins.exec`、`builtins.importNative`、そしてデータをNixの式として直接扱う方法が解説されており、それぞれの利点と欠点が説明されています。
全文翻訳
NixにSQLiteを組み込む3つの方法
nixpkgs-multiverseの中核は、Nix APIとCLIを取り除けば、インデックスです。これは (attribute, version) からそれをJSONファイルとして出荷したリビジョンへのマップです。11実際には、統計や"高速モード"のような他の機能を実現するファイルもいくつかありますが、それらもすべてJSONです。
$ ls -lh index/
-rw-r--r--. 1 fmzakari fmzakari 7.5M Aug 19 13:57 history.json
-rw-r--r--. 1 fmzakari fmzakari 5.3M Aug 19 13:57 versions.json
9cc0209の時点で、versions.json は5.3 MiB、history.json は7.5MiBで、31,904パッケージと1,534リビジョンにわたる305,492のパッケージバージョンをカバーしています。
Nix APIはJSONファイルを遅延読み込みし、すべて builtins.fromJSON を介して読み込まれます。
index = builtins.fromJSON (builtins.readFile ./index/versions.json);
さらに多くの情報でデータをリッチにしたいのですが、それはコストを伴います:データが増えれば問題も増えます。
プロジェクトの目標は、ダウンロードされるNixpkgsの数を最小限に抑えることです。もし巨大なNixpkgsの取得を巨大なJSONの取得に置き換えるだけでは、明確な勝利とは言えません。
今のところ、JSONファイルに何を格納するかを慎重に選び、データを小さくコンパクトにするための巧妙なエンコーディングスキームを考える必要があります。
もしNixの builtins に制約されなければ、データセットを効率的にエンコードし、複数のクエリパターンを可能にする技術を活用できるでしょう:データベースです!
JSONに制約されないとしたら、他にどのような選択肢があるでしょうか?
ファイル1つを検索するコストはファイル全体
なぜ巨大なJSONファイルは問題なのでしょうか? builtins.fromJSON は即時評価です。Nixには遅延JSONやストリーミングパース(つまり「このキーだけをください」)はありません。結果に触れた瞬間に、5.3 MBすべてをパースし、305,492個すべての値をNixヒープに展開してしまいます。
マルチバースの場合、1つのパッケージを要求するコストは、すべてを要求するコストと同じです。
注意 検索自体は問題ではありません。Nixの属性セットはソートされた配列なので、アクセスはスキャンではなく二分探索です。コストは完全にJSONのパースと、値の割り当て、および大きなファイルのダウンロードにあります。
インデックスに対して代替の質問をしたい場合は、アクセスパターンに合わせて効率的に格納されていることを確認する必要があります。
私たちが望むものは明白です。データを効率的にエンコードする方法と、クエリを宣言的に定義する方法が必要です:SQLiteが欲しいのです!22nixpkgs-multiverseはすでにSQLiteデータベースをパッケージとしてエクスポートしており、他の人がこのデータを探索するのを助けています。
$ sqlite3 index.db "SELECT version, rev FROM versions WHERE attr='hello'"
2.10|728
...
0.01s, 4 MB
残念ながら、Nixはデフォルトではこれを実行できません。builtins.sqlite はありませんが、あるべきだと思います…
しかし、幸いなことに、私たちが望むものを手に入れるために触れることができるノブやパッチを当てることができるソースがあります。ただし、それぞれに注意点があります。😈
1: builtins.exec
この builtin について知らなかったことに驚きました。これはリリース1.11.9の2017年4月から存在しています。利用可能なものでは実現できないさまざまなユースケースのための究極のエスケープハッチです。
builtins.exec は文字列のリストを受け取り、プログラムを実行し、その標準出力をNix式としてパースします。
これは、安全でないことを明確にする設定によって制限されています。
$ nix eval --option allow-unsafe-native-code-during-evaluation true \
--expr 'builtins.exec [ "/bin/sh" "-c" "echo 42" ]'
42
統合のために、SQLiteはNix構文を出力するのに完全に適しています。SQLiteが直接属性セットを出力するようにするので、間にシリアライゼーションフォーマットを必要としません。
let
versionsOf = attr:
builtins.exec [
"${sqlite}/bin/sqlite3" "-noheader" "-separator" "" "./index.db"
''
SELECT '{' || group_concat(
'"' || version || '" = ' ||
COALESCE(CAST(rev AS TEXT), 'null') || ';', ' ')
|| '}'
FROM versions WHERE attr = '${attr}';
''
];
in
versionsOf "hello"
$ nix eval --impure -f query.nix \
--option allow-unsafe-native-code-during-evaluation true
{
"2.10" = 728; "2.12" = 822; "2.12.1" = 1369;
"2.12.2" = 1486; "2.12.3" = null; "2.7" = 0; "2.8" = 13;
}
注意点は、すべてのクエリが fork、exec、SQLiteのプロセスイメージ、そしてNixパーサーによる出力の再パースになることです。多くのクエリを実行する予定がない場合、そのオーバーヘッドは、統合の単純さを考えると許容範囲内でしょう。
2: builtins.importNative
builtins.exec を調査しているうちに、builtins.importNative を見つけました。これは共有オブジェクトへのパスとシンボル名を受け取り、それを dlopen し、そのシンボルを呼び出します。これは1.8(2014年12月)に導入されました。33C++フィールドは元々 enableImportNative と呼ばれていましたが、exec のために enableNativeCode に改名されました。
共有オブジェクトは以下のシグネチャを実装する必要があります。
extern "C" typedef void (*ValueInitializer)(EvalState & state, Value & v);
新しいネイティブ関数を定義して、入力に対するバージョンを返すことができます。
extern "C" void nix_sqlite_versions(EvalState & state, Value & v)
{
v.mkPrimOp(new PrimOp{
.name = "nix_sqlite_versions",
.args = {"dbPath", "attr"},
.arity = 2,
.impl = versions,
});
}
実装は通常のC++で、Nix APIを使用しています。以下は実装のスニペットで、builtins.exec と同じ起動ペナルティを避けるために sqlite3 ハンドルをキャッシュするようにしています。
/* 全体のポイント:データベースハンドルは単一のクエリよりも長く存続するため、
アクセスされたbツリーページは評価全体でウォーム状態を保ちます。 */
std::map<std::string, sqlite3 *> handles;
void versions(EvalState & state, const PosIdx pos,
Value ** args, Value & v)
{
std::string path(state.forceStringNoCtx(*args[0], pos, "..."));
std::string attr(state.forceStringNoCtx(*args[1], pos, "..."));
// 呼び出し間でキャッシュされる
auto * db = openOnce(state, pos, path);
sqlite3_stmt * stmt = nullptr;
sqlite3_prepare_v2(db,
"SELECT version, rev "
"FROM versions "
"WHERE attr = ?1",
-1, &stmt, nullptr);
sqlite3_bind_text(stmt, 1, attr.data(),
attr.size(), SQLITE_TRANSIENT);
/* ...行を収集... */
/* 属性セットを直接構築します。テキストは一切存在しません。 */
auto bindings = state.buildBindings(rows.size());
for (auto & [version, rev] : rows) {
auto & slot = bindings.alloc(state.symbols.create(version));
if (rev) slot.mkInt(*rev); else slot.mkNull();
}
v.mkAttrs(bindings);
}
使用方法は以下のようになります。
$ nix eval --impure \
--option allow-unsafe-native-code-during-evaluation true \
--expr '(builtins.importNative
./libnixsqlite.so "nix_sqlite_versions"
) "./index.db" "hello"'
{
"2.10" = 728; "2.12" = 822; "2.12.1" = 1369;
"2.12.2" = 1486; "2.12.3" = null; "2.7" = 0; "2.8" = 13;
}
3: 巨大なNixファイル
このセクションは、rickynilsからのアイデアに基づいて公開後に追加されました。
NixはJSONに似ているとよく説明されますが、JSONからNixへの簡単な翻訳があります。もしJSONを読む代わりに、同じ内容を .nix ファイルとして読んだらどうなるでしょうか?
理論的には、パーサーの境界もなく、fromJSON もなく、シリアライゼーションフォーマットも一切ありません。インデックスは、評価器がすでに読み方を知っている式になります。
アイデアは、Nixの遅延性を活用することです。Nixの属性セットの値はソケット(thunk)なので、原理的には非常に大きな式を import して、1つの属性に触れるだけで、残りのインスタンス化のコストを払わずに済むはずです。
インデックスを変換するのはPythonで十数行で済み、JSONに非常に似たものが出力されます。
{
revisionCount = 1534;
attrs = {
"2048-in-terminal" = { "2015-01-15" = 157; "2017-11-29" = 166; };
"2bwm" = { "0.2" = 166; };
"389-ds-base" = { "1.3.3.9" = 14; "1.3.5.15" = 100; "1.3.5.19" = 166; };
# ...さらに31,901件
};
}
JSONの5.3 MiBに対して6.0 MiBのNixで、同じデータを保持しています。
$ nix eval --impure --expr '(import ./index.nix).attrs.hello'
{
"2.10" = 728; "2.12" = 822; "2.12.1" = 1369;
"2.12.2" = 1486; "2.12.3" = null; "2.7" = 0; "2.8" = 13;
}
4: builtins.wasm
Determinate Systemsは2026年3月に別のオプション、builtins.wasm をリリースしました。これはWebAssemblyモジュール内の関数を呼び出します。44EelcoはSCALE 23xでこれに関する講演を行いました。動機は、Nixの表面積を拡張したいが builtins を増やしたくないという欲求と同様でした。Wasmはサンドボックス化されており決定論的なので、上記の2つの組み込みとは異なり、目標は安全なエスケープハッチを提供することです。
WebAssemblyはスタックベースの仮想マシンのバイナリ命令フォーマットです。Nixに適しているという主張は、それが決定論的な実行を持つためであり、バックドア builtins.exec よりもはるかに制限されています。
モジュールの作成
モジュールは memory、nix_wasm_init_v1 という初期化子、そしてエントリポイントをエクスポートする必要があります。
#![no_std]
#![no_main]
type ValueId = u32;
#[panic_handler]
fn panic(_: &core::panic::PanicInfo) -> ! {
core::arch::wasm32::unreachable()
}
// Nix評価器によって提供されるホスト関数。
#[link(wasm_import_module = "env")]
unsafe extern "C" {
fn get_int(v: ValueId) -> i64;
fn make_int(n: i64) -> ValueId;
}
#[unsafe(no_mangle)]
pub extern "C" fn nix_wasm_init_v1() {}
fn fib(n: i64) -> i64 {
if n <= 1 { 1 } else { fib(n - 1) + fib(n - 2) }
}
#[unsafe(no_mangle)]
pub extern "C" fn fib_entry(arg: ValueId) -> ValueId {
unsafe { make_int(fib(get_int(arg))) }
}
Nixpkgsにはクロスコンパイル用のターゲットがすでに含まれているため、作成は非常に簡単です。
pkgs.runCommand "nix-wasm-rust-fib"
{
nativeBuildInputs = [ pkgs.rustc pkgs.lld ];
src = ./modules.rs;
}
''
mkdir -p $out
rustc --target wasm32-unknown-unknown --crate-type cdylib -O \
-o $out/modules.wasm $src
''
$ nix eval --extra-experimental-features wasm-builtin \
--expr 'builtins.wasm { path = ./modules.wasm;
function = "fib_entry"; } 30'
1346269
Nix API関数を通じて評価器にコールバックすることで、wasmモジュールは builtins.importNative と同様に、実際のNix値を構築します(ただし、足元の穴はありません)。
SQLiteは使えますか?
SQLiteは公式のwasmビルドを配布していますので、ピースはすべて揃っているように見え、私の頭の中で歯車が回り始めました。
[画像: 猫がSQLiteをもらえないか尋ねているミームの写真]
従来のNix builtins でSQLiteデータベースをロードしようとする初期の試みは、Nix文字列にNULLバイトを含めることができないため、少し失敗しました。
$ nix eval --impure --expr 'builtins.stringLength (builtins.readFile ./index.db)'
error: the contents of the file '/tmp/mvsql/index.db' cannot be represented as a Nix string
幸いなことに、LLMによる追加のデューデリジェンスの助けを借りて、ブログ記事にはないNix API関数の1つを発見しました。
/**
* ファイルの内容をWasmメモリに読み込みます。これは `builtins.readFile` を呼び出すのと似ていますが、
* Nix文字列として表現できないバイナリファイルを扱える点が異なります。
*/
uint32_t read_file(ValueId pathId, uint32_t ptr, uint32_t len)
read_file はまさにこの問題のために設計されています。この関数により、WASMモジュールはディスク上の任意の生のバイトをメモリにプルできます。
残念ながら、それは少し広すぎて、ファイル全体を読み込みます。これは、最初のJSONソリューションで避けようとしていたことと少し異なります。
探求のために、実装をパッチし、ランダムアクセスとファイルの部分読み込みを可能にするようにAPIを拡張しましょう。追加するパッチは比較的小さく、簡単であることがわかりました。
/**
* ファイルの範囲をWasmメモリに読み込みます。`offset` から開始し、最大`len`バイトをコピーします。
* 実際にコピーされたバイト数を返します。
*/
uint32_t read_file_range(ValueId pathId, uint64_t offset,
uint32_t ptr, uint32_t len)
{
auto & pathValue = getValue(pathId);
auto path = state.realisePath(noPos, pathValue);
auto buf = memory().subspan(ptr, len);
/* ディスク上の実際のファイルであれば、位置指定読み込みを行います */
if (auto physical = path.getPhysicalPath()) {
AutoCloseFD fd{open(physical->string().c_str(),
O_RDONLY | O_CLOEXEC)};
if (!fd)
throw SysError("opening file '%s'", physical->string());
auto n = pread(fd.get(), buf.data(), len, offset);
if (n < 0)
throw SysError("reading file '%s'", physical->string());
return n;
}
/* それ以外の場合は、ファイル全体をマテリアライズすることにフォールバックします。 */
auto contents = path.readFile();
if (offset >= contents.size())
return 0;
auto n = std::min<size_t>(len, contents.size() - offset);
memcpy(buf.data(), contents.data() + offset, n);
return n;
}
これで、SQLiteとカスタム仮想ファイルシステム(VFS)レイヤーをフックアップするために必要なすべてが揃いました。これは、提供された /nix/store パスエントリから読み取ります。
SQLiteのWASMターゲットをビルドし、SQLITE_OS_OTHER=1 を設定します。このフラグはSQLiteのVFSレイヤー全体を削除し、VFSの提供を要求します。
pkgs.pkgsCross.wasi32.stdenv.mkDerivation {
pname = "sqlite-nix-wasm";
buildPhase = ''
$CC -O2 -o sqlite_nix.wasm \
-I${amalgamation} ${amalgamation}/sqlite3.c sqlite_nix.c \
-DSQLITE_OS_OTHER=1 \
-DSQLITE_THREADSAFE=0 \
-DSQLITE_OMIT_LOAD_EXTENSION \
-DSQLITE_OMIT_WAL \
-Wl,--export-memory
'';
}
ビルドに xRead APIの簡単な実装を提供します。これは、新しく公開された nix_read_file_range 関数を介してNix評価器へのコールバックです。その他はすべてスタブです。
static const sqlite3_io_methods nixIoMethods = {
.iVersion = 1,
.xClose = nixClose,
.xRead = nixRead,
.xFileSize = nixFileSize,
.xDeviceCharacteristics = nixDeviceCharacteristics,
/* ...残りはスタブです... */
};
static int nixRead(sqlite3_file *f, void *buf,
int amt, sqlite3_int64 off)
{
NixFile *p = (NixFile *) f;
/* 重要な1行:SQLiteのページャーが
ページを要求し、Nix評価器に
正確にそのバイトを要求します。 */
unsigned got = nix_read_file_range(p->pathId, (unsigned long long) off,
buf, (unsigned) amt);
if (got < (unsigned) amt) {
memset((char *) buf + got, 0, (unsigned) amt - got);
return SQLITE_IOERR_SHORT_READ;
}
return SQLITE_OK;
}
注意 残念ながら、
builtins.wasmはすべての呼び出しで新しいインスタンスを生成します。これは実装による意図的なもので、fork&execほど劇的ではないにしても、毎回起動コードのコストを支払うことになります。
sqlite_nix WASMモジュールは、{ db, sql } という属性セットを受け取り、行ごとに1つの属性セットを返します。55完全な sqlite_nix.c、VFS、ビルド導出、およびNixパッチはすべてこのgistにあります。
任意のSQLを提供できるようになり、データセットをクエリできるようになりました!
# query.nix
builtins.wasm { path = ./sqlite_nix.wasm; } {
db = ./index.db;
sql = "SELECT version, rev FROM versions
WHERE attr = 'hello' ORDER BY version";
}
$ nix eval --extra-experimental-features wasm-builtin -f query.nix
[ { rev = 728; version = "2.10"; } { rev = 822; version = "2.12"; }
{ rev = 1369; version = "2.12.1"; } { rev = 1486; version = "2.12.2"; }
{ rev = null; version = "2.12.3"; } { rev = 0; version = "2.7"; }
{ rev = 13; version = "2.8"; } ]
SQLの利点は、JSONのデータの形状に限定されなくなったことです。
# どのパッケージが最も多くのバージョンを出荷しましたか?
sql = "SELECT attr, COUNT(*) AS versions FROM versions
GROUP BY attr ORDER BY versions DESC LIMIT 3";
# => [ { attr = "linux"; versions = 548; }
# { attr = "linux_latest"; versions = 540; }
# { attr = "freefall"; versions = 534; } ]
これは実際の完全なSQLiteであり、すべての機能(クエリプランナー、集計、サブクエリ、インデックスを通じたbツリーの下降)を備え、Nix評価器内で実行されます。すべてWebAssemblyを介して。🤯
これらの回答はすべて、同じクエリに対する sqlite3 CLIの出力とビット単位で同一です。
ベンチマーク
これらはどのように比較されるでしょうか?ここでは、同じ質問に答えるすべての方法を示します:「どのリビジョンがこのパッケージを出荷したか?」これは、22 MBのSQLiteビルドのインデックス、またはファイル全体のJSON/Nix同等物に対して行われます。
最初に不満を述べたように、fromJSON は間違った場所にあるフラットラインです。 5.3 MBのパースが一度だけ行われ、その後のすべてを支配するため、1つの質問でも200の質問でも0.29秒です。
巨大な .nix ファイルも同じフラットラインですが、より高く描かれています。 それは、置き換えたJSONの時間のおよそ2倍、メモリの1.7倍です。驚くべきことに、遅延性は助けになる機会を得られません。ファイルをインポートして何も触らないだけでも0.53秒かかります。ベースラインコストはパースであり、パースは即時評価です。NixはファイルをBison文法で処理し、305,492個のエントリすべてに対してASTを構築し、シンボルテーブルにすべての属性名を追加します。fromJSON はASTを完全にスキップして、バイトから値に直接移行するため、シリアライゼーション境界を持つフォーマットがそれを持たないフォーマットよりも優れています。
builtins.exec は最も安価に始まり、上昇します。 fork + exec + 出力のNixパースのクエリごとに約3.8 msです。80クエリあたりでfromJSONを横切ります。
builtins.importNative はフラットでほぼ無料です。 評価全体で0.05秒です。なぜなら、複数の呼び出しでSQLiteインスタンスを再利用するからです。データベースは評価全体で一度開かれ、ページはウォーム状態を保ちます。
残念ながら、wasm内のSQLiteは固定コストに支配されています。 約2.5秒で最初のクエリが実行され、その後はクエリごとに約7 msです。その2.5秒は1.1 MBのSQLiteをコンパイルするCraneliftによるものです。現時点ではWASM実装の制限ですが、Eelcoは生成されたコードは将来的に呼び出し間でディスクにキャッシュできる可能性があると述べています。
30パッケージをピン留めしたロックファイルの場合、現在のインデックスサイズでは fromJSON が依然として圧倒的に優れています。
本当に欲しいもの
これらのどれも、マルチバースインデックスを出荷するには適切ではなく、nixpkgs-multiverse を allow-unsafe-native-code-during-evaluation に依存させるつもりはありません。私のflakeをより速くするために、評価器をネイティブコードロードを有効にして実行するように人々に依頼するのは、現時点では価値のある要求ではありません。
今のところ、インデックスはJSONのままで、はるかに多くのデータを必要とする、より野心的なアイデアのいくつかは保留しています。
哲学的にはCppNixしか使用しませんが、WASMがエコシステムでアンロックできるものに少し興味をそそられ、感銘を受けました。JITの待ち時間や、コンパイル済みバイナリをチェックインする可能性のある開発者体験のような欠点もありますが、さまざまな問題をアンロックする可能性は間違いなくあります。