[sqlx::test] のリビルド時間を最適化する
Optimizing [sqlx:test] rebuild time (kobzol.github.io)
要約
筆者は、Rustの`sqlx::test`マクロを多用するプロジェクト(borsの再実装)において、テストのリビルドに8〜10秒かかる問題に直面しました。この遅延の原因が、`#[sqlx::test]`マクロが各テストの近くにすべてのデータベースマイグレーションのコードをインライン展開することにあると特定。この問題を解決するため、マイグレーションのロードをコンパイル時ではなくランタイムに移動するか、または共有変数として参照する既存の解決策(`#[sqlx::test(migrator = "crate::MIGRATOR")]`)を使用することで、リビルド時間を大幅に短縮できることを示しています。
全文翻訳
Optimizing #[sqlx::test] rebuild time
この投稿は、
#[sqlx::test]テストが多いプロジェクトをお使いの場合に特に役立つかもしれません。
過去数年間で私が取り組んだアップストリームのRustプロジェクトの1つに、私たちがrust-lang/rustのすべてのPRをマージするために使用しているマージキューボットであるborsのリライトがあります。このボットについてさらに詳しく知りたい場合は、RustWeek 2026での私のトークをご覧ください。
私はborsのインテグレーションテストスイートに非常に誇りを持っています。多くの労力を費やしたおかげで、2026年1月に本番環境にデプロイされて以来、ボットはほぼ完璧に動作しています(最近GitHubがしばしば…問題を抱えているにもかかわらず)。
しかし、私がそれほど満足していないことの1つは、borsのインクリメンタルリビルド時間、特にそのテストスイートです。私のラップトップでは、変更ごとにテストをリビルドするのに約8〜10秒かかり、これは生産性にとって非常に悪いことです。
最近、ついにビルド時間をプロファイル1する時間ができ、それがいくつかの要因の組み合わせによって引き起こされていることを学びました。
- デバッグ情報の生成に時間がかかります。これは既知の問題ですが、この場合、デバッグ情報(デバッグと
borsテストのステップ実行)を実際に頻繁に行うため、デバッグ情報を諦めたくはありませんでした。 rustcがインクリメンタルセッションをロードして永続化するのに時間がかかります。これについては調査する予定です。- おそらくすべてのデバッグ情報(最終的なバイナリは約220 MiB)のため、
lldがテストをリンクするのに丸1秒 (!) かかります。wildを使用すると、わずか約200msです。 borsで多用しているsqlx::testのコンパイルに時間がかかります。これはこの記事で焦点を当てることです。
Slow compilation of sqlx tests
参照として、ベンチマークにはtouch <test-file> && time cargo test --no-runを使用しました。ノープ(no-op)な変更の後でも、テストを再コンパイルするのに約7.5秒かかり、これは非常に遅いです。
もちろん、sqlxのプロシージャマクロが、それらが行う(犯罪興味深い)ことすべて2のためにコンパイル時間を遅くすることはよく知られています。しかし、私が遭遇したケースはそれほど明白ではないかもしれません。私の場合は、sqlxは実際にはデータベースに接続していませんでした!SQLX_OFFLINE=1でコンパイルしているため、SQLクエリを直接操作している場合を除きます。そして、はい、sqlxドキュメントで推奨されているように、sqlx-macrosクレートにopt-level = 3を設定しています。
では、何が起こっているのでしょうか?それを知るには、次のようなテストがある場合に何が起こるかを理解することが重要です。
#[sqlx::test]
async fn test_foo(pool: sqlx::PgPool) {}
#[sqlx::test]属性は非常に便利です。テストの実行前に新しいデータベースを作成し、それにマイグレーションを実行し、テストを実行するためのデータベース接続プールを提供してくれるため、モックされたHashMap3ではなく実際のデータベースに対してテストを実行できます。
待ってください、マイグレーションと言いましたか?うーん、どこで見つけるのでしょうか?もちろん、ディスクから!#[sqlx::test]の各使用は、ディスク上のディレクトリからすべてのマイグレーションを収集し、次に各マイグレーションを読み取り、解析し、検証し、ハッシュします。おそらく直感に反しますが、この部分はそれほど遅くはありません!Rustは実際にはかなり高速であることが判明しました(誰が知っていたでしょうか??)、そして数ギガバイトのマイグレーションがない場合、I/Oも問題ではないでしょう4。
もっと悪いのは、これらのマクロによって生成される出力です。そのような各テストについて、マクロはマイグレーションの完全なリストを、それらのテキストコンテンツとバイト配列形式のチェックサムとともに、Rustソースコード内に定数として生成します。したがって、マクロを展開すると、各テストの前に次のようなものが見つかります。
args.migrator(&::sqlx::migrate::Migrator {
migrations: ::std::borrow::Cow::Borrowed(&[
::sqlx::migrate::Migration {
version: 20240517094752i64,
description: ::std::borrow::Cow::Borrowed("create build"),
migration_type: ::sqlx::migrate::MigrationType::ReversibleUp,
sql: ::std::borrow::Cow::Borrowed("CREATE TABLE <skipped>)"),
no_tx: false,
checksum: ::std::borrow::Cow::Borrowed(&[193u8, 202u8, <skipped>]),
},
::sqlx::migrate::Migration {
<skipped>
},
<skipped>
]),
<skipped>
});
上記の例は短縮されており、多くの部分が省略されています。実際の生成コードはさらに長くなり、もちろんマイグレーションの数(および内容)に応じてスケールします。
ソースコードにこれが一度だけ含まれている場合、それはそれほど悪くありません。しかし、borsでは、約350のsqlxテストと30のマイグレーションがあります。その時点で、それはかなり急速に積み上がり始めます。
マイグレーションがビルドの遅延の一部を引き起こしているという仮説をテストするために、残りを削除してマイグレーションが1つだけの場合に何が起こるかをテストしました。そして確かに、リビルド時間は約7.5秒から約5秒に即座に減少しました!おそらくさらに示唆的なのは、cargo expand --lib --testsの出力サイズが30のマイグレーションで32 MiB(!)だったのが、1つのマイグレーションで「わずか」6 MiBになったことです。追加の26 MiBのRustコードのコンパイルが無料ではないことは確かです。
コンパイル時間だけではありませんでした。プロファイルでは、プロシージャマクロの実行中にquoteクレートを使用してすべてのマイグレーション説明データをトークンに変換するのに、かなりの時間がかかるように見えました。
この動作は非常に気づきにくい可能性があります。プロジェクトの開始時には、リビルドは高速(少なくともより高速)だったからです。しかし、その後、追加されたテストごと、追加されたマイグレーションごとに、リビルド時間はゆっくりと増加し、気づかぬうちに忍び寄ってきます。
昨年コンパイラに組み込んだ実験的なプロシージャマクロキャッシング機能が役立つかどうか試しましたが、効果はありませんでした。おそらく、生成されたコードをコンパイルするのに必要な時間は、プロシージャマクロ自体を実行する時間をはるかに超えるため、プロシージャマクロ自体がキャッシュされても役立ちません。
訂正:#[sqlx::test]は属性であり、deriveマクロではないため、このフラグは適用されません。修正してくれた@futileに感謝します。
What can be done about it
まず、生成されるコードのサイズを削減する方法について考え始めました。例えば、チェックサムバイト配列をよりコンパクトな形式で表現するなどです。これはおそらく役立つでしょうが、各テストの隣にすべてのマイグレーションのコードを生成する限り、コードが多すぎるままだと気づきました。
次に、マイグレーションのロードをコンパイル時から(テスト)実行時に移動するようにsqlxをパッチして、インライン化されたすべてのマイグレーションを削除しようとしました。これは実際に望ましい効果をもたらしました!リビルド時間は約5秒に減少し、(少なくともborsの場合)、cargo expandの出力は、テストの実行時間に測定可能な影響を与えることなく、約6 MiBに削減されました。変更はそれほど複雑ではなく、必要なのは、生成されたソースコードにすべてのマイグレーションの説明を埋め込むのではなく、実行時にマイグレーションをロードする関数を呼び出すコードを生成することだけでした。
つまり、基本的には次のようになります(疑似コード):
fn sqlx_proc_macro() -> TokenStream {
let migrations = generate_migrations();
quote! {
Migrator {
migrations: #migrations
}
}
}
次のようになります。
fn sqlx_proc_macro() -> TokenStream {
quote! {
Migrator {
migrations: ::sqlx::generate_migrations()
}
}
}
しかし、実行時にマイグレーションをロードすることには、いくつかの欠点があるかもしれません。例えば、テストはもはや自己完結型ではなくなります。
sqlxのDiscordサーバーに行って、誰かに提案がないか尋ねました。私の提案は、sqlxがマイグレーションを実行時にロードするか(上記で説明した)、またはすべてのテストが参照する共有変数にマイグレーションを格納して、生成されたコードの肥大化を回避することでした。面白いことに、1人が応答し、2番目のソリューションはすでに実装されている(まあ、ある意味)と教えてくれました。実際、#[sqlx::test]で適用するマイグレーションを含む変数へのパスを指定できます。
// マクロがマイグレーションを生成し、それを単一の変数に格納します。
const MIGRATOR: sqlx::migrate::Migrator = sqlx::migrate!();
// 各テストは、すべてのマイグレーションコードをテストのソースコードの隣にインライン化するのではなく、
// 変数を参照するだけです。
#[sqlx::test(migrator = "crate::MIGRATOR")]
async fn test_1(pool: sqlx::PgPool) {}
#[sqlx::test(migrator = "crate::MIGRATOR")]
async fn test_2(pool: sqlx::PgPool) {}
constとstaticのどちらが良いか確信が持てず、リビルド時間の違いも測定しませんでした。しかし、staticの方が最終的なバイナリでデータが一度だけ存在することを保証するために、より理にかなっているように思えます。
このソリューションはborsにとって素晴らしい結果をもたらしました!追加したmigrator引数を、少しのFind + Replaceマジックで、すべての#[sqlx::test]インスタンスに適用した後、リビルド時間は約5秒に減少しました。
これは機能しますが、私が気に入らないのは、マイグレーションコードの肥大化問題を回避するためにすべてのテストに追加することを覚えておく必要がある、厄介なmigrator = "crate::MIGRATOR"属性です。sqlxの0.9リリースで追加されたsqlx.toml設定ファイルにmigrator引数のデフォルト値を指定できると、共有変数がデフォルトで使用され、考える必要がなくなると考えています。
この機能を提案するissueを開きました。sqlxメンテナーがどう考えているか見てみましょう。ただし、このような機能について懸念があるとしても理解できます。
いずれにせよ、この手動ソリューションでさえ非常に役立ち、テストのリビルド時間を少し速くしました。5秒はまだ遅いですが、改善の余地はまだたくさんあります。
この「フットガン」を#[sqlx::test]ドキュメントで言及すると役立つかもしれません。私はここでそれを提案しました。
Conclusion
この投稿には2つの主なテイクアウェイがあると思います。
#[sqlx::test]テストが多いプロジェクトで、リビルド時間の長さに悩まされている場合は、migrator = "..."トリックを試して、それが役立つかどうかを確認してください。- コードを大量に生成するプロシージャマクロがある場合は、
cargo expandを使用してコードのバイトサイズを測定することが、コンパイル時間の比較的良い予測因子になる可能性があります:)
sqlxを使用する際のリビルド時間を最適化する方法について、さらに提案があれば、Redditで教えてください。