Redisサーバーをランタイム内に組み込む
We put a Redis server inside our runtime (encore.dev)
要約
Encoreは、ローカル開発とテストのために、インメモリRedisサーバーをランタイム内に組み込むアプローチを採用しました。これにより、外部Redisのインストールや管理が不要になり、開発者は本番環境と同様のRedisの振る舞いを期待できます。この機能を実現するために、Go実装のminiredisをRustに移植し、TCPソケットでRedisプロトコル(RESP)を話す実際のRedisサーバーとしてランタイム内で動作させています。これにより、ローカル開発と本番環境の間のパリティが向上します。
全文翻訳
実行環境内にRedisサーバーを組み込む
Encoreは、バックエンドコードをローカル開発、テスト、本番環境で同じように実行できるようにします。アプリケーションが依存するインフラストラクチャは、コード内で宣言され、Encoreは各環境のためにそのインフラストラクチャをプロビジョニングします。ローカル開発が有用であるためには、インフラストラクチャが実際にローカルマシン上に存在し、本番環境と同じように動作する必要があります。
データベースをDockerで実行したり、pub/subをローカルのNSQデーモンに対して実行したりするなど、ほとんどのものはローカルで簡単にセットアップできます。しかし、キャッシュはより困難です。現実的な選択肢としては、Dockerで実際のRedisを実行するか、モックに置き換えるかのどちらかですが、前者はインストールして維持する必要のある別のコンテナであり、後者はRedisのように振る舞うのは、コードがモックの実装と異なる部分に依存するまでです。
私たちは異なるアプローチを取りました。実行環境自体にインメモリRedisサーバーを組み込み、ローカル開発やテストでは実行環境と同じプロセス内で自動的に起動するようにしたのです。この記事では、それがどのように機能するのか、なぜRustにGoの実装をポートしてこれを実現したのか、そして本番環境でアプリケーションが接続するRedisと同じようにインメモリサーバーが動作することをどのように保証しているのかを説明します。
インメモリRedisを実行環境内に統合
EncoreのGo実行環境は、以前からこの方法で動作していました。Go側では、ローカル開発ではGoで書かれたインメモリRedisサーバーであるalicebob/miniredisを使用しているため、アプリケーションをローカルで実行するのに外部Redisは不要です。
TypeScriptアプリケーションを支えるRust実行環境を構築した際、同様の機能が必要になりました。一つの選択肢は、Goの実装を維持し、実行環境が起動・停止する別のプロセスとして実行することでしたが、それは第二のバイナリを配布し、実行環境と並行して別のプロセスを監視する必要があることを意味します。私たちは、インメモリサーバーが、他のインフラストラクチャレイヤーと同じように、実行環境の内部で動作することを望んでいました。
そこで私たちは、miniredisをRustにポートしました(#2300)。これにより、実行環境内のライブラリとして動作します。このポートは、約25,000行のRustコードで構成されており、アプリケーションが実際に使用するデータ型(文字列、ハッシュ、リスト、セット、ソート済みセット、ストリーム、pub/sub、トランザクション、Luaスクリプティング)を実装しています。これは、コマンドのサブセットをエミュレートするスタブではなく、TCPソケットをリッスンし、Redisのワイヤープロトコル(RESP)を話す実際のRedisサーバーです。
ポート作業には、Goバージョンの運用上の動作を引き継ぐことも含まれていました。miniredisは独自のモッククロックを保持しているため、組み込みサーバーは小さなバックグラウンドタスクを実行し、1秒ごとにクロックを進めて、長時間のセッション中に時間ベースの有効期限が機能するようにし、キーの数を制限された数に絞り込むことで、ローカルキャッシュが無制限に増大するのを防ぎます。
// runtimes/core/src/cache/miniredis.rs
// 1秒ごとに1秒進め、15秒ごとに100キーに絞り込む
// 古いGo miniredisバイナリのクリーンアップに合わせる
async fn cleanup_task(server: Miniredis) {
let mut interval = tokio::time::interval(Duration::from_secs(1));
loop {
interval.tick().await;
server.fast_forward(Duration::from_secs(1));
// 15秒ごとに100キーに絞り込む
}
}
実行環境が接続先を選択する方法
Encoreアプリケーションにおけるキャッシュは、他のすべてのリソースと同様に、コード内で宣言されます。
import { CacheCluster, IntKeyspace, expireIn } from "encore.dev/storage/cache";
const cluster = new CacheCluster("rate-limit", {
evictionPolicy: "allkeys-lru",
});
const requestsPerUser = new IntKeyspace<{ userId: string }>(cluster, {
keyPattern: "requests/:userId",
defaultExpiry: expireIn(10 * 1000), // 10秒
});
その宣言だけで、実行環境は十分です。デプロイされた環境では、Encoreは実際のRedisをプロビジョニングし、実行環境がそれに接続します。ローカル開発およびテストでは、実行環境は組み込みサーバーをローカルアドレスで起動し、そちらに接続します。この決定は実行環境の設定から行われ、各Redisクラスターにはin_memoryフラグがあり、そのフラグが設定されている場合、実行環境は設定されたサーバーにダイヤルするのではなく、組み込みサーバーを起動します(#2322)。
実行環境内では、この決定は些細なものです。組み込みサーバーが必要な場合、実行環境はそれを起動し、管理対象クラスターで使用されるのと同じRedisクライアントに、ローカルサーバーを指すredis://アドレスを渡します。
// runtimes/core/src/cache/manager.rs
// テスト中、またはいずれかのクラスターでin_memoryが設定されている場合、miniredisを使用する。
let needs_miniredis = self.testing || self.clusters.iter().any(|c| c.in_memory);
if needs_miniredis {
let server = self.runtime.block_on(MiniredisServer::start())?;
let url = format!("redis://{}", server.addr());
// 管理対象クラスターで使用されるのと同じredisクライアントを、ローカルサーバーに向ける。
let client = redis::Client::open(url)?;
// ...
}
アプリケーションコードは、どちらの場合も同一です。キー空間を保持し、Redisクライアントに対してget、set、incrementなどを呼び出します。ローカルと本番で変わるのは、クライアントが接続するアドレスだけです。組み込みサーバーは同じプロトコルを同じ種類のソケット上で話すため、クライアントは管理対象Redisに接続するのと同じように、それに接続します。
実際のRedisに忠実であり続ける
組み込みサーバーは、それが代替するRedisと同じように動作する場合にのみ有用です。あるコマンドのエッジケースの処理方法におけるわずかな違いは、ローカルでは通過するが本番では失敗するようなものであり、ローカルと本番のパリティが存在する理由となる状況です。
それを防ぐために、私たちはRustサーバーを、ポート元となった実装に対してテストしています。miniredisには、コマンドを実行してレスポンスをチェックするGoの統合スイートが付属しています。私たちは、その同じスイートをRustサーバーに対しても実行し、生のRESPレスポンスをバイトごとに比較します。バイトが一致すれば、私たちのサーバーは参照実装と同じように応答しています。
参照スイートをこのように実行することで、そうでなければ見落としがちな違いが表面化しました。その一つは、有効期限のテスト方法です。スイートはモッククロックを進めて、キーがスケジュール通りに期限切れになるかを確認するため、Rustサーバーには、テストがクロックを同じ効果で早送りできるコマンドが必要でした。もう一つはTLSで、スイートが使用した証明書チェーンはGoのTLS実装では受け入れられましたが、Rustでは拒否されたため、接続するには適切な証明書階層をテスト用に構築する必要がありました。どちらの違いも、手書きのモックでは再現できず、参照実装と比較しなければ見過ごされていたでしょう。
ローカル開発の現状
ローカル開発およびテストでは、キャッシュは、アプリケーションと並行して何もインストールまたは実行することなく宣言して使用できるものです。テストはモックではなく実際のRedisサーバーを実行するため、テストが依存するコマンドの動作は、本番環境で遭遇する動作と同じになります。
組み込みサーバーは、ローカル開発およびテスト専用です。本番環境では、Encoreは実際の管理対象Redisをプロビジョニングします。なぜなら、組み込みサーバーは開発用のフィクスチャであり、スケーリングを目的としていないからです。これを実行環境に組み込むことで、ローカル開発とテストが、誰かがキャッシュをセットアップしなくても本番環境と一致するようになります。
さらに詳しく知りたい場合は、ドキュメントでEncoreがコードからインフラストラクチャをプロビジョニングする方法と、キャッシュプリミティブ自体について説明しています。