.join() がバグであるべき理由
The .join() that should be a bug (kronotop.com)
要約
Kronotopは、データベースシステムにおける接続管理の課題に対処するため、独自のアーキテクチャを採用しています。従来のRedis型(シングルスレッド、接続は安価だがブロッキング不可)とPostgres型(プロセス毎、ブロッキング可能だが接続コスト高)のモデルの利点を組み合わせ、Nettyベースのイベントループスレッドで接続を管理し、I/O処理は仮想スレッドにオフロードすることで、多数の接続を効率的に処理しつつ、ブロッキング処理も可能にしています。
全文翻訳
バグになるはずの .join()
2026年6月29日
数千の接続を、すべての呼び出しがブロックするバックエンドで処理する
「数千の接続を、すべての呼び出しがブロックするバックエンドで処理する」という見出し
データベースシステムにおける接続管理には、よく知られた二つの方法があります。それぞれにコストがかかります。Kronotopは第三のアプローチを採用しています。まず、私たちが抱えている問題から始めましょう。
KronotopはメタデータをFoundationDBに保存し、ドキュメント本体はローカルファイルシステムに保存しています。そのため、クライアントが要求するほとんどすべての操作は、FDBへのネットワーク呼び出しとディスクからの読み取りになります。ネットワーク呼び出しはナノ秒ではなくミリ秒単位の時間がかかります。ドキュメントの読み取り、トランザクションのコミット、インデックスの検索:これらすべてがI/O待ちとなります。私たちのコマンドパスはインメモリ処理ではありません。それは待機によって支配されています。
二つの古典的なモデル
Redis(6.0以前)は単一スレッドで動作します。そのスレッドはすべての接続をリッスンし、コマンドを一度に一つずつ処理します。これは接続のスケーリングには優れていますが、ブロッキングを許しません。コマンドパスのいかなる部分も待機することは許されません。もし一つのコマンドが待機した場合、他のすべてのクライアントも一緒に待機することになります。データがすべてメモリ内にある場合はそれで問題ありません。しかし、コマンドがそれ以上の処理を必要とする場合には機能しません。私たちのコマンドは、ネットワーク経由でトランザクションストアを呼び出し、ディスクにデータを追記してfsyncを呼び出します。これらの各ステップはブロックします。
Postgresは逆の方法をとります。各接続に独自のプロセスを割り当てます。これにより、ブロッキングは問題ではなくなります。各接続は独立して実行されるため、プレーンなシーケンシャルコードを書くことができます。しかし、それには代償が伴います!接続はオペレーティングシステムプロセスとなり、それは重い処理です。数千の接続は多すぎることになります。これが、Postgresのデプロイメントがほぼ常に別のコネクションプーラーの後ろに配置される理由です。
一方のモデルは接続のスケーリングは得意ですが待機できません。もう一方は待機できますが、多数のアイドル/オープン接続を安価にスケーリングできません。Kronotopには両方が必要です。
接続と処理の分離
トリックは、「接続」と「処理」を同じものとして扱わないことです。
接続側はRedisのように動作します。私たちはこれをNetty上に構築しています。少数のイベントループスレッドが多数のソケットをリッスンします。それらは準備のできたソケットに反応します。受信したコマンドを解析し、応答を書き戻します。この部分は決してブロックせず、決して待機しません。そのため、数個のスレッドで数千の接続を維持できます。
処理側は、ディスクとネットワークI/Oを実行する部分です。それは別の場所、仮想スレッド上で実行されます。仮想スレッドにより、I/O呼び出しをプレーンな、ブロックする、トップダウンのコードとして書くことができます。これはPostgresスタイルですが、Postgresのコストなしで実現できます。仮想スレッドは、FoundationDBまたはディスクを待機している間ブロックします。ブロックすると、Javaランタイムはそれをアンマウントし、下のキャリアスレッドを他の作業のために解放します。数千の仮想スレッドが同時にI/Oを待機できますが、実際に作業を行うのは少数の実際の(ネイティブ)スレッドだけです。I/Oが完了すると、仮想スレッドは中断したところから処理を再開します。
これにより、ネットワークスレッドは解放されたままになります。それらは他のすべての接続にサービスを提供できます。遅い部分は脇で実行され、待機が安価になります。結果は接続スレッドに返され、応答が書き込まれます。書き込みは意図的にそこに留めます。その引き渡しは、私たちが厳格に守る唯一のルールです。
graph LR
clients --> Netty[Netty event loop]
Netty --> sockets[A few threads serve thousands of sockets. Parse and write. Never blocks, never waits.]
sockets --> reply[the reply is always written here]
reply --> clients
Netty --> vtExecutor[Virtual thread]
vtExecutor --> FDB[tr.get(...).join() blocks on FDB or disk]
FDB --> runtime[The runtime parks it. The carrier thread is freed for other work.]
runtime --> Netty
subgraph CONNECTION SIDE
clients
Netty
sockets
reply
end
subgraph WORK SIDE
vtExecutor
FDB
runtime
end
style Netty fill:#f9f,stroke:#333,stroke-width:2px
style vtExecutor fill:#ccf,stroke:#333,stroke-width:2px
コードでは、このオフロード全体は二つの動く部分に集約されます。
CompletableFuture
.supplyAsync(supplier, context.getVirtualThreadPerTaskExecutor()) // run on a virtual thread
.thenAcceptAsync(action, response.getCtx().executor()); // resume on the Netty thread
二つのエグゼキュータ、二つのフェーズ。supplier が遅い部分です。これは仮想スレッドエグゼキュータ上で実行され、FoundationDBでのブロッキングが許可されます。action は応答です。これは response.getCtx().executor()、つまりこの接続を所有するNettyイベントループ上で実行されます。したがって、待機する処理と、移動してはならない書き込みは、別々のスレッドで行われます。後者は前者完了後にのみ開始されます。
読み取りコマンドは、まさにその形状に対して記述されます。最初のブロックが値を取得し、二番目のブロックがそれを送信します。
public void execute(Request request, Response response) {
AsyncCommandExecutor.supplyAsync(context, response,
() -> {
// virtual thread: open the transaction and wait on FDB
Session session = request.getSession();
Transaction tr = TransactionUtil.getOrCreateTransaction(context, session);
DirectorySubspace subspace = openZMapSubspace(tr, session);
return tr.get(subspace.pack(message.getKey())).join();
},
(value) -> {
// Netty thread: write the reply
response.writeFullBulkString(toMessage(value));
});
}
中間の .join() が興味深い行です。通常の(ネイティブ)スレッドでは無駄になります。スレッドはそこでブロックされ、無用な状態になります。仮想スレッド上では、それが目的そのものです。ランタイムは呼び出しを一時停止し、実際の(ネイティブ)スレッドを解放します。FDBが応答すると、呼び出しが再開されます。ハンドラはトップダウンで読み取られ、プレーンなブロッキングコードのように動作し、待機のコストはなくなります。サプライヤーが値を返すと、エグゼキュータは応答フェーズに移行します。コマンドが自動コミットだった場合、トランザクションをクリーンアップします。何かが例外を投げた場合、クライアントにエラーを書き戻します。
関連する実装部分は以下のリンクから確認できます。
接続上に存在する状態
接続は、開いている間、少量の状態を保持します。クライアントの識別情報、開いている名前空間、認証済みかどうかを知っています。また、進行中のトランザクションの詳細も保持します。
最後の部分は重要です。Kronotopでは、トランザクションは接続に属します。トランザクションを開始し、その中で複数のコマンドを実行し、コミットまたはロールバックします。その間ずっと、そのトランザクションはセッションに紐付けられています。接続が途中で切断された場合、開いているトランザクションはキャンセルされ、クリーンアップされます。何もぶら下がったままになりません。接続を切断せずにセッションの状態をリセットすることもできます。これにより、カーソル、監視中のキー、および半ば完了したトランザクションが一度にクリアされます。そのリセットは、クライアントサイドのプールで接続を簡単に再利用できるようにするものでもあります。接続を返却し、リセットし、再び貸し出します。
graph LR
Connection --> SessionState[Connection carries state]
SessionState --> Identity[identity]
SessionState --> OpenNamespaces[namespaces]
SessionState --> Auth[auth]
SessionState --> Transaction[transaction in flight]
ConnectionDrop[Connection drops] --> TransactionCleanup[the open transaction is cancelled and cleaned up, nothing dangles]
Reset[RESET] --> ClearCursors[clears cursors, watched keys, and any half-finished transaction]
subgraph Connection State
SessionState
Identity
OpenNamespaces
Auth
Transaction
end
style Connection fill:#f9f,stroke:#333,stroke-width:2px
style ConnectionDrop fill:#f9f,stroke:#333,stroke-width:2px
style Reset fill:#ccf,stroke:#333,stroke-width:2px
この記事を最後まで読んだなら、ぜひKronotopを試してみてください。
KronotopはFoundationDB上に構築された、分散型のトランザクション対応ドキュメントデータベースです。数分でクラスターを開始するには、クイックスタートガイドをご覧ください。