DuckDBにおける非同期I/O:処理、スレッド、処理
Asynchronous I/O in DuckDB: Work, Thread, Work (duckdb.org)
要約
DuckDB v2.0(2026年秋リリース予定)では、ParquetおよびCSVファイルの非同期読み込みがサポートされます。これにより、特にEC2/S3のようなコンピューティングとストレージが分離された環境で、同期I/Oが帯域幅を飽和させない場合にクエリ速度が大幅に向上する可能性があります。非同期I/Oは、ワーカー・スレッドをブロックせずにI/O操作を開始できるようにすることで、リモートストレージからのデータ取得におけるレイテンシを隠蔽し、CPU利用率を高めます。この機能は、Parquetおよび未圧縮のUTF-8 CSVファイルで実装されており、将来的には他のフォーマットにも拡張される予定です。
全文翻訳
DuckDBにおける非同期I/O:処理、スレッド、処理
TL;DR: 2026年秋に予定されているv2.0から、DuckDBはParquetおよびCSVファイルの非同期読み込みをサポートします。これは、同期I/Oが利用可能な帯域幅を飽和させない場合に、クエリを大幅に高速化できます。これは、EC2/S3のコンピューティング・ストレージ設定で典型的な状況です。
データベースシステムにおいて、クエリ演算子がどれほど高速であっても、データを素早く取り込めなければ意味がありません。しかし、DuckDBの歴史のほとんどにおいて、この問題は早期のデータプルーニングによって、ほぼ回避されてきました。フィルタリングと射影をプッシュダウンすることで、実際に必要なデータのみを読み込むことを保証できました。
これは特に、DuckDBが主にローカルで実行され、主なユースケースがマシンのSSDから直接データをクエリするためのクイックドローデータベースエンジンであったため、うまくいきました。データを複数のパーティション(Parquetファイルの場合は行グループ、CSVファイルの場合は固定サイズのバッファなど)に分割し、低レイテンシかつ高帯域幅でロードできました。その結果、主なボトルネックはサブクエリ、結合、集計などにありました。同期アクセスはこのユースケースに完全に適合していたため、実際のデータアクセスパスはあまり注目されませんでした。
いつものように、状況は変化しました。DuckDBのアーキテクチャが、データレイク(例: DuckLake)のようなリモートに保存された大規模データセットのクエリに非常に適していることに気づきました。今年の5月からは、Quackプロトコルを使用してDuckDBをサーバーとして実行することさえ可能です。したがって、データファイルがローカルSSD上にあるという当初の想定は、必ずしも当てはまらなくなりました。
これらの変更による実際的な影響は、多くの現在のDuckDBセットアップで、ファイルを実際に処理するマシンにリモートストレージから転送する必要があるということです。例えば、データレイクの場合、典型的なセットアップは、データをS3のようなブロブストレージに保存し、同じリージョンのEC2マシンで処理することです。このセットアップでは、レイテンシと帯域幅がはるかに重要な役割を果たします。利用可能なネットワーク帯域幅を使用するために十分な同時リクエストを発行できない場合、パフォーマンスは劇的に低下する可能性があり、スレッドはデータ処理ではなくリモート読み込みを待機するのに多くの時間を費やすことになります。
例として、リモートのParquetファイルに対する単純なクエリを考えてみましょう。簡単のため、単一のスレッドが実行されていると仮定します。
FROM read_parquet('s3://bucket/file.parquet');
Parquetスキャンは行グループベースのジョブに分割され、各ジョブにはバイト範囲リクエストを発行するフェッチタスクが1つ以上含まれます。同期I/Oでは、ワーカー・スレッドは、デコード、集計などの実際の作業を行う前に、データがマシンに到着するのを待ってブロックされます。下の図は、スレッドが読み込み完了を待っている間、何も作業ができない状態を示しています。
[画像: Synchronous read] [画像: Synchronous read] 同期読み込み
これに対処するため、DuckDBでは非同期I/Oパイプラインを実装してきました。現在、Parquetと非圧縮でシーク可能なUTF-8 CSVファイルに対して実装されており、DuckDBネイティブ形式やJSONなどの他の形式のサポートは今後追加される予定です。この記事の残りの部分では、DuckDBでの非同期I/Oの実装方法について簡単な説明と、ParquetおよびCSVファイルの両方のベンチマークを提供します。
非同期I/Oを今すぐ試したい場合は、DuckDBのv2.0.0-devプレビュービルドを使用できます。非同期I/Oは、次のメジャーバージョンであるv2.0(秋にリリース予定)からデフォルトで使用されます。
非同期I/O
非同期I/Oの概念的なアイデアは非常にシンプルです。要求したワーカー・スレッドをブロックすることなくI/O操作を開始できるべきです。Parquetの例に適用すると、同じ図は次のようになります。
[画像: Asynchronous read] [画像: Asynchronous read] 非同期読み込み
この例では、2つのASYNCスレッドと1つの通常のワーカー・スレッドがあります。ASYNCスレッドは、ワーカー・スレッドがデータをデコードしている間に、フェッチタスクをインフライト状態に保ちます。初期ウォームアップ中、スキャンタスクは一時停止し、ワーカー・スレッドは他のパイプラインタスクを実行するために解放されます。最初のジョブの準備ができたら、フェッチとデコードをオーバーラップさせることができます。
DuckDBでは、同様のものを実装しました。私たちは2つの独立したスレッドプールを持っています。
REGULAR– このプールにはワーカー・スレッド(デフォルトでは利用可能なCPUスレッドごとに1つ)が含まれています。これらは、デコード、結合、集計などの実際の作業を行うスレッドです。通常の作業を優先しますが、アイドル時にはI/Oタスクを実行することもできます。ASYNC– 非同期タスク、主にブロッキングI/Oのためのスレッドプールです。
これらの2つの異なるプールを持つ主な理由は、リモートI/Oの場合、これらのスレッドはHTTP応答を待つなど、ほとんどすべての時間をブロックして過ごす可能性があり、CPU使用率が非常に低くなるためです。そのため、システムスレッドよりもはるかに多くのASYNCワーカーを配置しており、デフォルト設定はシステムスレッドの4倍で、合計は256に制限されています。
ASYNCスレッドをできるだけ多く稼働させ続けることが非常に重要です。それを確実にするために、オンデマンドで読み取るのではなく、リード・アヘッド戦略を実装しています。これは、通常のワーカー・スレッドが現在必要としているよりも先のジョブのフェッチタスクをスケジュールすることを意味します。目標は、リモートストレージのレイテンシを隠すのに十分なフェッチタスクをインフライト状態に保つことです。
ジョブは独立してスケジュールおよび処理できる作業単位であり、基盤となるファイル形式によって異なります。Parquetファイルの場合、ジョブは1つのファイルの1つの行グループです。CSVファイルの場合、ジョブは通常、ファイル内の固定バイト範囲をカバーするスキャン境界です。
Parquetジョブは、クエリの射影、フィルタプッシュダウン、物理列の位置、および結合できる近くのバイト範囲に応じて、複数のフェッチタスクに分割される場合があります。下の図の2つのフェッチタスクは例示的なものであり、その正確なグループ化とサイズはファイルとクエリに依存します。
CSVファイルの場合、Parquetファイルほど詳細な情報は得られません。ジョブのフェッチタスクは、開始バッファがメモリ内にない場合はそれをロードし、スキャン境界がそのバッファの終わりに達すると、次のバッファもロードします(例: 2つのバッファにまたがる行を処理するため)。
[画像: Jobs] [画像: Jobs] ジョブ
キューの充填には専用のプロデューサースレッドは必要ありません。スキャンジョブを探しに来た通常のワーカーは、まずキューを許可される限り補充します。制限は、ユーザー指定のジョブ数またはメモリ予算によって決まります。スペースがあれば、ジョブとそのフェッチタスクが作成されます。フェッチタスクはASYNCプールに直ちにスケジュールされ、ジョブはバッチ順にリード・アヘッドキューに追加されます。
ASYNCスレッドは、ジョブキューの要求順序とは独立して個々のフェッチタスクを実行します。同じジョブのフェッチタスクは並行して実行される可能性がありますが、特定のASYNCスレッドへの割り当ては保証されません。すべてのジョブのフェッチタスクはカウントダウンを共有し、ゼロにするフェッチタスクが完了するとジョブのI/Oが完了します。
ワーカー・スレッドはキュー内の最も古いジョブを取得し、カウントダウンを確認します。I/Oが完了していれば、ワーカーはジョブのデコードを開始します。完了していなければ、スキャンタスクを一時停止し、他のパイプラインタスクを実行できるようにします。最後のフェッチタスクがスキャンタスクをアンブロックし、それは任意の通常のワーカーで再開される可能性があります。下の図はこのサイクルを示しています。
[画像: Read-ahead cycle] [画像: Read-ahead cycle] リード・アヘッドサイクル
メモリ管理
より多くのフェッチタスクをインフライト状態に保つことは、より多くのメモリを消費します。予算を決定し、メモリ不足の問題を回避するために、read_ahead_depth設定オプションを導入しました。これは3種類の値を取ることができます。
-1(デフォルト): 無制限の深さ、メモリによって制限されます。N > 0: 最大N個のジョブを先行させ、メモリ予算はありません。0: リード・アヘッドはオフ、各スキャンタスクは自身のジョブのみに対してI/Oをスケジュールします。
設定するには、SET句を使用します。例:
SET read_ahead_depth = 5;
デフォルトモードでは、予算は一時メモリマネージャーと交渉されます。これは、並行する結合、ソート、ウィンドウ演算子間でメモリを分割するのと同じマネージャーです。例えば、演算子が大量のメモリを使用しているためにメモリ圧力が高い場合、キューの予約は即座に予算を超過する可能性があります。実際には、これはキューが一度に1つのジョブのみを許可し、スキャンが同期スキャンに近い動作をすることを意味します。
メモリを大量に使用する演算子が終了すると、メモリマネージャーはより多くの予算を提供できるようになり、キューは再び満杯になります。
ベンチマーク
非同期I/Oは、同期リクエストのレイテンシが利用可能なリモート帯域幅の使用を妨げる場合に、最も大きな効果を発揮するはずです。この効果を測定するために、S3上にあるデータを対象にTPC-H Query 6 at SF100を実行し、DuckDB v1.5.5(最新の安定リリース)と比較しました。SF100データセットは、ParquetとCSVの両方のベンチマークでテーブルごとに単一のファイルとして書き込まれ、lineitemテーブルには600,037,902行が含まれていました。
コンピューティングには、EC2 r7i.16xlargeマシン(64 vCPU、512 GB RAM)を使用しました。マシンとデータのあるS3バケットは同じリージョンに配置されていました。クエリを5回実行し、平均実行時間を報告します。ファイルはキャッシュされませんでした(つまり、SET enable_external_file_cache = false;)、これは各実行がS3から直接データを読み取ったことを意味します。
Parquet
Parquetファイルは約22 GBで、約4,880の行グループがあり、各行グループには約122,880行が含まれています。非同期I/Oを使用すると、平均実行時間は8.230秒から2.844秒に短縮され、クエリはほぼ3倍高速になりました。
| バージョン | Q6実行時間 |
|---|---|
| v1.5.5 (同期) | 8.230 s |
| v2.0.0-dev (非同期I/O) | 2.844 s |
以下に、クエリ実行中のネットワークスループットも示します。
[画像: Network throughput] [画像: Network throughput] ネットワークスループット
ここでは、DuckDB v1.5.5とDuckDB v2.0.0-devの2つのバリエーションを実行します。1つはメモリガバナーによって決定されるリード・アヘッド深度を使用し、もう1つはこのマシン用にチューニングされ、リード・アヘッドを64インフライトジョブに制限し、I/O設定を調整しました(SET async_threads = 48; SET http_retries = 8; SET http_retry_wait_ms = 50; SET http_retry_backoff = 2;)。v2.0.0-devは利用可能な帯域幅をはるかに効果的に使用し、ネットワーク制限に近づき、いくつかの時点でそれを達成していることがわかります。チューニングされたバージョンはさらに進んでいます。より少なく、よりホットな接続と安価なリトライにより、スループットのばらつきは最小限に抑えられ、25 Gbit/sのネットワークはほぼ完全に飽和したままです。そのクエリ時間は2.227秒で、チューニングされていないv2.0.0-devの実行時間を21.7%短縮し、DuckDB v1.5.5よりも約3.7倍高速になりました。比較すると、v1.5.5は、同期読み込みが十分なリクエストをインフライト状態に保ってネットワークを飽和させないため、約5 Gbit/sに留まります。
もう1つ注目すべき点は、すべての実験で、最初のネットワークトラフィックの増加までに数百ミリ秒かかり、その後、主要なデータ転送が開始されるまでにさらに数百ミリ秒かかることです。最初のギャップは、DuckDB接続を開き、最初のTLSハンドシェイクを実行し、ファイルを開くのに必要な時間です。増加はファイルフッターのダウンロードに対応し、2番目のギャップはクエリを実行する前にフッターの情報を処理することから生じます。v2.0リリース前に、この領域をさらに調査および最適化できると考えています。
NICの受信バイトカウンターを50 msごとにサンプリングし、サンプル間のバイト数の変化からスループットを計算しました。マシンがDuckDBのフルファイル読み込みと
s5cmdツールの両方で25 Gbit/sのネットワークにアクセスできることを独立して確認しました。
ローカルディスク
リモートストレージは非同期I/Oの主なターゲットですが、コールドローカル読み込みは有用な対比を提供します。それらを測定するために、MacBook Pro(Apple M4 Max、14コア、36 GB RAM)のローカルディスク上にあるファイルを対象に、TPC-H Query 6 over SF100 Parquetを実行しました。ローカルディスクでの非同期I/Oの利点はコールド読み込みから得られるため、各実行が実際にディスクからファイルを読み取ることを確認するために、実行間にOSキャッシュをクリアしました(macOSのpurgeコマンドを使用)。
| バージョン | Q6実行時間 |
|---|---|
| v1.5.5 (同期) | 1.321 s |
| v2.0.0-dev (非同期I/O) | 0.883 s |
コールド実行では、非同期I/Oは約1.5倍高速で、実行時間を約33%短縮することがわかります。上記の場合よりもパフォーマンスの違いははるかに小さいですが、これはSSDがEC2/S3ネットワークよりもはるかに低いレイテンシと高い帯域幅を持っているためです。ホット実行では、データが適切にキャッシュされている場合、ディスクアクセスが発生しないため、違いは無視できます。
小さなファイル
パーティション化されたデータセットは、パーティション化によってデータが多数の小さなファイルに簡単に分散されるため、特に適切なユースケースです。このセットアップでの非同期I/Oの動作を確認するために、同じTPC-H SF100データセットを使用したParquet実行も行いました。単一のファイルを使用する代わりに、5つの行グループを持つ976個のファイルを生成しました。各ファイルには約615,000行が含まれ、サイズは約22 MBです。
| バージョン | Q6実行時間 |
|---|---|
| v1.5.5 (同期) | 9.344 s |
| v2.0.0-dev (非同期I/O) | 2.945 s |
v2.0.0-devは、単一ファイルベンチマークと同様のパフォーマンス改善を提供し、約3倍高速に実行されることがわかります。これは、リード・アヘッドがファイルのオープンやフッターのフェッチによってボトルネックになることなく、複数のファイルにまたがって並列化できることを示しています。
大きな行グループ
また、もう一方の極端なケース、つまりParquetファイルに非常に大きな行グループがいくつかしかない場合に何が起こるかを確認したかったのです。この実験では、同じTPC-H SF100 lineitemテーブルを単一ファイルとして6つのバージョンで生成し、要求された行グループ(RG)サイズのみを変更して、DuckDB v2.0.0-devを使用してQ6を実行しました。以下の表は、各バージョンの実行時間を報告しています。
| 行/RG | RG数 | おおよそのRGサイズ (MB) | 総ファイルサイズ (MB) | 時間 |
|---|---|---|---|---|
| 122,880 | 4,886 | ~4 MB | ~21,600 MB | 2.74 s |
| 1,966,080 | 306 | ~70 MB | ~21,400 MB | 2.11 s |
| 9,375,593 | 64 | ~320 MB | ~20,500 MB | 2.27 s |
| 62,914,560 | 10 | ~1,500 MB | ~14,700 MB | 3.69 s |
| 150,009,476 | 4 | ~3,200 MB | ~12,800 MB | 8.01 s |
| 600,037,902 | 1 | ~12,300 MB | ~12,300 MB | 25.26 s |
最初は、より大きな行グループがクエリ時間を短縮します。行グループサイズを増やすと、リクエストレイテンシははるかに大きな転送に償却されます。しかし、ある点を超えると、利用可能な並列性が低下し始めます。行グループはDuckDBのParquetスキャン並列処理の単位であるため、理想的にはスキャンはシステムスレッドあたり少なくとも1つの行グループを公開する必要があります。この64 vCPUマシンでは、64個の行グループを持つバージョンがそれを正確に提供し、2.27秒で完了します。最も高速な実行は、306個の行グループを持つバージョンで、2.11秒でした。
しかし、スレッド数よりも行グループ数が少ない場合、並列性が失われ、ネットワークを飽和させることができなくなります。Q6では、射影と列の物理的な位置により、行グループあたり2回のフェッチリクエストが発生します。したがって、4つの行グループは、約8つの同時S3ストリームしか公開せず、実行時間は8.01秒に増加します。最大の構成では、ファイルは単一の行グループを含み、そのI/Oは実質的に2つの巨大なストリームに還元され、実行時間は25.26秒に押し上げられます。これは、より良い圧縮によりファイルサイズが4,886個の行グループを持つバージョンよりも半分強になっているにもかかわらず発生します。この場合、より小さな行グループが必要とする追加の帯域幅は、極端に大きな行グループで失われる並列性よりも安価です。
同時クエリ
複数のクエリが同時に実行されると、その効果はさらに明確になります。この実験では、単一のDuckDBインスタンスを使用して、S3上の同じSF100 Parquetデータセットに対してTPC-Hクエリ1、6、9、18を同時に実行しました。これらのクエリは、スキャン、集計、結合の組み合わせを、異なるCPUおよびメモリ要件でカバーするため、これらを選択しました。デフォルトのメモリ設定と、16 GBおよび8 GBのメモリ制限で実験を繰り返しました。総実行時間は、4つのクエリすべてが完了するまでの壁時計時間です。平均およびピークCPU使用率(使用されたコア数)、ピーク帯域幅(bw.)、ピーク常駐セットサイズ(RSS)を報告します。
| バージョン | メモリ制限 | 実行時間 | 平均CPU | ピークCPU | ピーク帯域幅 | ピークRSS |
|---|---|---|---|---|---|---|
| v1.5.5 | デフォルト | 35.8 s | 5.9 | 35.7 | 10.7 Gbit/s | 14.5 GB |
| v2.0.0-dev | デフォルト | 15.6 s | 48.1 | 64.0 | 24.9 Gbit/s | 20.1 GB |
| v1.5.5 | 16 GB | 35.6 s | 6.1 | 25.7 | 17.4 Gbit/s | 14.1 GB |
| v2.0.0-dev | 16 GB | 22.7 s | 35.2 | 63.4 | 24.8 Gbit/s | 15.7 GB |
| v1.5.5 | 8 GB | 35.9 s | 6.9 | 38.8 | 16.8 Gbit/s | 10.4 GB |
| v2.0.0-dev | 8 GB | 24.2 s | 30.3 | 63.7 | 25.0 Gbit/s | 11.5 GB |
デフォルトのメモリ設定では、DuckDB v1.5.5は64コアのうち平均約6コアしかビジー状態に保ちません。つまり、マシンの約90%が同期S3読み込みを待機してアイドル状態です。一方、DuckDB v2.0.0-devは平均48コアがビジーで、ピーク時には全64コアに達し、25 Gbit/sのネットワークを飽和させます。その結果、4つのクエリすべてが半分の時間未満で完了します。
メモリの結果も興味深いです。制限を下げるにつれて、メモリガバナーはリード・アヘッドバックログを削減しますが、Q18のようなメモリを大量に使用する演算子はディスクへのスピルが発生する可能性があります。これにより、DuckDB v2.0.0-devのピーク物理メモリ使用量(つまりRSS)は、デフォルト設定の20.1 GBから、16 GB制限で15.7 GB、8 GB制限で11.5 GBに低下します。追加のスピルと削減されたリード・アヘッドにより、平均CPU使用率も低下し、実行時間は増加しますが、v2.0.0-devはネットワークを飽和させ続け、どちらの場合もv1.5.5よりも大幅に高速です。
8 GBの結果でもRSSが11.5 GBにピークするのは、jemallocが解放されたページを約1秒間レジデントに保ち、再利用できるようにするためです。このメモリはもはやDuckDBのメモリマネージャーによってカウントされず、v1.5.5も同様のアロケータ動作を示します。
CSV
CSVファイルでは、その効果はさらに大きくなります。CSVファイルは80.89 GBで、非同期I/Oにより平均実行時間は878秒からわずか45秒に短縮され、クエリはほぼ20倍高速になりました。CSVは行指向であるため、スキャンは実質的に多くのデータを転送し、固定サイズのバッファ読み込みを実行するため、同時リモート読み込みは特に価値があります。
| バージョン | Q6実行時間 |
|---|---|
| v1.5.5 (同期) | 877.563 s |
| v2.0.0-dev (非同期I/O) | 45.264 s |
他の実験と同様に、デフォルトのメモリ管理されたリード・アヘッド深度を使用したため、この実行は平均して25 Gbit/sのネットワークを飽和させるようにチューニングされていませんでした。
結論
この記事では、ParquetおよびCSVファイルに対する非同期I/Oに関する最近の取り組みを紹介しました。その利点のほとんどはリモートデータへのアクセスから得られますが、コールドローカル読み込みも(それほどではありませんが)恩恵を受けることができます。次に、JSONおよびDuckDBネイティブファイル向けの非同期読み込みを追加する予定です。これらはDuckDBコアにとって最も関連性の高い他の2つの形式です。ツリー外の拡張機能にある形式は、まだロードマップにありません。また、システムコールオーバーヘッドとI/Oでブロックされるスレッドの数を削減できる可能性のあるLinuxの非同期I/Oインターフェースであるio_uringも調査します。それが実用的であることが証明されれば、DuckDBに統合します。注目すべき重要な点は、DuckDBでサポートされているデータレイクソリューションのいずれも、基盤となるデータ形式がParquet(またはCSV、もしあなたが十分勇敢なら)である限り、既に非同期I/Oから自動的に恩恵を受けることができるということです。
最近の投稿
[画像: Benchmarking DuckDB v2.0-dev on NVIDIA Vera]
NVIDIA VeraでのDuckDB v2.0-devのベンチマーク
[画像]
Gábor Szárnyas
[画像: From JSON Strings to Typed Columns]
JSON文字列から型付き列へ
DuckDBチーム
[画像: What Is Inside an Iceberg Table?]
Icebergテーブルの中身は?
DuckDBチーム