HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

嘘、ひどい嘘、そしてデータベースベンチマーク

Lies, Damn Lies and Database Benchmarks (questdb.com)

5 pointsby eigenBasis1 コメント

要約

この記事は、データベースベンチマーク、特に異なる種類のデータベースを比較する際の潜在的な偏りと複雑さについて掘り下げています。ClickBenchを例に挙げ、コールドランとホットランの定義、プロセス再起動の扱い、マネージドサービスとセルフホストシステムの非対称性など、測定方法の微妙な違いが結果をいかに歪めるかを詳細に説明しています。著者は、完全に公正なベンチマークは存在せず、最も信頼できる結果は自身の環境で測定することから得られると結論付けています。

全文翻訳

データベースベンチマークにおける嘘、ひどい嘘、そして統計

QuestDBは、要求の厳しいワークロードに対応するオープンソースの時系列データベースです。超低レイテンシー、高スループットの取り込み、マルチティアストレージエンジンを提供します。ParquetとSQLのネイティブサポートにより、データはポータブルでAI対応となり、ベンダーロックインはありません。


ベンチマーク、誰もがベンチマークを愛しています。人々はベンチマークの結果を見て、データベースXがデータベースYよりもはるかに高速であるため、トップドッグだと触れ回ります。

まともなベンチマークは、厳格なオリンピックのような競走大会として描かれるかもしれません。「より速く、より高く、より強く」の原則が正確に実装されています。しかし現実には、選手に近づくと、予期せぬノイズが聞こえ始めます。それは何でしょう?それは、インターネットで見かける奇妙なコンテストのようなものであることが判明します。選手たちは、できるだけ速く走りながら「イエロー・サブマリン」を正確に口笛で吹かなければなりません。勝者はもはや最も速いランナーではありません。それは、生のスピードと、走ることとは無関係なスキルとのバランスを最も良く取った者であり、トラックで最も速いスプリンターが簡単に最下位になる可能性があります。

このアナロジーは、特に全く異なるカテゴリのデータベースが比較される場合、データベースベンチマークのような複雑なものに当てはまります。完璧で完全に公平なデータベースベンチマークはユニコーンのようなものです。見つけるのは運次第です。今日は、公開されていてよく認識されているベンチマークをいじくり回すことで、これを説明しようと思います。

使用するベンチマークはClickBenchですが、誤解しないでください。私たちはClickBenchだけを問題にしているのではありません。ClickBenchは便利です。分析データベースの堅実な比較であり、すでに多数のエンジンが含まれています。


ClickBenchはどのように測定するか

ClickBenchは、すべてのシステムに対して同じワークロードを実行します。それは、約1億行、105列の単一のウェブ分析テーブル(有名なhitsデータセット)と、それに対する43の分析クエリです。各エンジンは、小さなシェルスクリプトのセットを提供します。フローは常に同じです。スクリプトはデータベースをインストールし、データをロードし(CSV/TSVからインポートするか、エンジンが外部ファイルを読み取れる場合はダウンロードしたParquetファイルを指すだけ)、次に43のクエリを実行します。

各クエリは2つの種類で測定されます。

  • コールドラン (Cold run)。 これはクエリの最初の実行であり、すべてのオペレーティングシステムページキャッシュとデータベースキャッシュは事前にクリアされます。何もウォームアップされていない最悪のケースを捉えます。
  • ホットラン (Hot run)。 ClickBenchのルールを引用すると、「43のクエリそれぞれが3回実行され」、「両方の実行が成功した場合、2回目と3回目の実行時間の短い方が使用されます」。最初の実行はキャッシュを埋めることを目的としているため、後の2回の実行は最も速いことが期待されます。

このコールドの定義には、公開ダッシュボードが宣伝していない非対称性が隠されています。OSのページキャッシュをクリアしてサーバーを再起動できるのは、データベースがベンチマークマシンで実行されている場合のみです。Snowflake、BigQuery、Redshift、Databricksのようなマネージドクラウドサービスは、プロバイダーのハードウェア上で実行されるため、ハーネスにはシェルもdrop_cachesも、サーバーを再起動する方法もありません。そのため、その3回の実行はすべて、同じライブで再起動されないサービスにヒットします。したがって、そのコールド実行の数値は、セルフホストされたエンジンのように強制的にコールドになることはなく、コールドランを折りたたんだ統合スコアはホストシステムに傾きます。ClickBenchのルールでは、真のコールドランのために再起動が必要ですが、再起動は自分で制御できるサーバーにしか要求できません。この記事のすべてのエンジンは、同じボックス上でセルフホストされているため、すべて同じルールに従っていますが、ホストシステムとセルフマネージドシステム間でコールドランの数値を比較する際には、このことを覚えておく価値があります。

ホットランの結果のみに焦点を当てます。個々のクエリも比較しません。全体的なスコアのみを比較します。スコアは、公開ダッシュボードが表示するものです。各クエリについて、ClickBenchは、最も速いシステムに対する比率を計算します。

ratio = (0.01 + hot_time) / (0.01 + baseline_time)

ここで、baseline_timeは、そのクエリで比較対象システムの中で最も速いホットタイムです。0.01は10ミリ秒のクッションであり、10ミリ秒未満のクエリが支配的になるのを防ぎます。最終スコアは、43のクエリすべてにわたるこれらの比率の幾何平均です。低いほど良い値であり、仮説上の1.000は「すべての単一クエリで最速」を意味します。失敗したクエリは重くペナルティが課されます。以下のすべての完全な結果は、最後にリンクされているサポートリポジトリにライブで存在するため、自分で再採点できます。

Info

この記事全体を駆動する微妙な点はここにあります。ClickBenchの各queryスクリプトは、エンジンの内部クエリ時間を記録します。DuckDBのRun Time、ClickHouseの--time、DataFusionのElapsed、QuestDBのtimings.execute、Polarsの内部elapsedです。プロセスとクライアントの起動は、誰も記録した数値に含まれていません。したがって、プロセスを稼働させ続けることは、起動項を削除することによってスコアを変更することはできません。なぜなら、その項は最初から数値に含まれていなかったからです。それは、プロセスローカルなキャッシュのウォームアップを通じてのみスコアを変更できます。これを念頭に置いてください。後で重要になります。

テストスタンド

ClickBenchのリファレンス実行では、AWSのc6a.4xlarge VMを使用します。私たちは使用しません。この記事のすべての数値は、単一のボックスで測定されました。

AMD Ryzen 9 7900 (12コア / 24スレッド、最大5.49 GHz、64 MiB L3)、61 GiB RAM、NVMe SSD、Ubuntu 24.04、適切な冷却により比較的安定したパフォーマンス

ハードウェアが異なるため、絶対的な数値を公開ClickBenchダッシュボードと比較しないでください。ここで重要なのは、私たちのボックス内での再ランキングです。そこでは、すべてのエンジンがまったく同じマシンを見ています。そして最も信頼できる数値は、常に自分で測定した数値です。

対戦相手

バージョンが正確でなければ、ベンチマークは再現不可能または公正に評価できません。これらは急速に進化します。実行されたのは次のとおりです。

エンジンバージョンメモ
DuckDB1.5.4アップストリームに一致(最新版をインストール)
ClickHousemaster 26.6.1.909アップストリームに一致(インストーラーはmasterをプル)
DataFusion53.1.0アップストリームピン、ソースからビルド
Salesforce Hypertableauhyperapi 0.0.25080PyPIの最新版、両サイド
Polars実行時にPyPIの最新版アップストリームでピン留めされていない
CrateDB6.3.3アップストリームは5.10.10をピン留め。最新安定版に更新
QuestDB9.4.3アップストリームは9.3.1をピン留め。実行時に最新版に更新。下記参照

アップストリームのピンからの意図的な逸脱が2つあります。CrateDBは、アップストリームのapt installが最新安定版(6.3.3)をプルするため、QuestDBは、バージョン9.3.1がClickBench PR #902につまずくためです。そのPRは2つの実際のバグを文書化しています。9.3.1にはlength_bytes()関数がありません(9.3.2で追加されたため)、クエリ27と28が完了せず、query.timeout.secからquery.timeoutへの設定名の変更よりも前であるため、タイムアウトの引き上げはサイレントに何も行いません。実行時に最新版である9.4.3に更新し、両方の問題を修正しました。ピン留めされていない2つのエンジン、PolarsとHyperで解決された正確なバージョンは、結果の隣にあるサポートリポジトリに記録されているため、実行全体が再現可能になります。


シナリオ1:Parquetタイリング競争

シンプルに始めましょう。データセット(約14 GB)を保持する単一のParquetファイルがあり、それをクエリする必要があります。外部Parquetを直接読み取る5つのエンジンを選択しました:DuckDB、Polars、ClickHouse、DataFusion、Salesforce Hyper。そのうち4つは、クエリ呼び出しごとに新しいCLIまたはPythonプロセスを起動します。Polarsは例外です。ClickBenchはそれを長寿命のPythonセッションとして駆動します。これはすぐに重要になります。

私たちのボックスでのバニラClickBenchの結果は次のとおりです。

[画像: シナリオ1 バニラClickBench ホットラン スコア:DuckDB 1.353、Polars 1.361、DataFusion 1.955、ClickHouse 2.082、Hyper 3.609]

バニラClickBench、単一Parquetファイル。低いほど良い。

ランクシステムホットスコア
1DuckDB1.353
2Polars1.361
3DataFusion1.955
4ClickHouse2.082
5Hyper3.609

これら5つすべてが強力なエンジンですが、一部はここで顕著に高速です。DuckDBとPolarsがパックをリードし、ほぼ同等です。DataFusionとClickHouseが中間に位置し、Hyperが大きく遅れをとっています。これで決まりでしょうか?

部屋の中の象

単一のクエリ実行ごとにCLIまたはPythonプロセスを再起動することは、実際に公平でしょうか?これは未解決の問題であり、ClickBench issue #936の主題です。「Salesforce Hyper: ホットランはコールドタイムを測定している」というタイトルです。その問題が指摘するように、queryスクリプトは「実際にはすべてのイテレーションでサーバーをゼロから再起動」するため、ホットとラベル付けされた実行は、一部のエンジンにとっては実際にはコールドスタートです。

現実の世界では、アナリストはDuckDB CLIセッションまたはインタラクティブなノートブックを開き、それを維持します。プロセスはウォームアップされたままです。これは、サーバーがクエリ間でどこにも移動しないため、従来のクライアントサーバーデータベースが常に測定される方法でもあります。では、なぜ私たちは1つのことだけを変更して再測定しないのでしょうか?

調整:各エンジンのプロセスを繰り返し実行中に維持し、長寿命のセッション(エンジニアがREPLを開いたままにした)を通じてクエリを供給します。それ以外は何も変更しません。タイミング方法は、各エンジンの内部数値のままで、データは同じParquetファイル、クエリはバイト単位で同一です。永続性のみが変更されます。このためのハーネスはサポートリポジトリにあります。

[画像: シナリオ1 キープアライブ ホットラン スコア:DuckDB 1.194、Polars 1.485、Hyper 1.803、ClickHouse 1.925、DataFusion 2.084]

同じベンチマークですが、各エンジンのプロセスは実行間に維持されます。低いほど良い。上記と同じスケール。

以下の各エンジンのスピードアップに関する注記は、プレイバイプレイの前に記載されています。それぞれがエンジンのクエリ時間自体の改善です。元の時間とキープアライブ時間の幾何平均です。これはバーのスコアとは異なる測定値です。バーのスコアは、各システムをクエリごとに最速のシステムと比較してランク付けします。したがって、スピードアップはエンジンの2つのバーの比率とは等しくなく、エンジンはスピードアップを投稿してもスコアが悪化する可能性があります。これから見るように。

Hyperに何が起こったか見てみましょう。最下位から3位に上昇しました。ボードで最も大きく動いた(幾何平均で2.17倍高速)。これは私たちを驚かせました。Hyperが実験の不活性な制御になると自信を持って予測していました。その呼び出しごとのプロセス起動とテーブルセットアップは、タイミング領域の外で行われるため、それを維持してもタイミングされた数値はまったく変更されないはずです。私たちは間違っていました。タイミングされたクエリ実行自体は、新しいプロセスでの最初のクエリコストを伴います。クエリコンパイル、コールドバッファプール、Parquetメタデータウォームアップ。それらはプロセスが永続すると蒸発し、除外されたと想定していた起動項では決してありませんでした。教訓:ベンチマークがどこに時間を費やしているかを正確に理解していると思っていても、新しいプロセスは測定されている部分の中にウォームアップを隠す可能性があります。

DuckDBはトップに留まり、さらに高速になりました(1.24倍)。そのcreate.sqlはparquet_metadata_cacheを有効にします。これは、新しいプロセスごとのクエリハーネスでは決して実際に埋めることのできないキャッシュです。ClickBenchは、そのドライバーが自身で無効にするキャッシュを有効にします。DuckDBに永続的なプロセスを与えると、そのキャッシュがようやく機能します。

次に下部を見てみましょう。DataFusionはほとんど動きませんでした(1.03倍)。そのため、3位から最下位に沈みました。絶対的な意味で遅くなったわけではありません。周りのすべてが引き離しただけで、ランキングは相対的なものです。

最後の点を最も明確に説明しているのはPolarsです。Polarsは両方の実行でバイト単位で同一です。ClickBenchはすでにそれを永続セッションとして駆動しているため、私たちの調整はそれに文字通り何も影響しません(1.00倍)。それにもかかわらず、スコアは悪化し(1.361から1.485へ)、ほぼタイの1位から明確な2位に落ちました。なぜでしょうか?スコアはクエリごとの最速システムに対する比率であり、Polarsの周りのシステムが速くなったからです。ベースラインがその下に移動しました。データベースは、まったく同じ時間でまったく同じ作業を実行しながら、このベンチマークでより悪いスコアを付けることができます。その考えを保持してください。再び目にすることになります。

Info

これらのエンジンのうち2つ、ClickHouseとDataFusionは、パイプを介してセッションをクリーンに保持するCLIを持っていません。そのため、それらのキープアライブバリアントは、エンジンに埋め込まれたライブラリを常駐させて使用します。chdb(ライブラリとしてClickHouseローカル)とPython用のdatafusionです。これらのライブラリに含まれるエンジンバージョンは、バニラCLIとわずかに異なる場合があるため、元の実行とキープアライブ実行の間で小さなバージョンずれがあります。DuckDBとHyperは、両サイドで同一のバイナリを保持します。

外部ファイルは素晴らしいです。しかし、ネイティブ形式のデータはどうでしょうか?


シナリオ2:全員にウォームアップさせる

2番目のシナリオでは、ネイティブストレージに切り替えます。各エンジンは最初にデータを独自のオンディスク形式にロードします。対戦相手:DuckDB、ClickHouse、QuestDB、CrateDB。バニラスコアが十分に近いため、単一の公平な調整で順序を再配置できるエンジンを選択しました。なぜなら、快適な圧勝リーダーは、私たちが何をいじっても動かないからです。CrateDBは例外です。他のエンジンとはかけ離れたスコアですが、QuestDBに加えて2番目のJVMエンジンを提供してくれるため、その席を得ています。したがって、これから示すウォームアップ効果は、QuestDBだけに依存しません。

ミックスはコンパイラ戦略でも分割されます。DuckDBとClickHouseはC++で書かれており、Ahead-of-Timeコンパイルに依存しています。QuestDBとCrateDBはJVM上で実行されます(QuestDBはJavaとネイティブコード(C++およびRust)を混合しています)。そこでは、JITコンパイラがプロセス実行中にホットコードパスを最適化します。その違いはすぐに重要になります。

最初に注目すべき2番目の分割があります。ClickHouse、QuestDB、CrateDBはクライアントサーバーデータベースであるため、サーバープロセスは本質的にクエリ間に常駐します。DuckDBは組み込みであり、ClickBenchの下では、シナリオ1で行ったように、クエリごとに新しいプロセスを起動します。そのため、2回の調整の後、DuckDBは私たちが意図的に維持する必要がある唯一のエンジンになります。

まず、バニラClickBenchの結果です。

[画像: シナリオ2 バニラ ホットラン スコア:QuestDB 1.262、ClickHouse 1.487、DuckDB 1.668;CrateDBはスケール外の17.482]

ネイティブストレージでのバニラClickBench。CrateDBのバーはスケール外です。低いほど良い。

ランクシステムホットスコア
1QuestDB1.262
2ClickHouse1.487
3DuckDB1.668
4CrateDB17.482

QuestDBがトップ、ClickHouseが2位、DuckDBが3位です。CrateDBは17.482で大きく遅れをとっており、そのバーは使用するスケールをクリーンに外れています。これはレンダリングトリックではありません。このボックスで43クエリ中5つが失敗し、最も重いディスティンクト集計クエリで独自のCircuitBreakingExceptionをスローします。これらの失敗は実際のCrateDBの動作であり(アップストリームClickBenchでも記録されている失敗の一部)、ClickBenchは欠落した結果に重くペナルティを課します。これが幾何平均を約17に引き上げている理由です。私たちはそれを残し、3回のパスすべてで正直に報告しています。

調整1:イテレーション数を増やす

これはClickBench issue #934、「Methodology: JVMベースのエンジンには3回のホットイテレーションでは不十分」につながります。議論:JITコンパイラは実行中にコードを最適化し続けるため、3回のイテレーションではJVMエンジンのウォームアップ途中を捉え、真の定常状態よりも遅い時間を報告する可能性があります。

これに反対する人もいるかもしれません。しかし、クエリをちょうど3回実行してからサーバーを再起動することは、非常に考えにくいです。従来のデータベースは、数週間、場合によっては数ヶ月の稼働時間があります。JITは、わずか3回の実行後に最も最適化されたコードを生成していない可能性があるため、イテレーション数を増やすことは、すべてのエンジンを完全にウォームアップされた状態で比較します。ホットイテレーションをすべての4つのエンジンで10に増やして再測定しました。

[画像: シナリオ2 10イテレーション付き:QuestDB 1.190、ClickHouse 1.478、DuckDB 1.756;CrateDBはスケール外の15.053]

同じベンチマーク、3回ではなく10回のホットイテレーション。低いほど良い。次のチャートと同じスケール。

今回は再ランキングはありませんが、数字が物語っています。JVMエンジンはウォームアップして高速化しました。QuestDB 1.13倍、CrateDB 1.27倍(スケール外のスコアは17.482から15.053に低下しましたが、同じ5つのクエリで失敗しました)。AOTコンパイルされたClickHouseは実質的にフラットで1.07倍でした。これは、最初のクエリの前にすでに完全にコンパイルされていたコードから期待されるとおりです。DuckDBはまったくウォームアップできませんでした(このパスではクエリごとに新しいプロセスを起動し続けているため)、スコアは改善しませんでした。

QuestDBはすでに1位だったので、ウォームアップはリードを広げただけです。しかし、クローズレースの含意が本当のポイントです。もしライバルがバニラ実行でわずかにリードしていた場合、この同じ約13%のJVMウォームアップで王座を奪うのに十分だったでしょう。ウォームアップは、クローズレースの再ランキングレバーです。単に明確なリーダーをその場に残すだけです。それがここで何も変更されなかった理由です。

公正な開示:QuestDBはJVM上で実行されるため、この変更は私たちに有利に働きます。そして、issue #934は私たちが自分で開いたものです。通常、それは赤信号です。ベンダーが、偶然にも自分たちに役立つベンチマークの変更を推進しています。 oursを他の誰かのものと同じ疑いで扱ってください。2つのことで、私たちはそれでも主張を快適に行うことができます。第一に、これはQuestDBの特別なケースではありません。すべてのJVMエンジンが利益を得ており、CrateDBもそのスコアがこの同じパスで上昇していることからわかります。第二に、この記事のもう1つのレバーであるプロセスを維持することは、DuckDBに役立ち、私たちには役立ちません。そして、私たちはそれもオンにすることに賛成です。議論は、ベンチマークをより現実的にするための変更についてであり、私たち自身のバーだけを上げるためのものではありません。

調整2:DuckDBも維持する

ここでシナリオ1のトリックを重ね合わせます。追加のイテレーションに加えて、DuckDBのプロセスを常駐させ、ネイティブストレージが実行間にバッファプールでウォームアップされるようにします。

[画像: シナリオ2 DuckDBを維持した状態:DuckDB 1.144、QuestDB 1.340、ClickHouse 1.665;CrateDBはスケール外の16.958]

10イテレーション、DuckDBのプロセスを維持。低いほど良い。上記と同じスケール。

ありました。DuckDBを常駐させることで、1.69倍高速になり(ネイティブバッファプールのウォームアップは、シナリオ1のParquetメタデータキャッシュよりもさらに効果があります)、3位から1位に躍り出て、QuestDBを上回りました。同じマシン、同じクエリ、同じデータ。公平だが異なるノブ。

そしてQuestDBのスコアに注目してください。1.190から1.340に上昇しました。QuestDBは遅くなりませんでした。その10イテレーションの時間は、前のチャートと同一です。これはシナリオ1のPolars効果が繰り返されています。DuckDBが高速化すると、クエリごとのベースラインが速くなり、他のすべてのシステムの比率は、それらが何も変更していないにもかかわらず上昇しました(CrateDBはまったく同じ理由で15.053から16.958に上昇しました)。QuestDBの数値を2つのチャート間でちらっと見ただけでは、後退したと結論付けるかもしれません。後退していません。その下のベースラインが移動しただけです。


私たちは絶望しているのか?

この記事は、すべてのデータベースベンチマークが無用であると主張しているのでしょうか?それほどではありません。しかし、どれも完全に信頼されるべきではないと主張しています。ClickBench自体も、そのルールの中でそれを言っています。「塩ひとつまみで」結果を取ってください。

ベンチマークソースコードに隠されたわずかなニュアンスが、最終的なランキングを劇的に変える可能性があります。上記のシナリオのいずれでも不正行為は行っていません。クエリ、タイミング方法、またはデータの1行も変更していません。プロセスが維持されるかどうか、そしてクエリが実行される回数を変更しました。どちらも擁護可能であり、おそらくデフォルトよりも現実的であり、どちらもリーダーボードを再シャッフルしました。

したがって、次に「ベンチマークXで競合他社をすべて打ち負かした」という記事を見たときは、すぐに判断しないでください。正確なシナリオを見て、それがあなたのアプリケーションが実際にデータベースとどのように対話するかを模倣しているかどうかを尋ねてください。そうでない場合、そしてエンジンを選択している場合、あなた自身のワークロードに基づいたあなた自身の測定値の方がはるかに優れています。それを正しく行うのは難しいですが、それは本当にあなたに関する唯一の結果です。それが多すぎる場合は、少なくとも単一の数値ではなく、複数のベンチマークを見てください。そしてはい、これは私たちのベンチマークにも当てはまります。私たちは独自のベンチマークを公開しており、それらについても同じことを言います。注意深く読んでください。

これらのいずれかが、私たちQuestDBチームがベンチマークへの参加をやめることを意味するのでしょうか?まさか。むしろ、もっと多くのベンチマークに参加したいと考えています。ベンチマークは、データベースの弱点を見つけて改善するための最良の方法の1つです。私たちが本来あるべきよりも遅いクエリパターンを明らかにするすべてのワークロードは、効果的に無料のバグレポートであり、ロードマップ上の行です。ClickBench自体が私たちに何度もそれを行ってきました。したがって、私たちは参加し続け、数値を公開し続け、そしてあなたにそれらすべて、私たち自身のものも含めて、批判的な目で読むように求め続けます。この記事の冒頭のアナロジーを借りれば、私たちは速く走りたいと思っています。たとえ「イエロー・サブマリン」をうまく口笛で吹くことを学ぶ必要があるとしても。

ClickBenchに関しては、私たちはそれを価値あるものだと考えており、あまり批判したくありません。この規模の公開ベンチマークを維持することは非常に困難であり、ClickHouseチームは素晴らしい仕事をしています。長年にわたり、私たちや他のコミュニティメンバーが提起した多くの問題に対処してきました。この記事の種となった2つの問題、JVMイテレーション数に関する#934とHyperがコールドタイムを測定することに関する#936は、どちらもオープンで認識されており、私たちがつまずいたQuestDBバージョンバグはPR #902になりました。チームは認識しており、ベンチマークは改善し続けています。

ここにあるすべては完全に再現可能です。ハーネス、オーバーレイ、およびすべての結果ファイルは、clickbench-experimentsリポジトリにあります。それをクローンし、あなた自身のマシンで実行して、あなたのハードウェアがランキングにどのような影響を与えるかを確認してください。私たちはClickBench自身の使用規則の下で測定された数値を公開しています。これはまさにそれを奨励しています。そして、あなたが自分で生成したランキングは、私たちが信頼するように言う唯一のものです。