HN 日本語サマリー

← 一覧へ戻る
プログラミング

pg_clickhouse v0.10: サブクエリプッシュダウンとTPC-Hクエリの1000倍高速化

pg_clickhouse v0.10: Subquery pushdown and 1000x faster TPC-H queries (clickhouse.com)

55 pointsby saisrirampur4 コメント

要約

pg_clickhouse v0.10.0のリリースにより、TPC-Hベンチマークにおけるサブクエリプッシュダウンの対応範囲が大幅に拡大しました。特に、相関サブクエリのプッシュダウンが改善され、一部のクエリではネイティブPostgreSQLを凌駕するパフォーマンスを発揮します。また、NOT IN演算子などの3値論理の扱いや、関数・集計処理のプッシュダウンも強化されています。

全文翻訳

pg_clickhouse v0.10.0の新機能:サブクエリ、TPC-Hの高速化、Cドライバ、集計処理

pg_clickhouseへの継続的な投資の一環として、分析ワークロードにおけるプッシュダウンカバレッジの改善が最優先事項であり、TPC-Hベンチマークスイート全体での完全なプッシュダウンを即時の指標としてきました。前回の6月のアップデート以降、TPC-Hのスコアボードを中心に多くの進展がありました。このスコアボードについては、紹介記事以来あまり触れていませんでしたので、そこから始めます。v0.10.0のリリースにより、スコアボードはTPC-Hクエリの22件中12件が完全にプッシュダウン可能だった状態から16件に増加し、残りはあと6件となりました。

その過程で、私たちは以下のことも行いました。

  • バイナリドライバを新しいプレーンCクライアントライブラリ上で再構築しました。
  • プッシュダウンされる関数と集計処理の表面積を2倍以上に拡大しました。
  • バイナリドライバにおけるいくつかの競合状態のバグを修正しました(詳細は後述)。

スコアボード

さらに3件のTPC-Hクエリが完全にプッシュダウン可能になりました。これら3件は以前は非常に非効率的でした。なぜなら、クエリの形状のため、pg_clickhouseはClickHouseから各行を個別に取得し、その後ローカルでサブクエリを評価する必要があったからです(完全なチャート)。

クエリPostgreSQLpg_clickhouse 0.3pg_clickhouse 0.10プッシュダウン
Q2588 ms3,446 ms24 ms✔
Q172107 ms32,709 ms37 ms✔
Q22270 ms1,415 ms45 ms✼

( ✔ = クエリ全体が単一の外部スキャン )
( ✼ = プッシュダウンされたが、複数のリモートクエリとして実行。通常は外部スキャンと1つのInitPlanスキャン )

Q17は今回の目玉です。相関サブクエリで平均l_quantityをパーティションごとに取得するこのクエリは、スケールファクター1で600万件の明細行に対して一度ずつ評価されていた頃は、32.7秒かかっていました。完全にプッシュダウンされた状態では、わずか37ミリ秒です。これは3桁の違いであり、pg_clickhouseが同じクエリに対してネイティブPostgreSQLのプランを上回るパフォーマンスを示す明確な例です(PostgreSQLは2.1秒)。

6件のクエリが未プッシュのまま残っています:Q13, Q15, Q16, Q18, Q20, Q21。Q16とQ18は今後の方向性を示しています。pg_clickhouseは既にそれらが必要とするSQL形状(Q2やQ17のようにINとNOT INがアンチ/セミ結合としてデパースされる)をプッシュダウンしていますが、それらをブロックしているのは、PostgreSQLがサブクエリをアンチ/セミ結合にフラット化し、その入力が結合自体であるという点であり、デパーサーはまだ結合ツリーの両側を走査できないためです。Q15とQ20も同様の問題のバリエーションに遭遇しています。これがサブクエリプッシュダウンにおける次のまとまった部分です。

サブクエリのストーリーを完成させる

12月のヘッドライン機能は、プランナーが相関EXISTSサブクエリ全体を単一のLEFT SEMI JOINとしてプッシュダウンできるように教え込むことでした。これにより、TPC-Hクエリの22件中3件から一気に12件まで進みました。残りの10件のクエリは共通の問題を抱えていました。プランナーがサブクエリを結合に折り畳むことができなかったため、SubPlanが残っていました。これは、完全なクエリの実行の一部として実行される個別のクエリの完全なプランを記述するクエリプランの一部であり、通常は行ごとに実行されます。それをプッシュダウンすることが、私たちのロードマップの5番目の項目であり、今回の最新リリース(0.10.0)で完了しました(#289)。これで、PostgreSQLのサブクエリはClickHouseのサブクエリになります。

EXPLAIN (VERBOSE, COSTS OFF)
SELECT s.sale_id, s.amount FROM sales s
WHERE s.amount > (SELECT 1.5 * avg(s2.amount) FROM sales s2
                  WHERE s2.item_id = s.item_id)
ORDER BY s.sale_id;
Foreign Scan on subplan_test.sales s
   Output: s.sale_id, s.amount
   Remote SQL: SELECT sale_id, amount FROM subplan_test.sales r1 WHERE ((r1.amount > (SELECT (1.5 * avg(q1_1.amount)) FROM subplan_test.sales q1_1 WHERE ((q1_1.item_id = (r1.item_id)))))) ORDER BY r1.sale_id ASC NULLS LAST
   SubPlan expr_1
     ->  Foreign Scan
           Output: ((1.5 * avg(s2.amount)))
           Relations: Aggregate on (sales s2)
           Remote SQL: SELECT (1.5 * avg(amount)) FROM subplan_test.sales WHERE ((item_id = {p1:Int32}))
(8 rows)

EXPLAINはまだSubPlanノードを表示していますが(これは相関関係のPostgreSQLのブックキーピングにすぎません)、トップのRemote SQLにはサブクエリを含む比較全体が、ClickHouseに送信される単一のステートメントとして含まれていることがわかります。同じメカニズムにより、pg_clickhouseはTPC-H Q2全体をプッシュダウンできます。これは単一のForeign Scanと単一のリモートクエリです。NOT INも、プランナーが変換の安全性を証明できる場合は、LEFT ANTI JOIN(v0.1.0のセミ結合の否定形)を介して同様の処理を受けます。

ClickHouse 25.8未満では、相関サブクエリのSQL形状をサポートしていないため、これは機能しません。pg_clickhouseはプラン時にサーバーバージョンをチェックし、古いサーバーではローカル評価にフォールバックします。これは、サポートされていない形状に対して常に実行されるのと同じです。

NOT IN、正しく実装

SQLのプッシュダウンは簡単な部分でした。より難しい部分は、PostgreSQLと同じ結果を計算することを確実にすることでした(#315, #317)。これはそれ自体が深い問題でした。ClickHouseのINは2値論理で動作しますが、PostgreSQLは3値論理です。これは、x NOT IN (1, NULL)がPostgreSQLではFALSE(x=1の場合)またはNULLになり得ますが、TRUEには決してならないことを意味します。単純にプッシュダウンすると、これらの式はNULLが比較に関与する場所で、結果を静かに反転させる可能性があります。WHERE NOT INがPostgreSQLではフィルタリングされる行を返す、GROUP BYがNULLグループをFALSEにマージする、といった具合です。これらは通常のテストでは決して現れないため、プッシュダウン拡張機能では非常に危険です。プランは正しく見え、出力は微妙に間違っています。

v0.10の修正は、各式の結果がどのように消費されるかを追跡するため、結果を整合させるためにクエリがどの程度の保護を行う必要があるかがわかります。ここで、この深い問題はメンガーのスポンジのような様相を呈しました。

  • フィルタ条件は、NULLをFALSEのように無料で扱えるため、NOT以外の条件ではClickHouseの動作は問題ありません。
  • 値の位置または否定は、PostgreSQLの値を結果に注入するためにNULL値の追加チェックが必要です。
  • pg_clickhouseがオペランドがNULLになり得ないことを証明できる場合(非NULL定数、または外部結合によってNULLに戻されていないNOT NULL制約を持つ列、あるいはそれらの上のNULLでない操作にトレースすることによって…)、PostgreSQLの動作を注入するガードを追加するのをスキップできます。

したがって、ガードとPostgreSQLの動作が実装されたクエリは次のようになります。

EXPLAIN (VERBOSE, COSTS OFF)
SELECT id FROM tnull WHERE xn NOT IN (1, NULL) ORDER BY id;
Foreign Scan on in_null_test.tnull
   Output: id
   Remote SQL: SELECT id FROM in_null_test.tnull WHERE ((CASE WHEN xn IS NULL AND notEmpty([1,NULL]) THEN NULL WHEN countEqual([1,NULL], xn) > 0 THEN false WHEN countEqual([1,NULL], NULL) > 0 THEN NULL ELSE true END)) ORDER BY id ASC NULLS LAST
(3 rows)

一方、一般的なNULLを含まないケースは、通常のネイティブINとして送信できます。

EXPLAIN (VERBOSE, COSTS OFF)
SELECT id FROM tnull WHERE xn NOT IN (1, 500) ORDER BY id;
Foreign Scan on in_null_test.tnull
   Output: id
   Remote SQL: SELECT id FROM in_null_test.tnull WHERE ((xn NOT IN (1,500))) ORDER BY id ASC NULLS LAST
(3 rows)

フォローアップ(#317)により、この動作はINファミリーの演算子全体(IN, NOT IN, = ANY, = ALL, <> ANY, <> ALL)、スカラー形式と配列形式の両方に一般化され、非NULL性が証明できない場合にローカル評価にフォールバックするのではなく、無条件にプッシュダウンできるようになりました。

さらに、< > ANY(array)が実際には< > ALLを計算するという小さなバグがありましたが、この領域を修正する際に解消しました。

これらすべては、ClickHouseのINが実際に説明したような2値の方法で動作するという仮定に基づいています。サーバーレベルの設定(transform_null_in)でこれを変更できます。そのため、pg_clickhouse.session_settingsのデフォルトにtransform_null_in 0を追加し、ClickHouseサーバープロファイルが説明したガードを静かに無効にできないようにしました。

プッシュダウンされる範囲の拡大

結合とサブクエリの作業と並行して、個々の関数、演算子、および集計処理でプッシュダウンされるもののリストが大幅に増加しました。ここではすべてをリストするには多すぎるため(詳細はCHANGELOGを参照)、幅が広がった部分の例をいくつか紹介します。

  • 正規表現: 以前のニュース投稿(Introducing pg_re2 regex in Postgres)で多くの更新をカバーしましたので、そちらをご覧ください。

  • 集計処理:

    • 統計集計(#290)
      • corr, covar_pop/samp
      • stddev_pop/samp
      • var_pop/samp
      • any_value
    • 順序集合集計(#291): ClickHouseのパラメトリック形式にマッピングされました。
      • percentile_cont/disc → quantile(s)/quantileExactLow
  • パーティション単位集計(#298): 分析負荷の高いパーティションをClickHouseに移動し、トランザクション負荷の高いパーティションをPostgreSQLに残した場合に便利です。

    • 外部パーティション計算: ローカルパーティションと外部パーティションが混在するパーティション分割テーブルで集計を行うクエリは、行を取得するのではなく、ClickHouse上で外部パーティションの計算を行います。
      • これは、整数に対するcount, sum, min, max, avgのような分解可能な集計処理に適用されます。
      • enable_partitionwise_aggregateが必要です。
  • その他すべて:

    • フォーマットとエンコーディング: encode(bytea, 'hex'|'base64'|'base64url')(#302)。
    • 文字列: 3引数のltrim/rtrim/btrim(#307)、
    • コスト見積もり: MIN/MAXをClickHouseでより安価に選択するためのコスト関数を修正しました。(#310)
    • 日付と時刻:
      • 間隔演算がdate/timestampオペランドと減算に拡張されました(#301)。
      • CURRENT_*/now()/clock_timestamp()ファミリーをセッションタイムゾーンとサブ秒精度に合わせて調整しました。

これらすべての下には、重要なアーキテクチャ上の変更があります。組み込み関数プッシュダウンはオプトインになりました(#245)。初期の頃は、名前にClickHouse関数と一致するPostgreSQL組み込み関数があればデフォルトで送信されていましたが、シグネチャや動作の違いが結果を静かに変更する可能性がありました。この変更を強制した具体的なケースは三角関数(asin/acos/atanh/acosh)でした。PostgreSQLはこれらのドメイン外の値で呼び出された場合にエラーを発生させますが、ClickHouseはNaNを返します。v0.3.0以降、関数は明示的にマッピングされている場合にのみプッシュダウンされるようになり、リストの成長は遅くなりますが、PostgreSQLのセマンティクスを維持するという点でリストは信頼できます。

ドライバのアップデート

紹介記事では、clickhouse-cppをネイティブプロトコルアクセスに採用することで、古いclickhouse_fdw系統を近代化することについて説明しました。それは既に時代遅れになっています。v0.3.1では、ClickHouse/clickhouse-cという新しいCクライアントにすべて置き換え、gitサブモジュールとしてバンドルしました(#254)。この切り替えは単なる依存関係の更新ではありませんでした。C++の例外処理とPostgreSQL自身のsetjmp/longjmpベースのエラー処理を混在させることがクラッシュの原因となっており、clickhouse-cppのモノリシックな結果バッファリングはメモリ使用量が結果サイズに比例していました。対照的に、clickhouse-cは結果をブロックごとにストリーミングし、バンドルされたライブラリのビルド時間とサイズを75%以上削減しました。

最初のclickhouse-c切り替え後も、この統合を継続しました。HTTPドライバもClickHouseのネイティブフォーマットを話すようになりました。これは、以前のTSVベースのパスに代わって、バイナリドライバが既に使っていたのと同じエンコーディングとデコーディングです(#328)。この変更の犠牲者の1つはfetch_sizeです。これはHTTPドライバの以前のストリーミング作業からのバッチ処理オプションでした。ネイティブデコーダは、いずれにせよ1度に1つのcurlチャンクをストリーミングするため、この設定で構成できるものは何も残っておらず、現在は非推奨です。書き込み側では、バイナリドライバはバッファリングされたINSERT/COPY FROMデータを64MiBを超えてフラッシュするようになりました(#303)。以前はバッチ全体をメモリに保持していました。両方のドライバに明示的なcompression(none/lz4/zstd)(#268)とTLS制御(secure = on/off/auto, min_tls_version)(#272)が追加され、ホスト名とポートからTLSを推測するヒューリスティックに取って代わりました。型カバレッジも拡大しました。両方のドライバで、読み書きの両方で多次元配列をサポートするようになりました(#233)。また、バイナリプロトコル経由でのArray(Nullable(T))の挿入もサポートしました(#316)。

両方のドライバが単一のバイナリエンコーディングパスを共有するようになったことも、このサイクルでいくつかの信頼性修正を可能にした理由です。バイナリドライバでの同時外部スキャン(例:相関サブクエリまたは2つの外部テーブルに対するネストループ結合)は、単一の共有接続で衝突してクラッシュしていましたが、各同時スキャンは現在独自の接続を取得します(#296)。これにより、再スキャンされた外部スキャンのバッチメモリコンテキストでの使用後解放バグも解消されました。また、ユーザーを実行する際に無効なリレーションOIDを選択したために実行中に失敗する特定のクエリ構造の修正もあります(#319)。

さらに詳細に入ると、HTTP経由でタイムスタンプを挿入する際のサブ秒精度損失も解消しました(#300)。そして、コードベース全体での広範な静的解析により、他の潜在的なバグがいくつか発見され修正されました(#313)。これらはフィールドでは現れませんでしたが、発生する前に修正しておく価値がありました。

新しい表面積

いくつかの追加機能により、自動的にプッシュダウンされるだけでなく、実行できることが拡張されました。clickhouse_query(server, sql)は、設定済みのサーバーに対して任意のクエリを実行し、列定義リストによって結果を型付けします。現在はバイナリドライバもサポートしています(#309)。この列定義リストは避けられません(PostgreSQLは行の形状を知る必要があるため、取得を開始できます)。しかし、それはclickhouse_query()がCREATE TABLEのような、行を返さず形状を宣言する方法もないものを実行する方法がないことも意味します。それのために、新しいコンパニオンであるclickhouse_perform(server, sql)があります。これは、行ではなく効果のためにステートメントを実行するプロシージャで、SELECTではなくCALLで呼び出されます(#329)。さらに、主に条件ロジックでの内部使用のために、clickhouse_server_version(server)は接続されているサーバーのバージョンを報告します(#293)。

これのためにclickhouse_raw_query()を使用していた場合、それは現在非推奨であり、次のリリースで削除されます(#329)。代わりにclickhouse_query()またはCALL clickhouse_perform()に移行してください。どちらも設定済みの外部サーバーを経由し、生の、アドホックな接続文字列ではなく、独自の接続処理とドライバ選択を行います。

古い表面積

過去のリリースからのこれらの機能のいくつかは、他の場所で投稿しましたが、ここでは言及していませんでした。記録を正すためにここに含めます。

  • JSON:

    • 演算子と関数: ->/->>およびjsonb_extract_path[_text]()は、ClickHouseのサブカラム構文にマッピングされます(#169, #176)。
    • 型: ClickHouseのネイティブJSON型は、同じ演算子サポートを持つPostgres jsonにマッピングされます。
  • 配列:

    • 新しい関数と演算子: 1ダース以上の関数がプッシュダウンされます。
      • array_cat
      • append
      • remove
      • to_string
      • length
      • hasAll/hasAny(@>/<@/&&用)
      • スライス構文(arr[L:U])をarraySlice()として使用
      • その他多数...
  • 集計処理:

    • ウィンドウ関数(#175): 全てのセットがプッシュダウンされます。これらとその関連機能が含まれます。
      • ROW_NUMBER
      • RANK
      • LEAD/LAG
      • NTILE
    • ブール値と文字列(#184):bool_and, bool_or, string_agg
  • その他すべて:

    • フォーマット文字列検証付きto_char()(#244)
    • split_part()(#206)
    • fuzzystrmatchのsoundex()/levenshtein()(#210)。

残された課題

残りの6件のTPC-Hクエリを超えて、元のロードマップの多くが未完了のままです。残りの未対応のPostgreSQL関数、軽量なDELETE/UPDATE、およびUNIONのプッシュダウンです。Q15/16/18/20をブロックしている結合ツリーの両側での制限が最も影響力の大きい部分であり、次のリリースまでに6件すべてを完了しない限り、このシリーズの次の記事になるでしょう。