HN 日本語サマリー

← 一覧へ戻る
プログラミング

DuckDB v2.0のプレビュー

A Preview of DuckDB v2.0 (duckdb.org)

678 pointsby ibotty120 コメント

要約

DuckDB v2.0(コードネーム「Cyanoptera」)がこの秋にリリース予定です。本バージョンでは、DuckDBをサーバーとして利用する機能、トリガー、新しいVARIANT型、非同期I/O、新しいSQLパーサー、新しいストレージフォーマットなど、多数の重要な新機能が導入されます。特に、クライアント/サーバーモードのサポートと、JSONを高速に扱えるVARIANT型の強化が注目されます。

全文翻訳

DuckDB v2.0 のプレビュー

ブログ リリース

TL;DR: DuckDB v2.0 はこの秋にリリースされます。この記事では、その主要な機能である、サーバーとしてのDuckDB、トリガー、VARIANT型、非同期I/O、新しいSQLパーサー、新しいストレージフォーマットなどをプレビューします。

DuckDB v2.0 は、西米に生息する鮮やかな赤褐色のカモであるシマアジ(Cinnamon Teal)にちなんで「Cyanoptera」と名付けられます。

メジャーバージョンアップは軽々しく行うものではなく、単なる儀式ではありません。v2.0 では、新しいSQLパーサー、新しいデフォルトのストレージフォーマット、再構築されたC API、そして慎重に選ばれた少数の破壊的変更が含まれます。しかし何よりも、これは機能リリースであり、3月にv1.5をリリースして以来10,000件以上のコミットによって構築されました。昨年がレイクハウスの年であったとすれば、このリリースはサーバーとしてのDuckDBの年をキックオフします。これらの機能の多くは、DuckCon #7 の「State of the Duck」トークでプレビューしました。読むより見る方がお好みであれば、そちらをご覧ください。

DuckDB は非常に速く進化しており、ここではその変更のごく一部しかカバーできません。すべての新機能を短いリストに凝縮するのは常に何を含めるかの戦いであり、はい、これがリスト形式(「DuckDB v2.0 に登場する10のこと、8番目はあなたを驚かせるでしょう」)であることは承知しています。この形式には誇りを持っていませんが、機能するので、ここに示します。まずSQLレベルの機能から始め、エンジンへと進んでいきます。

1. サーバーとしてのDuckDB: Quack と CONNECT

DuckDB は初日からインプロセスデータベースでした。しかし、人々は非常にしつこくクライアント/サーバーモードを求めており、ついに私たちは折れました。quack 拡張機能は、他のDuckDBと通信するためのDuckDBネイティブプロトコルを実装しています。これは DuckCon #7 の直前にプレビューとしてリリースされ、v2.0 で安定版に昇格します。これは DuckDB が目指す方向性の大きな部分です。任意の DuckDB プロセスがネットワーク経由でデータベースを提供でき、他の任意の DuckDB がそれにアタッチして新しい CONNECT ステートメントを使用してクエリをルーティングできます。例:

DuckDB サーバー
CALL quack_serve(
    token = 'my_token'
);

quack:

DuckDB クライアント
ATTACH 'quack:server.example.com'
    AS qk (TOKEN 'my_token');

CONNECT qk;
SELECT count(*) FROM events;
-- サーバー上で実行され、
-- 結果がストリーミングバックされます
DISCONNECT;

CONNECT は、Quack が最初に公開されたときに示した remote.query($$...$$) ワークアラウンドの後継です。私たちはその構文を見て、「いや、これは違うだろう」と思いました。そして CONNECT は Quack に限定されません。それは、それをサポートする任意のリモートデータベースにセッションをポイントし、新しいリモートプッシュダウンオプティマイザー(#22914)がテーブルをワイヤー経由で引き出すのではなく、直接 PostgreSQL や MySQL に SQL を出荷します。

CONNECT 'postgres://localhost/mydb';
SELECT count(*) FROM orders; -- PostgreSQL サーバー上で実行されます
DISCONNECT;

過去に分析システムを扱ったことがあるなら、DuckDB がトランザクションワークロードを処理できないと Assume するかもしれません。しかし、DuckDB は初日から、完全な MVCC とトランザクション分離を備えたトランザクション、マルチコネクションデータベースとして構築されてきました。ほとんどのユーザーは単一ユーザーシナリオでそれを必要としませんでした。DuckDB はトランザクションをうまく処理することが判明しました。それは、多くのワークロードで PostgreSQL のような汎用データベースと競争できるほど高速であり、クライアント/サーバーパターンは、マルチテナント、長時間稼働のデプロイメントでその仕組みを輝かせることができます。

DuckDB を長期実行することは新しい課題も伴います。そのため、v2.0 では、DuckDB インスタンスを見てそれが実際に行っていることを確認できる、より良いメトリクス、ログ、オブザーバビリティ(例: #22799 におけるメトリクスレイヤーの再構築)に注力しています。人々はプレビュー公開から数週間以内に Quack プロトコル用のスタンドアロンクライアントさえ構築しました。私たちは DuckDB を他の DuckDB と通信するように拡張していると思っていました。世界は「いやいや、違う」と言い、独自のクライアントを構築しました。誰がそれを予想できたでしょうか。

2. VARIANT がファーストクラスの市民になる

VARIANT 型は DuckDB v1.5 でリリースされ、JSON の強化版と考えることができます。基本的に、JSON が高速になったと想像してください。JSON と同様に、VARIANT 列は各行に異なる形状のデータを格納できます。JSON とは異なり、テキストフォーマットではありません。DuckDB は、半構造化データに隠された共通の構造を自動的に検出し、「シュレッド」するため、ストレージでよく圧縮され、クエリで高速に実行されます。これらすべて、スキーマを宣言する必要はありません。これにより、VARIANT はリアルタイムログ取り込みに自然に適合します。そこでは、JSON のようなレコードのストリームが構造を共有しながらも時間とともに進化します。

v2.0 では、このパイプラインはエンドツーエンドで機能します。ストレージからのシュレッドされた実行(#20912)、スキャンへの抽出プッシュダウン(#22478)、Parquet のシュレッドされた VARIANT の読み書き、そして variant_* 関数のファミリーです。

CREATE TABLE events (payload VARIANT);
INSERT INTO events
VALUES ('{"user": {"id": 42, "tags": ["a", "b"]}}'::JSON::VARIANT);

SELECT variant_type(payload), variant_keys(payload)
FROM events;

SELECT *
FROM events
WHERE variant_contains(payload, '{"user": {"id": 42}}'::VARIANT);

長期的には、v2.0 の直後(ただし、確約はしません)に、通常の JSON 型を VARIANT でバックアップする予定です。これにより、既存の JSON ワークロードは、単一のクエリを変更することなく、これらのすべてのメリットを享受できます。

3. トリガー

トリガーは長年の機能リクエストであり、DuckDB v2.0 はそれらを完全に提供します。BEFORE および AFTER トリガー、FOR EACH ROW および FOR EACH STATEMENT、REFERENCING OLD/NEW TABLE を介したトランジションテーブル、イベントごとの複数のトリガー、トリガーテーブルでの RETURNING、および DROP TRIGGER です。

古典的なユースケースは監査テーブルです。システムで何かが発生し、トリガーが変更内容を記録します。例:

CREATE TABLE target (id INTEGER, val INTEGER);
CREATE TABLE audit (id INTEGER, old_val INTEGER, new_val INTEGER);

CREATE TRIGGER trg_audit AFTER UPDATE ON target
REFERENCING OLD TABLE AS o NEW TABLE AS n
FOR EACH STATEMENT
    INSERT INTO audit
    SELECT n.id, o.val, n.val
    FROM o
    JOIN n ON o.id = n.id;

INSERT INTO target VALUES (1, 10), (2, 20);
UPDATE target SET val = val * 10 WHERE id <= 2;
SELECT * FROM audit;
idold_valnew_val
110100
220200

トリガーは、長時間稼働する DuckDB サービスに自然に適合し、内部的にもいくつかの今後の機能を構築するために使用する予定です。これらは SQL レベルでも完全に公開されているため、独自のクールなものを構築できます。

4. SQL 方言の追加

いつものように、DuckDB の SQL 方言は成長し続けています。このリリースサイクルのいくつかの注目機能です。

NEAREST ジョイン(#24137)により、トップk類似検索がジョイン句になり、ベクトルおよび埋め込みワークロードに便利です。

SELECT q.user_id, t.product_id
FROM users q
    INNER JOIN products t APPROX NEAREST 2
    BY SIMILARITY array_cosine_similarity(q.embedding, t.embedding);

CTE 内の DML(#21634, #21997, #24217)により、INSERT、UPDATE、DELETE、COPY をパイプラインステップとして使用できます。

WITH moved AS MATERIALIZED (
    DELETE FROM staging RETURNING *
)
INSERT INTO archive SELECT * FROM moved;

ネストされたスキーマ(#23492, #24222)により、スキーマ内にスキーマを作成できます。

CREATE SCHEMA finance;
CREATE SCHEMA finance.reports;
CREATE TABLE finance.reports.q3 (revenue DECIMAL);

新しい変数構文(#21194)により、式が許可される場所ならどこでも $x と記述できるようになり、getvariable(...) の冗長な記述は不要になります。

SET VARIABLE threshold = 100;
SELECT * FROM orders WHERE amount > $threshold;

JSON 操作関数 json_set、json_insert、json_replace、json_remove(#23786)により、JSON ドキュメントをインプレースで変更できるようになりました。

SELECT json_set('{"a":1}', '$.b', '2');
json_set('{"a":1}', '$.b', '2')
{"a":1,"b":2}

そして、USING KEY 集計を備えた再帰 CTE(#19481)により、以下で説明する再構築された再帰 CTE エンジンによって、純粋な SQL で反復アルゴリズムが可能になります。

WITH RECURSIVE tbl(a, b) USING KEY (a, avg(b)) AS (
    SELECT 1, 5
    UNION ALL
    SELECT a, b - 1 FROM tbl WHERE b > 0
)
TABLE tbl;
ab
12.5

他にも、SQL 標準の FETCH FIRST 2 ROWS ONLY(#23533)、OVERLAY()(#22456)、GROUP BY での UNNEST(#23644)、およびマルチマッチ行に対する明確に定義された MERGE / UPDATE ... FROM セマンティクス(#24058)があります。

5. 非同期 I/O

S3 のようなオブジェクトストアとのやり取りは、DuckDB 体験の中心です。データはどこかから来る必要があり、多くの場合オブジェクトストレージに置かれます。DuckDB は以前からオブジェクトストアから並列で読み取ることができましたが、同期アクセスはその速度に限界がありました。DuckDB v2.0 では、エンジン全体に非同期 I/O が導入されました。設計の詳細については、専用のブログ記事で説明しました。

非同期アクセスのおかげで、I/O レイヤーはクエリ処理レイヤーから独立してスケーリングできるようになりました。これは、リモート読み取りの並列性がはるかに高まり、ネットワークストレージ上のクエリが劇的に高速化されることを意味します。Parquet サポートが最初に来て(#23662)、CSV(#23961)と DuckDB 独自のファイルフォーマット(#24654)が続き、非同期 Parquet 書き込み(#23283)と新しい MMAP および DIRECT_IO モード(#22988)も追加されました。ローカルストレージも少し恩恵を受けますが、大きな改善が見られるのはネットワークストレージです。

6. 全体的なクエリ高速化

すべてのリリースと同様に、何もせずに既存のクエリを高速化するための多くの作業が行われました。いくつかのハイライトを挙げると、部分集計がジョインの下にプッシュされるようになり(#22572)、冗長な集計が再利用されるようになりました(#24543)。再帰 CTE エンジンが書き直され(#22211)、集計がメモリを超えた場合にディスクにスピルするようになり(#24499)、Windows CLI のマルチスレッド結果マテリアライゼーションが約 2.2 倍高速化されました(#24036)。

これはどれだけ速くなる可能性があるでしょうか?ラップトップで実行できるマイクロベンチマークを以下に示します。プレーンな再帰 CTEとして記述された、100万エッジを持つグラフの単一ソース到達可能性です。

CREATE TABLE edges AS
    SELECT (range % 100000)::INTEGER AS src,
           ((range * 13 + 7) % 100000)::INTEGER AS dst
    FROM range(1000000);

WITH RECURSIVE reachable(node) AS (
    SELECT 0
    UNION
    SELECT dst FROM edges, reachable WHERE src = node
)
SELECT count(*) FROM reachable;
バージョン実行時間
DuckDB v1.5.44.90 秒
DuckDB v2.0 (プレビュー)0.12 秒

ご覧のとおり、DuckDB v2.0 は同じ再帰クエリで約 40 倍高速(!)です。

更新: DuckDB v2.0 で再帰 CTE を高速化する方法についてブログ記事を公開しました。https://duckdb.org/2026/08/25/how-duckdb-runs-recursive-ctes-faster.html

行グループプルーニングが大幅に拡張されました。 min-max インデックス(ゾーンマップ) と Parquet Bloom フィルターは、構造体、リスト、デシマル、UUID、IN フィルター、さらには関数述語に対してもデータスキップを行うようになりました。

-- これらは行グループをスキャンするのではなく、行グループをプルーニングするようになりました:
SELECT * FROM logs WHERE contains(message, 'ERROR');
SELECT * FROM t WHERE substr(code, 1, 3) = 'NL-';
SELECT * FROM 'data/*.parquet' WHERE id IN (1, 5, 9);

クエリプランニングもパーティション認識型になります(#22336)。レイクハウスフォーマット(DuckLake、Iceberg、および S3 上のプレーンな Hive パーティション Parquet)はすべてパーティション化されており、そのパーティション化を利用することが、データセットをスキャンするか、そのほとんどをスキップするかの違いになることがよくあります。v2.0 では、プランナーとオプティマイザーは既存のパーティション化を最大限に活用し、パーティション化された書き込みも再構築されました(#22225, #22620)。

7. ストレージフォーマット v2.0

DuckDB v2.0 は、デフォルトのストレージフォーマットバージョンを v2.0.0 に引き上げます(#22875)。

カラムメタデータは遅延ロードされるようになり(#22333)、ワイドテーブルもより速く開くようになります。DICT_FSST 文字列圧縮メソッドがデフォルトで有効になり(#23733)、削除がコンパクトに保存され(#24336)、ストレージレイヤーは読み取り時にさらに強力な破損検証を実行します。要するに、大きなインデックスとワイドテーブルを持つデータベースは、より速く開き、メモリ使用量がはるかに少なくなります。新しいストレージフォーマットは、チェックポイントバキュームが、行 ID が変更されたエントリをインクリメンタルに再マッピングすることで ART インデックスをコンパクト化できるようにし、完全なインデックス再構築を回避します(#23653)。

今年後半には、ART インデックスがバッファ管理されるようになります(#21458, #23605)。これにより、ART インデックスバッファがメモリ不足時にエビクトできるようになり、ART インデックスが完全にメモリに収まるという制限がなくなります。

8. 真新しい SQL パーサー

DuckDB は、かつてから PostgreSQL に由来するパーサーを有名に使用してきました。私たちはもう十分だと判断しました。v2.0 では、独自のモダンで拡張可能な PEG ベースのパーサー(#22194)をリリースします。これは、2024 年のランタイム拡張可能パーサーに関する投稿で最初に検討したアイデアです。この変更は拡張機能エコシステムと結びついています。拡張機能は文法自体にフックできるようになり、完全に新しい SQL 構文を公開する拡張機能が期待されます。また、正確なソース位置を持つ、より良いエラーメッセージも提供します。

私たちは古いパーサーと互換性があるように設計したため、パーサーの切り替えから実際に気づくことはないはずです。もし気づいた場合は、問題を報告してください。

更新: PEG パーサーに関する新しいブログ記事を公開しました。https://duckdb.org/2026/08/20/duckdb-20-peg-parser.html

9. ICU なしのタイムゾーン、カレンダー、および照合順序

DuckDB のタイムゾーン対応タイムスタンプ、カレンダー、および照合順序は、常に ICU ライブラリによってサポートされてきました。ICU は優れたライブラリですが、私たちはその一部しか使用しておらず、それでもすべての DuckDB ディストリビューションに含めていました。v2.0 では、ICU ライブラリは完全に削除されました。icu 拡張機能は、タイムゾーン、カレンダー、および照合順序自体を実装します(#24463, #24403)。タイムゾーンデータは IANA データベースから直接構築され、約 45 kB に圧縮されています。すべて以前とまったく同じように機能します。

SELECT '2026-08-14 12:00:00'::TIMESTAMPTZ AT TIME ZONE 'Europe/Paris';
SELECT * FROM names ORDER BY name COLLATE de;

はるかに小さく、更新しやすくなったことに加えて、新しい実装は単純に高速でもあります。以下は、2500 万のタイムスタンプをタイムゾーンに変換し、500 万の文字列をドイツ語の照合順序でフィルタリングする MacBook 上での簡単なマイクロベンチマークです。

クエリv1.5.4 (ICU)v2.0 (ネイティブ)スピードアップ
ts AT TIME ZONE 'Europe/Paris', 25 M 行0.24 秒0.11 秒2.2 倍
COLLATE de でフィルタリング, 5 M 行0.15 秒0.06 秒2.6 倍

10. 拡張機能を一度書けば、自分でホストできる

拡張機能は DuckDB の最も優れた点の 1 つですが、今日では、それらのほとんど(私たち自身のものを含む)は不安定な C++ APIに対してビルドされています。拡張機能の作成者は、拡張機能自体が変更されていなくても、すべての DuckDB リリースに対して拡張機能を再ビルドして公開する必要があります。これは多くの場合、拡張機能作成者にとって簡単な操作ではなく、DuckDB チームにとっては調整の労力がかかります。拡張機能を再ビルドしないと、最新バージョンの DuckDB にインストールできません。

拡張機能の開発

DuckDB v2.0 では、改良された C API をリリースします(パート 1 については #24702 を参照)。API は、バージョン管理されたYAML で表現された仕様を使用し、バージョン管理された仕様スキーマとコード生成ツール(#24135)を使用します。スキーマにより、すべてのシンボルにライフサイクルと安定性保証をタグ付けできます(#24435)。API の大部分は、安定しており凍結されるようにマークされ、DuckDB バージョン間で安定した ABI を提供します。

API 自体は、2.0 より前の C API からいくつかの点で改善されています。一貫したエラー処理と、命名および所有権に関する統一された規約を提供します。スカラー、集計、テーブル、キャスト、コピー関数(名前付きパラメータと可変長引数付き)、SQL ステートメントの解析と検査、プリペアドステートメント、リプレイスメントスキャン、カスタムファイルシステム、ベクトルバッファ、値、型への直接アクセスなど、はるかに広い機能表面をカバーしています。ストリーミングクエリ結果の消費をサポートします。この API を使用して、DuckDB の最も強力な機能にアクセスするためのプリミティブを提供したいと考えています。

ただし、C API を直接プログラムする必要はありません。その上に C++ API も提供します。これは、拡張機能にコンパイルされ、安定した C ABI のみに話しかける薄いレイヤーであるため、出荷するバイナリは DuckDB バージョンに依存しません。DuckDB API への便利な、型指定された、十分に文書化された方法を提供します。Rust を使用して拡張機能作成者にも同様の機能を提供するバインディングも開発中です。

では、C++ API を使用する拡張機能はどのようになるでしょうか?以下に完全な例を示しますが、詳細はまだ変更される可能性があります。ベクトル化されたスカラー関数を登録する単一ファイルです。

#include "duckdb_cpp.hpp"

using namespace duckdb_api;

DUCKDB_CPP_EXTENSION_ENTRYPOINT(extension) {
    // add_numbers(a BIGINT, b BIGINT DEFAULT 2): 2 つの BIGINT を一度に 1 つのベクトルずつ加算します
    ScalarFunction function;
    function.SetName("add_numbers")
        .SetSignature(FunctionSignature::Create()
                        .AddParameter("a", LogicalType::BIGINT())
                        .AddParameterDefault("b", LogicalType::BIGINT(), Value::Bigint(2))
                        .SetReturnType(LogicalType::BIGINT()))
        .SetExecCallback([](ScalarFunction::ExecInput &input) {
            auto chunk = input.GetInputChunk();
            auto a = chunk.GetVector(0).GetView();
            auto b = chunk.GetVector(1).GetView();
            auto out = input.GetResultVector().GetDataMutable<int64_t>();
            for (idx_t i = 0; i < chunk.GetRowCount(); i++) {
                out[i] = a.Data<int64_t>()[a.SelAt(i)] + b.Data<int64_t>()[b.SelAt(i)];
            }
        })
        .Register(extension);
}

次のように使用できます。

LOAD add_numbers;
SELECT add_numbers(40, 2);           -- 42
SELECT add_numbers(40);              -- 42: b はデフォルト値にフォールバックします
SELECT add_numbers(b := 2, a := 40); -- 42: 名前付き引数も機能します
SELECT add_numbers(40, NULL);        -- NULL、関数は何も実行しません

新しい DuckDB バージョンが出るたびに再ターゲットしたり再ビルドしたりする必要はありません。そして今日では、AI ツールがすべて周りにあるため、拡張機能のビルドはかつてないほど簡単になりました。

拡張機能の配布

拡張機能を記述したとします。しかし、どのように配布すべきでしょうか?これまで、DuckDB は組み込みリポジトリ(core、core_nightly、community など)からしか拡張機能をインストールできませんでした。v2.0 では、独自の信頼できるリポジトリを登録できるようになります(#24777、現在作業中)。これにより、組織は独自の拡張機能をホストおよび署名し、組み込みのものと同様にインストールおよびロードできるようになります。

SET allow_extension_repositories = 'allowed';

CREATE EXTENSION REPOSITORY my_repo
    WITH PREFIX 'https://extensions.example.org';

INSTALL my_ext FROM my_repo;
LOAD my_repo/my_ext;

リポジトリは、名前、URL プレフィックス、およびそこから提供される拡張機能に署名するために信頼される 1 つ以上の RSA 公開鍵です。プレフィックスは DuckDB が読み取れるものなら何でも指すことができます。ローカルパス、https、s3 などです。CREATE 時に、DuckDB はリポジトリの公開鍵を取得し、リポジトリ定義にピン留めします。各鍵の SHA-256 フィンガープリントを出力して、帯域外で公開されたものと比較できるようにします。ネットワークをまったく信頼したくない場合は、鍵を直接渡すことができます。

CREATE EXTENSION REPOSITORY my_repo
    WITH PREFIX 'https://extensions.example.org';
    USING PUBLIC KEY '-----BEGIN PUBLIC KEY----- ...';

ピン留めされたリポジトリは再起動後も保持され、複数の鍵を信頼することで鍵のローテーションをサポートし、いつでも duckdb_extension_repositories() テーブル関数を通じて監査したり、DROP EXTENSION REPOSITORY で削除したりできます。安定した C API とともに、拡張機能の話はうまくまとまります。拡張機能を一度書き、署名し、好きな場所にホストし、どこにでも INSTALL できます。

更新: この機能は現在プレビュービルドで利用可能です。

ボーナス: DuckDB Foundation – 諮問委員会

この秋から、DuckDB Foundation にステークホルダー諮問委員会を追加します。諮問委員会は、DuckDB、DuckLake、および Quack の開発ロードマップに関するインプットを提供します。これにより、主要なステークホルダーはプロジェクトの方向性に発言権を持つことができます。

最終的な考え

これらはほんの一部のハイライトであり、この記事はプレビューにすぎません。リリースはこの秋に行われる前に、いくつかの詳細が変更される可能性があり、ここでカバーできなかった多くの機能や改善があります。DuckDB v2.0 には、新しいデフォルトのストレージフォーマットや、リリース発表で詳細をカバーするラムダ構文の移行完了など、少数の破壊的変更も含まれます。

v1.5 をリリースして以来、多くの貢献者によって10,000件以上のコミットがありました。このリリースを形作った、詳細な問題報告、フィードバック、および貢献をしてくれたコミュニティに感謝したいと思います。秋の前に味見をしたい場合は、プレビュービルドでこれらの機能のほとんどを今日試すことができます。もし何か問題が発生した場合は、issue tracker があります。

最近の投稿

[画像: NVIDIA Vera での DuckDB v2.0-dev のベンチマーク]

NVIDIA Vera での DuckDB v2.0-dev のベンチマーク

[画像]

Gábor Szárnyas

[画像: JSON 文字列から型付きカラムへ]

JSON 文字列から型付きカラムへ

DuckDB チーム

[画像: Iceberg テーブルの中身は?]

Iceberg テーブルの中身は?

DuckDB チーム