DuckDB – ラップトップのためのデータパワーツール、Clojure対応版が登場 (2023年)
DuckDB – Data power tools for your laptop, now in Clojure (2023) (techascent.com)
要約
この記事は、インメモリ列指向データ処理プラットフォームであるtech.ml.dataset (TMD) が、ラップトップで利用可能な強力なデータ処理ツールであるDuckDBとClojureで連携できるようになったことを紹介しています。これにより、メモリに収まらない大規模データセットに対しても、DuckDBのベクトル化されたSQL実行エンジンを活用し、効率的なデータ分析が可能になります。
全文翻訳
DuckDB - ラップトップで使えるデータパワー・ツールがClojureに登場
2023-09-02
必要性の確立
インメモリの列指向データ処理プラットフォームである tech.ml.dataset (TMD) は、関数型データサイエンスの未来を牽引しています。データがメモリに収まらないほど大きくなった場合、TMDではデータのサンプルを操作したり、関連するサブセットをフィルタリングしたりすることで、作業環境の制約内で処理を続けることができます。さらに、nippy、arrow、または parquet を使用して、小規模から大規模まで、データの永続化を実現できます。
データが大きくなりすぎると、例えばリレーショナルな側面を持つ約100GBの.csvファイル群のような場合、現在のツールでは扱いにくくなることがあります。非関数的なSparkクラスターの混乱に巻き込まれたくなる誘惑に駆られます。もちろん、ある程度のトランザクションインタラクションとシンプルなディスクIOモデルを維持することは依然として非常に望ましいです。ローカルディスクは十分に大きく、ローカルチップは十分に高速なので、慌てる必要はありません。
リレーショナルデータベースは、メモリ外ストレージと高速なリレーショナルクエリにうまく適応していますが、関数型プログラミングとTMDの列指向処理モデルの利点を失うことなく、これをどのように活用できるでしょうか? JDBCとPostgresは、この質問に対する良い最初の答えを提供しますが、JDBC経由でデータをTMDに取り込むために、非効率的でバッチ処理されないAPIを介して、行から列への完全な変換を実行するのは煩わしいです。
新たな挑戦者の登場
DuckDBは、2021年5月のgithub issueで登場し、tmducken はその年の12月までにCバインディングとの最小限の統合が行われました。そのバージョンでは、すべてのクエリ結果が一度に返されたため、メモリに収まる必要がありました。また、DuckDBの初期の頃は、高性能なアペンドまたはインサートシステムがなかったため、IOがパフォーマンスの潜在能力を制限しており、PostgresはTMDの補助的な処理システムとして残っていました。それ以来、多くのことが変わりました。
過去2年間で、DuckDBは大きく改善されました。特に重要なのは、Cインターフェースが現在、インサートとクエリの両方に対してバッチシステムを提供しており、これにより非常に大きな結合処理が可能になります(後述)。これらの改善された機能は、TMDを介してClojureで活用できるようになり、DuckDBの最先端のベクトル化SQL実行エンジンにアクセスできます。これは素晴らしいことです。
実際の使用例
以前の投稿を基に、3年間のトランザクションデータを合計4億行含む50ギガバイトの.csvファイルがあります。
$ ll -h data.csv
-rw-rw-r-- 1 harold harold 50G Aug 8 09:49 data.csv
これをDuckDBにロードするのは驚くほど簡単ですが、2分待つ必要があります。
$ time duckdb data.ddb 'CREATE TABLE data AS FROM "data.csv";'
100% ▕████████████████████████████████████████████████████████████▏
real 1m50.091s
user 21m42.693s
sys 0m57.887s
$ ll -h data.ddb
-rw-rw-r-- 1 harold harold 18G Sep 6 10:57 data.ddb
これにより、ファイルサイズが18GBに削減されました。これには、DuckDBが自動的に作成したすべてのインデックス(!)が含まれています。
データは存在します。
$ duckdb data.ddb
v0.8.1 6536a77232
Enter ".help" for usage hints.
D SELECT COUNT(*) AS n FROM data;
┌───────────┐
│ n │
│ int64 │
├───────────┤
│ 400000000 │
└───────────┘
D DESCRIBE TABLE data;
┌────────────────┬─────────────┬─────────┬─────────┬─────────┬─────────┐
│ column_name │ column_type │ null │ key │ default │ extra │
│ varchar │ varchar │ varchar │ varchar │ varchar │ varchar │
├────────────────┼─────────────┼─────────┼─────────┼─────────┼─────────┤
│ customer-id │ VARCHAR │ YES │ │ │ │
│ day │ BIGINT │ YES │ │ │ │
│ inst │ TIMESTAMP │ YES │ │ │ │
│ month │ BIGINT │ YES │ │ │ │
│ brand │ VARCHAR │ YES │ │ │ │
│ style │ VARCHAR │ YES │ │ │ │
│ sku │ VARCHAR │ YES │ │ │ │
│ year │ BIGINT │ YES │ │ │ │
│ transaction-id │ VARCHAR │ YES │ │ │ │
│ quantity │ BIGINT │ YES │ │ │ │
│ price │ DOUBLE │ YES │ │ │ │
├────────────────┴─────────────┴─────────┴─────────┴─────────┴─────────┤
│ 11 rows 6 columns │
└──────────────────────────────────────────────────────────────────────┘
ClojureからTMDを介してこれにアクセスするのも簡単です。
user> (require '[tmducken.duckdb :as duckdb])
nil
user> (require '[tech.v3.dataset :as ds])
nil
user> (duckdb/initialize!)
Sep 06, 2023 11:00:12 AM clojure.tools.logging$eval7454$fn__7457 invoke
INFO: Attempting to load duckdb from "./binaries/libduckdb.so"
true
user> (def db (duckdb/open-db "data.ddb"))
#'user/db
user> (def conn (duckdb/connect db))
#'user/conn
user> (time (duckdb/sql->dataset conn "SELECT COUNT(*) AS n FROM data"))
"Elapsed time: 10.305756 msecs"
:_unnamed [1 1]:
| n |
|----------:|
| 400000000 |
ここで、管理部門から、各SKUの色情報(製品の色)をキャプチャする別のデータセットが必要だと通知されたと想像してください。これもデータベースに格納する必要があります。
user> (-> (let [colors ["red" "green" "blue" "yellow" "purple" "black" "white"]]
(->> (for [brand (range 100)
style (range 10)
item (range 10)]
(let [sku (format "sku-%s-%s-%s" brand style item)
n (rand-int 8)]
(for [color (take n (shuffle colors))]
{"sku" sku
"color" color})))
(apply concat)))
(ds/->dataset {:dataset-name "colors"}))
colors [35179 2]:
| sku | color |
|------------|--------|
| sku-0-0-0 | red |
| sku-0-0-0 | blue |
| sku-0-0-0 | white |
| sku-0-0-0 | yellow |
| sku-0-0-0 | black |
| sku-0-0-0 | green |
| sku-0-0-1 | black |
| sku-0-0-1 | yellow |
| sku-0-0-1 | blue |
| sku-0-0-1 | purple |
| ... | ... |
| sku-99-9-8 | yellow |
| sku-99-9-8 | purple |
| sku-99-9-8 | black |
| sku-99-9-8 | red |
| sku-99-9-8 | white |
| sku-99-9-8 | blue |
| sku-99-9-8 | green |
| sku-99-9-9 | purple |
| sku-99-9-9 | blue |
| sku-99-9-9 | black |
| sku-99-9-9 | green |
user> (duckdb/create-table! conn *1)
"colors"
user> (duckdb/insert-dataset! conn *2)
35179
お分かりの通り、4億件のトランザクション(それぞれにSKUがある)と、各SKUに約3.5色の情報を持つこのデータを結合する必要があります。
幸い、最初の要求は比較的単純です。「2021年3月に各色で何個の商品が販売されましたか?」そして「いつわかりますか?」と尋ねられます。
;; まず、ラップトップで14億行を2.5秒で結合できます...
user> (time (duckdb/sql->dataset conn "SELECT COUNT(*) FROM data INNER JOIN colors ON data.sku = colors.sku;"))
"Elapsed time: 2486.620275 msecs"
:_unnamed [1 1]:
| count_star() |
|-------------:|
| 1416737859 |
;; 次に、質問に答えます...
user> (time (duckdb/sql->dataset conn "SELECT color, COUNT(*) FROM data INNER JOIN colors ON data.sku = colors.sku WHERE data.year='2021' AND data.month='3' GROUP BY color;"))
"Elapsed time: 1077.723309 msecs"
:_unnamed [7 2]:
| color | count_star() |
|--------|-------------:|
| red | 5714223 |
| yellow | 5652010 |
| black | 5720753 |
| blue | 5750846 |
| white | 5689916 |
| green | 5816652 |
| purple | 5671959 |
1秒後にはわかります。これが回答です。
次の質問はSQLにはあまり適しておらず、ClojureでTMDを使用して処理する方が良いかもしれません。この例では、ボスの好きなSKUのすべてのトランザクションを、時系列順(1秒単位)にソートして集計します。
user> (time
(reduce (fn [eax ds]
(conj eax (ds/row-count ds)))
[]
(duckdb/sql->datasets conn "SELECT * FROM data WHERE sku='sku-50-5-5' ORDER BY inst")))
"Elapsed time: 1067.480751 msecs"
[2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 2048 576 733]
もちろん、この還元関数は単純ですが、ポイントは証明されています。実現されたデータセットは、メモリが不足することのないメカニズムによる還元を通じて、任意の処理に利用可能です。
DuckDBは ゼロコピークエリパス もサポートしています。クエリ結果のどのチャンクも還元関数からエスケープする必要がない場合、マシンはより少ない作業で済む可能性があります。以下の例では、これが有効化されており、{:reduce-type :zero-copy-imm} オプションを渡すことでアクセスされます。
処理がこのように表現できる場合、理論的には利用可能な最もメモリ使用量の少ないパスになります。
user> (time (let [sql "SELECT * FROM data WHERE sku='sku-50-5-5' ORDER BY inst"
options {:reduce-type :zero-copy-imm}]
(reduce (fn [eax zc-ds]
(conj eax (ds/row-count zc-ds)))
[]
(duckdb/sql->datasets conn sql options))))
"Elapsed time: 1037.480113 msecs"
[2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 2048 531 1408]
これで、このシステムが提供するパワーの感覚がつかめたはずです。
いくつかの興味深いDuckDBの豆知識
DuckDBは、すべての数値データを minmaxインデックス(BRINインデックスとも呼ばれる)に自動的に格納します。これらは元のデータサイズにそれほど大きくは追加されませんが、クエリパフォーマンスを劇的に向上させます。また、一意または主キーの列の場合は、ARTインデックスを自動的に作成します。最後に、ユーザーはオプションでカテゴリ列用のインデックスを作成できますが、欠点はディスクストレージサイズの増加と、トランザクションの遅延の可能性です。
DuckDBは標準のC++11で書かれており、そのため非常にポータブルです。mac m-1用にすぐにバリアントが構築され、別のプラットフォームで特別な機能が必要な場合は、そのプラットフォーム用にデータベースをコンパイルおよび変更することに抵抗はありません。この記事の執筆時点(2023年9月)で、そのコードベースのsrcディレクトリは約100,000行のC++コードです。
(base) chrisn@chrisn-lp2:~/dev/cnuernber/duckdb$ cloc src
1612 text files.
1612 unique files.
0 files ignored.
github.com/AlDanial/cloc v 1.90 T=0.83 s (1936.0 files/s, 203773.8 lines/s)
-------------------------------------------------------------------------------
Language files blank comment code
-------------------------------------------------------------------------------
C++ 831 13749 8912 99454
C/C++ Header 679 7754 9903 28287
CMake 101 49 0 1541
Markdown 1 7 0 15
-------------------------------------------------------------------------------
SUM: 1612 21559 18815 129297
-------------------------------------------------------------------------------
DuckDBはMITライセンスであり、オープンなGitHub開発モデルを採用しており、そのコミュニティは質問に迅速に答えてくれます。このような高品質なパワー・ツールをオープンな方法で開発することは称賛に値します。
まとめ
私たちのduckdbインテグレーションを試してみてください。または、私たちにその実装を依頼してください。DuckDBはTMDをうまく補完し、小規模チームが高価な分散ソリューションに頼ることなく、大規模データセットを効率的に管理・処理する能力を大幅に向上させます。この統合は、他の人がより鈍いツールでクラスターを管理しようとする際に、ラップトップ上で関数型ソリューションを可能にすることで、真にデータ処理を民主化するための高品質で効率的なコンピューティングツールの価値をサポートし、表しています。
TechAscent: ダック(DuckDB)を整列させる。