Polars 2.0 のリリース
Release of Polars 2.0 (pola.rs)
要約
データ処理ライブラリ Polars のメジャーバージョン 2.0 がリリースされました。本バージョンでは、ディスクへのスピル(アウト・オブ・コア)サポートの初期実装、コアパフォーマンスの大幅な改善、SQL のファーストクラスサポートが導入され、TPC-H および TPC-DS ベンチマークで DuckDB や DataFusion を上回る性能を示しました。また、新しい Map データ型と、より厳格で迅速なフィードバックを可能にするエラーハンドリングも追加されています。
全文翻訳
Polars 2.0 のリリース
本日、Polars 2.0 を出荷します。以前のアナウンスメント投稿では、バージョンアップの理由について説明しました。この記事では、2.0 がもたらす新機能について詳しく説明します。大きなフィーチャーリリースにするつもりはありませんでしたが、それでも熱狂するに値する多くの機能が詰め込まれています。
このリリースのハイライトを見ていきましょう。
- アウトオブコア(ディスクへのスピル)サポートの初期バージョンが有効になりました。
- コアパフォーマンスの多くの改善。
- ファーストクラスのSQLサポート。パフォーマンスの改善と合わせて、Polars は TPC-H および TPC-DS ベンチマークで DataFusion と DuckDB をリードしています[1]。
- 新しい
Mapデータ型。 - 型と明示性に対する Polars の厳格化により、フィードバックとAIイテレーションが高速化します。
パフォーマンスとファーストクラスの市民としてのSQL
Polars 2.0 は、SQL をファーストクラスの市民として扱う基準点となります。Polars の SQL カバレッジは、過去数ヶ月で劇的に増加しました。私たちは過去数年間、堅実なエンジンを構築してきたことを知っています。Polars 2.0 では、SQL を含む、より多くのワークロードでそれを可能にしたいと考えています。これを高性能にするために、オプティマイザーとエンジンに多くの改善を加えました。ここでのハイライトは、ジョインの並べ替え、はるかに優れた共通サブプラン除去、および動的述語/ブルームフィルターです。
典型的な SQL ベンチマークでのパフォーマンスを確認するために、Polars SQL を TPC-H および TPC-DS[1] から派生したデータで実行し、最新の DuckDB リリース(1.5.6)、DuckDB 2.0 アルファ(2.0.0.dev2610011535)、および最新の DataFusion リリース(54.0.0)に対して、c7a.4xlarge(16 vCPU、32GB RAM)および c7a.metal(192 vCPU、384GB RAM)で実行しました。各クエリはホット設定で5回実行され、クエリごとに個別のプロセスと60秒のタイムアウトが設定されました。ファイルキャッシュは、各エンジン/ベンチマーク間で(クエリ間ではなく)クリアされました。各クエリについて5回の実行のうち最良の結果を取り、合計時間と幾何平均の両方でエンジンを比較します。
データは、ソースからコンパイルされた tpcgen-cli parquet(コミット 99bedae)を使用して生成されました。tpcgen-cli のデフォルトの行グループサイズを確認し、Polars の scan_csv を sink_parquet を介してパイプしたものや、Duckdb の COPY が生成するものとほぼ同等であることを確認しました。SQL クエリは、DuckDB 1.5.6 の tpch_queries() および tpcds_queries() を使用して生成されました。データは EBS に保存されました。
以下のチャートは、各エンジンの実行時間(秒、少ないほど良い)をマシン別に分割して示しています。
c7a.4xlarge (16 vCPU, 32 GB)
c7a.metal (192 vCPU, 384 GB)
Polars と両方の DuckDB バージョンは、すべてのクエリを完了しました。DataFusion は TPC-DS q72(および一度 q67)でタイムアウトし、c7a.4xlarge 上の TPC-H q18 でメモリ不足になりました。これらのクエリは、上記のすべてのエンジンの結果から除外されています。
デフォルトの Polars は、1つのベンチマークを除いてすべて最速であることが観察されます。Polars は、192 スレッドにスケールすると定数オーバーヘッドがあり、これは小規模データクエリに影響します。実際、Polars を32コアに制限すると、すべてのベンチマークで競争力があるか、または勝利することがわかります。この問題の原因は、こちらで診断済みであり、次のリリースで修正されることを願っています。ベンチマークに関する詳細情報は、付録で確認できます。結果を再現することを推奨します。このベンチマーク用のリポジトリを共有しました: https://github.com/pola-rs/polars-2.0-benchmark
ストリーミングエンジンとデフォルトでのOOC
これは 2.0 の最も影響の大きい変更の1つです。LazyFrame で collect を呼び出すと、デフォルトでストリーミングエンジンが使用されるようになり、ほとんどのクエリでメモリとパフォーマンスが大幅に向上します。メジャーバージョンアップが必要だった理由は、ストリーミングエンジンがデフォルトでは特定の操作(join、group_by、unpivot など)で行順序を保証しないためです。これらの操作で観測可能な行順序が必要な場合は、maintain_order=True を設定することでオプトインできます。
アウトオブコア(ディスクへのスピル)がデフォルトで有効になりました。RAM の約80% でスピルを開始します(調整が必要になる場合があります)。現在アウトオブコアをサポートしている操作(sort、ウィンドウ関数、多くの式)は、クエリを完了するためにディスクへのスピルを開始できるようになりました。デフォルトのディスクバジェットは 64GB です。今後、join および group_by でもアウトオブコアを有効にする予定です。
これらの2つの変更により、Polars はカジュアルなデータプラクティショナーにとって、高メモリワークロードでの耐性が大幅に向上します。そして、アウトオブコアの join と group_by がロードマップにあるため、この耐性はさらに向上するでしょう。
新しいMapデータ型
Polars は現在、Arrow の MapType を Polars の Map データ型として直接サポートしています。Map は、キーと値をマッピングする Python の辞書と考えることができます。2.0 より前は、Arrow の MapType は Polars では `List(Struct({