HN 日本語サマリー

← 一覧へ戻る
プログラミング

MySQL向けの新しく書き込み・スペース最適化されたストレージエンジンが登場

A new write and space optimized storage engine for MySQL is here (tidesdb.com)

54 pointsby alexpadula22 コメント

要約

TidesDBは、MySQL向けの新しい外部プラグインストレージエンジンとして利用可能になりました。このエンジンは、書き込みとスペースの最適化に優れ、読み取り性能も高いのが特徴です。圧縮、値の分離、LSMツリーの形状設定、耐久性、暗号化などの豊富な設定オプションを備え、MVCCによる楽観的同時実行制御を提供します。ベンチマークでは、特に書き込みと削除のワークロードにおいて、InnoDBと比較して大幅なパフォーマンス向上とディスクI/O削減を示しました。

全文翻訳

TidesDBがMySQL v9、v26で利用可能に

by Alex Gaetano Padula

published on October 5th, 2026

おそらく多くの人は知らないかもしれませんが、元々TideSQLはTidesDBライブラリをプラグインとして実装するために作られたMySQLのフォークとして始まり、その強力なストレージエンジンをMySQLユーザーが利用できるようにしていました。しかし、当時はMySQLコミュニティにそれを可能にする方法がなかったため、当初の計画は変更されました。それから約1年が経過し、多くのことが変わりました。TidesDBをMySQLで利用可能にするための提案が作成され、そして実現しました!TidesDBは、素晴らしい機能セットを備えた外部プラグインストレージエンジンとして利用可能になりました。今後も機能は追加される予定です。

現在、TideSQLというTidesDBプラグインエンジンにアクセスするには、プラグインリポジトリにあるinstall.shスクリプトを使用します。このスクリプトは、独自のビルドを指定するか、バンドルをビルドさせるかのどちらかを選択できます。将来的には、このプロセスをより簡単にしたいと考えており、関係各所と協議中です。

TidesDBは、書き込みとスペースの最適化に優れたストレージエンジンライブラリであり、ハイブリッドLSMアーキテクチャにより読み取り処理にも非常に高いパフォーマンスを発揮します。

このライブラリを利用するTideSQLはフォークではなくプラグインです。通常のMySQLを実行し、その中にエンジンをロードします。これにより、TidesDBテーブルは同じサーバー内でInnoDBテーブルと並べて配置できます。MySQL v2.0.0向けのTideSQLは、TidesDB v10.1.1とペアになっており、MySQLサーバーv9.7.0およびv26.7.0でテストされています。

INSTALL PLUGIN TidesDB SONAME 'ha_tidesdb.so';
CREATE TABLE events (id BIGINT PRIMARY KEY, body TEXT) ENGINE=TIDESDB;

MySQLにはエンジン固有のCREATE TABLE構文がないため、テーブルはENGINE_ATTRIBUTE内のJSONオブジェクトとしてTidesDBオプションを指定します。サーバーはこのJSONを読み取らずにエンジンに渡します。エンジンがこれらの名前を定義するため、チェックも行われ、スペルミスのあるオプションは保存されて無視されるのではなく、ステートメントが失敗します。すべてのオプションには、対応するtidesdb_default_*セッション変数があるため、ポリシーを一度設定すれば、すべてのCREATE TABLEがそれを継承できます。テーブルが名前を指定しないものは、作成時に解決され、そのまま維持されます。

CREATE TABLE archive (id INT PRIMARY KEY, data TEXT) ENGINE=TIDESDB  ENGINE_ATTRIBUTE='{"compression": "ZSTD", "bloom_fpr": 50}';

圧縮はデフォルトで有効になっています。選択肢はNONE、SNAPPY、LZ4、ZSTD、LZ4_FASTで、デフォルトはLZ4です。

大きな値はコンパクションから除外されます。各SSTableには独自のキーログがあり、データベース全体で1つのセグメント化された値ログを共有します。tidesdb_value_separation_threshold以上の値は値ログに格納され、キーログには論理IDが残されます。これにより、後続のマージでは値自体ではなくポインタが転送されます。これはスキャン時に1行あたり1回の値ログ読み取りを必要とします。そのため、マージよりもスキャンが多いテーブルでは、{"keep_values_inline": true}を設定して、値のサイズに関わらずすべての値をキーログに保持できます。

LSMの形状もテーブルごとに設定できます。level_size_ratioは、テーブルの各レベルが前のレベルよりどれだけ大きいかを示し、min_levelsは最小深度、l1_file_count_triggerはコンパクションがそれらをマージする前にテーブルのレベル1に集まることができるSSTableの数です。コンパクションポリシーを選択する必要はありません。エンジンはツリーの状態に基づいて、プリエンプティブマージ、分割マージ、パーティションマージの中から選択します。削除が多いテーブルの場合、tombstone_density_triggerは、設定した比率を超えるタンストーンを持つSSTableのコンパクションをエスカレートさせます。

CREATE TABLE tuned (id INT PRIMARY KEY, v VARCHAR(200)) ENGINE=TIDESDB  ENGINE_ATTRIBUTE='{"level_size_ratio": 8, "min_levels": 3,                     "l1_file_count_trigger": 4}';

永続性は1つの設定、tidesdb_memtable_sync_modeで、すべてのテーブルがライブラリのライトアヘッドログを共有するため、すべてのコミットを制御します。FULLがデフォルトで、コミットされた書き込みがデバイスに到達し、電源喪失後も生存することを意味します。INTERVALは、各コミットをオペレーティングシステムに渡し、間隔内にデバイスに到達するため、プロセスがクラッシュしても何も失われず、マシンがクラッシュしてもそのウィンドウまでの損失で済みます。NONEはコミット時には何も行わず、確認されたコミットはバッファに残り、後続のバッチで書き出されるまで、プロセスがクラッシュすると失われます。

行はテーブルレベル、行レベル、またはセッションレベルで自動的に期限切れになり、その順序で解決されます。保存時の暗号化は、2層のキー配置による行ごとに行われ、マスターキーをローテーションしても行データには影響しません。暗号化されたテーブルの行は、ライブラリがそれを見る時点ですでに暗号文になっているため、その列ファミリーでは圧縮が強制的にオフになります。一方、セカンダリインデックスは、暗号化されていない比較可能なキーを保持し、選択した圧縮アルゴリズムを維持します。

現在機能しているその他の機能は以下の通りです。

  • FULLTEXTインデックス(自然言語およびブールモード、BM25ランキング、ストップワード、ブレンド文字付き)
  • エンジン内で強制される外部キー、ON DELETEおよびON UPDATE(CASCADE、SET NULL、RESTRICT付き)、自己参照
  • 空間インデックス、生成列、JSON
  • ベクトル列の格納と読み取り(ただし、類似性検索はできません)
  • インスタントなADD COLUMNおよびDROP COLUMN。パックされた行は自己記述ヘッダーを持つため、デシリアライザーは以前のスキーマで書き込まれた行に適応します。
  • ANALYZE TABLEを実行せずにオプティマイザーが使用できる統計情報。テーブルが初めてデータで満たされたときにサンプリングされます。
  • オンラインバックアップとチェックポイント、およびツリーの状態を確認するためのSHOW ENGINE TIDESDB STATUS

同時実行性はオプティミスティックMVCCです。ペシミスティック行ロックがないため、ロック待機やチューニングが必要なロック待機デッドロックはありません。書き込み競合はステートメント内ではなくコミット時にER_ERROR_DURING_COMMIT (1180)として表示され、明示的なBEGIN ... COMMITをREPEATABLE READ以上で使用するアプリケーションは、それにリトライする必要があります。オートコミットステートメントはREAD COMMITTEDで実行され、ライブラリは書き込み-書き込みチェックを行いません。書き込みを行わなかったトランザクションは競合しません。

同じサーバー上で、8つの500万行のテーブルに対してsysbench 1.0.20を実行しました。各エンジンはデフォルト設定を使用しました。標準からの唯一の2つの変更点は、READ COMMITTEDと永続性モードであり、両方のエンジンで一致させているため、書き込みにおいてどちらも有利にならないようにしました。

使用したマシン:

  • Intel i9-13900、24スレッドオンライン、8 P-core (5.3-5.6 GHz) + 16 E-core (4.2 GHz)
  • 実行中は8つのP-coreを分離
  • Ubuntu 24.04.4 LTS (6.8.0-136-generic)
  • 125.5 GiB DDR5、ECCなし
  • NVMe Micron 7450、xfs、OSディスクとは別
  • gcc 13.3.0
  • ライブラリおよびサーバー用にjemallocを使用

以下は、このマシンでピークとなった24スレッドでのトランザクション/秒です。

workloadTidesDBInnoDBadvantage
point select246,41095,7602.6x
read write5,9932,9892.0x
update index102,27318,9625.4x
write only31,8396,8784.6x
delete154,04825,7926.0x

そして、各ワークロード単独の結果です。

[画像: point select, transactions per second]

[画像: read write, transactions per second]

[画像: update index, transactions per second]

[画像: write only, transactions per second]

[画像: delete, transactions per second]

以下は、操作あたりのディスクへの書き込みバイト数です。これらは各エンジンの独自の会計ではなく/proc/diskstatsから取得しているため、エンジンの下で両方とも同じ方法で測定されており、各実行の後にはセトリング期間があるため、エンジンが遅延させた書き込みもその実行に起因するものとして計上されます。

workloadTidesDBInnoDBadvantage
read write11,196 B192,741 B17x less
update index3,000 B56,461 B19x less
write only9,290 B155,398 B17x less
delete916 B42,910 B47x less

[画像: bytes written to the device per operation]

なぜこれほど大きな違いがあるのでしょうか?データセットは約8GBですが、TideSQLが提供するブロックキャッシュとメンテーブルは256MB、InnoDBのバッファプールは128MBなので、どちらのエンジンもメモリにデータを保持していません。InnoDBでランダムな行を更新する場合、通常はメモリ上にない16KBのページを見つけ、それを読み込み、変更し、ダブルライトバッファを介してredoの上に16KBすべてを書き戻す必要があります。一方、TidesDBは数百バイトを追記し、後でソートします。

標準のsysbenchワークロードは値ログにアクセスしません。sbtestの1行は約188バイトで、値は1024バイト以上の場合にのみログに記録されるため、上記のすべてのワークロードはキーログ内に留まります。大きな値こそがこの設計の真価を発揮するものであり、そのため4KBのテキスト列を持つ200,000行の4つのテーブルに対して別のスクリプトを実行しました。このテキスト列は、ログ行やJSONドキュメントのように圧縮されるように、フィールド名と単語の小さな語彙から構築されました。3つの構成を実行しましたが、3番目はkeep_values_inlineが設定されたTidesDBで、値のサイズに関わらずすべての値をキーログに保持します。この3番目はコントロールです。これがない場合、TidesDBとInnoDBの間のギャップはエンジンのあらゆるものになり得ますが、これがある場合、値ログだけが変更されたことになります。

4 KB valuesTidesDBTidesDB inlineInnoDB
insert100,61332,33032,562
select255,60674,99698,979

[画像: 4 KB values, peak transactions per second]

インラインとInnoDBは同じ挿入数になり、値の分離はそれらの3倍になります。したがって、大きな書き込みでの利点は、LSMであることではなく、コンパクションがキーを書き直し、値をそのままにしておくことです。読み取りも同様の傾向を示しますが、上記のテーブルはスループットであり、以下はレイテンシであることに注意してください。キーログに保持された4KBの値は、1ページあたりの行数が少なくなります。インラインは3つの中で最も速い中央値読み取り(0.07ms)を示しますが、平均は0.38ms、最悪ケースは40msを超えます。これは、コンパクションが読み取りの下でそれらの値を移動させているためです。デフォルトは平均0.09ms、最悪ケースは6msです。

同じ3.05 GiBのペイロードが、InnoDBでは4.24 GiB、TidesDBでは1.19 GiB(デフォルトのLZ4、テキストとして圧縮されるデータの場合)として格納されます。ロードにかかった時間は、InnoDBが17秒だったのに対し、TidesDBは8秒でした。

[画像: same dataset, bytes on disk after load]

この記事は以上です。ぜひTideSQL for MySQLをお試しください!

生のデータとスクリプト:data.zip (sha256: 95fec38d5b14dc9673f1c5b3351f0cb0f469c8c7a6c584428b064c8a1a96fa2e)