Lightning Memory-Mapped Database Manager (LMDB) 1.0
Lightning Memory-Mapped Database Manager (LMDB) 1.0 (lmdb.tech)
要約
LMDB 1.0は、BerkeleyDB APIに似たBtreeベースのデータベース管理ライブラリで、データベース全体をメモリマップで公開し、データ取得時にmallocやmemcpyが発生しないため、極めて高速かつメモリ効率が良いのが特徴です。ACIDトランザクションをサポートし、コピーオンライト戦略により高い耐障害性も備えています。複数のプロセスやスレッドからの同時読み書きに対応し、メンテナンス不要で運用できます。
全文翻訳
はじめに
LMDBは、BerkeleyDB APIに緩やかに倣って設計されたB-treeベースのデータベース管理ライブラリですが、大幅に簡略化されています。データベース全体がメモリマップとして公開され、すべてのデータ取得はマップされたメモリから直接行われるため、データ取得中にmallocやmemcpyが発生しません。このため、ライブラリ自体にページキャッシュ層が不要となり、極めてシンプルでありながら、非常に高性能でメモリ効率も高くなっています。また、完全なトランザクションとACIDセマンティクスを備えており、メモリマップが読み取り専用の場合、アプリケーションコードからのポインタの誤書き込みによってデータベースの整合性が損なわれることはありません。
注意: これはLMDB 1.0のドキュメントです。LMDB 0.9のドキュメントはこちらにアーカイブされています。
LMDB 0.9を以前に使用していた場合は、リリース0.9からのアップグレードを参照してください。
このライブラリは完全にスレッドを認識しており、複数のプロセスやスレッドからの同時読み書きアクセスをサポートします。データページはコピーオンライト戦略を使用しているため、アクティブなデータページが上書きされることはなく、破損に対する耐性も提供し、システムクラッシュ後の特別なリカバリ手順の必要性を排除します。書き込みは完全にシリアライズされており、一度にアクティブな書き込みトランザクションは1つだけなので、ライターがデッドロックに陥ることはありません。データベース構造はマルチバージョンであるため、リーダーはロックなしで実行できます。ライターはリーダーをブロックせず、リーダーもライターをブロックしません。
他の有名なデータベースメカニズムが、ライトアヘッドトランザクションログまたはアペンドオンリーのデータ書き込みのいずれかを使用するのとは異なり、LMDBは運用中にメンテナンスを必要としません。ライトアヘッドロガーとアペンドオンリーデータベースは、ログファイルまたはデータベースファイルが際限なく増加するのを防ぐために、定期的なチェックポイントまたはコンパクションが必要です。LMDBはデータベース内の空きページを追跡し、新しい書き込み操作のためにそれらを再利用するため、通常の利用ではデータベースサイズが際限なく増加することはありません。
メモリマップは読み取り専用または読み書き両用のマップとして使用できます。デフォルトでは読み取り専用であり、これにより破損に対する完全な耐性が提供されます。読み書きモードを使用すると、書き込みパフォーマンスは大幅に向上しますが、ポインタを介したアプリケーションの誤った書き込みによってデータベースが静かに破損する可能性が生じます。もちろん、アプリケーションコードにバグがないことがわかっている場合(...)は、これは問題ではありません。
トランザクショナルな組み込みキー/バリューストアを初めて使用する場合は、はじめにのページが役立つかもしれません。
注意事項
ロックファイルのトラブルシューティング、およびBSDシステムでのセマフォ:
- 破損したロックファイルは同期の問題を引き起こす可能性があります。中断されたプログラムによって残された古いリーダー・トランザクションは、さらなる書き込みによってデータベースを急速に成長させ、古いロックはさらなる操作をブロックする可能性があります。
修正: mdb_reader_check関数またはmdb_statツールを使用して、古いリーダーを定期的にチェックしてください。古いライターはほとんどのシステムで自動的にクリアされます:
-
Windows - 自動
-
BSD、SysVセマフォを使用するシステム - 自動
-
Linux、Robustオプション付きPOSIXミューテックスを使用するシステム - 自動 それ以外の場合は、データベースを使用するすべてのプログラムを閉じてください。ロックファイルは、環境を最初に開いたときに常にリセットされます。
-
BSDシステムまたはMDB_USE_SYSV_SEMまたはMDB_USE_POSIX_SEMで設定されているその他のシステムでは、別のユーザーIDが所有するセマフォのために起動に失敗する可能性があります。
修正: セマフォを所有するユーザー(おそらく最後のユーザー)またはrootとして、他のプロセスがデータベースを使用していない間に、データベースを開閉してください。
制限/注意事項(一部の関数に記載されているものに加えて):
-
通常、BSDシステムまたはMDB_USE_POSIX_SEMで設定されている場合、データベースの所有者のみがデータベースを使用すべきです。複数のユーザーが後で起動に失敗する原因となる可能性があります(前述)。
-
通常、純粋な読み取り専用モードはありません。リーダーはロックとロックファイルへの書き込みアクセスを必要とするためです。例外: 読み取り専用ファイルシステムの場合、またはmdb_env_open()の下で説明されているMDB_NOLOCKフラグを使用する場合。
-
LMDB構成では、将来の成長のためにかなりの未使用のメモリ空間とファイルサイズを予約することがよくあります。これは実際のメモリやディスクスペースを使用しませんが、ユーザーは混乱しないようにその違いを理解する必要があります。
-
デフォルトでは、バージョン0.9.10より前では、データファイルの未使用部分は、他のコードによって解放されたメモリからのガベージデータを受け取る可能性があります(MDB_WRITEMAPフラグを使用している場合は発生しません)。0.9.10以降、デフォルトの動作は、書き込み前にこのようなメモリを初期化することです。この初期化によるわずかなパフォーマンスコストが発生する可能性があるため、アプリケーションはMDB_NOMEMINITフラグを使用してこれを無効にできます。機密データを扱うアプリケーションで、書き込みを許可しない場合は、このフラグを使用しないでください。このフラグはMDB_WRITEMAPを使用している場合は無関係です。
-
スレッドは、子トランザクションを除き、一度に1つのトランザクションしか使用できません。各トランザクションは1つのスレッドに属します。下記参照。MDB_NOTLSフラグは、読み取り専用トランザクションに対してこれを変更します。
-
fork()の後ではなく、プロセス内でMDB_env*を使用してください。
-
同じプロセス内でLMDBデータベースを同時に2回開かないでください。単純なopen()呼び出しからでも同様です。close()はfcntl()アドバイザリロックを壊します。(fork()後に再オープンすることは問題ありません - exec*()、ロックファイルにはFD_CLOEXECが設定されているため)。
-
長期間続くトランザクションは避けてください。読み取りトランザクションは、新しい書き込みトランザクションによって解放されたページの再利用を防ぐため、データベースが急速に成長する可能性があります。書き込みトランザクションは、書き込みがシリアライズされているため、他の書き込みトランザクションを防ぎます。
-
アクティブなトランザクションを持つプロセスを一時停止しないでください。これらは上記のように「長期間続く」ことになります。また、ライターがコミットしたときに一時停止された読み取りトランザクションは、誤ったデータを見る可能性があります。
複数のプロセスがデータベースを同時に使用できる場合:
- アクティブなトランザクションを持つプロセスの中断は避けてください。プロセスがロックファイルから削除できないため、古いリーダーのチェックが実行されるかロックファイルがリセットされるまで、トランザクションは上記のように「長期間続く」ことになります。
システムが古いライターをクリアする場合、これは書き込みトランザクションには適用されません(上記参照)。
-
それでも行う場合は、古いリーダーの定期的なチェックを実行してください。または、ロックファイルがリセットされるように、環境を時々閉じてください。
-
リモートファイルシステム上のLMDBデータベースを使用しないでください。同じホスト上のプロセス間でも同様です。これは一部のOSでflock()を壊し、メモリマップの同期、および異なるホスト上のプログラム間の同期を確実に壊します。
-
データベースを開く際に、他のプロセスが同時に開いているか閉じている場合、失敗する可能性があります。
著作権
Copyright 2011-2026 Howard Chu, Symas Corp. All rights reserved.
この再配布および使用は、ソースコードおよびバイナリ形式で、変更の有無にかかわらず、OpenLDAP Public Licenseによって許可される場合にのみ許可されます。
このライセンスのコピーは、配布物のトップレベルディレクトリにあるLICENSEファイル、またはhttp://www.OpenLDAP.org/license.htmlで入手できます。
派生元:
このコードは、Martin Hedenfalkによって書かれたbtree.cから派生しています。
Copyright (c) 2009, 2010 Martin Hedenfalk martin@bzero.se
このソフトウェアを、料金の有無にかかわらず、いかなる目的にも使用、コピー、変更、配布する権利は、上記の著作権表示およびこの許可表示がすべてのコピーに表示される限り、付与されます。
本ソフトウェアは「現状有姿」で提供され、著者は、商品性および特定目的への適合性を含む、本ソフトウェアに関するすべての明示的および黙示的な保証を否認します。いかなる場合も、著者は、契約、過失、その他の不法行為の訴訟において、本ソフトウェアの使用またはパフォーマンスに起因または関連して発生する、使用、データまたは利益の損失から生じる、特別、直接、間接、または結果的な損害、またはその他のいかなる損害についても責任を負わないものとします。