SQLiteデータベースファイルを破損させる方法
How to corrupt an SQLite database file (sqlite.org)
要約
SQLiteは高い耐障害性を持つデータベースですが、特定の条件下では破損する可能性があります。本記事では、ファイルの上書き、ファイルロックの問題、同期の失敗、ディスクドライブの故障、メモリ破損、OSの問題、SQLiteの設定エラー、SQLite自体のバグなど、SQLiteデータベースが破損する可能性のある様々なケースについて詳細に解説しています。各問題には具体的な例と、場合によってはSQLiteのバージョンアップによる対策も記されています。
全文翻訳
SQLiteデータベースファイルを破損させる方法
目次
概要
SQLiteデータベースは、破損に対して非常に高い耐性を持っています。トランザクションの途中でアプリケーションやオペレーティングシステムのクラッシュ、あるいは電源障害が発生した場合でも、部分的に書き込まれたトランザクションは、次回のデータベースファイルアクセス時に自動的にロールバックされるはずです。この復旧プロセスは完全に自動化されており、ユーザーやアプリケーションによる特別な操作は必要ありません。
SQLiteはデータベースの破損に強いですが、完全に免れるわけではありません。この記事では、SQLiteデータベースが破損する可能性のある様々な方法について説明します。
1. 悪意のあるスレッドまたはプロセスによるファイルの上書き
SQLiteデータベースファイルは通常のディスクファイルです。これは、どのプロセスでもファイルを開いてゴミで上書きできることを意味します。これに対してSQLiteライブラリができる防御策はありません。
1.1. クローズされたファイルディスクリプタを使い続ける
ファイルディスクリプタが開かれた後、そのファイルディスクリプタが閉じられ、SQLiteデータベースに対して再オープンされたというケースが複数見られます。その後、別のスレッドが元のファイルが既に閉じられていることに気づかず、古いファイルディスクリプタに書き込みを続けたのです。しかし、ファイルディスクリプタはSQLiteによって再オープンされていたため、元のファイルに入れるはずだった情報がSQLiteデータベースの一部を上書きしてしまい、データベースの破損につながりました。
この問題の一例は、2013年8月30日頃にFossil DVCSの正規リポジトリで発生しました。その際、ファイルディスクリプタ2(標準エラー出力)が、sqlite3_open_v2()の前に(おそらくstunnelによって)誤って閉じられ、リポジトリデータベースファイルに使用されるファイルディスクリプタが2になっていました。その後、アプリケーションのバグにより、assert()ステートメントがwrite(2,...)を呼び出すことでエラーメッセージを出力しました。しかし、ファイルディスクリプタ2は既にデータベースファイルに接続されていたため、エラーメッセージがデータベースの一部を上書きしてしまいました。この種の問題を防ぐため、SQLiteバージョン3.8.1(2013年10月17日)以降では、データベースファイルに低位のファイルディスクリプタを使用することを拒否するようになりました。(詳細はSQLITE_MINFILE_DESCRIPTORを参照してください。)
クローズされたファイルディスクリプタの使用による破損のもう一つの例は、2014年8月12日にfacebookエンジニアによって報告されました。
このエラーの別の例は、2019年7月11日にFossilに対して報告されました。デバッグ出力用にファイルディスクリプタが開かれましたが、その後閉じられてSQLiteによって再オープンされました。しかし、デバッグロジックは元のファイルディスクリプタへの書き込みを続けました。バグレポートと修正へのリンクについては、フォーラムの議論を参照してください。
1.2. トランザクションアクティブ中のバックアップまたはリストア
バックグラウンドで自動バックアップを実行するシステムは、トランザクションの途中でSQLiteデータベースファイルのバックアップコピーを作成しようとする場合があります。そのバックアップコピーには、古い内容と新しい内容が混在し、破損している可能性があります。
SQLiteデータベースの正しい、破損していないバックアップを生成するという意味で安全なアプローチは複数あります。順不同で以下に示します。
- sqlite3_rsyncユーティリティプログラム(SQLite 3.47.0(2024年10月21日)以降で利用可能)は、帯域幅効率の高いプロトコルを使用してSSH経由でライブSQLiteのコピーを作成します。
- VACUUM INTO filenameコマンドは、SQLiteデータベースの現在の状態を別のファイルにコピーします。
- バックアップAPIは、SQLiteデータベースの一貫性のあるコピーを作成できるC言語インターフェースです。
上記のアプローチのいずれも、ライブデータベースでも機能します。また、コピーの実行中にトランザクションが進行中でない限り、SQLiteデータベースファイルのコピーを作成することも安全です。以前の書き込みトランザクションが失敗した場合、ロールバックジャーナル(-journalファイル)またはライトアヘッドログ(-walファイル)をデータベースファイルと一緒にコピーすることが重要です。
1.3. ホットジャーナルの削除
SQLiteは通常、すべてのコンテンツを単一のディスクファイルに格納します。しかし、トランザクションの実行中、クラッシュや電源障害からの回復に必要な情報は、補助的なジャーナルファイルに格納されます。このようなジャーナルファイルは「ホット」と呼ばれます。ジャーナルファイルは、元のデータベースファイルと同じ名前を持ち、末尾に-journalまたは-walサフィックスが追加されます。
SQLiteは、クラッシュや電源障害からの回復のためにジャーナルファイルを見る必要があります。クラッシュや電源障害の後にホットジャーナルファイルが移動、削除、または名前が変更された場合、自動回復は機能せず、データベースが破損する可能性があります。
この問題の別の現れは、8+3ファイル名の不整合な使用によるデータベース破損です。
1.4. データベースファイルとホットジャーナルの誤ったペアリング
前の例は、より一般的な問題の特定の場合です。SQLiteデータベースの状態は、データベースファイルとジャーナルファイルの両方によって制御されます。静止状態では、ジャーナルファイルは存在せず、データベースファイルのみが重要です。しかし、ジャーナルファイルが存在する場合、破損を避けるためにデータベースと一緒に保持する必要があります。以下の操作はすべて破損につながる可能性が高いです。
- 2つの異なるデータベース間でジャーナルファイルを入れ替える。
- ジャーナルファイルを別のジャーナルファイルで上書きする。
- ジャーナルファイルを別のデータベースに移動する。
- ジャーナルファイルも一緒にコピーせずにデータベースファイルをコピーする。
- 元のデータベースに関連付けられたホットジャーナルを削除せずに、別のファイルでデータベースファイルを上書きする。
2. ファイルロックの問題
SQLiteは、同時実行プロセス間のアクセスを調整するために、データベースファイルおよびライトアヘッドログ(WAL)ファイルにファイルロックを使用します。調整がないと、2つのスレッドまたはプロセスが同時にデータベースファイルに互換性のない変更を加えようとし、データベースの破損につながる可能性があります。
2.1. ロック実装のバグまたは欠落があるファイルシステム
SQLiteは、ドキュメントに記載されているとおり、ロックを実行するために基盤となるファイルシステムに依存しています。しかし、一部のファイルシステムにはロックロジックにバグがあり、ロックが常に広告どおりに動作しない場合があります。これは特にネットワークファイルシステム、特にNFSで顕著です。ロックプリミティブにバグがあるファイルシステムでSQLiteが使用され、2つ以上のスレッドまたはプロセスが同時に同じデータベースにアクセスしようとすると、データベースの破損が発生する可能性があります。
2.2. close()を実行する別のスレッドによってキャンセルされるPOSIXアドバイザリロック
UnixプラットフォームでSQLiteが使用するデフォルトのロックメカニズムは、POSIXアドバイザリロックです。残念ながら、POSIXアドバイザリロックには、誤用や失敗を起こしやすい設計上の癖があります。特に、POSIXアドバイザリロックを保持している同じファイルに対するファイルディスクリプタを持つ同じプロセス内のどのスレッドでも、別のファイルディスクリプタを使用してそのロックをオーバーライドできます。特に悪質な問題の1つは、close()システムコールがプロセスのすべてスレッドとすべてのファイルディスクリプタに対して同じファイル上のすべてのPOSIXアドバイザリロックをキャンセルすることです。
たとえば、マルチスレッドプロセスに、同じデータベースファイルに対して別々のSQLiteデータベース接続を持つ2つ以上のスレッドがあるとします。次に、3番目のスレッドが、SQLiteライブラリを使用せずに、その同じデータベースファイルから何かを読み取りたいと考えます。3番目のスレッドはバックアップコピーを作成しようとしているのかもしれません。あるいは、単にファイルタイプを識別しようとしており、最初の16バイトを読み取ってSQLiteデータベースであるかどうかを確認しようとしているだけかもしれません。理由が何であれ、3番目のスレッドはopen()、read()、そしてclose()を実行します。これは無害だと思われるかもしれません。しかし、close()システムコールは、他のすべてのスレッドが保持していたロックを解除しました。これらの他のスレッドは、ロックが破壊されたことを知る方法がありません(POSIXはこれを確認するメカニズムを提供していません)。そのため、ロックがまだ有効であるという仮定の下で実行を続けます。これにより、2つ以上のスレッドまたはプロセスが同時にデータベースに書き込もうとし、データベースの破損につながる可能性があります。
SQLiteライブラリを使用して同じSQLiteデータベースファイルに2つ以上のスレッドがアクセスすることは完全に安全です。SQLiteのUnixドライバは、POSIXアドバイザリロックの癖を認識しており、それらを回避します。この問題は、スレッドがSQLiteライブラリをバイパスしてデータベースファイルを直接読み取ろうとした場合にのみ発生します。
SQLiteバージョン3.51.0(2025年11月4日)以降、SQLiteはclose()によって破損したロックに起因する問題を回避するための追加の防御策を実装しています。これらの新しい防御策は、データベースがWALモードであり、複数のプロセスからアクセスされている場合に役立ちます。しかし、これらは万能薬ではありません。破損を回避するために、開発者は、他のスレッドであっても、1つ以上のデータベース接続が開いている間は、SQLiteデータベースファイルに対してclose()を使用しないように注意する必要があります。
2.3. 同じアプリケーションに複数のSQLiteコピーがリンクされている
前のセクションで指摘したように、SQLiteはPOSIXアドバイザリロックの癖を回避するための対策を講じています。その回避策の一部には、開いているSQLiteデータベースファイルのグローバルリスト(ミューテックスで保護)を維持することが含まれます。しかし、複数のSQLiteコピーが同じアプリケーションにリンクされている場合、このグローバルリストのインスタンスが複数存在することになります。SQLiteライブラリの1つのコピーを使用して開かれたデータベース接続は、別のコピーを使用して開かれたデータベース接続を認識せず、POSIXアドバイザリロックの癖を回避できません。ある接続でのclose()操作が、別のデータベース接続のロックを意図せずクリアし、データベースの破損につながる可能性があります。
上記のシナリオは考えにくいように思えます。しかし、SQLite開発者は、まさにこのバグを抱えてリリースされた少なくとも1つの商用製品を認識しています。ベンダーは、LinuxおよびMacで発生していた頻繁なデータベース破損の問題を追跡するためにSQLite開発者に協力を求めました。問題は最終的に、アプリケーションが2つの別々のSQLiteコピーにリンクしていたことが原因であることが判明しました。解決策は、アプリケーションのビルド手順を変更して、2つではなく1つのSQLiteコピーにリンクすることでした。
2.4. 異なるロックプロトコルを使用する2つのプロセス
UnixプラットフォームでSQLiteが使用するデフォルトのロックメカニズムはPOSIXアドバイザリロックですが、他のオプションもあります。sqlite3_vfsを選択し、sqlite3_open_v2()インターフェースを使用することで、アプリケーションは特定のファイルシステムに適した他のロックプロトコルを利用できます。たとえば、POSIXアドバイザリロックをサポートしないNFSファイルシステムで実行する必要があるアプリケーションでは、ドットファイルロックが選択される場合があります。
同じデータベースファイルへのすべての接続が同じロックプロトコルを使用することが重要です。1つのアプリケーションがPOSIXアドバイザリロックを使用し、別のアプリケーションがドットファイルロックを使用している場合、2つのアプリケーションはお互いのロックを認識できず、データベースアクセスの調整ができなくなり、データベースの破損につながる可能性があります。
2.5. 使用中にデータベースファイルをアンリンクまたは名前変更する
2つのプロセスが同じデータベースファイルへのオープン接続を持っており、一方のプロセスが接続を閉じ、ファイルをアンリンクしてから、同じ名前で新しいデータベースファイルを作成して再度開いた場合、2つのプロセスは同じ名前の異なるデータベースファイルを扱っていることになります。(これは、読み書きのために開かれているファイルをアンリンクできるPosixおよびPosixライクなシステムでのみ可能であり、Windowsでは発生しません。)ロールバックジャーナルとWALファイルはデータベースファイルの名前に基づいているため、2つの異なるデータベースファイルは同じロールバックジャーナルまたはWALファイルを共有します。一方のデータベースのロールバックまたは回復は、もう一方のデータベースの内容を使用する可能性があり、破損につながります。同様の問題は、データベースファイルが開いている間に名前が変更され、古い名前で新しいファイルが作成された場合にも発生します。
言い換えれば、開いているデータベースファイルをアンリンクまたは名前変更すると、未定義で望ましくない動作が発生します。
SQLiteバージョン3.7.17(2013年5月20日)以降、Unix OSインターフェースは、データベースファイルが使用中にアンリンクされた場合に、エラーログにSQLITE_WARNINGメッセージを送信します。
2.6. 同じファイルへの複数のリンク
単一のデータベースファイルに複数のリンク(ハードリンクまたはソフトリンク)がある場合、それはファイルに複数の名前があることの別の言い方です。2つ以上のプロセスが異なる名前を使用してデータベースを開いた場合、それらは異なるロールバックジャーナルとWALファイルを使用します。これは、一方のプロセスがクラッシュした場合、もう一方のプロセスは適切なジャーナルを間違った場所で探すため、進行中のトランザクションを回復できなくなることを意味します。
言い換えれば、2つ以上の名前を持つデータベースファイルを開いて使用すると、未定義で望ましくない動作が発生します。
SQLiteバージョン3.7.17(2013年5月20日)以降、Unix OSインターフェースは、データベースファイルに複数のハードリンクがある場合に、エラーログにSQLITE_WARNINGメッセージを送信します。
SQLiteバージョン3.10.0(2016年1月6日)以降、Unix OSインターフェースはシンボリックリンクを解決しようとし、データベースファイルを正規名で開きます。バージョン3.10.0より前では、シンボリックリンクを介してデータベースファイルを開くことは、複数のハードリンクを持つデータベースファイルを開くのと同様であり、未定義の動作を引き起こしました。
2.7. fork()をまたいで開いたデータベース接続を渡す
SQLiteデータベース接続を開き、fork()を実行してから、子プロセスでそのデータベース接続を使用しようとしないでください。あらゆる種類のロック問題が発生し、簡単にデータベースを破損させる可能性があります。SQLiteは、そのような動作をサポートするように設計されていません。子プロセスで使用されるデータベース接続は、親から継承するのではなく、子プロセスで開かれる必要があります。
親で開かれた接続であっても、子プロセスからsqlite3_close()を呼び出さないでください。基盤となるファイルディスクリプタを閉じることは安全ですが、sqlite3_close()インターフェースは、親の下からコンテンツを削除するクリーンアップアクティビティを呼び出す可能性があり、エラーやデータベースの破損につながる可能性があります。
3. 同期(sync)の失敗
データベースファイルが常に一貫していることを保証するために、SQLiteは時々オペレーティングシステムに保留中のすべての書き込みを永続ストレージにフラッシュするように要求し、そのフラッシュが完了するのを待ちます。これは、Unixではfsync()システムコール、WindowsではFlushFileBuffers()を使用して実現されます。この保留中の書き込みのフラッシュを「同期」と呼びます。
実際には、アトミックで一貫性のある書き込みのみに関心があり、永続的な書き込みを犠牲にしても構わない場合、同期操作はコンテンツが永続メディアに完全に格納されるまで待つ必要はありません。代わりに、同期操作はI/Oバリアと考えることができます。同期の前に行われたすべての書き込みが、同期の後に行われるどの書き込みよりも前に完了する限り、データベースの破損は発生しません。同期が真の同期ではなくI/Oバリアとして機能する場合、電源障害やシステムクラッシュにより、コミット済みのトランザクションがロールバックされる可能性があります(ACIDの「永続性」プロパティに違反する)が、データベースは少なくとも一貫性を保ちます。そして、ほとんどの人が気にするのはこの点です。
3.1. 同期要求を無視するディスクドライブ
残念ながら、ほとんどのコンシューマーグレードのストレージデバイスは、同期について嘘をついています。ディスクドライブは、コンテンツがトラックバッファに到達しただけで、実際に酸化物(ディスク表面)に書き込まれる前に、永続メディアに安全に保存されたと報告します。これにより、ディスクドライブはより高速に動作するように見えます(メーカーが業界誌の良いベンチマーク数値を示すために非常に重要です)。そして公平に言えば、この嘘は通常害を引き起こしません。ただし、トラックバッファが実際に酸化物に書き込まれる前に電源が失われたり、ハードリセットが発生したりしない限りです。しかし、電源が失われたり、ハードリセットが発生したりして、同期の後に書き込まれたコンテンツが酸化物に到達し、同期の前に書き込まれたコンテンツがトラックバッファに残っている場合、データベースの破損が発生する可能性があります。
USBフラッシュメモリは、同期要求に関して特に悪質な嘘つきのようです。USBメモリにSQLiteデータベースに大きなトランザクションをコミットすることで、これを簡単に確認できます。COMMITコマンドは比較的すぐに返され、メモリカードがオペレーティングシステムに、オペレーティングシステムがSQLiteにすべてのコンテンツが永続ストレージに安全に保存されたと伝えたことを示しますが、メモリカードのLEDはさらに数秒間点滅し続けます。LEDが点滅している間にメモリカードを引き抜くと、データベースが破損することがよくあります。
SQLiteは、同期要求のステータスについてオペレーティングシステムとハードウェアが伝えることをすべて信じなければなりません。どちらかが嘘をついており、書き込みが順不同で発生している可能性があることを検出する方法はありません。しかし、WALモードのSQLiteは、デフォルトのロールバックジャーナルモードよりも、順不同の書き込みに対してはるかに寛容です。WALモードでは、同期の失敗がデータベースの破損を引き起こす可能性のある唯一の時間は、チェックポイント操作中です。COMMIT中の同期の失敗は、永続性の喪失につながる可能性がありますが、データベースファイルが破損することはありません。したがって、同期の失敗によるデータベース破損に対する防御策の1つは、WALモードでSQLiteを使用し、チェックポイントを可能な限り少なく実行することです。
3.2. PRAGMAによる同期の無効化
整合性を確保するためにSQLiteが行う同期操作は、synchronous pragmaを使用して実行時に無効にすることができます。PRAGMA synchronous=OFFを設定すると、すべての同期操作が省略されます。これによりSQLiteは高速に実行されるように見えますが、オペレーティングシステムが書き込みを自由に並べ替えることが可能になり、電源障害やハードリセットが発生する前にすべてのコンテンツが永続ストレージに到達しなかった場合にデータベースが破損する可能性があります。
最大限の信頼性とデータベース破損に対する堅牢性のために、SQLiteは常にデフォルトの同期設定であるFULLで実行する必要があります。
4. ディスクドライブおよびフラッシュメモリの障害
ディスクドライブまたはフラッシュメモリの障害によりファイルコンテンツが変更された場合、SQLiteデータベースが破損する可能性があります。これは非常にまれですが、ディスクはセクターの中間でビットを反転させることがあります。
4.1. 電源保護機能のないフラッシュメモリコントローラ
一部のフラッシュメモリコントローラでは、書き込み中に電源が中断された場合にウェアレベリングロジックがランダムなファイルシステム損傷を引き起こす可能性があると聞いています。これは、たとえば、データベースが開かれていなかったファイルの中央でランダムな変更として現れる可能性があります。たとえば、デバイスがフラッシュメモリ内のMP3ファイルにコンテンツを書き込んでいる最中に電源が失われると、データベースが使用されていなかったとしてもSQLiteデータベースが破損する可能性があります。
4.2. 容量詐称USBメモリ
市場には、高容量(例: 8GB)を報告しながら、実際にははるかに小さい容量(例: 1GB)しか保存できない詐欺的なUSBメモリが多く流通しています。これらのデバイスへの書き込み試行は、しばしば無関係なファイルを上書きする結果になります。したがって、詐欺的なフラッシュメモリデバイスの使用は、データベースの破損を容易に引き起こす可能性があります。インターネットで「fake capacity usb」などの検索をすると、この問題に関する多くの不穏な情報が見つかります。
5. メモリ破損
SQLiteは、それがサービスを提供するアプリケーションと同じアドレス空間で実行されるCライブラリです。これは、ポインタのずれ、バッファオーバーフロー、ヒープ破損、またはアプリケーションのその他の誤動作が、内部SQLiteデータ構造を破損させ、最終的に破損したデータベースファイルにつながる可能性があることを意味します。通常、これらの種類の問題は、データベース破損が発生する前にセグメンテーション違反として現れますが、アプリケーションコードのエラーがSQLiteを微妙に誤動作させて、パニックを起こすのではなくデータベースファイルを破損させた事例もあります。
メモリマッピングI/Oを使用すると、メモリ破損の問題はさらに深刻になります。データベースファイルの一部または全体がアプリケーションのアドレス空間にマッピングされている場合、そのマッピングされた空間のどの部分でも上書きするポインタのずれは、アプリケーションが後続のwrite()システムコールを実行することなく、データベースファイルを即座に破損させます。
6. その他のオペレーティングシステムの問題
オペレーティングシステムが非標準の動作を示すことがあり、それが問題につながる場合があります。この非標準の動作は意図的な場合もあれば、実装上の誤りである場合もあります。しかし、いずれにしても、オペレーティングシステムがSQLiteの期待どおりに動作しない場合、データベース破損の可能性があります。
6.1. Linuxスレッド
一部の古いLinuxバージョンでは、スレッドサポートにLinuxThreadsライブラリを使用していました。LinuxThreadsはPthreadsに似ていますが、POSIXアドバイザリロックの処理に関して微妙に異なります。SQLiteバージョン2.2.3から3.6.23は、実行時にLinuxThreadsが使用されていることを認識し、LinuxThreadsの非標準動作を回避するために適切な措置を講じました。しかし、ほとんどの最新のLinux実装は、より新しく正しいNPTL実装のPthreadsを使用しています。SQLiteバージョン3.7.0(2010年7月21日)以降、NPTLの使用が前提とされています。チェックは行われません。したがって、最近のSQLiteバージョンは微妙に誤動作し、LinuxThreadsを使用する古いLinuxシステムで実行されるマルチスレッドアプリケーションで使用された場合、データベースファイルを破損させる可能性があります。
6.2. QNXでのmmap()の失敗
QNXにはmmap()に関する微妙な問題が存在し、単一のファイルディスクリプタに対して2回目のmmap()呼び出しを行うと、最初のmmap()呼び出しから取得したメモリがゼロになる可能性があります。Unix上のSQLiteは、WALモードでのトランザクション調整のための共有メモリ領域を作成するためにmmap()を使用しており、大きなトランザクションでは複数回mmap()を呼び出します。QNXのmmap()は、このシナリオでデータベースファイルを破損させることが実証されています。QNXエンジニアはこの問題に気づいており、解決に取り組んでいます。この問題は、この記事を読む頃には既に修正されている可能性があります。
QNXで実行する場合、メモリマッピングI/Oは絶対に使用しないことをお勧めします。さらに、WALモードを使用するには、アプリケーションがWALを共有メモリなしで使用するために、排他ロックモードを採用することを推奨します。
6.3. ファイルシステム破損
SQLiteデータベースは通常のディスクファイルであるため、ファイルシステムのいかなる誤動作もデータベースを破損させる可能性があります。最新オペレーティングシステムのファイルシステムは非常に信頼性が高いですが、エラーは依然として発生します。たとえば、2013年10月1日にTcl/Tk用Wikiを保持していたSQLiteデータベースが、ホストコンピュータがファイルシステム層に問題を抱える(Linux)カーネルの疑わしいビルドに移動されてから数日後に破損しました。その際、ファイルシステムは最終的に使用不能になるほどひどく破損しましたが、問題の最初の兆候は破損したSQLiteデータベースでした。
7. SQLiteの設定エラー
SQLiteには、データベース破損に対する多くの組み込み保護機能があります。しかし、これらの保護機能の多くは、設定オプションによって無効にすることができます。保護が無効になっている場合、データベースの破損が発生する可能性があります。
以下は、SQLiteの組み込み保護メカニズムを無効にする例です。
- PRAGMA synchronous=OFFを設定すると、オペレーティングシステムのクラッシュや電源障害が発生した場合にデータベースが破損する可能性がありますが、この設定はアプリケーションクラッシュによる損傷からは安全です。
- 他のデータベース接続が開いている間にPRAGMA schema_versionを変更する。
- PRAGMA journal_mode=OFFまたはPRAGMA journal_mode=MEMORYを使用し、書き込みトランザクションの途中でアプリケーションがクラッシュした場合。
- PRAGMA writable_schema=ONを設定し、DMLステートメントを使用してデータベーススキーマを変更すると、慎重に行わないとデータベースが完全に読み取り不能になる可能性があります。
8. SQLiteのバグ
SQLiteは、可能な限りバグがないようにするために非常に慎重にテストされています。すべてのSQLiteバージョンに対して実施される多くのテストには、電源障害、I/Oエラー、メモリ不足(OOM)エラーをシミュレートして、これらのイベント中にデータベースの破損が発生しないことを検証するテストが含まれます。SQLiteは、約20億のデプロイメントで実証されており、深刻な問題はありません。
それでも、ソフトウェアは100%完璧ではありません。SQLiteには(現在は修正されている)データベース破損を引き起こす可能性のある歴史的なバグがいくつかありました。そして、まだ発見されていないバグがさらにいくつか存在する可能性があります。広範なテストとSQLiteの広く普及している使用により、データベース破損につながるバグは非常にまれな傾向があります。SQLiteのバグにアプリケーションが出くわす可能性は小さいです。これを例示するために、2009年4月1日から2013年4月15日までの4年間にSQLiteで見つかったすべてのデータベース破損バグのアカウントを以下に示します。このアカウントは、読者に、テスト手順をすり抜けてリリースに至るSQLiteのバグの種類についての直感的な感覚を与えるはずです。
8.1. WALモードデータベースへの書き込み時の競合状態
2つ以上のデータベース接続が別々のスレッドまたはプロセスにあり、両方が同じWALモードデータベースに開かれており、両方の接続が同時に書き込みまたはチェックポイントを実行しようとすると、データベースファイルを破損させる可能性のある競合状態が発生します。これはWALリセットバグです。これは、3.7.0から3.51.2までのすべてのSQLiteバージョンに存在しました。詳細はWALリセットバグのドキュメントを参照してください。
8.2. 古い式インデックス
「式インデックス」とは、式またはVIRTUAL生成列を参照するインデックスのことです。式インデックスは、決定性関数のみを使用することになっています。しかし、データベースを異なるプラットフォーム間で移動したり、SQLiteのバージョンを変更したりすると、これらの決定性関数と呼ばれるものがわずかに異なる出力を生成することがあります。これにより、インデックスが破損しているように見える場合があります。詳細は古い式インデックスのドキュメントを参照してください。
8.3. データベース縮小による偽の破損レポート
データベースがSQLiteバージョン3.7.0以降で書き込まれ、その後SQLiteバージョン3.6.23以前でデータベースファイルのサイズを減少させるような方法で再度書き込まれた場合、次にSQLiteバージョン3.7.0がデータベースファイルにアクセスしたときに、データベースファイルが破損していると報告する可能性があります。しかし、データベースファイルは実際には破損していません。バージョン3.7.0は、破損検出において単に過度に熱心だっただけです。
この問題は2011年2月20日に修正されました。この修正はSQLiteバージョン3.7.6(2011年4月12日)で初めて登場しました。
8.4. ロールバックモードとWALモード間の切り替え後の破損
SQLiteデータベースをWALモードとロールバックモード間で繰り返し切り替え、その間にVACUUMコマンドを実行すると、データベースファイルを開いている別のプロセスまたはスレッドがデータベースが変更されたことに気づかない可能性があります。この2番目のプロセスまたはスレッドは、古いキャッシュを使用してデータベースを変更しようとする可能性があり、データベースの破損を引き起こす可能性があります。
この問題は内部テスト中に発見され、実際の運用では観察されたことはありません。この問題は2011年1月27日にバージョン3.7.5で修正されました。
8.5. ロック取得中のI/Oエラーが破損につながる
WALモードの共有メモリ上の特定のロックを取得しようとしたときにオペレーティングシステムがI/Oエラーを返した場合、SQLiteはキャッシュをリセットできない可能性があり、後続の書き込みが試行された場合にデータベースの破損につながる可能性があります。
この問題は、ロックの取得試行がI/Oエラーを返した場合にのみ発生することに注意してください。ロックが単に付与されない場合(他のスレッドまたはプロセスが既に競合するロックを保持しているため)、破損は決して発生しません。ファイルロックの取得中にI/Oエラーで失敗するオペレーティングシステムについては、我々は認識していません。したがって、これは実際の問題というよりは理論的な問題です。言うまでもなく、この問題は実際の運用では観察されたことはありません。この問題は、I/OエラーをシミュレートするテストハーネスでのSQLiteのストレステスト中に発見されました。
この問題は2010年9月20日にSQLiteバージョン3.7.3で修正されました。
8.6. フリーページリストからのデータベースページのリーク
SQLiteデータベースからコンテンツが削除されると、もはや使用されないページはフリーリストに追加され、後続の挿入によって保持されるコンテンツを保持するために再利用されます。バージョン3.6.16から3.7.2までのSQLiteにあったバグは、incremental_vacuumが使用されたときに、フリーリストからページが失われる原因となる可能性がありました。これはデータ損失を引き起こしませんでしたが、データベースファイルが必要以上に大きくなる結果となりました。そして、integrity_check pragmaがフリーリストからページが欠落していると報告する原因となりました。
この問題は2010年8月23日にSQLiteバージョン3.7.2で修正されました。
8.7. 3.6と3.7からの交互の書き込み後の破損
SQLiteバージョン3.7.0は、SQLiteデータベースファイル形式に多くの新しい拡張機能(WALなど、ただしこれらに限定されない)を導入しました。3.7.0リリースは、これらの新機能のシェイクアウトリリースでした。問題が見つかることを予想しており、その予想は裏切られませんでした。
データベースが最初にSQLiteバージョン3.7.0で作成され、次にSQLiteバージョン3.6.23によってデータベースファイルのサイズが増加するように書き込まれ、その後SQLiteバージョン3.7.0によって再度書き込まれた場合、データベースファイルは破損する可能性がありました。
この問題は2010年8月4日にSQLiteバージョン3.7.1で修正されました。
8.8. Windowsシステムでのリカバリにおける競合状態
SQLiteバージョン3.7.16.2は、Windowsシステムでのロックロジックにおける微妙な競合状態を修正します。データベースファイルがリカバリを必要とする場合(前のプロセスがトランザクションの途中でクラッシュし、2つ以上のプロセスが同時にデータベースを開こうとしたため)、競合状態により、これらのプロセスのいずれかがリカバリが既に完了したという誤った兆候を得て、そのプロセスがリカバリを実行せずにデータベースファイルの使用を続行できるようになる可能性があります。そのプロセスがファイルに書き込んだ場合、ファイルは破損する可能性があります。この競合状態は、2004年まで遡るWindows用のすべての以前のSQLiteバージョンに存在していたようです。しかし、競合は非常にタイトでした。実際には、リカバリを同時に2つのコアで実行するために2つのプロセスを起動する高速マルチコアマシンが必要です。この欠陥はWindowsシステムのみにあり、POSIX OSインターフェースには影響しませんでした。
8.9. ネストされたトランザクションで使用されるセカンダリジャーナルの境界値エラー
SAVEPOINTを使用してネストされたトランザクションが開始されると、SQLiteは、内部トランザクションがロールバックされる必要がある場合に備えて、ネストされたトランザクションの変更を追跡するためにセカンダリロールバックジャーナルを使用します。セカンダリジャーナルは、プログラムクラッシュや電源障害によるデータベース破損の防止には関与しません。セカンダリジャーナルは、ネストされたトランザクションの内部トランザクションをロールバックする場合にのみ使用されます。
これらのセカンダリジャーナルは、メモリ内またはディスク上のテンポラリファイルとして保持できます。デフォルトの動作はディスクに格納することです。しかし、これは-DSQLITE_TEMP_STOREコンパイル時オプション、または実行時にPRAGMA temp_storeステートメントを使用して変更できます。バグは、セカンダリジャーナルがメモリ内に保持されている場合にのみ発生します。
SQLiteバージョン3.35.0(2021年3月12日)では、SQLiteがセカンダリジャーナルをメモリ内に保持している場合にメモリ使用量を削減する新しい最適化が追加されました。残念ながら、新しいロジックの境界チェックが誤ってコーディングされていました。「<」演算子であるべきところが「<=」としてコーディングされていました。このエラーは、セカンダリジャーナルがロールバックされた場合に、一貫性のない状態になる可能性があります。追加の変更が行われ、外部トランザクションが最終的にコミットされた場合、データベースは一貫性のない状態になる可能性があります。
この問題は、ファジングを使用してSQLiteのバグを見つけようとしていた独立した研究者によって発見されました。ファザーは、セカンダリジャーナルの内部状態を検証するために使用されるassert()ステートメントの失敗を発見しました。このバグは、アサートステートメントの集中的な使用、セキュリティ研究者の粘り強さと粘り強さ、および彼らのカスタマイズされた最先端のファザーがなければ、何年も見過ごされていた可能性のある非常にまれなコーナーケースでした。
この問題は、バージョン3.37.2(2022年1月6日)で修正されました。
このページは2026年4月13日 10:54:51Zに最終更新されました