Tailscale、データベース破損の原因を16年前のSQLite WAL-Resetバグに特定
Tailscale Traces Database Corruption to 16y/o SQLite WAL-Reset Bug (tailscale.com)
要約
Tailscaleは、昨年後半から発生していたサービス不安定の原因が、16年前から存在するSQLiteのWAL-Resetバグであることを突き止めました。このバグは、データベースの破損を引き起こし、復旧のために数ヶ月にわたる詳細なフォレンジック調査が必要でした。Tailscaleは、このバグの特定と修正に成功し、SQLite開発者との協力により、データベースのトランザクションログを記録する新しいパイプラインを構築しました。
全文翻訳
16年前のSQLiteバグをどのように特定したか
昨年末にかけて、当社の稼働時間は非常に不安定でした。この傾向はステータスページでも確認でき、その不安定さは新年に入っても続きました。これらの停止の多くは、SQLiteの奥深くに潜む単一のバグによって引き起こされていました。それを特定するには、数ヶ月にわたる集中的なフォレンジック調査が必要でした。
夏に入り、バグを発見し、それを理解し、そして最も重要なことに、修正できたと確信しています。
お客様はTailscaleに信頼性の高いサービスを期待されていることを承知していますが、数ヶ月間その約束を果たせていませんでした。これは混乱を招くものであり、申し訳ありません。本ブログ記事では、何が起こったのか、どのように対応したのか、そして最終的にSQLiteデータベースの中核にある長年のバグの発見にどのように貢献したのかを説明します。
Tailscaleのデータベースアーキテクチャ
クライアントは当社のコントロールプレーンを単一の公開エンドポイント(controlplane.tailscale.com)として利用しますが、内部的には、コントロールプレーンは一連のコーディネーションサーバー(「シャード」)に分割されています。各tailnetは一度に1つの内部シャード上に存在しますが、シームレスに移行できます。これらのシャードは内部実装の詳細であり、お客様がtailnetがどのシャード上にあるかを知る必要はありません。
各シャードには、そのシャード上のtailnetに関するすべての情報を保持するSQLiteデータベースがあります。単一のGoプロセスがそのデータベースに排他的にアクセスし、それらのtailnetのコントロールプレーンを提供します。この単一書き込み設計は、SQLiteが意図されたとおりに使用される方法です。
[画像: Tailscaleコントロールプレーンが個別のSQLiteデータベースを持つ分離されたシャードで構成されていることを示すアーキテクチャ図。]
当社は2022年からSQLiteを主要データベースとして使用しており、その選択理由は、よく知られており、信頼性が高く、広く使用されているからです。SQLiteは「退屈なテクノロジー」です。多くの企業が、問題なくSQLiteをより大規模なデプロイメントで使用しており、当社も同様のストレスフリーな使用を期待していました。
現在のバックアップパイプラインでは、数分ごとにデータベースの完全なスナップショットを取得し、SQLiteファイルをS3バケットにアップロードしています。このセットアップは2023年初頭から問題なく稼働していました。
昨年8月、それらのS3バックアップを読み取るデータパイプラインが、当社のデータベースの1つでエラーを報告しました。バックアップに対してSQLiteのPRAGMA integrity_checkコマンドを実行したところ、確かに破損していることが判明しました。SQLiteの破損は起こり得ますが、非常に稀であり、通常の操作で遭遇するものではありません。影響を受けたデータベースを修復し、原因を調査しましたが、何も見つかりませんでした。
大規模な運用では、稀なイベントでも一定の頻度で発生する可能性があるため、それが再び、そして再び、そして再び発生したとしても驚くべきではなかったはずです。最終的に根本的なバグを解決するまでの6ヶ月間に、合計19件の別々のデータベース破損インシデントに直面しました。
「データベース破損」という言葉を聞くと、データ損失を心配するのは自然なことです。当社のコントロールプレーンは設定データのみを扱うため、これらのデータベースにはtailnetとデバイスのメタデータが含まれていますが、秘密鍵やネットワークトラフィックは含まれていません。初期のインシデントでは、リカバリプロセスにより、新しく追加されたデバイスや設定変更の一部が永続化されず、少量のメタデータを再入力する必要がありました。
[画像: Tailscaleコントロールプレーンが単一シャードのデータベース問題にどのように対処するかを示すアーキテクチャ図。SQLiteデータベースで破損が発生すると、そのシャードのトラフィックに影響しますが、他のシャードは影響を受けません。]
破損が発生するたびに、データベースの修復または復元中に、シャード上のコントロールプレーンプロセスを停止する必要がありました。これは、そのシャード上のtailnetにとって、リカバリウィンドウ中にコントロールプレーン全体が消滅するため、痛みを伴いました。初期のインシデントでは、ダウンタイムは1時間以上でしたが、その後のインシデントで徐々にリカバリプロセスを高速化しました。
各tailnetはメッシュネットワークであり、デバイスは互いにピアツーピアのWireGuard®接続を確立します。デバイスがtailnetに参加すると、新しい接続を確立するためにコントロールプレーンから他のデバイスのリストを取得する必要があります。そのため、SQLiteのダウンタイム中にデバイスがオンラインになった場合、接続できませんでした。データベースが修復されている間、既にオンラインのデバイスは互いに接続されたままでしたが、ネットワークの変更を学習することはできませんでした。これらのtailnetは、Webベースの管理コンソールとTailscale APIへのアクセスも一時的に失いました。
信頼性への広範な影響もあります。影響を受けるtailnetが少数であっても、グローバルインシデントとしてステータスページに投稿しました。多くの人が、自分たちには影響のないインシデントのステータスページイベントを見ました。実際、ほとんどのシャードとtailnetはデータベース破損インシデントに関与していませんでした!それにもかかわらず、繰り返し発生するダウンタイムは、直接影響を受けているかどうかにかかわらず、信頼を損ないます。
最初の破損インシデントから、これが信頼性に対する深刻な脅威であることを認識し、多大なエンジニアリング時間を問題に費やしましたが、修正は容易ではありませんでした。
障害の特定を試みる
このバグは、最初の試みのすべてを抵抗しました。
最近の変更を確認しましたが、関連性のありそうなものはありませんでした。低レベルのSQLiteインタラクションコードは長年変更されておらず、それまで問題も発生していなかったため、誰も作業していませんでした。そのコードをすべて精査して、見落とされていたバグを探しましたが、現在見ている破損を引き起こすようなものは何も見つかりませんでした。
破損インシデント間の共通要因を探しましたが、何も見つかりませんでした。単一のシャード、顧客、tailnet機能、時間帯、負荷レベルに結びつくものではありませんでした。何がその動作を引き起こしているのか、皆目見当がつきませんでした。
信頼できるトリガー条件の欠如は、バグを合成的に再現できないことを意味しました。代わりに、ライブ環境にパッシブなフォレンジックテレメトリを展開して、破損を現行犯で捕らえることに頼らざるを得ませんでした。データベースの問題に関するライブ診断データの収集は、やりたくなかったことの最後でしたが、他に選択肢はありませんでした。
さらなる複雑さとして、破損は定期的なスケジュールで発生しませんでした。時にはインシデントの間隔が数時間であったり、時には数週間であったりしました。これにより、次の診断ダンプがいつ得られるかわからなかったため、進捗を予測したり、さらなる作業を計画したりすることが困難になりました。10月から12月にかけて6週間の期間、破損インシデントはありませんでしたが、それはクリスマスプレゼントとして不本意な形で戻ってきました。
これが迅速かつ容易な修正ではないため、SQLite開発者にプロフェッショナルサポート契約を依頼しました。これは素晴らしい決断でした。これにより、彼らの深い専門知識と経験に直接アクセスでき、当社のアーキテクチャとインシデントについて多くの詳細な技術的会話を行いました。
TailscaleエンジニアリングとSQLiteコア開発者の間で、破損の原因となりうるいくつかの仮説を立てました。これには、close()で壊れたPOSIXロック、SQLiteが所有するメモリの誤管理、またはスレッドセーフを無効にしながらSQLiteを複数のスレッドから誤って使用することなどが含まれます。各インシデントの後、より多くのデータを収集し、診断を追加し、これらの仮説を体系的に排除しました。真のバグに徐々に収束していきました。
鳴らなかったトランザクション
根本原因を調査している間も、運用中のプラットフォームを維持する必要がありました。ダウンタイムを最小限に抑えるために、リカバリを自動化するための積極的な措置を取りました。
- コントロールプレーンシャードが破損に遭遇した場合に即座にハード停止するように設定
- バックアップに対して継続的に
PRAGMA integrity_checkを実行する自動バックアップモニターを展開 - ランブックとオンコールのトレーニングを改善
これらの取り組みにより、対応時間を1時間未満に短縮しました。そして、予期せぬ手がかりを発見しました。
最後の既知の良好なバックアップにロールバックする(多くのデータを失う)か、破損が確認されたデータベースを修復する(潜在的にリスクがある)ことなく、サービスを復旧する方法が必要でした。
これを実現するために、トランザクションログパイプラインを構築しました。データベースを変更するすべてのSQLステートメントを、別のログファイルにストリーミングしました。SQLiteは単一書き込みデータベースであり、シリアライズ可能なトランザクションを持つため、トランザクション履歴は完全に線形かつ決定的でした。(PostgresやMySQLのようなマルチライターデータベースでは、これは真実ではありません。)これらのトランザクションを最新の既知の良好なバックアップに対してリプレイすることで、破損を安全にバイパスしてデータベースを最新の状態に復元できるはずです。
[画像: 2つのバックアップ間の変更が、それらの間に発生したトランザクションをリプレイすることによってどのように再構築できるかを示す図。]
このパイプラインは機能しましたが、さらに良いことをしてくれました。それは手がかりを与えてくれたのです。
2つのインシデントで、トランザクションログがクリーンにリプレイされませんでした。詳細に調べたところ、あるトランザクションによって書き込まれコミットされたデータが、後続のトランザクションからなぜか見えなくなっていることが判明しました。エラーを発生させることなく、書き込みが空中に消えてしまったのです。それは不可能であるはずでした!
WALの書き込み
これらのインシデントが発生している間、SQLite開発者は新しいデバッグツールの開発を進めていました。しばらくの間、バグはチェックポイント処理のどこかにあると疑っていました。彼らは、チェックポイント中に何が起こっているのかをより可視化するための新しいツールを開発していました。
このツールの発見を理解するために、SQLiteのチェックポイントがどのように機能するかを簡単に説明する必要があります。
A SQLiteデータベースは一連の「ページ」で構成されており、これは非常に小さな情報ブロックです。データベースを更新すると、一部のページは更新された情報を持つ新しいページに置き換える必要があります。
パフォーマンスと同時実行性を向上させるため、Write-Ahead Logging(WAL)を使用してSQLiteを実行しています。これは、新しいページがデータベースファイルに直接書き込まれないことを意味します。代わりに、それらは「ライトアヘッドログ」または「WALファイル」に書き込まれます。
[画像: データベースファイルとライトアヘッドログ(「WALファイル」とも呼ばれる)の違いを示すアーキテクチャ図。どちらも個々の「ページ」で構成されており、新しいページはまずWALファイルに書き込まれます。]
WALファイルに新しいページを無期限に書き込むことはできません。ある時点で、それらをメインのデータベースファイルにコピーし直す必要があります。このプロセスは「チェックポイント」と呼ばれます。
[画像: SQLiteチェックポイント手順を示すアーキテクチャ図。WALファイル内のページがデータベースファイルにコピーされます。新しいページは、データベースファイル内の既存のページを置き換えたり、ファイルの末尾に追加されたりする可能性があります。]
ほとんどのデプロイメントでは、SQLite自体がチェックポイントのタイミングを決定し、そのプロセスはエンドユーザーや開発者には見えません。当社のコントロールプレーンでは、高速で一貫性のあるバックアップを実行できるように、チェックポイントプロセスを手動で制御しています。この標準的でないアプローチは、潜在的な原因を体系的に排除していく中で疑わしいものとなりました。
手がかりの1つは、破損インシデント中に、当社のメトリクスが、SQLiteが実際に利用可能なページよりも多くのページをWALファイルからコピーしたと報告していることでした。WALファイルに10ページあり、20ページがデータベースにコピーされた場合、何かが明らかに間違っています。
これらの誤ったチェックポイント中に何が起こっていたのかを理解するために、SQLite開発者は仮想ファイルシステムレイヤー用の新しいデバッグツールを作成しました。
SQLiteはいくつかのレイヤーに分割されています。最上位レイヤーはパーサーとコードジェネレーターで、SQLステートメントをSQLiteの内部データ構造に変換します。これらのデータ構造はページャーに渡され、ディスクに書き込まれる個々のページに分割されます。実際にディスクに書き込むのは、OSインターフェース、つまり「仮想ファイルシステム」によって処理されます。現在、SQLiteにはUnixとWindowsの2つの主要な仮想ファイルシステム実装があります。
[画像: SQLiteの内部構造を示すアーキテクチャ図。SQLステートメントを入力として受け取り、パーサー/コードジェネレーター、ページャー、OSインターフェース/仮想ファイルシステムの3つのレイヤーを通過します。ファイルシステムレイヤーが変更をディスクに書き込みます。]
これらの内部構造についてさらに深く知りたい場合は、SQLiteの主要作者であるRichard Hippによるこの講義をお勧めします。
このアプローチにより、異なるレイヤーを異なる実装に置き換えたり、既存のレイヤーをラップして追加情報を取得したりできます。当社の問題の診断を支援するために、SQLite開発者は仮想ファイルシステムをラップするラッパーを作成し、データベースへの変更に関する追加のトレース情報とログを書き込むようにしました。このラッパーはtmstmpvfs shimと呼ばれ、ソースコードはSQLite公開リポジトリで入手可能です。
[画像: 新しいデバッグレイヤーを備えたSQLiteの内部構造を示すアーキテクチャ図。OSインターフェース/仮想ファイルシステムレイヤーは、tmstmpvfs shimでラップされました。]
このshimをライブ環境にデプロイし、次の破損が発生するのを待ちました。幸いなことに、長く待つ必要はありませんでした。
WAL-Resetバグ
次の破損インシデントの後、新しいtmstmpvfs shimからの追加ログにより、SQLite開発者はバグを発見し修正することができました。それは、チェックポイントと書き込みトランザクション間のSQLiteソースコードにおける稀なデータ競合でした。
特に、チェックポイントの特定のタイミングで書き込みが発生すると、チェックポイント処理が混乱します。WALからメインのデータベースファイルに一部のページがコピーされたと誤認しますが、実際にはコピーされていません。これらのページはデータベースファイルに書き込まれず、そのデータは永久に失われます。インデックスなど、これらのページを参照する他のページがデータベースに書き込まれるため、データベースファイルは破損します。
SQLite開発者はこれを「WAL-Resetバグ」と名付け、SQLiteには少なくとも16年間存在していたと推定しています。それは稀であったため、そのように長く存在できたのです。非常に稀であったため、SQLite開発者はテスト環境で意図的にトリガーするコードを追加する必要がありました。彼らの修正は、チェックポイント関数に追加のチェックを追加し、WALが別のスレッドによってリセットされたことを検出します。
このバグが、私たちが目撃したすべての不可解な動作を引き起こしたことを確認しました。それは破損、クリーンに適用されないトランザクションログ、および一貫性のないチェックポイント統計を説明しました。また、他のSQLiteユーザーよりもこのバグに遭遇する可能性が高かった理由も説明しました。それは、私たちがチェックポイントプロセスを手動で制御し、非常に積極的にチェックポイントを実行していたためです。稀な条件によってトリガーされるバグであっても、最終的には私たちにヒットする運命にあったのです。
これはエキサイティングな瞬間でした。数ヶ月の混乱と不確実性の後、ついに破損が発生していたもっともらしい理論と、それを防ぐために展開できる修正を得ることができました。
SQLite開発者はこの修正をSQLite 3.52.0としてリリースし、利用可能になり次第展開する準備をしました。
修正、しかし誤報も
SQLite 3.52.0を慎重にロールアウトしました。まず少数のカナリアシャードに展開し、順調に稼働していることを確認した後、残りのコントロールプレーン全体に展開しました。
バックアップモニターはすぐに赤くなり、13の異なるデータベースで破損を報告しました。これは非常に懸念されましたが、すべての想定される破損を修正するためにリカバリ手順に従い、すべてが正常になりました。実際には、これらのデータベースは実際の破損に見舞われたのではなく、SQLiteのバージョンにおける2番目の問題の影響を受けていました。
SQLite開発者とエラーを共有したところ、ステール式インデックスに関連するバグが明らかになりました。計算値のインデックスを作成し、その後計算が変更されると、インデックスには不一致の値が含まれ、PRAGMA integrity_checkによって破損として報告されます。
この場合、高精度タイムスタンプの一部をテキストとして保存し、それをVIRTUAL生成列で浮動小数点数に変換していました。そして、私たちのデータ競合を修正したSQLite 3.52.0リリースが、テキストから浮動小数点数への変換の丸め動作を微妙に変更する最適化を行いました。カナリアシャードには、変更された丸め動作をトリガーするタイムスタンプがなかったため、段階的なロールアウトで見落としていました。
この変更が誤った破損警告を引き起こしたため、SQLite開発者は3.52.0リリースを撤回し、代わりにWAL-Resetバグの修正のみを含む3.51.3を公開しました。
当社はタイムスタンプの精度を整数秒に減らすことで問題を修正しました。テキストから整数への変換は曖昧さがありません。一方、SQLite開発者は、ステール式インデックスの問題を防ぐ、自動化された自己修復インデックス機能を3.53.0で作成しました。
パーティータイム!
修正がコントロールプレーン全体に展開されたので、勝利を宣言する準備ができていましたが、まだ慎重でした。破損インシデントがないことは、すべてが修正されたことを意味するわけではありません。すでに6週間の欺瞞的な静寂期間がありました。
本番環境でこのデータ競合が積極的に発生していることを示す肯定的な証拠が必要でした。バグの原因(書き込みトランザクションとWALリセットの衝突)を理解したので、SQLiteドライバーをパッチして、これらの2つの操作が重複した場合に警告をログに記録するようにしました。警告が発火してもデータベースが無破損のままであれば、修正が潜在的な破損インシデントから私たちを救ったことがわかるはずです。
警告を展開し、待ちました。そして待ちました。そして待ちました。そして待ちました。数週間が経過するにつれて、なぜ警告が表示されないのか疑問に思い始めました。警告が壊れているのか?理論が間違っていたのか?真のバグはまだ暗闇に潜んでいるのか?
それから2ヶ月後、待ち望んでいたアラートがついに発火しました。
[画像: Alert Manager通知、SQLitePartyMode警告を表示:SQLiteはshard2.corp.ts.net:8383でパーティーモードで破損を試みましたが、システムはそれを阻止しました。詳細には、警告コード、ホスト、インスタンス、ジョブ、名前空間、重大度、およびシャード情報が含まれます。メッセージは、破損インシデントの詳細についてサーバーログを確認することを推奨しています。]
このアラートは、WAL-Resetバグの正確な条件が当社の本番環境で発生していることを証明しました。これは、6ヶ月間にわたる不安定な稼働時間の原因であった可能性が高いことを意味します。
この奇妙に喜ばしいアラートが発火して以来、執筆時点までさらに4ヶ月間、データベースインシデントなしで稼働しています。ついに安堵のため息をつくことができました。
よく踏まれていない道から外れて
誰も、私たちがSQLiteのバグを探すのに6ヶ月を費やすことを望んでいませんでした。これは、お客様とスタッフの両方にとって非常にフラストレーションのたまる経験であり、この不安定さを乗り越えられたことを嬉しく思っています。
この調査は有用なリマインダーです:退屈なテクノロジーを標準的でない方法で実行することはリスクです。一般的なパスと標準的な構成は、信じられないほどよくテストされており、信頼性があります。ほとんどの人は標準的な構成でSQLiteを使用しており、このような問題に遭遇することはありません。私たちがやっていたことはすべて、公開され、文書化され、サポートされている構成でしたが、チェックポイントプロセスを手動で制御し、独自の積極的なペースで実行することで、よく踏まれていない運用パスから外れてしまいました。
これらのインシデントの解決は、Tailscaleのエンジニアリングおよびサポートチーム、そしてSQLiteのコアメンテナーを含む数十人が関与する、大規模なクロスファンクショナルな取り組みでした。これらのインシデントの影響がもっと悪くならなかったのは、すべて彼らの功績です。
繰り返し発生するダウンタイムは、影響を受ける人数に関係なく信頼を損なうことを理解しており、この問題を追いかけている間、忍耐とサポートを提供してくださったお客様に感謝しています。
この期間はフラストレーションのたまるものでしたが、以前よりも強力な立場になりました。長年のSQLiteのバグは修正され、探している間に発見した数十の他の付随的な問題も修正しました。データ競合をほぼ即座に分離するのに役立ち、将来同様のバグを追跡するのに役立つオープンソースSQLite VFS shimに資金を提供しました。最後に、データベースのバックアップとリカバリプロセスを洗練させ、12回以上にわたってライブテストしました。
データベースインシデントがこれ以上発生しないことを願っていますが、もし発生した場合でも、私たちは準備ができています。