不安定なテストがRedisクライアントのuse-after-freeを露呈
A flaky test exposed a Redis client use-after-free (buildkite.engineering)
要約
Buildkite社は、不安定なテストが原因でRedisクライアントライブラリ内のメモリ破損バグを発見しました。このバグは、テスト環境だけでなく開発環境でも発生しており、最終的にASAN(AddressSanitizer)とコアダンプ解析により、RedisクライアントのC拡張におけるuse-after-freeであることが特定されました。この問題は、テスト環境でのC拡張の無効化と、バグ報告のupstreamへの提出によって解決されました。
全文翻訳
How a flaky test exposed a Redis client use-after-free
決定論的に発生するバグでさえ、そのトリガーとなる状況を再現できなければ修正は困難です。バグが非決定論的な場合、その状況を再現するコードを何度も実行して挙動を観察する必要があり、フィードバックループにかなりの時間がかかります。さらに困難なのは、バグの原因がその顕在化よりも前に発生している場合です――データが破損していても、すぐにそれに気づかない場合です。私たちの通常のツールは、クラッシュが発生した時点でのシステムの状態をキャプチャすることに焦点を当てていますが、なぜそもそも破損が発生したのかは教えてくれず、ただ発生したことだけを伝えます。
これは、私たちがredis-clientライブラリで見つけたメモリ破損バグの物語と、それを発見するのに役立ったものです。
Chapter 1: Bounce
私たちの物語は、スケーラビリティチームのエンジニアリングマネージャーであるDavidから始まります。あるのんびりした火曜日、Davidは自分のビルドが、多くのFlakyテストによって失敗したことに気づきました。彼はSlackで他の人に警告するスレッドを立て、Test Engineダッシュボードからのスクリーンショットを添付しました。
[画像: David, an engineering manager on our Scalability team.]
[画像: Test Engine reliability trend showing the tests dropping from ~100% reliable.]
継続的インテグレーション企業として、私たちはFlakyテストには精通しています――それらはどんな大規模なコードベースでも避けられないものです。15分以内に、チームはAndon Cord(緊急停止コード)を引きました。これらのテストはあまりにもFlakyで、本番環境へのコードデプロイを妨げていたからです。Davidが要約したように、「[最優先事項はmainのブロックを解除すること]」だったので、私たちは一時的にテストスイートからそれらを排除する作業を行いました。
緊急性が低下したことで、Davidやこの問題によってブロックされていた多くの開発者は、本来のタスクに戻ることができました。しかし、DavidはBuildkiteのTest Engineの信頼性スコアを使用してこれらのテストの信頼性を調査し、いつ突然不安定になったかを相関させることができるか、もう少し深く調べることにしました。
最も悪い3つのFlakyテストは、~100%の信頼性から…(2〜4日前)には信頼性がなくなっていたようです。マージされたPRを調べましたが、それに寄与した可能性のあるものは見つけられませんでした…唯一目についたのは、Redisのアップグレードです。
[画像: Patrick Robinson, staff engineer and part-time blog post narrator.]
そのRedisのアップグレードは、前の金曜日の午後に、スタッフエンジニアであり、パートタイムのブログ投稿ナレーターでもあるPatrick Robinsonによって行われました。Patrickは、自分のことについて三人称で話すことをいくつか愛していますが、そのうちの一つは、厄介なバグに深く入り込むことです。
ここに最初の手がかりがあります:Redis gemのアップグレードは、本番環境の問題の兆候もなくスムーズに進んでいました。しかし、この時点で、第二の仮説が現れました:テストは特定のイベントシーケンスに依存していたため、Flakyになっていたというものです。というのも、Flakyテストは私たちのフィーチャートテストスイートの一部であり、RSpecだけでなく、Seleniumヘッドレスブラウザ、そしてWeb/APIサーバー、データベース、Redisサーバーからなるテスト環境を利用していたからです。このような状況では、異なるコンポーネント間の競合状態(race condition)がFlakyテストの一般的な原因となります。残念ながら、これは調査者を誤った方向へ導くことになります。
そこで、テストのセットアップとアサーションの間にsleepを挿入して、問題が解消するかどうかを確認するという提案がなされました。これは解決策ではありませんでしたが、FlakinessがWebSocketメッセージの到着がわずかに遅れた結果であるかどうかを判断する方法でした。
Chapter 2: Fade to Black
翌月曜日、スキップされたテストと同じファイルで、さらに多くのテストが散発的に失敗していました。Patrickは、Patrickとは異なり、実際のフロントエンドコードを書くことができる別のスタッフエンジニアと協力しました。彼らは協力してバグの信頼性の高い再現コードを作成しましたが、失敗を発生させるのに最大30分かかりました。テストスイートが実行された後にメッセージが配信される競合状態の可能性を排除した後、チームはActionCableとRedisの間の相互作用に焦点を絞りました。
追加のロギングを行うことで、subscribeコマンドがActionCableに配信されているが、Redisには受信されていないことがわかりました。他の開発者も、開発環境でWebSocketが頻繁に失敗すると報告しており、テスト環境だけでなく影響が出ていることが示唆されました。
デバッグの3日目の終わり、何も進展していないように見えたとき、Patrickは非常に珍しいエラーメッセージを受け取り、それをSlackに投稿し、「もう寝る時間だと思う…」という言葉を残しました。
ruby(29632,0x2a9f1f000) malloc: Double free of object 0x2a9bb6740
ruby(29632,0x2a9f1f000) malloc: *** set a breakpoint in malloc_error_break to debug
この種のエラーは非常に珍しく、このバグの深さを示唆しています。しかし、チームはまだ十分な情報を集めておらず、それがどのように、あるいはそもそも失敗と関連しているのかを認識できませんでした。大ヒット映画シリーズ『ナイブズ・アウト』のエピソードのように、すべての情報が揃っていても、まだ理解できませんでした。
そして、すべてのピースがテーブルの上にあるにもかかわらず、この犯罪は依然として不可能に見えます。~ ベノワ・ブラン
Chapter 3: Everlong
Hello
I’ve waited here for you
Everlong
成功したデバッグには、かなりのスキルと少しの運が必要です。翌週の木曜日の午後遅く、エンジニアリングSlackチャンネルに、ビルドがセグメンテーション違反を引き起こしたというメッセージが投稿されました。ビルドにはコアダンプが添付されていました。
コアダンプが添付されたのは、以前ある開発者がテストスイートでのクラッシュをデバッグしようとしており、コアダンプの存在を探し、見つかった場合は関連ビルドにアーティファクトとしてアップロードするプラグインを記述していたためです。
ここで3人目のキャラクター、Rianを紹介します。彼はBuildkite在籍中に、信じられないほど不可解なバグを見つけて修正する評判を築いていました(悪名高いDoomパイプラインとともに)。その話はあまりにも素晴らしいため、Rianが去った後も、私たちは新入社員に語り、彼らが他の人に語り、そしてそう続いています。
[画像: Rian, our third character, renowned for hunting down obscure bugs.]
コアダンプにより、Rianはプロセスがクラッシュした時点での状態を、航空機墜落事故調査におけるブラックボックスのように検査することができました。クラッシュメッセージ自体は、それがhiredisコード内で発生したことを示していました。これは、redis-client gemにバンドルされているC拡張です。そこから、例外はC関数memmoveの呼び出しによってトリガーされたと判断しました。この呼び出しのソースと宛先のアドレスは妥当に見えましたが、サイズフィールドは0x00a0ffffffffffb6に設定されており、これは約45ペタバイトです。
[画像: Rian doing Rian things]
これと、Redis gemをアップグレードして以来、他の予期しない挙動を目にしていたという事実に基づいて、最新バージョンにメモリ破損バグが存在すると結論付けるのは論理的でした。
さらに幸運なことに、Rianはその年の初めにFinding and fixing memory safety bugs in C with ASANというカンファレンストークに参加していました。
この情報をもとに、RianはASanでコンパイルされたRubyバージョンで再現コードを実行できるように作業を開始しました。実行できるまでわずか数時間しかかからず、30分以内にASanはヒープのuse-after-freeを報告しました。並行実行を提供するために、hiredisは接続ごとに2つのスレッドを持っています。1つは読み取り用、もう1つは書き込み用です。use-after-freeは、シナリオによってはリーダー・スレッドがライター・バッファを解放してしまうために発生していました。
Epilogue: In the End
メモリ破損があり、さらに重要なことに、その原因がどこにあるのかがわかると、修正は比較的簡単でした。Rianはテスト、開発、本番環境でRedis接続にC拡張を使用することを無効にし、アップストリームに報告された再現テストケースを開発しました。
そもそもそれを見つけることができた要因は興味深い部分です。必要なツールの構築におけるスキルの意図的な適用、チームワーク、そしてちょうど良い量の運の組み合わせです。私たちのツール、例えばTest Engineやcoredump-artifactプラグインは、バグの性質を特定するのに役立ち、ASanの使用と組み合わせることで、それがどこで顕在化したのかを明らかにしました。このようなメモリ破損バグは、しばしば数ヶ月かかることがあります。なぜなら、セグメンテーション違反によって生成されたコアダンプは、過去のある時点でメモリが破損したことだけを教えてくれますが、それがどのように破損したのかについてのヒントはほとんどないからです。
この物語の作成において、本番データは一切損なわれていません。