Pub/Subを停止しても、誰も気づかなかった
We turned off Pub/Sub and nobody noticed (incident.io)
要約
incident.ioは、イベント駆動型プラットフォームのメッセージングインフラとしてGoogle Cloud Pub/Subのみに依存していましたが、これは可用性SLAとの間に緊張関係を生じさせていました。この単一障害点を解消するため、NATSをセカンダリメッセージブローカーとして導入し、eventadapterという抽象化レイヤーを構築しました。これにより、Pub/SubとNATS間で動的にロードバランシングを行い、最終的にPub/Subを顧客への影響なく停止させることに成功し、プラットフォームの信頼性を向上させました。
全文翻訳
Pub/Subを停止したが、誰も気づかなかった
多くのモダンなソフトウェアスタックと同様に、incident.ioのプラットフォームは主にイベント駆動型です。例えば、アラートを送信したり、Slackでエージェントにメッセージを投稿したり、カタログのエントリを更新したりするたびに、これらはすべてイベントとしてメッセージトピックにエンキューされます。これにより、そのイベントに関心のあるダウンストリームコンポーネントは非同期に購読して反応できます。プッシュ通知を送信したり、Slackで返信を投稿したりするような場合です。
プラットフォームが成長するにつれて、システムを流れるメッセージ数も増加し、メッセージングインフラストラクチャへの依存度も高まりました。これはミッションクリティカルなものになりました。同時に、私たちはOn-call製品のエンタープライズ顧客に対してコミットしている99.99%のSLAのような、より厳格な可用性目標を設定しました。
最近まで、私たちはメッセージングテクノロジーとして単一のプロバイダー、Google Cloud Pub/Subのみを使用していました。つまり、Pub/Subの可用性にわずかな問題が発生しても、私たちの可用性に影響が出てしまうということです。これは許容できません。そこで私たちは、セカンダリメッセージブローカーをスタックに導入し、冗長性を追加し、最終的にプラットフォーム全体の可用性を高めることで、メッセージングシステムを障害に対してより回復力のあるものにするための冒険に乗り出しました。
目標は、顧客に一切影響を与えることなくPub/Subを停止できるようにすることでした。それはかなりの冒険となりましたが、先週、私たちはまさにそれを成功させました。
これがその冒険の物語です。
メッセージブローカー
イベント駆動型システムには、メッセージの処理レートと取り込みレートを分離できる、あるいは多くの異なるコンポーネントが同じ元の顧客開始イベントを処理できるなど、多くの利点があります。例えば、user.createdトピックがあり、あるシステムがウェルカムメールを送信するためのイベントをリッスンし、別のシステムが初期データベース状態を設定するといった具合です。
このようなシステムの心臓部には通常、「メッセージブローカー」があります。これは、発行コンポーネントからメッセージを受信し、それらを保存し、関心のある購読者に転送する責任を負います。incident.ioでは、歴史的にPub/Subをメッセージブローカーとして選択してきました。これは、優れた機能セットを備えたよく構築されたマネージドサービスであり、長年にわたり容易にスケールアップすることを可能にしてくれました。
Pub/Subは堅牢です。その公開SLAは99.95%であり、実際には私たちにとってそれを快適に上回っていました。問題は、私たちのプラットフォームのすべてのイベントが、1つのプロバイダーによって運用される1つのブローカーを流れていたことで、それを迂回する方法がなかったことです。私たちのメッセージブローカーは単一障害点(SPOF)になっており、これは私たちの99.99%の可用性目標と矛盾していました。
そして、SPOFは究極的には説明責任の問題です。エスカレーションが発火しなかった場合、「申し訳ありません、Pub/Subがダウンしていました」という答えを顧客に決して与えたくないのです。それは私たちのSLAであり、依存関係がその日に何をしていても、それを満たすのが私たちの仕事です。私たちはすでにインフラストラクチャの他のレイヤーに冗長性を持っています。なぜメッセージブローカーだけが異なって扱われるべきなのでしょうか?
イベントアダプター
私たちがイベント駆動型アーキテクチャを持っていると言うとき、それは誇張ではありません。現在、約800以上の個別のメッセージトピック、1000以上のユニークなトピック購読があり、1日あたり約2億4000万メッセージを処理しています(2026年8月現在)。
この多数のトピックは、イベントとやり取りするコードベース内の数千の呼び出しサイトがあることも意味します。これは、例えばメッセージングに使用する基盤となるテクノロジーを置き換えたい場合、非常に daunting になる可能性があります 🫠。
幸いなことに、私たちは巨人の肩の上に立っており、incidentの初期のエンジニアたちは、メッセージの発行と購読の上にコードレベルの抽象化を構築する賢明さを持っていました。これを eventadapter と呼んでいます。これは、以下のようなシンプルで強力なインターフェースを公開するパッケージです。
// Publisher はイベントを発行するためのインターフェースです。
type Publisher interface {
Publish(ctx context.Context, ev Eventer, payload []byte) (string, error)
}
// Subscriber はすべての購読者によって実装されます。
type Subscriber interface {
Subscribe(ctx context.Context, topicName string, handler SubscribeHandler, params SubscribeParams) func() error
}
// SubscribeHandler はパッケージのコンシューマーが単一イベントを処理するために実装するものです。
type SubscribeHandler[EV Eventer] func(
ctx context.Context, ev *EV, eventMetadata EventMetadata,
) error
// Eventer はすべてのイベントによって実装されるインターフェースです。
type Eventer interface {
// Name はこのイベントタイプを識別する方法です。
Name() string
// イベントが何を意味するかの説明です。
Description() string
// Validate は発行前にイベントのフィールドを検証します。
Validate() error
// GetOrganisationID はイベントに関連付けられた組織 ID を返します。これはイベントテレメトリに追加するために使用されます。
GetOrganisationID() string
}
このパッケージは、ローカル開発やテストに使用する eventadapter.InMemory や、Pub/Subと通信するための eventadapter.PubSub のような、いくつかの具体的な実装を公開しています。
豆知識: 当初、InMemory アダプターを構築する必要がありました。incidentの初期の頃、アプリをローカルで実行し、あまりにも多くの並列接続をPub/Subに開くと、オフィスのWi-Fiがクラッシュしたからです。🙈
func main() で環境に基づいて実行時にアダプターのバージョンを条件付きで選択・構築し、それをアプリケーションコンポーネントへの依存関係として渡します。
このような抽象化の恩恵により、新しいメッセージブローカーを導入するために必要なのは、eventadapter インターフェースの新しい具体的な実装を構築し、実行時にそれをスワップインすることでした。これにより、他のエンジニアが所有する呼び出しコードのいずれも、その変更を意識する必要がなくなりました。これにより、ロードバランシングの複雑さを抽象化の背後に隠すことができました。
2番目のブローカーの選択
既存のインターフェースを使用することに伴うトレードオフの1つは、そのインターフェースのセマンティクスと動作に制約されるということでした。つまり、抽象化ではありましたが、基盤となるテクノロジーからのリークがいくつかありました。つまり、Pub/Subと同じ機能セットと動作を持つものを選ぶ必要がありました。なぜなら、これらはアプリケーションで依存し、推論するようになったセマンティクスだったからです。
私たちの要件と2番目のメッセージブローカーを選択するプロセスは、この投稿の範囲外です。ブローカーには広範な選択肢があります:オープンソース対プロプライエタリ、マネージド対アンマネージド、ストリーミング対非ストリーミング、一時的対永続的など。銀の弾丸はありませんので、私たちの主なアドバイスは、独自の要件を文書化し、意思決定マトリックスを使用することです。
NATSを選択したのは、主にCNCFによって採用されたプロジェクトであり、その将来に自信を持ち、ソースコードを自由に読むことができること、Kubernetesネイティブであること(私たちがワークロードを実行している場所です)、単一バイナリであること(Kafkaのことですよ!)、そしてGoで書かれていること(私たちのスタックの残りはGoです!)です。さらに、以前に実行した経験がありました。
動的なロードバランシング
もう1つの設計原則は、99.99%の可用性で運用する場合、ブローカー間のフェイルオーバーは手動ではできないということでした。月に約4分23秒のダウンタイム予算しかないため、誰かが午前4時に起きてブローカーを切り替える時間はありません。これは、理想的には、両方のブローカーを継続的にアクティブ・アクティブ設定で使用する必要があることを意味しました。メッセージは両方に分散され、一方のブローカーからの永続的なエラー率は自動的に他方にフェイルオーバーします。したがって、動的なイベントロードバランサーを構築する必要がありました! その方法を詳しく見ていきましょう。
前述のように、最初に行ったことは、eventadapter.LoadBalancer と名付けた eventadapter の新しい具体的な実装を作成することでした。
[画像: eventadapter.LoadBalancer のアーキテクチャ図]
発行側では、message.ID をハッシュし、設定可能な分割に対して重み付きサイコロを振ることでブローカーを選択します。IDは、私たちのシステム内のすべてのIDと同様にULIDです。Goの hash/fnv 標準ライブラリ(Fowler–Noll–Voハッシュ関数)でハッシュされます。すべてのメッセージは独立してハッシュされるため、50/50の分割は、ロードバランサーから期待される均等な分布である、すべてのメッセージの約半分を各ブローカーに送信します。
💡 なぜメッセージIDでサンプリングするのか疑問に思うかもしれません。例えば、私たちの通常のグループ化キーである組織IDではなく?組織IDでハッシュすると、フェイルオーバーまで顧客のすべてのイベントが1つのブローカーにピン留めされますが、メッセージごとにハッシュすることで、どの組織が偏っていても、ボリュームによってロードが均等に保たれます。トレードオフは、組織ごとまたは操作ごとのトランスポートの一貫性がないことですが、私たちはそれで満足しています。
通常の運用では、各ブローカー間で50/50の分割を選択しています。セカンダリブローカーに投資したすべての作業を、緊急時にのみ使用して、それが壊れていることが判明するのを待つだけでは意味がありませんか? 重要なのは、分割はデプロイなしで設定可能であるため、必要に応じてどちらかのブローカーを手動でオフにできることです。
メッセージの優先ブローカーを決定したら、イベントの発行を試みます。発行試行が失敗した場合(短いネットワークの瞬断によるタイムアウトなど)、もう一方にフェイルオーバーします。特定のブローカーへのすべての試行はサーキットブレーカーも通過します。そのため、短期間に多くの試行が失敗し始めると、ブローカーが劣化している場合、それらのブローカーへの発行を早期にショートサーキットし、即座にフェイルオーバーします。これにより、可用性目標を達成するために必要な自動フェイルオーバーが得られます!誰も起こされず、発行は単に優雅に他のプロバイダーに流れ始めます。
公平な重み付きスケジューリング
発行側はかなり標準的なロードバランサーだと主張できるかもしれません。より興味深いのは購読者側と、処理の並行性をどのように処理するかです。
incident.ioシステムは、Kubernetesにworker-oncallやworker-aiのようなさまざまなワークロードタイプベースのデプロイメントのコレクションとしてデプロイされる単一のモノレポGoプログラムです。これにより、例えばAIメッセージ処理とは独立して、受信HTTPアラートのレプリカ数を水平にスケーリングするといったことが可能になります。このアーキテクチャについては以前に詳しく説明しました:モノリスを維持しつつ、ワークロードを分割する。
eventadapterインターフェースでも、マシンあたりのメッセージ「ハンドラー」(より正確にはゴルーチン)の並行処理数について同様の制御があります。これはMaxHandlersと呼ばれる設定です。これにより、例えば、マシンあたりのWebフックを処理するために10個のハンドラーを設定し、優先度の低いバックグラウンドcronジョブには3個のハンドラーのみを設定するといったことが可能になります。
[画像: MaxHandlers 設定の例]
したがって、並行ハンドラーの概念を新しいデュアルブローカーの世界にどのようにマッピングできるかを考える必要がありました。初歩的な解決策は、単にハンドラーの数を倍増させること、つまりブローカーごとにハンドラーのグループを設けることでした。しかし、これにはいくつかの問題があります。
- マシンあたりの並行処理のスループットが倍増し、リソース使用量(CPU/メモリ/ネットワーク)が直接増加します。各ハンドラーは作業を行うためにDB接続を必要とするため、接続プールのサイズも増やし、データベースへのCPU負荷も増やす必要があります。
- さらに重要なのは、ブローカーごとのハンドラープロセスの均等な分割が常に必要とは限らないことです。つまり、Pub/Subが夜間に低下し、発行レートが80/20の分割に切り替わった場合、メッセージの大部分はNATSを流れることになり、ハンドラーの大部分がPub/SubではなくNATSキューから消費することを望むでしょう。
私たちが本当に必要としていたのは、メッセージを公平にプルし、より多くの全体的な作業を持つブローカーを優先する動的なスケジューラーでした。
そこで、すべての優れたコンピュータサイエンティストのように、私たちはこの分野の先行研究を調査し、既存のキューイング理論アルゴリズムからインスピレーションを得ました。この分野で最も引用されている論文はMaxWeightアルゴリズム(Tassiulas and Ephremides (1992))です。これは、「最大のバックログを持つキューを選択する」と要約できます。
しかし、これは私たちのセットアップにはあまり適合しませんでした。なぜなら、各ブローカーの現在のキューの深さをプルごとに効率的にクエリする方法がなかったからです。これが、MaxWeightの遅延ベースのバリアントにつながりました。これは、重み変数を「キューに入れられているメッセージの数」から「キューの先頭にあるメッセージがどれだけ待っているか」に置き換えます。例えば、Oldest Cell First (OCF, McKeown, Mekkittikul, Anantharam and Walrand (1999)) や遅延ベースのバックプレッシャー(Ji, Joo and Shroff (2011))などです。これらは同じスループット保証を維持しますが、キューごとに1つの情報(キューの先頭にあるメッセージの年齢)しか必要としません。
キューイング理論の知識を得て、スケジューラーの構築に取り掛かりました!
各ブローカー(およびその基盤となるGoクライアント)は、Peek()(インボックススロットに格納されている先頭メッセージのメタデータをピークする)とReceive()(インボックスから先頭メッセージをポップする)の2つのメソッドを持つ単一スロットの「Inbox」インターフェースにラップされています。
次に、メッセージハンドラーゴルーチンのプールを担当するスケジューラーゴルーチンがあります。ハンドラーは、前述のMaxHandlersサブスクライバー設定を使用してサイズ設定された重み付きセマフォによって制限されます。
セマフォにスロットが解放されるたびに、スケジューラーは両方のインボックスでPeek()を呼び出し、発行時間が最も古い先頭メッセージ(発行ポッド間のクロックスキューに影響されない、ブローカー割り当てのタイムスタンプ)をディスパッチします。これはReceive()を呼び出すことで行われ、メッセージが返され、次のピークのためにインボックススロットがネットワーク経由でブローカーから補充されます。(ここでは、各ブローカーのネイティブクライアントが効率化のためにメモリ内にいくつかのメッセージをバッファリングするなど、いくつかの詳細を省略しています)。
これらをすべて組み合わせることで、スケジューラーから期待されるすべてのプロパティが得られます。
- 既存の
MaxHandlers並行処理を再利用することで、サブスクライバー全体で両方のブローカーの共有並行処理予算が得られ、スループットセマンティクスやリソース消費量の変更はありません。つまり、エンジニアはMaxHandlersを設定し続けることができ、消費が2つのブローカーを介して行われているという事実は気にする必要がありません。 - 「最も古いメッセージを最初に」スケジューリングを使用することで、重み付き公平性ポリシーが得られます。もし一方のブローカーにフェイルオーバーしてキューがバックアップした場合、スケジューラーはそのインボックスを優先してセマフォスロットを埋めます。
魔法です!✨
カオス
それで、イベントロードバランサーの動作する実装があり、私たちは自分たちにかなり満足していました。過去1ヶ月間、ロードバランサーを慎重にロールアウトしてきました。まずステージング環境で、次に本番環境でトピックごとに、すべてのメッセージが最も重要なOn-callエスカレーションイベントを含めて、それを流れるようになりました。
しかし、すべての優れた信頼性エンジニアが知っているように、実行されていないコードパスやフェイルオーバーメカニズムは、それがないのと同じくらい役に立ちません。これがブローカーのいずれかの障害から実際に私たちを保護することを知る方法は?唯一の選択肢は、本番環境でカオスをテストすることでした!
まず、すべてのメッセージが両方のブローカーに50/50で流れている状態で、意図的に本番Kubernetes環境のNATSクラスターを削除しました。メッセージがクライアント側のエラーなしに、Pub/Subに優雅に流れるのを見守りました。
[画像: NATSクラスター削除後のメトリクス]
Pub/Subのテストはより興味深い課題でした。私たちはそれを管理しておらず、Googleに電話して意図的に壊してもらうことはできません。そこで、ロードバランサーに自動化されたフォールトインジェクションシステムを構築しました。フォールトインジェクターにより、いずれかのプロバイダーの部分的劣化または完全な障害をシミュレートでき、設定を通じてフォールトトレランスを動的に増減させることができます。
最新のカオツーリングを装備して、先週、本番環境でPub/Subを停止しましたが、誰も気づきませんでした。 最初の数回の発行試行はタイムアウトまたはエラーになり、その後自動的にNATSに対してリトライされます。30秒間の発行試行失敗の後、サーキットブレーカーが開き、それ以降の発行はすべてショートサーキットされます。メッセージは1つもドロップされませんでした。これらすべてが、社内のエンジニアがページングされたり、単一の顧客が気づいたりすることなく発生しました。システムは機能しました 🎉
重要なのは、私たちのカオツーリングにより、他の火曜日と同じように、これらの障害シナリオを本番環境で継続的かつ容易に実行できるようになったことです。
すでにメリットを実感しています
私たちは当初、On-Call製品をより信頼性の高いものにし、システムに残された数少ない単一障害点の1つを排除するためにこのプロジェクトに着手しました。しかし、その過程で、コアシステムプリミティブの1つを改善し、プラットフォーム全体の可用性のバーを引き上げました。
本番環境でシステムを数週間稼働させた後、すでにメリットを実感し始めています。
- 発行失敗に関するテレメトリとオブザーバビリティの改善により、Pub/Subへのネットワークの瞬断によるタイムアウトを定期的に観測しており、これらは即座にフェイルオーバーします。以前は顧客 facing エラーを引き起こしていた可能性のあるメッセージは、単なるリトライになりました。
- データ損失のリスクなしに、両方のプロバイダーを独立して、より安全に運用および保守できます。NATSクラスターをアップグレードする必要がありますか?簡単です!Pub/Subクライアントを変更しますか?安全です!
この設計についてのご意見をお聞かせください。また、いつものように、このような信頼性の課題に取り組むことに興味がある場合は、採用しています!