ステート指向の一貫性:単一の正解を探すのをやめた理由
State-oriented consistency: Why we stopped looking for one right answer (keel-iot.eu)
要約
分散システムにおいて、システム全体で単一の一貫性モデルを適用しようとする「均一一貫性」という設計上の誤りを指摘しています。筆者らは、個々のステートが持つ固有の要件を理解し、それぞれに最適な一貫性保証を選択する「ステート指向一貫性」というアプローチを提唱しています。このアプローチにより、システムの設計が簡素化され、スケーラビリティの問題を回避できるとしています。
全文翻訳
ステート指向の一貫性:なぜ私たちは唯一の正解を探すのをやめたのか
すべての分散システムには、さまざまな種類のステートがある
私たちが初期に犯した間違いは、間違った質問をしていたことだ。
私たちは問い続けていた。「クラスターはどの整合性モデルを使用すべきか?」
有用な質問は、「この特定のステートは、実際にはどのような整合性保証を必要としているのか?」であることが判明した。
これらは似ているように聞こえる。しかし、そうではない。最初の質問は、システム全体に単一の答えが存在すると仮定している。2番目の質問は、そうではないと仮定している。そして、この全体を収束させるのは、最終的にほとんどの説明をしてくれる1つの表である。
クラスター化されたメッセージブローカーを構築する際に、私たちはこの違いを苦労して学んだ。その根底にある教訓は、MQTTとはほとんど関係がない。複数の種類のステートを保持するあらゆる分散システムは、いずれこの問題に直面する。これを正しく行えば、残りの設計はほぼ自動的にシンプルになる。
インシデント
5分間隔で、2つのポッドがカーネルのOOMハンドラーによって強制終了された。メモリ制限:512Mi。エキゾチックなものではなく、通常のステートレスサービスに対する通常のコンテナ制限だ。
最初の仮説は明白なものだった:ロードバランサーの不均衡が、おそらく再接続の連鎖に複合的に影響した。もっともらしい。しかし、間違っていた。
アクティブ接続数、3つのポッド、同じウィンドウ:
Pod A: 8 ██
Pod B: 174 ████████████████
Pod C: 1,039 ████████████████████████████████████████
ワーキングセットメモリ、同じ3つのポッド、同じウィンドウ:
Pod A: ~270MB ████████████████████████████
Pod B: ~310MB ████████████████████████████████
Pod C: ~360MB █████████████████████████████████████
これは、不均衡が生み出す形状ではない。他のポッドの130倍の接続を処理しているポッドが、ほぼ同等のメモリしか持たないはずがない。メトリックが嘘をついているか、メンタルモデルが間違っていたかのどちらかだ。
調査
メトリックは嘘をついていなかった。
セッションステートを担当する実際のコードパスを読むと、真の原因が明らかになった:各ポッドの起動時に、永続化フックがすべてのクライアントの保存されたセッションステートをロードしていたのだ。つまり、フリート全体のものであり、この特定のポッドに再接続する可能性のあるクライアントの断片だけではない。1回のフィルタリングされていない読み込みが起動時に1回呼び出され、返された各行がメモリ上のライブオブジェクトになった。
なぜ誰かがそのように書いたのだろうか?ステートレスなクラスターで、非スティッキーなロードバランサーの後ろにある場合、どのクライアントがこのポッドに再接続するかを事前に知る方法は実際にはない。そのため、最もシンプルで正しそうに見える実装は、すべてをどこでもロードし、接続されたものがそのステートを見つけられるようにすることだった。タイプミスバグではなく、ノードは現れる可能性のあるあらゆるクライアントに対応できるように準備されているべきだと静かに仮定した設計だ。冒頭の質問の、小さくローカルな、まさに間違った質問のインスタンスだった。それは「クラスターは誰でもサービスできる」ことを最適化したのであって、「この特定のステートはこの特定の要件を持っている」ことを最適化したのではない。
この連鎖がアーキテクチャの問題として現れることはめったにない。
間違った抽象化
↓
間違った保証
↓
間違ったアーキテクチャ
↓
間違ったスケーリング
間違った抽象化:ノードのどれがこのクライアントをサービスするかを、1つだけでなく、すべてのノードが知る必要があるかのように扱った。間違った保証:どこにでも「念のため」複製した。間違ったアーキテクチャ:ノードが責任を持つものに境界がなかった。間違ったスケーリング:コストはフリートサイズではなく、実際の責任に応じて増加した。
OOMは、その連鎖が可視化された場所でしかない。それは、説明できないスケーリングの限界、あるいはフリートが成長するにつれて不思議とリスクが増加したローリングアップデートとして現れた可能性もある。
この問題が提起する質問
率直に言うと、これはメモリバグではなく、モデリングエラーのように見える。
私たちは、このステートが、クライアントが着陸する可能性のあるあらゆる場所に複製される必要があると仮定していた。実際には、それはまったく必要なかった。それは、あらゆるノードが自分で計算できるルールによって決定される、単一のオーナーシップだけが必要だったのだ。
このインシデントを超えて生き残る質問は、「これをより少ないメモリにどう収めるか」ではなく、「このステートは実際には何を必要としているのか、そして私たちはそれにそれ以上のものを提供していなかったか?」である。
修正する前に、間違いに名前を付ける
私たちが陥っていたデフォルトにも、誰も意図的に選んだわけではないが、名前が必要だ。私たちはこの設計習慣をユニフォームコンシステンシー(Uniform Consistency)と呼ぶようになった。システム全体に1つの整合性戦略を適用し、その特定のステートが実際に必要とするものに関係なく、すべてのステートにそれを継承させるのだ。
明確にしておくが、特定のアルゴリズムを意味しているわけではない。ユニフォームコンシステンシーは、論文で見つかるようなテクニックではない。私たちは習慣を意味している。システムがすでに信頼している整合性モデルを、そのステートが実際にそれを必要としているかどうかを尋ねることなく、どこにでもデフォルトで利用することだ。
間違った仮定 現実
──────────────── ───────
分散ステートの各部分は ステートの各部分は
同じ保証を必要とする。 独自のセマンティクスを持つ —
───────► 「2つのノードが一時的に
意見の相違をした場合、
どうなるか?」という
独自の答えがある。
誰も「ユニフォームコンシステンシーを適用する」と決定してシステムを設計するわけではない。それは、最初の質問が尋ねられないまま、一度に1つの小さな決定を下すことで、デフォルトで起こることだ。これはストローマン(見せかけの敵)ではなく、私たちが実際に行っていたことであり、それを長く続けるとコストがかかるものだ。
ステートの分類
クラスターのすべてのステートについて、「このステートは実際には何を必要としているのか?」と尋ねることは、表が生まれる場所だ。この文章の他のすべては、実際には1つのリフレームを適用しているにすぎない。
一貫性はシステムのプロパティではない。
それは個々のステートのプロパティだ。
| ステート | 2つのノードが一時的に意見の相違をした場合… | 最小限必要な保証 |
|---|---|---|
| ライブ接続の所有権 | デュプリケート配信、または誰も運転していないゴースト接続 | 単一の権威あるオーナー、現時点で決定される |
| オフラインクライアントの所有権 | 何も悪いことはない — デュプリケートするライブ接続がない | 決定論的 — 計算可能、仲裁不要 |
| メッセージルーティング | 一時的に古いルート、すぐに自己修正される | 利用可能 — 短い期間の古さに耐性がある |
| 永続メッセージステート | サイレント、永続的なデータ損失 | 永続的 — 例外なし |
| クラスターメンバーシップ | ノードが一時的に生きているように見えるが、実際はそうではない | 結果整合性 |
5行、5つの異なる最小保証。洞察は単一の行ではない。それは、有能な人々によって構築されたシステムでさえ、この質問を表に、行ごとに強制しない限り、ユニフォームコンシステンシーにデフォルトでなるということだ。
フレームワーク
これは、MQTT、分散ブローカー、このプロジェクト全体を超えて一般化できると考えている部分だ。
1. ステートを特定する。
│
▼
2. 2つのノードが意見の相違をした場合に何が起こるかを尋ねる。
│
▼
3. 実際に必要な最小限の保証を見つける。
│
▼
4. その保証を提供する最も弱いメカニズムを選択する。
│
▼
5. 次のステートについて繰り返す。
正確な答えはシステムによって異なる。スケジューラー、データベース、サービスメッシュ、MQTTブローカーは、同じステートを同じようには分類しないだろう。スケジューラーの「タスクの所有者は誰か」は、ブローカーの「セッションの所有者は誰か」ではなく、そう強制されるべきでもない。ループは同じままだ。表の行だけが変わる。
ポイントは、異なるシステムが同じ答えにたどり着くことではない。ポイントは、同じ推論プロセスを使用してそれらにたどり着くことができるということだ。
私たちは内部的にこの設計ルールをステート指向の一貫性(State-Oriented Consistency)と呼ぶようになった。新しい分散システム理論だからではなく、アイデアに名前を付けることで、プロジェクト全体で一貫して適用しやすくなり、習慣でユニフォームコンシステンシーに手を伸ばしそうになったときに、自分たちを捕まえやすくなったからだ。このアイデアが新しいと主張するわけではない。名前を付けることで、一貫して推論しやすくなることがわかった。
このようにステートを分類し始めると、アーキテクチャはほぼ自己設計された。各行は自然に異なるメカニズムを示唆した。なぜなら、各行は異なる保証を必要としたからだ。
実際に構築したもの
セマンティクスが保証を決定する。
保証がメカニズムを決定する。
メカニズムがアーキテクチャを形成する。
その表は、各行ごとに1つのメカニズムに翻訳された。それらは互いに独立しており、マッピングは3つの列として読む場合にのみ意味がある。なぜなら、保証がメカニズムを決定するのであって、その逆ではないからだ。
ステート 保証 メカニズム
───── ───────── ─────────
ライブセッション 単一の権威あるオーナー コーディネーター
オフラインセッション 決定論的 決定論的
配置
トピックルーティング 可用性 APルーティング
永続メッセージステート 永続性 永続共有
ストレージ
メンバーシップ 結果整合性 メンバーシップ
ゴシップ
(各メカニズムの背後にある具体的な実装 — どのコーディネーター、どのハッシュスキーム、どのストア — は、この文章の後半と、最後にリンクされている技術的な投稿に示されている。図では意図的に名前を付けていない。なぜなら、ここで重要な決定は、各行が必要とした保証であり、それを満たしたライブラリが何であったかではないからだ。)
保証が特定されると、メカニズムの選択はほぼ機械的になった。実装は単に分類に従った。
即座に仲裁された回答を本当に必要とする1行のための小さなコーディネーター。仲裁された回答ではなく、単一の回答を必要とするステートのための決定論的スキーム。可用性のために最適化されたストアで、古い状態が安価な場所。データ損失が許されない1行のための永続共有ストレージ。メンバーシップのためのゴシップ。各行は独自のメカニズムにマッピングされ、どれも他のものの仕事をしていなかった。
人々はよく、どのコンセンサスアルゴリズムを選択したか尋ねる。それは、私たちが作った最も興味のないアーキテクチャ上の決定となった。それは解決済みの問題だ。成熟した実装を選択すれば、コーディネーターがやるべき仕事を正確にこなしてくれる。実際に重要だった決定、そして簡単に通り過ぎてしまう決定は、そもそもどの部分のシステムがコンセンサスに値するかを特定すること、そしてさらに重要なことに、それがすでにそこにあって信頼されていたからといって、必要としない行にそのメカニズムが侵入するのを拒否することだった。
また、明確な一線を引いた。この調整レイヤーは、どちらの方向にもバルクメッセージトラフィックを一切運ばない。ペイロードも運ぶコーディネーターは、スループットをコンセンサスレイテンシに制限してしまう。これは、実際のトラフィックを移動するシステムが必要とするものとは正反対だ。
再設計
BEFORE: フリートの責任 AFTER: 派生した責任
───────────────────────── ──────────────────────────
すべてのノード メンバーシップの変更
│ │
▼ ▼
フリート全体を 所有権は決定論的に
担当する 計算される
│ 「このノードがXを
▼ 所有する」
すべてをロード、 │
フィルタなし ▼
│ 派生した、再構築可能な
▼ インデックスとして
単一の実際の接続を 具現化される
提供する前にメモリ │
制限の約50-65%を ▼
消費 ポッドは起動し、Xをロードする —
│ 現在所有しているものだけ
▼ │
実際の負荷の下でOOMKilled コストはフリートサイズではなく、
責任に応じてスケーリングする
これを「OOMを修正した」と説明するのは魅力的だ。それは過小評価だ。
私たちはOOMを修正していたのではない。
私たちはアーキテクチャ上の仮定を取り除いていた — どのノードもどのクライアントにも対応できるように準備する必要があるという仮定だ。これが、「すべてをどこでもロードする」ことを、最初の場所で最もシンプルで正しい実装に見せていたのだ。
結果(単一の数値ではなく、プロパティとして)
| Before | After | |
|---|---|---|
| ノードあたりのメモリコスト | フリート全体に応じてスケーリング | そのノードが所有するものに応じてスケーリング |
| 起動時にロードされるもの | すべて、無条件で | 所有権がここにあると示すものだけ |
| 「真実」はどこにあるか | 各ノード上の複製されたコピー | 派生インデックス — 失われた場合、復元ではなく再計算される |
単一の実際の接続を提供する前にほとんどのメモリ予算を消費したフロアは、チューニングによって小さくなったのではなく、消滅した。なぜなら、ロードされていたものが、決してスケーリングする必要がなかったものに合わせてスケーリングするのをやめたからだ。
実装は分類に従ったのであり、その逆ではない。
実際に学んだこと
当初、このステートにはコンセンサスが必要だと考えていた。「誰がこれを所有しているか」は、表面上、コンセンサスが答える種類の質問に聞こえるからだ。しかし、そうではなかった。それは決定論的な保証を必要としていた — どのノードも単独で計算できる答えだ。なぜなら、実際に仲裁すべき競合は一度も存在しなかったからだ。
アーキテクチャがシンプルになったのは、メカニズムが少なくなったからではない。
それは、各メカニズムが正確に1つのジョブを持っていたからだ。
私たちは、すべてのステートを強く一貫させる方法を模索するのをやめた。
私たちは、各ステートが実際に何を必要としているのかを尋ね始めた。
保証が明確になると、メカニズムはほとんど自己選択された。
分散システムは、単一の一貫性モデルを必要とすることはめったにない。それは、ステートごとに1つずつ適用される、適切なモデルを必要とする。
最も困難だったのは、より良いアルゴリズムを選択することではなかった。
それは、より良い質問をすることを学ぶことだった。
このアーキテクチャは、Goで書かれたオープンソースのクラスター化MQTTブローカーであるKeel MQTT Gatewayに実装されています。これは、以前のクラスター化MQTTブローカーを置き換えた後、現在本番環境で稼働しており、すでにローリングアップグレードとKubernetesコントロールプレーンのアップグレードを乗り越えています。上記の再設計は、ベンチマークではなく、その置き換えによって証明されました。
さらなる読書
私たちは、この文章から、より詳細な議論を意図的に除外しました。それらはそれぞれ独自の物語であり、この文章の脚注ではありません。
なぜCRDTを使用しなかったのかは、CRDTがうまく適合する場所や、ライブ所有権が異なる要件を持つ理由を含め、その質問をより詳細に追跡しています。