Microsoft、7月の修正で導入されたソフトウェアの不具合が原因で大規模なメール障害が発生したと発表
Microsoft blames monster email outage on software defect introduced in July fix (theregister.com)
要約
Microsoftは、先週発生した大規模なメール障害の原因が、7月に導入されたソフトウェアの不具合であったと発表しました。この不具合は、ネットワークゲートウェイサーバー上で潜伏していましたが、負荷の急増と容量の低下が重なったことでトリガーされ、Microsoft 365全体でメールサービスが利用できなくなる事態を引き起こしました。Microsoftは、テストが不十分だったことを認め、パッチの修正パッチを適用してサービスを復旧させました。
全文翻訳
Microsoft、7月の修正で導入されたソフトウェアの不具合が原因で大規模なメール障害が発生したと発表
REG AD
[
saas
](https://www.the-register.co.uk/tag/saas)
夏のコード変更が秋の障害を引き起こした――パッチのロールバックではなく、パッチの修正に奔走するエンジニアたち
Microsoftは、先週発生した壮大な障害の原因は、7月に実施した変更がネットワークゲートウェイサーバーに潜伏し、負荷の急増と容量の低下が不具合を誘発したことだと発表した。これにより、Microsoft 365の世界はメールから1日休みを取ることになった。
Microsoftが11月15日に公開した暫定的な障害後レポートによると、この不具合は2026年7月に導入された。Microsoftによると、このアップデートは当時問題なく、負荷テストを通過し、影響なく展開されたという。
しかし、テストは十分ではなかった。Microsoftのレポートには次のように記載されている。「当社の負荷テストは、コア数の少ない、より弱いハードウェアに焦点を当てる傾向があった。」この不具合は、「内部Windowsプロセス内でロック競合を引き起こし、マシンのリソース(CPUとメモリ)を枯渇させた。」
REG AD
「競合問題は、コア数の多いマシンや新しいハードウェアで悪化する。」
REG AD
不具合を含む修正は、Microsoft 365ネットワークゲートウェイサーバー専用に準備された。その後、2つのことが同時に起こった。TeamsがExchange Onlineをサポートする「プライマリ」ゲートウェイにフェイルオーバーし、それ自体は特に珍しくない負荷の急増を引き起こした。同時に、ネットワークゲートウェイのサーバー容量の約14パーセントがサービス停止していた。これもそれ自体は問題ではなかった。復旧に向かっており、Microsoftによると「サービスには十分な容量のヘッドルームがあった」。これらが組み合わさって、ゲートウェイを不具合に追い込み、大混乱が生じた。
それは典型的なカスケード障害シナリオだった。サーバーが接続を失うと、トラフィックは次の正常なエンドポイントにルーティングされる。それが同じ問題に遭遇する。そのため、トラフィックは再びルーティングされ…この状況がどうなるかは想像できるだろう。2時間以内に、不具合はMicrosoftの全サーバー群で発生した。「最低時で、80パーセント以上のサーバーが応答不能になった」とレポートには記載されている。
では、どうすればよいのか?サーバーをサービスに戻しても助けにはならなかった――それらはすぐに過負荷になり、再びダウンした。
「通常の自動復旧プロセスは、この広範な応答不能状態からのサービス復旧を想定して設計されていなかった。」数ヶ月前の不具合であったため、単純なロールバックも不可能だった。
代わりに、エンジニアはパッチのパッチを開発した。Microsoftの言葉を借りれば、「Windowsで以前の既知の良好な状態にコードパスを戻すアップデート」だった。このパッチはサーバー群に適用され、サービスは徐々に復旧した。
タイムラインは、顧客が経験した苦痛と、MicrosoftがExchange Onlineなどのクラウドサービスがなぜこれほどまでにパフォーマンスが悪かったのかを解明しようと奔走した様子を示している。障害の要因となったTeamsのフェイルオーバーは、11月12日UTC 01:07に発生した。日中、負荷は増加し続け、UTC 16:03にMicrosoftの接続異常検出モニターが接続問題の増加を特定した。
UTC 16:33に、最初のサポートケースが寄せられた。
今後15時間にわたって、彼らが試みた何も問題が解決しなかったとき、エンジニアが感じたストレスを想像するのは難しくない。サービスを復活させようとする間、進行中および計画中のすべてのデプロイメントと構成変更は一時停止された。追加容量が追加された。トラフィックはルーティングし直された。しかし、サーバーはダウンし続けた。
REG AD
「Teams、OneDrive、SharePoint、Officeアプリのように、機能できたサービスは、誤動作したネットワークゲートウェイインフラストラクチャからフェイルアウトした」とレポートは述べている。「しかし、Exchange Onlineのように、スケールの理由でこのネットワークゲートウェイからフェイルアウトできないサービスもあった。」
これが、Exchange Online(あるいは多くのユーザーの視点からはOutlook)が動作不能だった時間の長さの理由である。
11月13日UTC 00:30までに、Microsoftは接続ネゴシエーションがアクセス障害の主な原因であると特定し、競合するプロセスが接続の処理を妨げていると結論付けた。
しかし、「緩和策を特定し、適用する――欠陥のある変更を元に戻すアップデート」が適用されるまでには、UTC 07:20までかかった。
UTC 16:10に、Microsoftは状況が再び正常になったことを確認し、11月14日UTC 04:15に最終顧客向けアップデートを発行した。
最終的な障害後レポートは11月20日に予定されている。しかし、暫定レポートは、不安を鎮めるにはほとんど役立たないだろう。3ヶ月前に適用されたアップデートが、Microsoftの管理下にあるシナリオを反映していない負荷テストで、グローバル規模でExchange Online(およびその他のサービス)の混乱を引き起こしたのか?
サービス復旧に必死で取り組んだエンジニアたちは称賛に値し、 Redmond(Microsoft本社)で二度と自分で飲み物を買わずに済む(少なくとも次の解雇を免れる)ことを願うばかりだ。しかし、潜在的な欠陥を持つアップデートが本番環境に到達する原因となったプロセスは、徹底的に見直されるべきである。®