HN 日本語サマリー

← 一覧へ戻る
ビジネス・スタートアップ

1996年のAOL障害の人為的な事後分析

A human postmortem of the 1996 AOL outage (ngrok.com)

62 pointsby EndEntire15 コメント

要約

この記事は、1996年に発生したAmerica Online(AOL)のサービス停止に関する人間的な視点からの事後分析について議論しています。当時の大規模なネットワーク障害がどのように発生し、それにどのように対応したのか、技術的側面だけでなく、人々の判断や行動に焦点を当てて解説しています。

全文翻訳

1996年のAOL障害

免責事項:ngrokは、信頼性というトピックに対する未開拓の視点を提供できると考え、Macにこの記事の執筆を依頼し、スポンサーとなっています。ライターにこのような機会を提供できることを嬉しく思いますが、意見はMacのものであり、会社のものではありません。お楽しみください!

アートワーク:arthurxmedic作

1996年8月7日にタイムスリップしたと想像してみてください。目を閉じて、ロシア、中国、中東で緊張が高まり、人々がテックバブルを懸念し、ベルボトムが流行していた世界を思い描いてください。想像するのは難しいでしょうが、わかります。

目を開けてください、あなたは今1996年にいます。仕事や学校から帰ってきて、リラックスしたいと思っているかもしれません。まだ衰退しつつあるグランジ時代にしがみつきながら、ステレオに何かをかけていたかもしれません。きしむデスクチェアに座ると、Windows 95の起動画面に迎えられます。しかし今回、アメリカン・オンラインに接続しようとしても、メールの受信トレイ、人気シットコムの情報、あるいはNASAが火星での生命の証拠を発表したというニュースを見る代わりに、次のような画面が表示されます。

[画像:CBS News提供の1996年のAOL障害に関するニュース映像のスクリーンショット]

アメリカン・オンラインはダウンしており、19時間も復旧しませんでした。この障害は、ニューヨーク・タイムズのトップニュースから火星での生命のニュースを押し出してしまったほどです。


技術的には、この障害はそれほど注目されるべきではなかったはずです。アメリカン・オンラインは定期的にメンテナンスのためにダウンしていました。実際、この定期メンテナンスが、そもそも今回の障害を引き起こした原因でした。数ヶ月前にもピークタイムに同様の障害が発生しましたが、ニュースにはなりませんでした(私は後述する口伝でしかそれを知りませんでした)。では、なぜ今回だけフロントページを飾ったのでしょうか?

当時、世界中の人々がインターネットに参加し始めていました。オンライン人口は急増し始めていました。私の理論では、インターネットが私たちの日常生活に不可欠になり始めた、ある種の転換点を過ぎていたということです。そして私たち人間は、依存しているものの脆さを思い出させられることを本当に嫌います。

サイト信頼性エンジニアリング(SRE)の分野で働く者として、私はこの障害の研究に少し没頭しました。これは、業界外の人々がインターネットシステムの稼働維持の重要性を認識した最初の例と言えます。そして、その集団的な欲求こそが、私を雇用し続けているのです。

では、この30年前の障害は今日の私たちに何を示唆するのでしょうか? 私は、障害を経験する方法、私たちが直面する経済的力学、そして現代のサイト信頼性エンジニアリングがそれらをどのように考慮すべきかについて、多くのことを学べると考えています。この記事は、私にとって、より人間的なポストモーテムを書く機会であり、単に「なぜ?」を5回繰り返すだけでなく、ゴールデンシグナルやSLOでは捉えきれない、私たちの複雑なテクノ社会の現実を掘り下げるものです。


ポストモーテムを書くなら、まず技術的な詳細から始めるべきでしょう。当時の報道は、広報担当者や評論家の声明ばかりで、言葉遣いは非常に曖昧でした。もっと具体的な情報を得るには、AOLの従業員に話を聞く必要がありました。私はarchive.orgでAOLの古い財務書類を見つけ、1996年の全取締役、役員、副社長のリストから、オペレーション担当副社長のマシュー・コーン氏を見つけました。彼のLinkedInしか見つけられなかったので、LinkedIn Premiumに登録して(すぐにキャンセルしましたが)メッセージを送りました。そして彼は返信してくれたのです!

彼は、記憶を呼び戻すために1996年の古い紙のスケジュール帳を引っ張り出したと、素晴らしいメッセージを送ってくれました!そのスケジュール帳を直接見ることができたら、どんなに良いか…いずれにせよ、彼は8月の障害に関する技術的なメモは持っていませんでしたが、5月に発生した同様の(これまで報道されたことのない)障害に関するメモを持っていました。彼は、5月の障害について新聞が1インチの紙面も割かなかったことを奇妙に思っていましたが、8月の障害については突然、大々的に取り上げられたのです。

興味のある方のために言っておくと、5月の障害は、かつてのAOL本社があったウェストウッド・センター・ドライブで発生しました。3相電源のうち1相だけが停止し、発電機が停電に気づかず、バッテリーが切れた後にデータセンター全体が停止するという事態になりました。数年前、私も同様の経験をしました。発電機メーカーも独自のポストモーテムを行う必要があるようです。

しかし、彼が8月7日の障害について覚えているのは、システムがメンテナンスのためにダウンし、正常にオンラインに戻らなかったということだけです。最終的に、システムはメンテナンスのためにダウンする必要がなくなったため、元の問題は静かに解決されました。なんて平凡な話でしょう。

他のAOL従業員を探し続けることもできましたが、私は気づき始めました。なぜ私は技術的な側面にそれほど集中していたのだろうか? ここには国家的な関心事があり、何百万人もの人々がそれぞれに語れる物語を持っているのに、私はバージニア州の1つの建物の中で何が起こっていたのかに集中していたのです。

[画像:AOL本社があったウェストウッド・センター・ドライブの建物。この場所から出ていく方が、入る時よりも幸せだろうと推測される。画像クレジット:LoopNet]

障害中の私たちのユニークな経験

1996年のAOL障害に私が興味を持った最初のきっかけは、CBS Newsのビデオでした。そのビデオでは、インターネットカフェに行って、障害の影響を受けた人々をインタビューしていました。影響は様々でした。ある会社は新製品を発売できず、ある人はただ退屈しており、別の一人は「潜在的な関係」を失ったと言いました。最後の話は願望的観測だったかもしれませんが、これらのユニークな視点は私に何かを教え始めていました。

より多くのユニークな視点を求めて、私は1996年当時の古いウェブサイトを探し始めました。自分の人生のすべてをオンラインに公開するということが2000年代まで存在しなかったと思っていましたが、当時オンラインで日記を公開していた魅力的な人々がかなりいました。障害の日、ある人はハッブル宇宙望遠鏡の一部に取り組んでおり、背中の怪我から回復していました。別の人は当時中国で妻の家族を訪ねており、残念ながら私のためには、インターネットプロバイダーについて書くのではなく、義父の墓を訪れたことについて書いていました。

その日、障害について言及していた唯一の人を見つけられたのは、スティーブ・シャルクリンという名前の人でした。スティーブは、彼が死にかけていたため、1996年3月にオンライン日記を開始しました。彼の初期の投稿は、彼の健康状態の悪化や、おそらく皆さんも聞いたことがあるであろう特定の免疫不全症候群にかかっていたため、ウイルス量やT細胞数の更新について議論していました。1996年初頭、彼のブログ「Bonus Round」の名前とは対照的に、最善の策は対照群よりも約1年長く生存を遅らせる薬でした。それから30年後、彼は定期的な更新を続けています。もし障害がもう少し早く起こっていたら、彼の人生は同じだったでしょうか? 彼がチェックする頃には、そのBBSの投稿はフロントページから押し出されていたかもしれません。あるいは、彼は障害を最後の straw とみなし、月額料金を友人や家族への返済に充てる方が良いと判断したかもしれません。もしこの別の現実が起こっていたら、私たちはそれを知ることはあったでしょうか?

[画像:スティーブ・シャルクリンがピアノを弾きながら歌っている写真。周りには4人のキャストメンバーが一緒に歌っている。彼は明らかに痩せていたが、体重を戻し始めていた]

スティーブ(中央)は1996年夏、「まさに生き返り始めた頃」の写真。画像クレジット:スティーブ・シャルクリン

障害が(幸いなことに)脚注に過ぎなかった、文字通りの人生の物語をざっと読んだ後、SREである私たちはしばしば、影響を受けた人々を統計に還元する物語の主人公としてテクノロジーに焦点を当てがちであることに気づきました。私たちはすべてを逆に捉えています。現実は、障害は私たちのユニークな人生に介入し、些細なことから壊滅的なものまで、あらゆるものになり得ます。しかし、今日の巨大なインターネットサービスのような非人間性により、これらの物語が語られることはめったにありません。

私たちが直面する経済的力学

キャリアを始めた頃、私は何千、何百万人もの人々を助ける堅牢で信頼性の高いシステムを構築するという壮大なビジョンを持っていました。私は、スティーブのような一人ひとりの人々を思い浮かべ、バグや障害の原因になった場合にどれほど動揺するかを考えていたので、コードを書く際には余分な時間と注意を払いました。当時はゼロ金利政策の頃で、ベンチャーキャピタルの資金が自由に流れており、私はその余分な配慮に対してわずかな分け前を受け取って満足していました。しかし、状況が変わると、突然、手抜きが必要になりました。「顧客のために何ができるか?」という問いから、「どこまで許されるか?」という問いに変わったのです。テクノロジーセクターは非常に中央集権的で、規制がなく、依存度が高いことから、その答えは「かなりのこと」でした。そして2022年には、「enshittification(エンシュティフィケーション)」という言葉が、この現象に名前をつけるために生まれました。

言うまでもなく、私はこの新しい(私にとって)低品質な仕事を称賛する世界を受け入れるのが困難でした。資本主義の船から、品質と信頼性をバラストとして投げ捨てているように感じました。AOLの障害を調査する中で、エンシュティフィケーションが新しいものではないことを知り、落胆しました。企業は、コーナーを切り詰めることを発明以来ずっと続けてきました。例えば、障害に関する引用は、今日のスタートアップについて語られていることと容易に一致するように聞こえます。

「アナリストは、AOLのようなオンラインサービスは、システムが速すぎるために成長しすぎている可能性があると合意しています。」

「人々が依存しているこれらのインターネットサービスプロバイダーの多くは、まだ(障害に関する)十分な経験がなく、彼らは物事を台無しにしています。」

「この媒体の新しい性質を考えると」、CEOは「再び起こらないと保証することはできなかった」と述べています。

ドットコムバブルの崩壊を除けば、AOLはこの報道価値のある障害に対して、実際には何の代償も払っていません。2011年になっても彼らは手抜きを続けており、あまりにも低品質なコンテンツを生成したため、従業員がパニック発作を起こしたとさえ言われています。そして、大量解雇と値上げで有名な企業に15億ドルで売却されました。

なぜこれが続くのでしょうか? サイト信頼性エンジニアリングは、依然としてお金がすべてです。確かに、信頼性が競合他社よりも低い場合、お金を失う可能性があります。しかし、その問題を解決するために必ずしも信頼性に投資する必要はありません。単に、切り替えを難しくしたり、競合他社を買収したりすればよいのです。1996年には、米国には3,840のインターネットサービスプロバイダーがありました。1996年の雑誌には、カリフォルニア州だけで63のプロバイダーがリストアップされています。今では、特定の地域で1つ以上を見つけることができれば幸運でしょう。

[画像:1996年のISPの雑誌広告。画像クレジット:BAM Publications]

高い切り替えコストと逃げ場がない状況では、信頼性に関する経済的な議論は、逆に利用される可能性があります。今では、過剰な信頼性は浪費と見なされています。もし信頼性に関する経済的な議論が、容易に信頼性の低さを主張するために使われるのであれば、私の答えは単純です。経済的な議論は完全に譲りましょう。人々は依然として高品質で信頼性の高いシステムに値するものであり、たとえ経済的にそうすることが理にかなっていなくても、それを保証するのが私の仕事です。

では、収益性のないものを擁護するために、どうすればよいのでしょうか? まず、SREの教科書には、私たちのテクノロジーが強化している、非常に不平等な経済システムがあることを認めているものはありません。友人や家族に障害について尋ねると、中流階級以上の多くの人々は障害を軽い迷惑、あるいは時には良いこと、例えばホワイトカラーの仕事から休憩する口実と見なすという共通のテーマが見つかりました。しかし、そのラインを下回る人々は、障害によって深刻な被害を受ける可能性があります。例えば、公共交通機関のWi-Fiがダウンしたり、ギグワークアプリがクラッシュしたり、パンデミック中に何百万人もの人々が失業給付金を期日通りに受け取れなかったりしました。どちらの側が投資決定を行うと思いますか?

障害からの回復でさえ、私たちの不平等を明らかにします。システムがダウンすると、多くの場合、エンジニアの階層システムが呼び出され、上位の階層ほど給料が高く、呼び出し回数も少なくなります。これは伝聞かもしれませんが、1996年の障害中、AOLの従業員が、障害が発生するたびに20〜30分ごとに、より新しくより高級な車が「駐車場に駆けつけていた」と気づいたと言われています。そして、AOLが当時SECから利益を水増ししていた疑いで捜査を受けていたことは言いましたっけ?

したがって、手抜きをするとき、そのコストは、障害の両側で、すでに経済的力を持たない人々によってしばしば負担されています。経済的な力がないときに経済的な議論にしがみつくのは、銃撃戦にナイフを持っていくようなものです。私たちは、利益率よりも個人を中心に据えた、代替的な物語を作り出す必要があります。

今日のSREはこれらすべてをどう考慮すべきか

では、この産業が本来意図されていなかったもの、あるいは経済システムがそれにアレルギーを持っている中で、より多くの人々が個々の影響に焦点を当てるようにするにはどうすればよいでしょうか?

1つのアイデアは、刑事司法制度から「被害者影響陳述」の概念を借用することです(その概念だけを借用します。他は不要です、ありがとう!)。私たちは、影響を受けた顧客に、障害がどのように影響したかを心から説明してもらうことで、信頼性への投資を促進することができます。多くのポストモーテムテンプレートにはすでに「影響陳述」が含まれていますが、それは障害を引き起こした会社によって書かれるものであり、顧客によって書かれるものではありません。犯罪の被害者になったのに、裁判所があなたへの影響について被告人のみ尋ねると想像できますか? このアイデアは、単に戦略的な操作の一形態です。人間の感情と物語への愛を利用して、人々にお金以外のものを優先させるのです。少しの操作を、ご褒美として行っても良いかもしれません。

これは少し古風な考えであり、起こるとは思いません。自然な問題は、これを行うための時間を確保することです。SREチームは、顧客を切り替えコストぎりぎりでなんとか満足させようと、常に忙しくしています。

もう1つのアイデアは、この重要だが収益性の低い仕事を、純粋な研究の最後の砦である大学にアウトソースすることです。次に報道価値のある障害が発生した後、大学は大学院生(もっと給料を払うべきです)の群れを送り出し、これらの被害者影響陳述を収集し、出版ノルマを達成するための素材として活用することができます。サイト信頼性エンジニアリングがSTEM分野と見なされているのは悲劇的だと思います。私たちは、社会学と経済学を無視することによって、自らの危険を冒しています。

これらのアイデア以外に、懸念しているSREは何をすべきでしょうか? 私たちは、巨大なスケールで事業を行っているにもかかわらず、個々の影響に焦点を当てたいと考えています。私たちは、経済システムが許容する以上の品質を持つ技術システムを構築したいと考えています。私たちは、難しい問題を解決し、クールな技術で働きたいと思っていますが、それは私たちの人間性を犠牲にしてまでではありません。

システム全体を変更したり、システム内で戦おうとして燃え尽きたりする以外に、現時点での私たちの役割は、バックストップとして機能し、可能な限り信頼性と品質の後退を防ぐことです。それは、上記のような突飛なアイデアを提案したり、個々の影響を強調したり、同僚と協力して基準に合意したり、手抜きをする者を名指しで非難したりすることかもしれません。創造性が鍵となります。繰り返す必要のない、30年間の失敗した実験があります。それがマラソンであり、スプリントではないことを覚えておいてください。時計を刻み、私たちのシステムを使用している人々のために激しく戦い、時計を外してください。結果として得られる妥協は、私たちが望むものとまったく同じではないかもしれませんが、私たち全員がただ諦めてしまった場合よりもはるかに良いものになるでしょう。ポストモーテムが現状維持で良いと結論付けたら、どんな意味があるでしょうか? 直しましょう。皆さんのためにチケットを起票します。