HN 日本語サマリー

← 一覧へ戻る
インフラ・DevOps

マンハッタンの1つの電源室が1991年にFAAの航空管制を停止させた

One Manhattan power room took down FAA air traffic control in 1991 (matthorn.io)

23 pointsby spectraldrift4 コメント

要約

1991年9月17日、ニューヨークの地域レーダーセンターと主要空港の管制塔は、同時にレーダー、無線、自動的な航空機引き継ぎリンクを失った。この混乱は、マンハッタンの33 Thomas StreetにあるAT&Tの29階建ての無窓ビル内の20階のDC電源室で発生した。通常、停電時にバックアップとなる鉛蓄電池が、配電盤のレクチファイヤートリップ時に誤って作動し、6時間以上にわたって放電し続けた結果、FAAのニューヨーク地域全体の通信回線が途絶え、1,174便が欠航または遅延した。この障害は、アラーム経路上の4つのリンクの断線、具体的には焼損したインジケーターランプ、欠落したジャンパー線、機械的にミュートされたアラームベル、そして担当者の不在によって見過ごされた。

全文翻訳

マンハッタンのひとつの電源室が1991年にFAAの航空管制システムを停止させた経緯

2026-10-18 · Matt Horn

[画像: AT&T Lineage 2000 J85500A-2 中央局のDCバッテリープラントのアイソメトリックエンジニアリング図。KS-20472丸型セルバッテリー文字列、J85504Aスタンド、 overhead Charge and Discharge Ground busbars、Plant Shunt、ED-83018配電盤、J85503A/B整流器を示している。]

図1: AT&T Lineage 2000 (J85500A-2) 中央局の-48V DCバッテリープラントのアイソメトリックレイアウト。円筒形のKS-20472丸型セル文字列、J85504Aスタンド、 overhead busbars、配電盤、整流器を示している。出典: AT&T Product Manual 167-790-032 (図1-3, p. 1-6)。

1991年9月17日火曜日午後4時40分、北東部での午後の到着ラッシュ時、ニューヨークの地域レーダーセンターとケネディ、ラガーディア、ニューアークの管制塔の航空管制官は、同時にレーダーフィード、プライマリ無線、自動飛行引き継ぎリンクを失いました。[1][2][3] 3つの空港すべてに飛行機が接近する中、管制官はFAAが空港交通を停止する間、短距離バックアップ周波数と手動の管制塔間中継で商用ジェット機を誘導しなければならず、1,174便が欠航または遅延しました。[2][3][4] 空港では何も故障していませんでした。代わりに、ニューヨーク大都市圏のすべてのプライマリおよびバックアップFAA固定電話回線は、ロウアーマンハッタンにある29階建ての窓のない花崗岩造りのAT&T交換ハブである33 Thomas Streetの20階のDC電源室によって電力が供給されていました。[1][2][3] 6時間以上前、停電時にもこれらの回線を稼働させ続けるために構築された鉛蓄電池の予備が、定期的な発電機切り替え中に部屋の整流器がトリップした際に稼働しましたが、バッテリーが枯渇するまで安定した48ボルトの出力を維持し、その故障を隠蔽していました。[1][5] この投稿は、私が共同執筆した2014年のIEEE出版物の安全基準作業に基づいたエンジニアリング安全シリーズの一部です。[6]

午前10時10分の発電機切り替え

[画像: 33 Thomas Street(AT&T Long Lines Building)の窓のない花崗岩の外観がロウアーマンハッタンの上にそびえ立ち、屋根近くに高い機械排気口がある。]

図2: ロウアーマンハッタンにある33 Thomas Street。20階のDC電源プラントと地域伝送トランクを収容している。写真: Marcin Wichary (CC BY 2.0)。

東部夏時間午前6時から7時の間、Consolidated Edisonは、自主的なピーク負荷電力共有契約に基づき、AT&Tのビルディングオペレーションズグループに連絡し、その日は商用電力から切り替えるよう要請しました。[1][5] 午前10時10分、AC電源スーパーバイザーが切り替えスイッチを操作し、33 Thomas StreetをCon Edisonの街路ACからビルの内部ディーゼル発電機に切り替えました。[1][5]

切り替え中、ACフィードの電圧スパイクが20階の電源室に到達し、ビル内の大容量DS3(45メガビットT3)ファイバーおよび同軸伝送ベイに直流を供給していました。[1] その電圧スパイクにより、最近のプラント近代化中に誤調整されていた過負荷保護リレーがトリップし、部屋のAC-DC整流器がオフラインになりました。[1][5]

中央局のDC電源プラントでは、整流器とバッテリーバンクはメインの48ボルト(-48V DC)バスバーに並列に接続されています。通常の運用では、整流器はバッテリーセルの静止電圧よりもわずかに高い電圧をバスに維持し、交換局が引き出すライブ電流を供給しながらバッテリーを充電しています。午前10時10分に20階の整流器が開いたとき、バス電圧はバッテリープラトーまで数ボルト低下し、それ以上下がらなくなりました。

回路はどれもドロップせず、すべてのトランクはフルキャパシティで稼働し続けました。ビルの3つの4ESSトールスイッチは別々の電源プラントで稼働しており、影響を受けませんでした。一方、20階のバッテリーは、大容量DS3伝送ベイすべてを支えていました。[1] FAAのニューヨークターミナルレーダーアプローチコントロール(TRACON)施設(ヘンプステッド、ロングアイランド)およびケネディ、ラガーディア、ニューアークの管制塔にサービスを提供するリースされたAT&Tデータ回線、リモート無線リンク、音声トランクは正常に稼働し続けました。[1][2][3][4] 33 Thomas Street内では、20階のバッテリーは6時間半の放電を開始していました。[1][5]

アラームパスの4つの broken links

6時間のバッテリー予備が6時間の修理時間を稼ぐためには、整流器のトリップのニュースが、セルの充電がほぼ満タンの間にリレーをクリアして整流器をバスに戻すことができるオペレーターに届く必要があります。33 Thomas Streetでは、20階の整流器から人間の応答者までの障害パスは、20階と14階の4つの物理的および組織的なリンクを横断する必要がありました。AT&Tネットワークオペレーション担当副社長のWilliam J. Carrollが3日後に開示したように、その4つすべてが開いていました。[5][7]

[画像: AT&T Lineage 2000 図4-8の回路図。CM2アラーム回路パック、端子E10とE11間のFrame Alarm LEDまたはランプ、およびプラントコントローラーと配電盤へのアラーム信号出力E1からE9を示している。]

図3: AT&T Lineage 2000バッテリープラントのフレームアラームライトとCM2アラーム回路パックの回路図。ローカルのFrame Alarm LED or Lampと下流のAlarm Signal to Controller (E4)の両方を駆動している。出典: AT&T Product Manual 167-790-032 (図4-8, p. 4-20)。

1. 焼き切れた表示ランプ

障害を示したはずの表示電球が焼き切れていました。[5][7] (AT&Tの10月2日の概要では、20階の電源室を歩いていた技術者なら部屋の中にローカルのPOWERアラームが見えたはずだと付け加えられていますが、夕方のシフトまで誰もそのフロアを歩きませんでした。[1]) 電球の監視チェックや、発電機切り替え前の定期的な電球テストなしでは、障害発生時にも通常の操作時と同じように、焼き切れた電球は暗いままでした。

2. 14階の25インチジャンパーストリップの欠落

[画像: Western Electric中央局のMaster Control and Alarmパネル。多数の表示ランプ、アラームキー、およびその背後にあるオープンワイヤラップベイが並んでいる。]

図4: Bell System中央局の制御およびアラームフレーム(1AESS MCC)。AT&T交換ハブに典型的な表示ランプ列、アラームキー、ワイヤラップベイを示している。写真: Sirgorpster (CC BY-SA 4.0)。

14階では、アラーム制御ベースに25インチの金属ストラップが欠落しており、二次アラーム回路が機能しませんでした。[5][7] FCCの一般通信局によるその後の調査によると、10月に交換予定だったそのアラームは、1990年6月以来チェックされていませんでした。[1][7]

アラームワイヤは障害発生時のみ電流を流すため、25インチのストラップが開いていると、受信端では正常な電源プラントと同じ電気状態になります。15ヶ月間チェックされずに回路が放置されていたため、ストラップが欠落しているときにブリッジされていない端子ポストはゼロの障害電流を報告し、監視パネルはそれを正常な操作と見なしました。

3. 機械的にクランプされたベル

表示電球が切れており、25インチのストラップが欠落していても、整流器がトリップした際にはローカルの可聴アラームベルに電流が流れていました。[5] Carrollが9月20日のブリーフィングで説明したように、14階では「アラームが軽く鳴るようにクランプされていたが、聞こえるほど大きくはなかった」とのことです。[5] その後の下院小委員会の調査で、AT&Tの内部記録によると、担当者がオーディオアラームベルの調整ネジを締めることで中央局のアラームベルをミュートしていたことが報告されています。[5]

この障害は、1990年と1991年にシグナリングソフトウェアのバグによって発生した一連の電話ネットワーク障害の後に発生したため、後の語りではしばしばソフトウェアが中央局の警告ホーンを無効にしたと非難されます。[4] 33 Thomas Streetでは、ソフトウェアは関与しておらず、担当者が以前の操作中にベルを機械的にミュートしていました。[5] ローカルアラームベルがメンテナンス中または障害クリア中に自動再アームサイレンスタイマーなしで継続的に鳴る場合、ベルネジを締めるかゴングをクランプすることは、絶え間ない騒音に対する一般的なフロアでの回避策です。

4. モニターされていないウォッチハンドオフ

表示電球が切れ、14階のアラーム制御ベースの25インチストラップが欠落し、アラームベルがミュートされていたため、整流器のトリップを検知する唯一の方法は、電源技術者が電源室を歩いて整流器を目視で点検することでした。[5][4] 標準的なAT&Tの手順では、ビルがCon Edisonの街路電力から内部発電機に切り替えるたびに、直流電源スーパーバイザーが技術者を派遣して各電源プラントをチェックすることになっていました。ビルはこの切り替えをその夏に4回、問題なく行っていました。[1][5][4]

9月17日の朝、DC電源スーパーバイザーとビルの専任電源技術者は、ミッドタウンマンハッタンの811 10th Avenue(約15分)で、10月に33 Thomas Streetで予定されていた新しいコンピューター化された電源アラームシステムのトレーニングクラスに参加していました。[1][5] 33 Thomas Street内の他の52人の技術者は電源室をチェックする資格があり、午前10時10分の切り替えスイッチを操作したAC電源スーパーバイザーはビル内にいましたが、AT&Tによると、不在のDCスーパーバイザーは代理を派遣せず、切り替え後のウォークスルーを引き継ぎませんでした。[1][5][4]

より大きなギャップはハンドオフアーキテクチャでした。1991年9月、33 Thomas Streetには、地域ネットワークオペレーションセンターに配線されたリモート電源プラントテレメトリがありませんでした。[1] ビルを通過するすべての高容量トランクは、発電機切り替え後の手動フロアウォークスルーに依存していましたが、DC電源チーム全体をオフサイトのアラームシステムに関するクラスにスケジュールしても、自動ハンドオフブロックやリモートウォッチ転送はトリガーされませんでした。[1][5][4] ビルの20階の電源プラントは、誰もフロアを歩く担当者がいない状態でバッテリー予備で稼働しており、それを報告するワイヤはビルから出ていませんでした。

午後4時30分:手動再起動が失敗した理由

午前10時10分の切り替えから6時間以上経過しても、20階のバッテリーはバスを約48ボルトに維持していました。鉛蓄電池は、放電中に電圧が一定に低下するわけではありません。容量のほぼ全体にわたって平坦な電圧プラトーを維持し、最後の数分で急激に低下します。

東部夏時間午後4時30分、ディーゼル切り替えから6時間20分後、夕方のシフトで勤務を開始した電源資格を持つ通信技術者が、12階の無人エリアで視覚的な低電圧バッテリー表示を発見し、20階のプラントをバッテリーからAC電源に戻そうとしました。[1][5] その再起動の試みはすぐに失敗しました。[1][5]

[画像: AT&T Lineage 2000 図1-2のバッテリープラント回路図。Rectifier #1~#n、Battery String #1~#nがCharge Battery Bus、Charge Return Bus、Plant Shunt、Discharge Return Busに並列に接続され、Initial, Supplemental, BDFB機器配電盤に供給されている様子を示している。]

図5: AT&T Lineage 2000バッテリープラントの回路図。Rectifier #1–#n、Battery String #1–#n、およびプライマリ/セカンダリ機器配電盤がCharge Battery Busにどのように並列に配置されているかを示している。出典: AT&T Product Manual 167-790-032 (図1-2, p. 1-5)。

AT&Tがインシデント後の概要で説明したように、「バッテリーは、サポートしている設備から切断されることなく充電電流を受け入れられないほど放電していました。」[1] 深く放電した48ボルトのバッテリーバンク(KS-20472 / C&Dフロート式鉛蓄電池)に、まだフルセントラルオフィス負荷が接続されている状態でオフラインの整流器を再接続すると、電気的サージが発生します。枯渇したセルは、DS3伝送ベイが定常状態のフル負荷を引き出すのと同時に、大電流を要求します。自動再起動機能(AT&Tは、既存の20階プラントにはそれが欠けていたと指摘)がないため、技術者は伝送ベイが接続されたままでプラントをオンラインに戻すことができませんでした。[1]

東部夏時間午後4時40分、20階のバッテリー予備が切れる10分前、20階のバッテリー予備が期限切れました。[1][5]

午後4時40分:ニューヨークTRACONと7時間の復旧

[画像: ロングアイランドのニューヨークTRACON施設内のSperry Univac ARTS IIIA Type I DEDS(FA-8320)レーダーコンソールに沿って座るFAA航空管制官。]

図6: Sperry Univac ARTS IIIA(DEDS FA-8320)レーダー画面を操作するニューヨークTRACONの管制官。出典: Sperry Univac / J. ATC (1981)。

東部夏時間午後4時40分から4時50分の間、20階のバスが運用カットオフを下回ったため、33 Thomas Street内のDS3およびその他の高容量伝送設備がシャットダウンしました。[1][3]

ニューヨークTRACONおよび3つの空港管制塔のプライマリおよびバックアップFAA固定電話回線は、これらのベイを経由して、TRACONのSperry Univac ARTS IIIA Sensor Receiver and Processor(SRAP)およびCommunications Multiplexer Controller(CMC)ユニットにリモートレーダーおよびビーコンターゲットを、音声および飛行計画リンクとともに送信していました。[2][3][4] このブラックアウトは、ニューヨーク、ボストン、ワシントンのエアルートトラフィックコントロールセンターを結ぶ通信も切断しました。FAAは当初、ニューヨークセンターへの90以上の無線およびデータリンクすべてを失ったと考えていましたが、後に数本が復旧しました。TRACONではバックアップシステムが比較的早く起動しましたが、ニューヨークセンターが切断されていたため、管制官はほとんど何もできませんでした。[2][4] 管制官は、短距離バックアップ周波数と手動の管制塔間中継で接近する航空機をシーケンスする必要があり、東部夏時間午後5時頃から午後9時頃まで、ケネディ、ラガーディア、ニューアークでの出発と到着を停止させました。[2][3][8][4] 交通がクリアになった頃には、1,174便が欠航または遅延し、85,000人の乗客に影響を与え、500万以上の国内および国際電話がブロックされました。[2][7][4]

33 Thomas Street内では、復旧には20階の整流器をバスに戻すこと以上の作業が必要でした。枯渇したバッテリーバンクと接続された伝送ベイが、整流器がコールドスタートで受け入れられる以上の電流を引き出したため、エンジニアは手動で整流器をリセットする前に、サポートされているすべての機器を20階の電源プラントから物理的に切断する必要がありました。午後6時にリセットが行われました。[1]

06:00–07:00

Con Edisonの負荷遮断要請。 電力会社がAT&Tのビルディングオペレーションズグループに、自主的なピーク負荷共有契約に基づき、33 Thomas Streetを商用街路ACから切り替えるよう要請。[1][5]

10:10

ディーゼル切り替えと整流器トリップ。 ACスーパーバイザーがビルを内部ディーゼルに切り替え。電圧スパイクが誤調整された20階の過負荷リレーをトリップさせ、整流器をオフラインにし、48VバッテリーがDS3負荷全体を引き継ぐ。[1][5]

10:10–16:30

380分間のサイレント放電。 焼き切れた表示電球、14階のアラーム制御ベースの25インチストラップの欠落、クランプされたベル、およびリモートNOCテレメトリの不在により、DC電源チームが811 10th Aveでのアラームクラスに参加している間、放電は検知されなかった。[1][5][7]

16:30

アラーム発見、手動切り戻し失敗。 夕方シフトの技術者が12階で視覚的な低電圧アラームを発見するが、枯渇したバッテリーはDS3負荷が接続されたままだと充電電流を受け入れられないため、整流器の再接続は失敗する。[1][5]

16:40–16:50

48Vバスの崩壊とNY TRACONの喪失。 バッテリー予備が6時間30分後に期限切れ。20階のDS3ベイの電源がオフになり、JFK、LGA、EWR間のFAAニューヨークTRACONレーダー、無線、飛行計画リンクが切断される。[1][2][3]

17:10

最初のパススルー再ルーティング。 約19,200回線分の音声と約1,400回線分のプライベートラインT1を運ぶ144の非終端DS3(T3)パススルー・トランクが、代替ルーティングにより復旧。[1]

18:00

フル負荷切断と整流器リセット。 エンジニアが20階のプラントからすべての下流機器を物理的に切断し、整流器が充電と負荷インラッシュでトリップすることなく手動でリセットできるようにしてから、段階的な再接続を開始。[1]

21:00

空港再開(国内43% / 国際8%)。 ポートオーソリティがJFK、LGA、EWRでフライトを再開。国内線の43%、国際線の8%の通話トラフィックが復旧。[1][3]

22:00

段階的なトランク復旧(国内51% / 国際56%)。 高容量伝送ベイ全体でクロス接続の再配置と回線復旧が継続。[1]

24:00

完全復旧(国内約100% / 国際95%)。 7時間以上の障害の後、国内通話処理能力のほぼ100%、国際通話処理能力の95%が復旧。[1][2]

非難の矛先をフロアからスーパーバイザーへ

インフラ障害の直後、組織はほぼ常に、安全研究者のRichard Cook、David Woods、およびSidney Dekkerが「最初の物語」と呼ぶものを発表します。それは、制御装置の近くの最後の人の手に止まり、オペレーターエラーを宣言する物語です。[9]

1991年9月18日水曜日、停電の翌日、AT&T経営陣は記者団に対し、「ロウアーマンハッタンの現場のスーパーバイザーと技術者」が「いくつかの警報を正しく読み取れなかった」ため、人的ミスが障害の原因であると述べました。[4] その説明は簡潔で限定的であり、なぜ単一の20階の電源室がニューヨークの3つの空港すべてを切断できたのか、あるいはビルのアラーム回路が1990年6月以来テストされていなかったのかを調べる必要はありませんでした。

フロア技術者を非難したのは1日で終わりました。ビルの技術者を代表するCommunications Workers of America(CWA)の役員は、会社の報告に異議を唱え、技術者たちはオフサイトのアラームクラスにいたときにビルのアラームが故障したと指摘しました。[5] AT&T副社長のWilliam J. Carrollは9月20日金曜日に75分間のブリーフィングを開催し、技術者への非難を撤回しました。「技術者に過失はなく、示唆されたことについてお詫び申し上げます。」[5][4]

それでも、AT&T経営陣は人的ミスという枠組みを捨てませんでした。同社は、非難の矛先を階層を一つ上に、オフサイトのスーパーバイザーとローカルの手順に向けました(「もしこのスーパーバイザーが定められた手順に従っていれば、これは起こらなかったでしょう」)。AT&T上級副社長のKenneth GarrettはFCCへの書簡で、同社は「手順の不備に深く憂慮している」と述べ、この障害はAT&Tネットワークの体系的な崩壊ではなかったと指摘しました。[5][4] しかし、AT&Tが1991年10月までに発表した是正措置の約束と、その後に続いた規制措置は、根本的なハードウェアと監視アーキテクチャに直接対処する必要がありました。

  • 自動再起動整流器と50%負荷分散: AT&Tは、年末までに自動再起動機能を備えたハードウェアで48ボルト電源プラントの交換を予定し、中央局の電源配電を再設計すること(33 Thomas Streetでは1992年3月目標)を約束しました。これにより、単一の電源プラントがオフィスの高容量DS3設備の50%以上に電力を供給できなくなります。[1]
  • ジョージア州コンヤーズへのビル外テレメトリ: AT&Tは、33 Thomas Streetに新しい冗長電源アラームシステムを設置し始めました。これは、ローカルビルパネルとジョージア州コンヤーズにあるリモート監視センターの両方に接続されました。また、全国で12ヶ月間に2億ドルを費やして電源システムの信頼性とバックアップを強化する計画を加速しました。[1]
  • 義務的な障害報告とパス多様性: FCC一般通信局長Rick Firestoneは述べました、調査で悪意のある意図が見つからなかったため、委員会は罰金を課さないことを決定しました。[7] 1991年12月、FCCは、公共ネットワーク障害を防止または制限するための措置を勧告するためにNetwork Reliability Councilを設立しました。そして1992年2月、FCCは通信事業者に命令し、障害が30分以上50,000人以上の顧客に影響を与えた場合は90分以内に委員会に通知するようにしました。[2][10] 一方、FAAは、航空管制施設全体での単一ポイントのリース回線障害を防ぐことが期待されるLeased Interfacility NAS Communication Systems(LINCS)プログラムの調達を開始しました。[2]

死後分析が「もっと注意しろ」で終わるとき

1991年の崩壊におけるすべての機械部品には、現代の分散ソフトウェアおよびAIインフラストラクチャに直接相当するものがあります。私たちはもはや14階の端子ブロックに25インチの金属ジャンパーストリップを配線しませんが、何かエラーを報告したときにのみ発火するアラートと大容量バッファをペアにするたびに、同じ障害トポロジーを構築しています。

1. バッファは、枯渇するまで上流の障害を隠す

6時間半のバッテリーバンク、深いリクエストキュー、寛大なリトライ予算、長いTTLキャッシュレイヤー、そして長寿命の認証トークンはすべて同じ仕事をします。それは、上流の供給が途絶えたときに下流のコンシューマーを稼働させ続けることです。この分離により、システムは一時的なグリッチに対して回復力を持つようになりますが、監視している下流の健全性から持続的な上流の障害を隠蔽します。

上流の依存関係がダウンした場合、数時間のバッファでバックアップされた下流サービスは、100パーセントの成功率とフラットなレイテンシーを報告し続けます。これは、失敗した上流コンポーネントが20階の整流器のペアであっても、長寿命トークンを発行するID制御プレーンであっても、あるいはウォームキャッシュの後ろにあるデータ制御プレーンであっても同様です。オンコールダッシュボードが下流の顧客向けエラーのみを測定する場合、6時間半のバッファは上流の障害を6時間20分隠蔽し、エンジニアに10分の予備を残して午後4時30分にページングします。

2. 空のシステムを再起動するには、通常の負荷よりも多くの容量が必要

分散ソフトウェアおよびAIサービングシステムは、33 Thomas Streetでの午後4時30分の整流器切り戻しを妨げたコールドスタートの壁にぶつかります。これは、システム研究者がメタステーブル障害と呼ぶパターンです。[11] キャッシュティアまたはGPUプロンプトキャッシュクラスターのすべてのキーが上流の障害後に期限切れになる場合、またはキューに入れられたエージェントとクライアントのリトライが回復中のバックエンドに一斉にフラッシュする場合、回復中のサービスはライブトラフィックを提供しながら空のバッファを再充填する必要があります。その複合的な需要(充電電流 + 負荷電流)は、回復中のサービスの過負荷保護をすぐに再びトリップさせます。[11] バッファリングされたシステムが、負荷を自動的にオフロードしたり、回復中に自身の再充填をレート制限したりできない限り、バッファを枯渇させた障害後にシステムを再起動するには、手動で負荷を切断する必要があります。

3. 停止したサービスは自身の障害を報告できない

1990年6月以来誰もチェックしていなかった14階のアラーム回路の25インチストラップの欠落は、焼き切れた表示電球が気づかれなかったのと同じ理由で検出されませんでした。アラーム回路は障害が発生した場合にのみ信号を送信しました。[5][7] アラームパス自体が壊れたとき、何も起こりませんでした。

ソフトウェアチームは、エラー率のみでアラートを出す場合、同じ罠を構築します。チームがerror_rate > 1%でページングし、サービスが完全にダウンしたり、リクエストの受付を停止したり、メトリクス接続を失ったりした場合、エラー率はしきい値を超えず、アラートは発火しません。

クリティカルシステムでは、継続的な成功した操作を測定し、その肯定的な信号が到着しなくなったときにすぐにフェイルセーフをトリップする方がはるかに安全です。外部モニターがシステムが積極的に作業を完了していることをチェックする場合、またはビルから出る継続的なウォッチドッグハートビート(AT&Tが後にジョージア州コンヤーズに配線したテレメトリリンクのようなもの)を確認する場合、チェーンのいずれかの切断は、15ヶ月待ってから発電機切り替え時にアラートを発するのではなく、初日に大きな音でアラートをトリップさせます。

AT&Tの9月18日の最初の声明が「いくつかの警報を正しく読み取れなかった」担当者を非難し、その後の声明が手順に従わなかったスーパーバイザーを非難したとき、AT&Tは人的な注意力をニューヨークの空港を守るはずだった制御と見なしました。[4] どんなに注意深くても、技術者がミッドタウンマンハッタンからミュートされたベルを聞いたり、監視されていないランプ回路の切れた電球を見つけたり、テストされていないフレームの欠落したジャンパーストリップに気づいたりすることはできません。AT&T自身の是正計画は、注意力を工学に置き換えました。電源負荷を分割して、単一のプラントがオフィスの高容量設備を半分以上供給しないようにし、プラントを再起動するように構築されたものに交換し、新しいアラームシステムをビル外の監視センターに配線しました。[1] このような制御により、地域航空交通を誰かのミスに賭けることなく、定期的な発電機切り替えやライブメンテナンスを安全に実行できます。

  1. AT&T Corporate Media Relations, “FOR THE RECORD” synopsis of the September 17, 1991 New York service disruption, posted by Mike Eastman (AT&T Bell Laboratories, 4ESS Development) to comp.dcom.telecom on October 2, 1991, and archived in ACM RISKS Digest Vol. 12, Issue 43 (October 7, 1991). AT&T’s October 2 synopsis refers to a tripped rectifier in the singular during the 10:10 a.m. transfer (and plural `