HN 日本語サマリー

← 一覧へ戻る
科学・技術

複雑なシステムはいかにして失敗するか

How Complex Systems Fail (how.complexsystems.fail)

353 pointsby shortcrct74 コメント

要約

複雑なシステムは本質的に危険であり、事故を防ぐために多くの防御層が構築されています。しかし、これらのシステムは常に多くの潜在的な欠陥を抱えており、個々の小さな失敗が連鎖することで、予期せぬ壊滅的な結果につながる可能性があります。事故の原因を単一の「根本原因」に帰することは誤りであり、実際には複数の要因が複合的に作用した結果であると論じています。

全文翻訳

複雑なシステムは本質的に危険なシステムです。

興味深いシステム(例:交通、医療、発電)はすべて、その性質上、本質的かつ避けがたい危険を伴います。危険への暴露頻度は変更できる場合もありますが、システムに関わるプロセス自体は本質的かつ不可避的に危険です。これらの危険が存在することが、これらのシステムを特徴づける危険に対する防御策の創出を推進します。

複雑なシステムは障害に対して高度に防御されており、成功しています。

障害が発生した場合の重大な結果は、時間の経過とともに障害に対する複数の防御層の構築につながります。これらの防御策には、明らかな技術的コンポーネント(例:バックアップシステム、機器の「安全」機能)や人的コンポーネント(例:トレーニング、知識)だけでなく、さまざまな組織的、制度的、規制的な防御策(例:ポリシーと手順、認証、作業規則、チームトレーニング)も含まれます。これらの対策の効果は、通常、運用を事故から遠ざける一連のシールドを提供することです。

破局には複数の失敗が必要であり、単一点故障では不十分です。

防御策の配列は機能します。システム運用は一般的に成功しています。壊滅的な障害が発生するのは、小さく、一見無害な失敗が組み合わさって、システム的な事故の機会を生み出すときです。これらの小さな失敗のそれぞれが破局を引き起こすために必要ですが、その組み合わせだけが失敗を許容するのに十分です。別の言い方をすれば、システム事故よりも失敗の機会の方がはるかに多いのです。ほとんどの初期の失敗軌道は、設計されたシステムの安全コンポーネントによってブロックされます。運用レベルに達した軌道は、通常、実践者によってほとんどがブロックされます。

複雑なシステムには、潜在的な複数の失敗の混合物が含まれています。

これらのシステムの複雑さにより、複数の欠陥が存在しない状態で稼働させることは不可能です。これらは個々には失敗を引き起こすのに不十分であるため、運用中はマイナーな要因と見なされます。潜在的な欠陥のすべてを根絶することは、主に経済的コストによって制限されますが、事前にそのような欠陥が事故にどのように寄与する可能性があるかを認識することが困難であることも理由です。技術、作業組織、および欠陥根絶の試みの変化により、欠陥は絶えず変化します。

複雑なシステムは、劣化したモードで稼働します。

前のポイントの帰結として、複雑なシステムは壊れたシステムとして稼働します。システムは、多くの冗長性を含み、人々が多くの欠陥が存在するにもかかわらず、それを機能させることができるため、機能し続けます。事故後のレビューでは、システムに以前に「プロト事故」(破局寸前だった事故)の履歴があったことがほぼ常に指摘されます。これらの劣化した状態が、明白な事故の前に認識されるべきだったという議論は、通常、システムのパフォーマンスに関する単純な考えに基づいています。システム運用は動的であり、コンポーネント(組織的、人的、技術的)は継続的に故障し、交換されています。

破局は常にすぐそこにあります。

複雑なシステムは、壊滅的な障害の可能性を秘めています。人間の実践者は、これらの潜在的な障害に物理的にも時間的にも近い距離にほぼ常にいます。災害はいつでも、ほぼどこでも発生する可能性があります。壊滅的な結果の可能性は、複雑なシステムの顕著な特徴です。そのような壊滅的な障害の可能性を排除することは不可能です。そのような障害の可能性は、システムの性質上、常に存在します。

事故後の「根本原因」への帰属は根本的に間違っています。

明白な障害には複数の要因が必要なため、事故の孤立した「原因」は存在しません。事故には複数の寄与要因があります。これらのそれぞれは、それ自体では事故を引き起こすのに不十分です。それらが共同で作用して初めて、事故を引き起こすのに十分となります。実際、これらの原因を連携させることが、事故に必要な状況を作り出します。したがって、事故の「根本原因」を孤立させることは不可能です。このような「根本原因」に基づく評価は、失敗の性質に関する技術的な理解を反映したものではなく、結果に対して特定の、局所的な力や出来事を非難したいという社会的、文化的な必要性を反映したものです。1

1 人類学的なフィールド調査は、「原因」という概念の社会的構築を最も明確に示しています(cf. Goldman L (1993), The Culture of Coincidence: accident and absolute liability in Huli, New York: Clarendon Press; および Tasca L (1990), The Social Construction of Human Error, Unpublished doctoral dissertation, Department of Sociology, State University of New York at Stonybrook も参照)。

後知恵バイアスは、事故後の人間のパフォーマンス評価に影響を与えます。

結果を知っていると、結果につながった出来事が、実際よりも当時実践者にとってより顕著に見えたかのように思えます。これは、事故後の人間のパフォーマンスの事後分析が不正確であることを意味します。結果の知識は、事故後の観察者が事故前の実践者の視点を再現する能力を損ないます。実践者は、それらの要因が「必然的に」事故につながることを「知っていたはずだ」と思われがちです。2 後知恵バイアスは、特に専門的な人間のパフォーマンスが関わる場合、事故調査の主な障害であり続けます。

2 これは、医学的判断や技術的判断の特徴ではなく、過去の出来事とその原因に関するすべての人間の認知の特徴です。

人間のオペレーターは二重の役割を担っています:生産者として、そして障害に対する防御者として。

システムの実践者は、望ましい製品を生産するためにシステムを運用し、同時に事故を未然に防ぐために働きます。システム運用のこの動的な性質、すなわち生産への要求と潜在的な障害の可能性とのバランスは避けられません。外部の人間は、この役割の二重性をほとんど認識しません。事故のない時期には、生産の役割が強調されます。事故の後には、障害に対する防御の役割が強調されます。どちらの時点でも、外部の視点は、両方の役割に同時に絶えず関与しているオペレーターの認識を誤解しています。

すべての実践者の行動は賭けです。

事故の後、明白な障害はしばしば避けられなかったように見え、実践者の行動は過失や差し迫った障害の意図的な無視と見なされます。しかし、すべての実践者の行動は実際には賭け、つまり不確実な結果に直面して行われる行為です。不確実性の程度は、瞬間ごとに変化する可能性があります。実践者の行動が賭けであることは、事故後には明らかに見えます。一般的に、事後分析ではこれらの賭けは悪いものと見なされます。しかし、その逆、つまり成功した結果もまた賭けの結果であるということは、広く認識されていません。

「シャープエンド」での行動があらゆる曖昧さを解消します。

組織は、生産目標、資源の効率的な使用、運用コスト、および低・高結果事故の許容リスクの関係について、しばしば意図的に曖昧です。あらゆる曖昧さは、システムの「シャープエンド」(最前線)の実践者の行動によって解消されます。事故の後、実践者の行動は「エラー」または「違反」と見なされるかもしれませんが、これらの評価は後知恵によって大きく偏っており、生産圧力などの他の推進力を無視しています。

人間は複雑なシステムの適応可能な要素です。

実践者と第一線の管理者は、生産を最大化し、事故を最小化するためにシステムを積極的に適応させます。これらの適応は、しばしば瞬間的に行われます。これらの適応には以下が含まれます:(1)脆弱な部分の障害への暴露を減らすためにシステムを再構築すること。(2)予想される高い需要のある領域に重要なリソースを集中させること。(3)予想されるおよび予期しない障害からの撤退または回復のための経路を提供すること。(4)システムパフォーマンスの変化を早期に検出する手段を確立し、生産の段階的な削減や回復力を高める他の手段を可能にすること。

複雑なシステムにおける人間の専門知識は絶えず変化しています。

複雑なシステムは、その運用と管理において substantial な人間の専門知識を必要とします。この専門知識は、技術の変化とともにその性質を変えますが、離職する専門家を補充する必要があるためにも変化します。いずれの場合も、スキルと専門知識のトレーニングと洗練は、システム自体の機能の一部です。したがって、任意の時点で、特定の複雑なシステムには、さまざまなレベルの専門知識を持つ実践者と訓練生が含まれます。専門知識に関連する重要な問題は、(1)最も困難または要求の厳しい生産ニーズのリソースとして希少な専門知識を使用する必要性、および(2)将来の使用のために専門知識を開発する必要性から生じます。

変化は新たな形態の失敗をもたらします。

信頼性の高いシステムにおける明白な事故の低い発生率は、変化、特に新しい技術の使用を奨励し、低結果だが高頻度の失敗を減らす可能性があります。これらの変化は、実際には、新しい、低頻度だが高結果の失敗の機会を生み出す可能性があります。新しい技術が、よく理解されているシステムの失敗を排除したり、高精度なパフォーマンスを得たりするために使用される場合、それらはしばしば大規模で壊滅的な失敗への新しい経路を導入します。これらの新しい、まれな破局は、新しい技術によって排除されたものよりもさらに大きな影響を与えることが少なくありません。これらの新たな形態の失敗は、事前に見ることが困難です。注意は、主に変化の想定される有益な特性に向けられます。これらの新しい、高結果の事故は低い頻度で発生するため、事故が発生する前に複数のシステム変更が行われる可能性があり、技術が失敗に寄与したことを見えにくくします。

「原因」という見方は、将来のイベントに対する防御の効果を制限します。

「ヒューマンエラー」に対する事故後の対策は、通常、事故を「引き起こす」可能性のある活動を妨げることに基づいています。これらの連鎖の末端にある対策は、さらなる事故の可能性を減らすことにはほとんど役立ちません。実際、潜在的な失敗のパターンが絶えず変化するため、同一の事故の可能性はすでに非常に低いのです。安全性を高める代わりに、事故後の対策は通常、システムの結合度と複雑さを増加させます。これにより、潜在的な失敗の数が増加し、事故軌道の検出と阻止がより困難になります。

安全性はコンポーネントではなく、システムの特性です。

安全性はシステムの創発的な特性であり、個人、デバイス、組織の部門、またはシステム内に存在するものではありません。安全性は購入したり製造したりすることはできません。それはシステムの他のコンポーネントとは別の特徴ではありません。これは、安全性が原料や原材料のように操作できないことを意味します。どのシステムにおける安全性の状態も常に動的です。継続的なシステムの変化は、危険とその管理が絶えず変化することを保証します。

人々は継続的に安全性を創造しています。

障害のない運用は、システムを許容可能なパフォーマンスの範囲内に維持するために働く人々の活動の結果です。これらの活動は、ほとんどの場合、通常の運用の一部であり、表面的には単純です。しかし、システム運用が決して問題なく進むことはないため、変化する状況に対する人間の実践者の適応が、実際には瞬間ごとに安全性を創造しています。これらの適応は、しばしば、利用可能な応答のストアからよくリハーサルされたルーチンを選択することに相当します。時には、適応は新しい組み合わせや新しいアプローチのゼロからの創造であることもあります。

障害のない運用には、障害の経験が必要です。

危険を認識し、システム運用を巧みに操作して許容可能なパフォーマンス境界内に留まるためには、障害との密接な接触が必要です。より堅牢なシステムパフォーマンスは、オペレーターが「エンベロープの端」(システムのパフォーマンスが低下し始め、予測が困難になり、または容易に回復できなくなる領域)を識別できるシステムで発生する可能性が高いです。本質的に危険なシステムでは、オペレーターは全体として望ましいパフォーマンスにつながる方法で危険に遭遇し、それを理解することが期待されています。安全性の向上は、オペレーターに危険の校正された見方を提供することにかかっています。また、オペレーターの行動がシステムパフォーマンスをエンベロープの端に向かって、またはそこから遠ざかってどのように動かすかについての校正を提供することにも依存しています。