なぜソフトウェア業界には多くの規制が必要なのか

構造エンジニアには、承認した設計図に押印する物理的なスタンプがあり、設計上の問題で建物が倒壊した場合、彼らは直接的かつ個人的に責任を負う。ソフトウェアエンジニアは、数百人を死に至らしめる可能性のあるコードを、それと同等の説明責任なしに展開できる。なぜこれが正しくなく、持続可能でもないのか、私はそう考えている。 規制は血によって書かれると言われ、1928年にセントフランシスダムの決壊で約400人が死亡してから、カリフォルニア州では土木技術者のライセンス取得が義務化された。ソフトウェアの設計上の欠陥はすでにそれ以上の犠牲者を出しており、将来は私たちの仕事がさらに致命的になるだろう。すでにロシアのウクライナ侵攻は、誰を殺すかについてソフトウェア駆動の意思決定をしなければならない自律型ドローンにつながっており、コードが今後の戦争の大きな部分を占めることは明らかだ。AIモデルも、ほぼすべての産業で安全性が重要視されるシステムに不可欠なコンポーネントになりつつあり、意識を獲得するという終末論的な予測には懐疑的だが、犠牲者は、災害の原因が悪意のあるスカイネットであれ、単に無能なエンジニアリングであれ、気にしないだろう。 すでに多くの血が流れており、今後も流れるだろう。それなのに、なぜソフトウェアエンジニアリングはこれまでのところ規制を免れてきたのだろうか？ここにいくつかの障壁がある。 ダムを建設するよりも、コードを書き始める方がはるかに簡単だ。米国には約200万人のソフトウェアエンジニアがいるのに対し、土木技術者は約20万人であり、多くのコーダーは正式な資格なしに独学で学んでいる。ソフトウェアエンジニアリングの実践者を制限することは機能しないだろう。 ソフトウェアには物理的な場所がない。橋は一箇所に建設されるため、当局はそこで起こっていることを非常に容易に観察・制御できる。コードやモデルは世界中のどこでも作成され、同様にグローバルに展開できるため、どの国にも明確な管轄権がなく、ましてやその国境内でどのソフトウェアが展開されているかを知る方法もない。 ソフトウェアエンジニアリングは、深く協調的で反復的なプロセスだ。ユーザーのニーズについてより多くを学び、さまざまな目標を最適化するにつれて、システム設計は絶えず進化する。摩天楼には、建設が始まる前に合意された設計があり、変更はまれで軽微であるため、建設プロセスを遅らせることなくチェックできる。私たちの業界に同じ土木工学のワークフローを適用する実用的な方法はない。従うべき簡単なテンプレートがないのだ。 エンジニアは、たとえ大手のテクノロジー企業であっても、重要な安全上の決定を下す権限を持っていない。経営幹部が致命的な欠陥のある自動運転ソフトウェアを出荷したい場合、彼らはどんな反対意見でも覆すことができる。たとえあなたが立ち上がって辞職したとしても、経営幹部は単に別の人を雇うことができ、経営陣も新しいエンジニアも何の責任も問われない。 多くのソフトウェアプロジェクトには、単一の明確な所有者がいない。オープンソースフレームワークにはレビュー担当者のチームがいる場合があり、商用コードベースは時間の経過とともに多くの手を経る。権限のこの分散は、何かがうまくいかなかったときに誰が責任を負うのかを把握することを困難にする。 私たちの業界の文化は非常に個人主義的だ。私たちはスピードを重視し、物事を壊すことを良しとする。シリコンバレーは、今や世界を支配するソフトウェア企業を構築することに非常に成功しており、その精神の成功に反論するのは難しい。私たちは長らく、自分がアンダードッグであるという認識から恩恵を受けてきた。社会は、私たちの行動のあらゆる否定的な結果を寛大に許容してきた。 これらすべてが、どのような種類の規制も非現実的であることを意味するのだろうか？私は、長期的には私たちの仕事に対して責任を問われることになるだろうと確信している。そして、問題は、私たちが自ら主導権を握って何かを始めるのか、それともその機会を逃し、外部からルールを押し付けられることになるのか、それだけだと考えている。データセンターに対する超党派の反発を見れば、テクノロジー企業が私たちが慣れ親しんできた公衆の寛容さを失っていることは明らかだ。過去に私たちを守ってきたロマンチックな神話がその力を失えば、私たちは他のどの産業と同じように規制されるだろう。 私は、イノベーションを扼殺することなくリスクを低減する枠組みを構築する機会があると信じているが、私たちの窓は急速に閉じている。具体的なステップとして提案したいのは以下の通りだ。 ほとんどの米国のコンピュータサイエンスの学位には、倫理に関する必須科目さえなく、行動規範への同意も含まれていない。力を善のために使うと約束しても、それは強制できない。しかし、卒業必須条件にすれば、誰もが自分の責任について警告されなかったとは言えなくなるだろう。 外部からの圧力なしに、私たち自身で認識された専門的な認定構造を設立できるはずだ。強制的なものでなくても、卓越性の証として、またシニアエンジニアリング職にとって望ましいものとして宣伝できるだけで、かなりのソフトパワーを持つことができるだろう。一つの可能性は、ACMを直接利用することだ。彼らはすでに多くのものを提供しているからだ。 ソフトウェア業界全体に新しい規制を導入するという大海を煮詰めるのではなく、健康や交通など、すでに強力な規制がある分野で、私たちが望むルールの種類をプロトタイプとして導入することから始めることができる。 私は、ソフトウェアプロジェクトには単一の明確な所有者がいるべきだというプロフェッショナルな規範を創設したい。その所有者は、安全に影響を与える決定を拒否する権限を持つべきであり、通常はテックリードだ。これが機能することは知っている。Appleでは、どんなに小さなタスクや問題であっても、直接責任者（DRI）がいたからだ。経営幹部がオーナーを再配置したり解雇したりするのを止めることはできないだろうが、結果があることを保証することはできる。例えば、オーナーエンジニアが広く認識されている倫理規範を参照して異議を申し立てたことを記録できれば、将来の会社に対する訴訟が成功する可能性が高まる。 訴訟による規制は私の好むアプローチではないが、それがアメリカのやり方だ。 航空業界にはASRS（航空安全報告システム）があり、NASAがそのデータを安全でないパターンや傾向を特定するために使用する匿名での安全インシデント報告方法がある。ソフトウェアにも同様のシステムを構築することは価値があるだろう。特に、内部告発者保護を備えた匿名性が保たれれば、データに基づいて安全ガイドラインを積極的に特定し始めることができるだろう。 ソフトウェアはグローバルかもしれないが、収益はローカルだ。安全に関心のある多くの大組織は、ソフトウェアに多額の費用を費やしている。もし彼らが購入する製品に品質基準を要求すれば、多くのサプライヤーがそれを実施するだろう。これには明確な政治的推進が必要だ。なぜなら、最大の購入者の多くは政府部門にいるからだ。 これが正しいロードマップかどうかは分からないが、自分たちの提案を考え始めなければ、すぐに業界外の人々が考え出すルールに翻弄されることになるだろうということは分かっている。 私は安全性を、守るべき最も明白な危険として焦点を当てたが、ソフトウェアとAIはあらゆる種類の点で計り知れない影響力を持っている。例えば、ソーシャルメディアが政治にどれほどの影響力を持っているかを見ることができる。もしMetaが反ICEメッセージを抑制すると決定した場合、それらのシステムに関わるエンジニアがどのように行動すべきかについての明確な期待があることを望む。 私は前進するための最良の方法について個人的な考えを持っているが、それらはほぼ間違いなく間違っているか、少なくとも大幅に改善される可能性がある。規制は、より広いコミュニティによって推進されるものでなければならない。だからこそ、私は最近、テクノロジーが公共の利益のために構築できると信じ、そのために協力する意欲のある、テクノロジー界の人々を結集するAlliance for Principled Techを共同で設立した。エンジニア、創業者、デザイナー、経営幹部、投資家などだ。もしそれがあなたに当てはまるなら、ぜひ参加してほしい。 私たちは、これらのシステムがどのように構築されるか、そしてどのアーキテクチャ上の選択が私たちの社会の方向性を静かに決定するかを知っている。私たちが集まり、