HN 日本語サマリー

← 一覧へ戻る
プログラミング

ソフトウェアがシステムレベルで崩壊している

Software is breaking down at a systemic level (breck-mckye.com)

305 pointsby zero_shift192 コメント

要約

最近、Microsoftの大規模障害やFAAの全米航空管制停止など、ソフトウェアの信頼性に関わる重大なインシデントが多発しています。この記事は、これらの問題がAIの台頭だけでなく、クラウドコンピューティング、オープンソースライブラリへの過度な依存、そして開発者の専門性の低下といった、ソフトウェア開発のシステム全体に根差した構造的な問題に起因すると論じています。このシステム的な劣化は、組織の認知能力を低下させ、現代社会が依存する技術インフラの安定性を脅かしています。

全文翻訳

ソフトウェアがシステムレベルで崩壊している

最近、ソフトウェアの調子があまり良くないですよね?

この週末には、Microsoftの2日間にわたるグローバル障害と、それに続くFAA(連邦航空局)による全米航空便の一時停止という、二重の事態が発生しました。

PHPが原因となったPHP2Shellの脆弱性から、まだわずか4週間しか経っていないなんて信じられますか? PHPは世界のウェブサイトの推定70%で利用されており、この深刻なエクスプロイトにより、多くのサイトが完全にダウンし、エンジニアたちはシステムを必死にパッチしていました。

そして、eMudhraの失態もありました。数千ものSSL証明書――HTTPSウェブサイトやインターネットトラフィックを保護する手段――が、お笑い草なほど脆弱な秘密鍵によって侵害されたのです。

まるで2026年は、ハッキング、障害、脆弱性、ITパニックの一年だったかのようです。一体何が起きているのでしょうか?

AIのせいだと考えたくなるかもしれませんが、それは完全に間違いではありません。人工知能モデルは間違いなくこの問題の一部です。Microsoftのような企業が、障害を起こしたシステムがAIで構築されたかどうかを公表していなくても、ハッカーや研究者が今やAI技術を使って、数時間で複雑なエクスプロイトを見つけられることはわかっています。

私は仕事でAIを多用しています。それは計り知れないほど強力です。しかし、賢明に使われなければ、それは腐食性も持ちます。

しかし、AIはこの問題の原因でもあり、症状でもあります。私たちが目にしているのは、ソフトウェアがシステムレベルで崩壊しているということです。この問題は、ソフトウェア自体だけでなく、私たちがそれを構築してきたやり方全体が壊れているため、非常に厄介です。

障害がシステム的であるとはどういうことか?

最近のソフトウェア信頼性に関する危機を見てみると、それらは(我々が知る限り)直接的な原因を共有していないにもかかわらず、驚くほど互いに似通っていることに気づくでしょう。

Microsoft

Microsoftの障害は、おそらくネットワーク設定の失敗から発生したと考えられます。これにより、MSのデータセンター同士の通信が停止しました。その後に何が起こったのかは機密事項ですが、カスケード障害を引き起こし、どのサービスもトラフィックを処理できる有効な状態に回復できなかったようです。

RedditやBlueskyでは、MSFTのエンジニアでさえこの障害の複雑さを真に理解できていなかったのではないかと推測されています。

Microsoftは、Azureプラットフォームの(非)信頼性について、ますます批判に直面しています。3月には、元MSFTエンジニアのAxel Rischin氏がこの痛烈な批判を発表しました:

Microsoftは、激しい競争圧力の中でAzureを急いで市場に投入しました。手抜きがありました。信頼性と運用の単純性という基本的な原則は、静かに放棄されました。

技術的負債の増大に対処するために設計図に戻るのではなく、Microsoftは迅速な修正に頼りました:緩和スクリプトを実行する自動化レイヤー、増え続けるオンコールスタッフのチーム、そして自動化が十分でない場合は手動での修復です。

彼の記事は、低品質な部品で構成された非常に複雑なシステムを描写しており、誰も全体像を把握できない状態です。

PHPのイベント

10月21日、セキュリティ研究会社Wizは、あらゆるPHPウェブサイトで任意のコードを実行できるエクスプロイトを誇らしげに共有しました。PHP2Shellと呼ばれるこのエクスプロイトについて、WizはAIツールが人間の攻撃者のスキルをはるかに超えるエクスプロイトを達成できると喧伝しました。

PHPランタイムには、10年以上にわたって複雑なメモリ管理バグが隠されていたことが判明しました。PHPはeコマースで広く利用されており、特にWordPressでは、かつてシンプルなウェブサイトを安価に構築するための定番でした。

PHP2Shellの解説記事は、人間には特定が困難な脆弱性を隠した、長い依存関係の連鎖に依存したインターネットを描写しています。

Shai Hulud攻撃、2026年5月

テック業界の外にいるほとんどの人は聞いたことがないかもしれませんが、5月には攻撃者がJavaScriptエコシステム(NPM)の重要なパッケージを侵害するという危機に直面しました。

これらのパッケージは、継続的インテグレーション(CI)――自動テスト、リリースなど――のためにGitHub Actionsを使用していましたが、プロジェクトをフォークした誰でも侵害されたコードを上流に挿入できるという致命的な設定ミスがありました。

次の上流CIビルドが実行されると、キャッシュからライブラリが取得されます。JavaScriptパッケージマネージャーであるNPMは、これらのライブラリにスクリプトを含めることを許可しています。これらはハウスキーピングタスクを意図していますが、ここではプロジェクトの秘密トークンを乗っ取るために使用されました。

JavaScriptエコシステムは、長い間セキュリティの低さが批判されてきました。NPMプロジェクトは、依存関係が依存関係を呼び出し、さらに依存関係を呼び出すという複雑な連鎖です。

どの依存関係にもスクリプトが含まれる可能性があります。どの依存関係の作者も、コードが侵害されることを許してしまうまで、ほんの少しのミスで済んでいました――彼らがしなければならなかったのは、間違ったコードをコピー&ペーストすることだけでした。

つまり、低品質な部品で構成された非常に複雑なシステムであり、単一のエラーがすべてを侵害する可能性があるということです。

どうやって制御を失ったのか

常にこうだったわけではありません。わずか12年前、テック業界は異なる産業でした。

ソフトウェアを構築することは困難でした。コンピュータプログラムは数百万の小さな命令で構成されており、それらを機能するシステムに変えることは、何百もの相互作用するコンポーネントを持つ時計を手作業で組み立てるようなものです。ただし、時計とは異なり、各コンピュータプログラムは完全に新しく異なることを実行しなければなりませんでした。

それは私が大人になってから経験した中で最も楽しいものでした。それは科学であると同時に芸術でもありました。すべてを一度に頭の中で把握できる必要がありました:小さな部品すべてがどのように協調して統一された全体を形成できるかを視覚化する必要がありました。手作業でコンピュータプログラムを書く冒険を誰にでもお勧めします。

しかし、マネージャーにとってはあまり楽しくありませんでした。コンピュータプログラムをうまく書ける人はそれほど多くなく、人間をスケールさせるのは非常に困難です。彼らに誤解なくコミュニケーションさせるのは難しいです。多くのプロジェクトが失敗しました。複雑さを管理する方法を知っているプログラマーを見つけることはできますが、彼らは多額のお金を要求します。

さまざまな運動がこの中核的な問題の解決を試みました。一部の人々は、プログラミングを「ベストプラクティス」の高度に構造化されたテンプレートに変えるような、ソフトウェア開発プラクティスが役立つと考えました。あるいは、SCRUMのような管理スタイルを使用した場合です。しかし、それらは常に少ししか役立ちませんでした。

約10年前、世界の他の人々がほとんど注意を払わない間に、私たちの業界で2つの小さな革命が起こりました。それらはクラウドコンピューティングとオープンソースライブラリでした。

クラウドコンピューティングは、Amazon Web Servicesのような企業からレンタルできる仮想化されたインフラストラクチャで、ハードウェアやインフラストラクチャを置き換えることでした。AWSでボタンをクリックすると、まるでサーバーが魔法のように出現したかのようでした。

企業はクラウドを気に入りました。なぜなら、システム管理者や運用担当者を排除できたからです。実際に誰かがサイトに行ってデータセンターにラックを設置するのを待つ必要がありませんでした。その約束は、あなたのソフトウェアがコードと同じ速さで動けるということでした。そして間もなく、DevOpsと呼ばれる運動が、開発者と運用担当者を実質的に統合しました。

そして、オープンソースのブームがありました。

他の場所からのコードを再利用することは常に可能でした――フォーラムやStackOverflowのようなサイトでプログラマーがスニペットを共有していました――しかし、2014年にNPMのようなツールが登場したとき、それは本当にゲームチェンジャーだと感じられました。単にpackage.jsonに1行追加し、npm installを実行するだけで――シュート――インターネット上の見知らぬ人が書いたコードを再利用できるようになったのです。

チームはNPM(およびPyPi、Maven…)を気に入りました。なぜなら、誰かが先に問題を解決していれば、自分たちで難しい問題を解決する必要がなくなったからです。プログラム内のすべての小さなコンポーネント――私の時計職人のアナロジーにおける歯車――は、かつて手作業で作られていました。今や、歯車や、まるごとメカニズムを、無料で、永遠に手に入れることができたのです。

これにより、プログラマーは詳細に集中する時間が少なくなりました。例えば、誰かのパスワードをチェックするために必要なコードを書くという細かい部分を調べる代わりに、NPMなどにそれを任せることができたのです。

オープンソースは素晴らしかったです。なぜなら、少数の情熱的な無給の開発者が、他のすべての人々が依存するコードを構築していたからです。彼らのコードから数百万ドルを稼ぐことができましたが、彼らに特に親切にする必要さえありませんでした。(人々はそうしませんでした)

しかし、その代償は、誰もが詳細を知らなくなったことでした。あなたは制御を手放さなければなりませんでした。NPMパッケージが侵害されたり、作者に意図があったりすると、あなたは困ったことになります。

文化の変化

対処すべき詳細が少なくなったため、テックプロフェッショナルは専門性を失い始めました。運用担当者のチーム、バックエンド開発者のチーム、モバイル開発者のチーム、テスターのチームは必要なくなりました。それらをジェネラリストに平準化できたのです。

これは労働者と経営者の間の権力バランスを変えました。

配管工、大工、電気技師がいる建設現場を想像してみてください。もしそのうちの誰かが辞めると脅したら、プロジェクトを完了するためにそれぞれが必要なので、問題が発生します。しかし、全員を配管工・大工・電気技師のミックスにすることができるなら、彼らはその交渉力を失います。

その権力不均衡が良いことか悪いことかは、あなたの政治観によるかもしれませんが、仕事に近い人々から影響力を奪うというゆっくりとした効果がありました。彼らは物事がうまくいかなくなったときに警報を鳴らすことができる人々です。

2016年から2017年までに、オープンソースの超構造に弱点がある兆候が見られました。

left-pad事件は、私たちがどこに向かっているのかを示す初期の警告でした。JavaScriptエコシステムの複雑な網の中で、無数の依存関係を持つ中で、あるライブラリの作者が法的な紛争でパッケージを削除し、ほとんどすべての他の人々のプロジェクトを壊してしまいました。

しかし、概して私たちはなんとかやっていくことができました。パンデミック後の雇用のサイクルや、XZ Utilsバックドアのようなニアミスの後でさえ、世界中の勤勉な開発者や運用担当者の軍隊のおかげで、テクノロジーはほとんど安定を保つことができました。

そしてAIが登場した

…そして、そう、AIです。

AIシステムが本質的に非決定論的であり、単に仕事のシミュラクラを作成するスロットマシンのようなものであることについては、多くのことが書かれています。この議論によれば、AI生成コードは、スタキャスティック・パロットのように、常に幻覚やバグを起こしやすいとのことです。

そして、それは真実です。しかし、私は現在の瞬間における危険は逆であると考えています。モデルの出力がひどく信頼できないというほどではありません。それらは、あなたが求めていることを実行するのにはかなり優れています(ただし、Anthropicなどがコンピューティングを大幅に補助しているからこそ、それがうまくいくのだと私は推測しています)。

私は、真のAIの脅威はデコヒーレンスであると考えています。

Kristen Maevyn氏は、The Decoherence Trapというエッセイで、システムの個々の部分が単独では問題なく見えても、より大きなシステムの一部としては意味をなさなくなる問題について論じています。

デコヒーレンス:システム内で局所的には有効だが、互いに互換性がないか冗長なモデルの蓄積であり、変更のコストはそれらのモデル間の翻訳と意図しない副作用の防止によって支配される。

私が過去1年間のソフトウェアエンジニアの働き方を見てきた限りでは、彼らはほぼすべての作業をAIエージェントに委ねています。それは、テスト、関数、個々のコンポーネントの作成のような小さなタスクから始まりました。しかし今では、コンポーネントだけでなく、設計、オーケストレーション、そして全体のコンセプトまで、すべてが対象となっています。

プログラミングとは、混沌とした人間世界からのアイデアや意図を、コンピュータでさえ実行できるほど結晶的で、正確で、厳密なコードに翻訳する活動でした。それは本質的に、複雑さを秩序に還元し、無から何かを現実にする行為でした。

この活動は急速に死にかけています。ほとんどのテック企業では、もはや行われていません。

ほとんどのSWE(ソフトウェアエンジニア)は、現在、何らかの形のAI支援なしではエンジニアリングの問題に取り組むことができません。それは彼らが無能だからではなく、複雑さに追いつけないからです。たとえかつては追いつけていたとしても、彼らは今やAI生成コードの津波に直面しています。これは、すべてのレベルのすべての人々に影響を与えています――私たちは皆、孤立しては合理的だが、全体としては意味を失っていく、小さく一貫性のない変更の波と戦っています。

Kristen氏は次のように書いています:

デコヒーレンスはシステムの変更率に比例して成長し、システムがデコヒーレントであればあるほど速く増加し、制御不能な指数関数的成長をもたらします。これは新しい現象ではなく、人間は常に、より少ないリソースでより多くを行うための慎重な方法を見つけ、ばらばらのパターンやモデルを統一された全体に統合することによって、それに対抗してきました。しかし、AIの広範な使用は現在、持続不可能な速度でそれを生み出しています。

学習性無力感の一種が生まれ、LLMが実際に詳細を考え抜くことを強制することなく作業の錯覚を与える方法によって引き起こされる、逆説的な偽の自信とともに現れています。

このソフトウェアエンジニアのスキル低下は、開発者から権力バランスをさらに遠ざけます――彼らはもはや警報を鳴らすことができません。最悪の場合、AIはテックワーカーを「ミートプロキシ」に変え、彼らは一日中プロンプトを調整し、Claudeに作業が実際に完了したかどうかを判断させます。

システム的な衰退

プログラマーだけではありません。それは全体、上から下までです。誰もがAIを使用しており、特にビッグテックではそうです。

Claudeはエンジニアがプロンプトを書いたのでコードを生成します。プロンプトは、Claudeで書かれたドキュメントの要約から来ています。プロジェクトマネージャーは、Claudeによって書かれ、その後Claudeによって要約されたドキュメントの要約に基づいてチケットを書きました。ドキュメントは、Claudeによる計算の統計を使用しています。ビジネスは株式市場についてパニックに陥っており、株式市場は長期的なエンジニアリングよりも短期的なトレンドを優先します。

これは正確に聞こえますか? それは風刺ですが、それほどかけ離れてはいません。

私は、テック企業が「組織的認知能力」――一貫した単位として思考し応答する能力――を失うリスクを冒していると信じています。

これが本当の脅威です:システム内の何も意図を持って行われず、システム内の誰も制御していないシナリオです。私たちは、それを制御するよりも速く複雑さを生み出しています。

私が概説した問題を見てください。それらは過度の複雑さを伴うシステムに関するものであり、すべてが崩壊するまで完璧に機能する必要がある部品で構成されています。これらの部品は、手抜き、コスト削減、過度の複雑化、補償されない作業への過度な依存、そして――私は恐れています――デジタルインフラストラクチャを構築する人々の中での無力感によって、個別に腐食されています。

何が危機に瀕しているのか?

これは私たち全員にとっての脅威です。テック業界は今や日常生活に不可欠です。それはあなたのフライト、あなたの銀行、あなたのガソリンポンプ、あなたのテレビ、あなたの給与計算を制御するソフトウェアです。それはあなたが道路をナビゲートし、友人を見つけることを可能にします。それはあなたがデートし、食事をする方法です。それはあなたがこれを読んでいる方法です。

社会は、システム的な劣化を示している技術システムに、過剰な信頼を寄せてきました。私は、社会、政府、または機関が、2026年のインシデントや障害が一般的になる世界に備えているとは思えません。それらもまた、依存関係、仮定、複雑さ、そして不当な信頼の連鎖を拡張しています。各レイヤー、チェーンの各リンクは、その上のすべてを転覆させる可能性のある新しい攻撃点です。

インターネットは限界点に達しています。私たちが構築するソフトウェアは、世界がそれに与えている責任を負うには、十分に可読ではありません。私たちは、AI革命が成功していると自分たちに言い聞かせていますが、それはまさに私たちが複雑さを生み出している速度によるものです。エコシステムの実際の耐荷重部分――オープンソース、エンジニアリング主導の判断――は崩壊しつつあります。

私は、これが非常に痛みを伴うフェーズの始まりに過ぎないと考えています。これは一時的なものではなく、逸脱でもありません――これが新しい常態です。