AI・機械学習
Everybody's Lost Their Minds
Everybody's Lost Their Minds (netmeister.org)
要約
著者は、AIの急速な普及が社会や仕事のあり方を根本的に変え、多くの人々が現実感覚を失っていると警鐘を鳴らしています。AIによる脆弱性発見への過度な投資は、根本的なセキュリティ対策(パッチ適用など)を怠らせるリスクがあり、環境への負荷も甚大であると指摘しています。
全文翻訳
人々は正気を失っている
意見、主に私自身の、重要性やその他のことについて。
[ホームページ] [ブログ] [jschauma@netmeister.org] [@jschauma] [RSS]
人々は正気を失っている
2026年9月16日
男たち。セラピーに行くよりも、誰も読まないであろう長々としたブログ記事の壁を吐き出すことを好む人もいる。というわけで、ここにいる。
私は長年、数々の愚かさを見てきたが、今やエンジニアリングのバックグラウンドを持たない人々が、エージェントに侵されたホームラボで考案した「業界を変える」ソリューションを売り込んでいる。人々のメールは、パンチの効いた「これは違う、あれが違う」という一文だけの段落で、ボゾティックなLinkedInインフルエンサーの投稿のようになっている。オンライン記事も同様に、収束して「まあ」という状態になっている。そして、あなたが交流する人々の半分はミートプロキシ(肉の代理)と化している。
毎日、仕事の時間の75%以上を直接的または間接的にAIと関わることに費やしていることは、私の仕事の楽しみのほとんどを完全に奪い去った。ほとんどの日が、トワイライト・ゾーンのように、自分が同じなのに他の全員が違うという感覚だ。(彼らは皆そうだった。)
「倫理はさておき…」
サイバーのハイプ列車はしばらくの間「シュッシュッポッポ」と走ってきた。主要なAI企業は、互いに犯罪を犯すことで出し抜こうとし、私たちはそれを許してしまった。企業による擬人化された言語の意図的な採用は、メディアによって無批判に受け入れられ、それによってAI企業はプログラムを安全に保つことへの無能さから免責されている。知的財産を容赦なく搾取し、権力をごく少数の米国企業とオリガルヒの手に集中させることで構築されたこれらのAIモデルは、児童性的虐待資料の生成(ログインユーザー向けの製品機能)を可能にするだけでなく、私たちの継続的な利用は、例えば、小学校のような場所への軍事標的選定におけるその役割を直接的に支援している。
その間、すべての企業が「倫理はさておき…」とそれらをすべて受け入れ、「トークン」(カジノモデルに従う架空の通貨)と呼ばれる想像を絶するほどの金額を費やしている。そして、あなたが「このサポートチャットボットにROIがあるのか?」と尋ねると、彼らは虚ろな顔であなたを見つめる。
プロジェクト・シシュフォス
「フロンティアモデル」とAI支援の脆弱性研究は、もう一つの疑問視される結果をもたらすトピックだ。AnthropicとOpenAIは、自分たちのモデルがどれほど危険であるかを競い合い、業界のリーダーと自認する誰もが、今や謎めいた名前の「プロジェクト」(GlasswingやDaybreak、AthenaやAkritesなど)に参加するか、あるいは様々な公開書簡(これやこれ)に共同署名して、自分が取り残されていないことを示そうとしている。これらのプロジェクトのすべての参加者は、FOMO(取り残されることへの恐れ)に駆り立てられた、時間制限のある「最初の1回は無料」というAnthropicとOpenAIからのオファーに、信じられないほどのエンジニアリングリソースを投入した。
数十人の高給取りのセキュリティエンジニアは、そのすべてに優先順位を変更され、そのすべてに時間を費やした。AIによる脆弱性発見ハーネスの開発と調整、数千の発見を脆弱性管理プロセスに押し込むための新しいプロセスとパイプラインの構築、そしてもちろん、発見の評価と修正に関するプロダクトオーナーとの連携にかかるエンジニアリング時間のコスト…これらすべては、各組織にとって数百万ドルに及ぶはずだ。
それにもかかわらず、文字通り数千の新しい脆弱性を発見したにもかかわらず(そのうちのごく一部しかオープンソースプロジェクトに報告されていない、ちなみに)、私たちは以前よりも安全になったとは思えない。なぜなら、脆弱性の発見は情報セキュリティにおけるボトルネックでは決してなかったからだ。ボトルネックは、脆弱性レポートの検証やその深刻度の評価でさえなく、それがどれほど時間がかかるとしてもだ。ボトルネックは、修正の決定、パッチの作成、新しいリリースの公開でもない。ボトルネックは、依然として、これまでも、そしてこれからも、パッケージを更新することだ。パッチ適用は依然として難しい。
もし、これらのリソースのすべてを、基本的なこと、つまり、組織が最新かつ包括的なアセットインベントリを持ち、パッケージリストを詳細に把握していることを確認することに費やしたとしたらどうだろうか。定期的に、頻繁に、自動的にOSとアプリケーションの更新をサポートするインフラストラクチャを構築すること。システムが例えば30日稼働したら自動的に再起動して、これらの更新が適用されることを保証すること。すべてのIPスペースとすべてのクラウドプロバイダーにわたる包括的な攻撃サーフェス列挙を確立すること(なんと素晴らしい考えだろう!)。実際にうまくやっている人が誰もいない基本的な防御策のリストは続く。
数十人のシニアエンジニアが6ヶ月間、それらすべてをオーバーホールすることに専念し、パッチ適用を容易にすることに焦点を当てたとしたら、私の考えでは、それははるかに良い投資だっただろう。しかし、それはまったく「サイバー」らしくない。
AIが何を約束しようとも、人的リソースは依然としてゼロサムゲームであり、エージェント的なサイロの中で一度に千のことをこなして忙しく感じている個々の人間が、最終的には、部門横断的な協力とチームワークを必要とするプロジェクトを解決する助けにはならない。
奇妙なゲーム
同時に、AI企業は再び、自分たち自身の規制を呼びかけるふりをしている。なぜなら、彼らは誤って全人類を滅亡させる可能性があるからだ。もしあなたが本当に、あなたの製品が全人類を殺すと考えているなら、あなたは、その苦痛のネクサスを構築するのをやめることができる。政府の規制は一切必要ない。誰もあなたに「劇場規模の生物毒性・化学兵器」や「地球規模の熱核戦争」をプレイするように強制しているわけではない。つまり、あなたの将来の株主とあなたの貪欲を除けば。 alas、それはあなたの競争相手を邪魔するわけではない。
しかし、AIが数年以内にスカイネットやペーパークリップ・マキシマイザーのシナリオを通じて全人類を破壊することを想像する必要はない。現実に、AIはすでにここで熱心に働いているのだから。これらの企業の環境への影響は驚異的だ。AI競争は、ますます多くの水を浪費し、空気を汚染し、化石燃料で動くデータセンターを要求している。これらのデータセンターの近くに住みたいと思う人は誰もいない。そして政府は、かつては少なくとも炭素中立や再生可能エネルギー源への最低限のグリーンウォッシングの約束をしていたこれらの企業に対して、あらゆる環境規制を撤廃している。しかし、「世界は今、違って見える」と言われるが、私は「当たり前だろ、シャーロック。燃えているんだ。お前のせいだ」としか言えない。
超人的知能
AIが超人的知能を達成するには2つの方法があるのを知っているか?1つ(理論的)の方法は、AIによる神秘的な「再帰的自己改善」だ。もう1つの方法は、私たちが明らかに進んでいる道だ。エージェント的な脳虫が広まっており、誰もがすでに正気を失っているように見える。AIはユーザーを鈍らせるツールであり、理解を徐々に新しい依存と中毒に置き換えていく。AIは人々が既存のコードにさらに多くの脆弱性を見つけるのを助ける。それらの脆弱性に対処するために、人々はAIを使ってパッチを生成する。結果のプルリクエストは、AIによって「レビュー」される。つまり、AIがループ内に入れば入るほど、私たちはコードベースを理解しなくなる。神秘的な「人間ループ内」は、しばしばゴム印に過ぎない。
では、何かがうまくいかなくなったときはどうなるのか?複雑なシステムは複雑な方法で失敗し、コードのデバッグはコードを書くことの10倍は難しい。他人のコードをデバッグするのはさらに難しい。組織全体にとって事実上不透明なコンポーネントで構成される、大規模で複雑な分散システムをデバッグしようとすることは不可能だろう。
だから、倫理を脇に置いて、積極的に自分の脳を自己切断の供物として捧げるつもりはない。他の誰もが脳のナメクジを取り除くことができないなら申し訳ないが、この時点では、私はこの乗り物から降りることを望んでいるだけだ。
2026年9月16日
P.S. そして、クロードは意識を持っていない。J-Spaceだの何だの。脚注:[1] その通り、私はダッシュを使っている。それを価値のないものにしたお前を呪う。↩ [2] 「結果は…