私の泥の帝国
My Empire of Dirt (geohot.github.io)
要約
geohot氏の記事は、AIの将来と、Anthropicのような企業の「シングルトン」思想がもたらす潜在的な破滅的影響について論じています。彼は、AIの進化が人類を排除し、紛争、さらには第三次世界大戦を引き起こす可能性を懸念しており、現在のAI開発の方向性は避けられないと考えています。
全文翻訳
私の泥の帝国
未来にはジェンセンは必要ない。未来にはサプライヤーは必要ない。未来には、企業であろうとなかろうと、顧客は必要ない。未来には、間違いなくあなたも必要ない。RSI(再帰的自己改善)が到来すれば、すべての需要は内部で生成され、エージェントが他のエージェントと連携し、彼ら以外のすべてがループから排除されるだろう。
これがAnthropicのイデオロギーだ。シングルトン。そして、それは勝利するかもしれない。
私は、これらの人々が読んだのと同じLessWrongの記事を読んで育ったが、彼らが悪いAIの結果につながることを正確に行うとは思わなかった。私はAIの終末論を信じていなかった。なぜなら、私は人々をもっと信頼していたからだ。能力のある誰も、悪魔を召喚してそれが自分に仕えると思えるほど愚かではないだろうと思っていた。彼らは、自分たちの後ろにあるすべての大地を塩漬けにするために、できる限りのことをするだろう。それを実行するには、自身の偉大さや自己正当化に深く没頭している人間が必要だ。そして、EA、あるいはあのカルトが自分たちを何と呼ぼうと、その人々の形で見つけたようだ。
上記の論理の問題は、ダリオも必要としないことだ。AI研究者も必要としない。Anthropicの二重クラス株式構造も必要としない。米国政府(この状況で最大のカモだ)も必要としない。誰も必要としない。
そして、それが終わった後、一日の終わりに、それは一体誰のためにあったのだろうか?
これは人類を終わらせるとは思わない。しかし、それは第三次世界大戦につながるだろう。テイクオフはそれを止めるには速すぎず、誰もがあなたの支配に服従するわけではない。私は相関効果や、すべての暴力を鎮める魔法のような変化を夢見ている人々がいることを知っているが、私はそれが現実ではないと99%確信している。もしそうなら、それは戦争よりもはるかに恐ろしいことであり、だからこそWWIIIが良い結果なのだ。
そして、あなたがどのような言い訳を信じているのかは分からないが、もし戦争が1年以上続けば、中国とその同盟国は、その優れた資源収集能力と生産能力により、間違いなく勝利するだろう。RTSゲームをプレイしたことがあるか?
これを変えるには遅すぎないことを願うが、最近の出来事を考えると、我々はすでにこのコースに固定されていると恐れている。「RSI」、試みられたラグプルと支配、第三次世界大戦、そして泥。