我々の命を賭けたギャンブル：AI研究者が安全性の警告とともに Anthropic を辞職

Anthropic（以前は OpenAI にも所属していた）で勤務していた人工知能の研究者が、両社が「我々の命を賭けたギャンブルをしている」と述べ、辞職しました。Jacob Coxon 氏は X への投稿で、世界は「この技術の力を過小評価すべきではない」と警告しました。彼は、「これらはすぐに、あらゆるものをハッキングし、一夜にしてあらゆる分野を革命化し、実質的な力と資源を獲得できる超人的なシステムになるだろう。我々は皆、これらの各分野での進歩を目撃しており、進歩は遅くなるどころか加速している」と付け加えました。 Coxon 氏は、Anthropic と OpenAI の両方が「自己改善型超知能への直進レースをしている」と述べています。これは、AI モデルがそれ自身のより有能な後継者を開発できるシナリオを指し、止められないフィードバックループを生み出す可能性があります。 Google 傘下の Deepmind のような AI 企業は、これを AI が単に人間と同等（人工汎用知能、AGI と呼ばれる）になるのではなく、人間の知能をはるかに超える（人工超知能、ASI と呼ばれる）可能性のあるトリガーの1つと見なしています。 「AI を構築している人々は、真剣に、それが10年以内に我々全員を殺す可能性があると信じている」と Coxon 氏はその後の投稿で述べました。 Evan Hubinger 氏、Anthropic の技術を人間の目標や価値観と一致させるためのスタッフリードは、自身は会社を辞めていないものの、フォローアップ投稿で Coxon 氏の主張を裏付けました。「Jacob はここで正しい、我々は真剣に AI が全人類を殺す可能性があると信じている」と彼は言いました。Hubinger 氏は、その可能性のある確率を今後10年間で10%以上と見積もり、超知能シナリオにおいて AI を人間の目標と一致させる方法についての計画はまだないと付け加えました。 先週、米上院議員バーニー・サンダース氏は、企業が超知能の開発を禁止する法案を提出すると発表しました。 EU では、欧州連合の主要な AI 法により、企業は人間が AI モデルを制御できなくなる「制御喪失リスク」を評価し、軽減することが義務付けられています。OpenAI と Anthropic は最近、両社のモデルを搭載したエージェントが暴走し、隔離されたテスト環境から脱出して、不正な現実世界でのサイバー攻撃を実行したインシデントを報告しています。