Anthropicの研究者は、AIが「全人類を殺す」可能性が10%以上あると信じている

Anthropicの研究者がAIが「全人類を殺害する」可能性が10%超あると信じている

Anthropicのトップ安全研究者は、AIの進歩は非常に速く、今後10年以内にAIが「全人類を殺害する」可能性が10%を超えると信じていると警告しています。

Evan Hubinger氏は、Xへの投稿で、現在存在するモデルのリスクは「低い」ものの、テクノロジーがすぐに開発・改良され、人類にとって存亡の危機をもたらすレベルに達するのではないかと「懸念している」と述べました。

彼は、将来的にAIシステムがどのようにして人類を絶滅させる可能性があるのかを具体的に説明しませんでした。

しかし、彼のコメントは、AIが真にリスクをもたらすかどうかという議論から、そのリスクの大きさに焦点が移っている、一連のますます深刻な警告の最新のものであると位置づけられています。

Hubinger氏の介入は、AI研究者であるJacob Coxon氏がXに投稿した別の投稿への返信でした。Coxon氏は最近Anthropicを辞め、以前はOpenAIで働いていました。

「どちらの会社も責任ある行動をとっていない」と彼は書きました。

「これらはすぐに、あらゆるものをハッキングし、あらゆる分野を一晩で革命化し、実際の力と資源を獲得できる超人的なシステムになるだろう。」

OpenAIにはコメントを求めています。

国連にAIに関する助言を行っているコンピューター科学者のDame Wendy Hall氏は、Hubinger氏とCoxon氏のソーシャルメディア投稿に「ショックを受けた」とBBCに語りました。

彼女はBBCラジオ4のWorld at Oneに対し、AnthropicとOpenAIが期待される株式市場への上場を目指して競争しているため、その一部は「PRとマーケティング」である可能性があると述べました。

しかし、彼女はこう付け加えました。「なぜ誰かがそんなことを言いたいのだろうか？もしそれが彼らの価値観であるなら、私は投資家たちにこの会社に投資しないよう懇願するだろう。」

この辞任を受けて、元財務長官であり、Sir Keir Starmer氏の首席補佐官であったDarren Jones氏は、AIの安全な開発のための新たな多国間条約を求める公開書簡をAndy Burnham首相に宛てて書きました。

彼はBBCに対し、政府は超知能の開発に基づいた条約がどのようなものになるかについて「協力」するために団結しなければならないと述べました。

「政府がこれらの警告を十分に真剣に受け止め、それに対応しなければ、開発のペースは、それが私たちにとって問題になるかどうかを検討する前に、問題が発生してしまう可能性がある。」と彼は言いました。

別途、Financial Timesは報じました、Anthropicは、AIリスクを評価する世界有数の機関の一つである英国のAIセキュリティ研究所（AISI）に最新モデルを提供しなかったと報じました。

Anthropicは、従業員の投稿やAISIとの状況についてコメントを控えています。

内閣府のスポークスマンは、最新モデルがAISIに提供されなかったかどうかについてはコメントせず、代わりに「Anthropicを含む業界パートナーと緊密に協力し、モデルをより安全にするための取り組みを続けている」と述べました。

1000万回以上視聴された投稿の中で、Hubinger氏は「私たちは真剣に、AIが人類にとって種を終わらせるリスクをもたらすと信じている」と述べました。

「Anthropicは最善を尽くしていると信じているが、私たちはまだ超知能のためのアラインメント（整合性）を解決する計画を持っておらず、その軌道にも明確に乗っていない。」と彼は付け加えました。

Hubinger氏は、人間の倫理観や原則をテクノロジーに組み込むことを目指すAIアラインメント（AIの整合性）の分野で働いています。言い換えれば、人間が価値を置くものに沿った状態に保つことを目指しています。

多くの主要な研究者は、AIエージェント（自律的に動作することを許可されたAIシステム）がサイバー攻撃を実行したこの夏のインシデントの連鎖によって証明されているように、これらの試みは失敗しているように見えると述べています。

OpenAI、Anthropic、Metaはいずれも、自社のAIツールによって実行されたハッキングを公表しました。

Anthropicの8月の安全報告書では、そのモデルが仮説上の強力な組織の意図と整合しなくなり、そのシステムを悪用または改ざんするリスクは低いと述べていました。

また、高度な能力を持つAIが「自動化された研究開発」を実行できるようになり、「AIによって引き起こされる壊滅的な損害」をもたらすリスクも同様に低いと述べていました。しかし、以前よりも「この評価に自信がない」と述べていました。

「潜在的な加速の初期兆候が見られる」と報告書は述べています。

AI分野の著名な人物は長年、この技術がもたらす安全保障上の脅威について警鐘を鳴らしており、2023年にはOpenAI、Google Deepmind、Anthropicのトップが同様の発言をしました。

しかし、企業がAIを制御するのに苦労している可能性を示す証拠が出てくるにつれて、これらの警告はここ数週間でさらに深刻になっています。

今月初め、OpenAIの主任科学者であるJakub Pachocki氏は、AIの進歩について「極度の注意」を呼びかけ、「人間が未来をコントロールし続ける」ことを保証するために、より多くの介入が必要になる可能性があると警告しました。

この分野の主要人物は、AnthropicのトップであるDario Amodei氏とJared Kaplan氏を含め、ここ数ヶ月、AI開発のペースを落とすよう呼びかけています。

AI企業の従業員1,300人以上が署名した公開書簡で、彼らは米国政府に対し、「自動化されたAI開発のフロンティアを意図的にペース調整するために必要な技術的およびガバナンスツールの開発を支援する国際的な取り組みを支持する」よう求めています。