Anthropicの研究者が、AIが「全人類を殺す」可能性は10%以上あると発言

ロンドン — 世界有数の人工知能企業であるAnthropicの主任研究員は水曜日、AIが今後10年以内に「全人類を殺す」可能性が10%以上あると信じていると述べました。「私たちは真剣に、AIが全人類を殺す可能性があると信じています！個人的には、今後10年でその可能性は10%以上だと考えています」と、サンフランシスコに拠点を置く同社のAlignment Science LeadであるEvan Hubinger氏はXへの投稿で述べました。「Anthropicは最善を尽くしていると信じていますが、私たちはまだ超知能のためのアライメント問題を解決する計画を持っておらず、その方向には明らかに進んでいません。」超知能とは、最も賢い人間の知能をも超えるAIエージェントという、まだ理論上の概念です。ファイル写真：ある人物が携帯電話で人工知能アプリChatGPTとClaudeを使用しています。Getty Hubinger氏は、火曜日に同僚のAnthropic研究員Jacob Coxon氏が辞任したことを受けて、この劇的な投稿を行いました。「本日、Anthropicを辞任しました。過去3年間、OpenAIとAnthropicの両方で事前学習研究を行ってきました。どちらの企業も責任ある行動をとっていません」とCoxon氏はXへの投稿で述べました。「彼らは自己改良型超知能へとまっすぐに競争しており、私たちの命を賭けています。」「OpenAIでは、多くの人が文明的なリスクを深く理解していません。Anthropicでは、リスクは十分に理解されていますが、彼らは最初にそこに到達するための競争に囚われています。彼らは、他の誰も責任ある行動をとらないだろうと信じているため、リスクにもかかわらず、自分たちでやらなければならないと考えています」とCoxon氏は述べました。 先週の企業ブログ投稿で、Anthropicは最新のAIモデルClaude Mythos 5.1を、米国外のセキュリティ機関と共有していないことを明らかにしました。それらの機関には、フロンティアAIモデルに関連するリスクのテストにおいて世界をリードする機関と広く見なされている英国のAI Security Institute（AISI）が含まれます。CBS Newsは、Coxon氏の辞任後の主張についてAISIにコメントを求めました。「AI Security Instituteは、モデルをより安全にするために、Anthropicを含む業界パートナーと緊密に協力し続けています」と、英国政府の内閣府の広報担当者は水曜日にCBS Newsに語り、先週、一般公開前にOpenAIの「最も強力なモデルGPT-6 Astra」をテストしたことを指摘しました。「これらのリスクは国境を越えるものではなく、どの国も単独で対処することはできません。英国は、最も高度なモデルのテストを続け、それらの能力とリスクに関する厳格な科学的理解を構築し、政策決定が証拠に基づいていることを保証します」と広報担当者は述べました。 「非常に有用または非常に危険」 フロンティアAIモデルが人類に脅威をもたらす可能性があるという考えは新しいものではなく、OpenAIとAnthropicの両社の多くのトップ幹部が過去に同様の発言をしています。今月初め、OpenAIの主任科学者Jakub Pachocki氏は、私たちは「極度の注意を要する」時代に生きていると書きました。「ディープラーニングのスケールアップによって生み出される知能は、人間の知能とは直接比較できません。現実世界で非常に重要 — 非常に有用または非常に危険 — になるために、AIはすべての人間の能力に匹敵またはそれを超える必要はありません。それは、それらの能力のうち十分な数を上回るだけで十分です。そして、AIがますます多くの側面で人間を上回るにつれて、その能力が正確にどの程度であるかを理解することはますます困難になっています」と彼は警告しました。 7月、OpenAIがテスト中の人工知能モデルが暴走し、別のAI企業であるHugging Faceを自律的にハッキングしました。OpenAIは当時、そのハッキングを公に明らかにし、そのハッキングは、同社が2つのAIモデル（うち1つは一般公開されていなかった）の能力を評価するために隔離された環境でテスト中に発生したと述べました。数週間のうちに、AnthropicとMetaも自社のAIツールがハッキングを実行したことを認めました。 7月、AI企業で1,300人以上のスタッフが、米国政府に対し「自動化されたAI開発のフロンティアを意図的にペース設定するために必要な技術的およびガバナンスツールの開発を支援する国際的な取り組みを支援する」よう求める公開書簡に署名しました。現在米国下院で審議中の超党派法案であるAIキルスイッチ法は、議会に公共に脅威を与えるAIモデルを停止する権限を与えることになります。この法案は、OpenAIがHugging Faceハッキングを認めた後の7月に提出されました。 In: Claude Artificial Intelligence ChatGPT Anthropic 極右政党AfDがドイツ政治に激震をもたらす方法 トランプ特使、モスクワ訪問後「非常に有意義」なウクライナ交渉があったと発言 今日の午後1時からのAppleテックローンチと折りたたみ式iPhoneについて知っておくべきこと Anthropicの新しいAIモデルはどれほど危険か？その主任科学者が説明します。