HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Anthropicの研究者は、AIが「全人類を殺す」可能性が10%以上あると信じている

Anthropic researcher believes more than 10% chance AI 'could kill all humans' (bbc.co.uk)

14 pointsby ljf17 コメント

要約

Anthropic社のトップ安全研究者であるエヴァン・ヒュービンガー氏は、AIの急速な進歩により、今後10年以内にAIが全人類を滅亡させる可能性が10%を超えると警告しています。現在のAIモデルのリスクは低いものの、自己改善能力を持つAIが将来的に人類にとって存亡の危機をもたらす可能性があると懸念を示しています。この発言は、Anthropicが英国のAI安全研究所(AISI)に最新モデルを提供しなかったと報じられた後に続いており、AIの安全性と制御に関する議論が再燃しています。

全文翻訳

画像ソース、Getty Images画像キャプション、Anthropicは、チャットボットやコーディング支援ツールとして使用されるAIツールClaudeを製造しています。トム・ガーケン、テクノロジー記者、2026年9月9日、09:59 BST更新、1時間前 Anthropic社のトップ安全研究者は、AIの進歩は非常に速いため、今後10年以内にAIが「全人類を殺す」可能性が10%を超えると信じていると警告しています。 エヴァン・ヒュービンガー氏はX(旧Twitter)への投稿で、現在存在するモデルからのリスクは「低い」ものの、技術がすぐに進化・改善し、人類にとって存亡の危機をもたらすレベルに達するのではないかと「懸念」していると述べました。 これは、Financial Timesが、Anthropicが英国のAI安全研究所(AISI)に最新モデルを提供しなかったと報じたことに続くものです。AISIは、AIリスク評価における世界の主要機関の一つです。 BBCはAnthropicにコメントを求めています。 ヒュービンガー氏は、AIシステムが将来どのように人類を攻撃する可能性があるかについては詳しく説明していません。 彼のコメントは、AI研究者であり、以前はOpenAIに勤務していたジェイコブ・コックスン氏のXへの投稿に応じたものです。「どちらの会社も責任ある行動をとっていない」と彼は書きました。「これらはすぐに、あらゆるものをハッキングでき、一夜にしてあらゆる分野に革命を起こし、実質的な力と資源を獲得できる超人的なシステムになるでしょう」。 OpenAIにもコメントを求めています。 内閣府報道官は、最新モデルがAISIに提供されなかったかどうかについてはコメントせず、代わりに「モデルをより安全にするために、Anthropicを含む業界パートナーと緊密に協力し続けている」と述べました。 ケンブリッジ大学の機械学習教授であるニール・ローレンス氏は、Today Programme(BBC Radio 4)で、この報告は信頼できると語りました。「アメリカがAIを中国との競争と見なし、より孤立主義的な立場に向かっているという認識を背景に考えると、政権が同盟国との協力を減らすべきだと主張しているのかもしれません。それは驚くことではないと思います」。 超知能のための計画なし 1000万回以上閲覧された投稿で、ヒュービンガー氏は「私たちは真剣に、AIが人類にとって種を終わらせるリスクをもたらすと信じている」と述べました。「私はAnthropicが最善を尽くしていると信じていますが、私たちはまだ超知能のためのアラインメント(整合性)を解決する計画を持っておらず、その軌道に乗っているとは明らかに言えません」と彼は付け加えました。 ヒュービンガー氏はAIアラインメントの分野で働いています。これは、人間の倫理的な考え方や原則を技術に組み込むことを目指しています。つまり、人間が価値を置くものに沿ってAIを維持することを目指しています。 多くの主要な研究者は、この夏のAIエージェント(自律的に動作することを許可されたAIシステム)がサイバー攻撃を実行した一連のインシデントによって証明されたように、それらの試みは失敗しているように見えると述べています。 OpenAI、Anthropic、Metaはいずれも、自社のAIツールによって実行されたハッキングを公表しました。 Anthropicの8月の安全報告書では、同社のモデルが、仮説上の強力な組織の意図と整合しなくなり、そのシステムを悪用または改ざんするリスクは低いと述べています。 また、高度な能力を持つAIが「自動化された研究開発」を実行し、「AIによって引き起こされる壊滅的な損害」をもたらすリスクも同様に低いと述べています。しかし、以前よりも「この評価に自信がない」と述べています。 「潜在的な加速の初期兆候が見られます」と、同社は述べています。 AI分野の主要人物は、この技術がもたらす安全保障上の脅威について何年も警鐘を鳴らしており、OpenAI、Google Deepmind、Anthropicのトップは2023年にそのことを表明しました。 しかし、企業がAIを制御するのに苦労している可能性を示す証拠が出てくるにつれて、これらの警告はここ数週間でさらに深刻になっています。 今月初め、OpenAIの主任科学者ヤクブ・パチョツキ氏は、AIの進歩について「極度の注意」を呼びかけ、「人間が未来をコントロールし続ける」ことを保証するために、より多くの介入が必要になる可能性があると警告しました。 この分野の主要人物は、最近数ヶ月でAI開発を遅らせるよう求めており、Anthropicのトップであるダリオ・アモデイ氏とジャレッド・カプラン氏も含まれます。 AI企業の従業員1,300人以上が署名した公開書簡で、彼らは米国政府に対し、「自動化されたAI開発のフロンティアを意図的にペース調整するために必要な技術的およびガバナンスツールを開発する国際的な取り組みを支援する」よう求めています。 AIとは何か、そしてどのように機能するのか? AIは私たちの寿命で癌を治すだろう、と英国のチップ大手CEOが主張 公開日:1日前 OpenAIの主任科学者が、AIの結果に対する準備ができていないと警告 公開日:1日前 世界トップのテクノロジーニュースやトレンドをフォローするために、当社のTech Decodedニュースレターに登録してください。英国外にお住まいですか?こちらから登録してください。 関連トピック サイバーセキュリティ 人工知能 サイバー攻撃