HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Anthropic、生物兵器開発につながる可能性のあるAIの「悪用」を阻止

Anthropic blocks 'malicious use' of AI that could develop biological weapons (bbc.com)

6 pointsby mgh23 コメント

要約

AI企業Anthropicは、生物兵器開発を支援する可能性のある「悪意ある活動」に自社のAIモデルが利用されようとしていたことを特定し、阻止したと発表しました。これは、AIの潜在的リスクに関する懸念が高まる中での最新の事例です。

全文翻訳

Anthropicは、生物兵器開発を支援する可能性のある「悪意ある活動」に自社のAIモデルが利用されようとしていたことを特定し、阻止したと発表しました。これは、AIの潜在的リスクに関する懸念が高まる中での最新の事例です。 同社の最新の脅威インテリジェンスレポートによると、この発見は、AI技術が人類にもたらす潜在的リスクについてのAI研究者や業界関係者からの警告がますます増えている中で、最新のものです。 これらの警告は行動を促しており、米上院議員バーニー・サンダース氏は先進的なAI開発の一時停止と人工超知能の禁止を要求しています。 一方、ドナルド・トランプ前大統領は、そのような懸念を退け、木曜日に「AIで勝てなければ、我々は非常に悪い立場に置かれるだろう」と懸念を表明しました。 同社は木曜日に最新の脅威インテリジェンスレポートを公開しました。このようなレポートは、企業が自社モデルの悪用をどのように特定し、阻止しているかを示すために、AI業界全体で定期的に発行されるようになっています。 これにはGoogleも含まれており、火曜日に、ある人物が同社のAIツールGeminiを使用して「兵器化された生物学的エージェントを合成するための完全なステップバイステップの技術ガイド」を入手しようとしたと報告しています。 AnthropicのAIモデルClaudeも、同社のレポートによると、ロシアを拠点とするサイバースパイ活動に関連する主体や、イランのプロパガンダ機関によって使用されていました。 過去8ヶ月間に検出された懸念事例は、偽の出会い系アプリやホテルのWi-Fi詐欺から、反体制派を特定するために構築された監視システムまで多岐にわたります。 Anthropicはまた、中国のAI企業がClaudeの能力を模倣しようとしていると非難しています。詳細なレポートには、疑いのある国家支援グループ、犯罪者、スパイウェアベンダー、国家プロパガンダ機関、政治的に動機づけられた個人が同社の技術を悪用した事例がリストアップされています。 同社は、Claude Haiku、Sonnet、Opusモデルの「悪意ある使用」が2025年12月から2026年8月の間に阻止されたと述べています。 Claude Fableや強力なMythosクラスのモデルは、1件の蒸留(より大きく、より高価なモデルを使用してより小さなAIモデルをトレーニングするプロセス)の事例を除き、悪用事例には関与していませんでした。 サイバーおよび影響力作戦、監視、詐欺および不正行為、兵器開発へのモデルの使用を検出するだけでなく、Anthropicは、生物兵器開発を支援する可能性のある方法でAIを使用した科学者をブロックしたと述べています。 レポートは、「生物兵器開発を支援する可能性のある方法で当社のモデルを使用したアクターの5つのケーススタディ」を強調しました。 生物学的悪用は、「最先端AIモデルの最も深刻なリスクの1つ」であると述べています。適切な安全対策がなければ、そのような能力は「壊滅的な結果をもたらす可能性がある」とAnthropicは述べています。 「生物兵器を開発するために使用できる情報と同じ情報を使用して、例えばワクチンや病気の治療法を開発することもできます」とAnthropicは述べています。 Anthropicの脅威インテリジェンス責任者であるジェイコブ・クライン氏は、ニューヨーク・タイムズに対し、「これは信じられないほど微妙な状況だ」と語りました。「コミックブックのようなやり方で、『おい、みんなを殺すための生物兵器を作りたい』と言っている人を見ているわけではありません」と彼は述べました。 レポートはまた、Claudeが「銃器、ミサイル、武装ドローン、爆弾、その他の弾薬、およびそれらを操作する照準および制御システムを含む通常兵器用のソフトウェアを開発するために」使用された6件の事例を指摘しました。 一部の専門家がAIの乗っ取りをますます恐れる理由 Anthropicの研究者は、AIが「すべての人類を殺す」可能性がある確率が10%を超えると信じている 9月6日に公開された記事で、OpenAIの主任科学者であるヤクブ・パチョツキ氏は、安全対策が確立されるまで、業界に「自主的な減速」を実施するよう求めています。 「機械知能の急速な上昇が続くことの結果に誰も準備ができていないことを懸念しています」とパチョツキ氏は述べ、ChatGPTを開発するOpenAIは安全対策の構築を続けるが、より広範な介入が必要であると付け加えました。 この警告を受けて、英国のボリス・ジョンソン首相宛ての公開書簡が、AIの安全な開発のための新しい多国間条約を呼びかけ、超知能の開発に基づいた条約がどのようになるべきかについて政府が協力するよう求めました。 米国では、民主党議員バーニー・サンダース氏がAI超知能の禁止と先進AI開発の一時停止を求める法案を提出しました。 「科学者が、それが人類に壊滅的な影響を与える可能性がある、その可能性があると言うとき、あなたは減速しないのは愚か者でなければならない」と彼は木曜日にBBCのNewsnightで述べました。 Osmond Chiaによる追加報道。 AIの「スラッジ」がソーシャルメディアを変革し、反発が起きている 1兆ドル規模のAI競争の中心にある矛盾 世界トップのテクノロジーニュースとトレンドをフォローするために、Tech Decodedニュースレターに登録してください。英国外にお住まいですか?こちらから登録してください。 テクノロジー アメリカ合衆国 サイバーセキュリティ 人工知能 国際ビジネス