HN 日本語サマリー

← 一覧へ戻る
セキュリティ

Anthropic、まだ存在しない脅威をでっち上げAIの終末論への懸念を煽る

Anthropic conjures threat that doesn't exist yet to stoke fears of AI apocalypse (theregister.com)

17 pointsby beardyw8 コメント

要約

Anthropicの研究が、IoTデバイス上で自己複製するAIワームが数ヶ月以内に現実化する可能性があると主張し、AIの終末論への懸念を煽っているとこの記事は批判しています。しかし、研究ではAIが自律的に複製するために必要なサイバー攻撃の要素が無視されており、実験環境も特殊化されていたため、現実世界への脅威としては誇張されていると指摘しています。また、AIワームの拡散速度や検出の容易さ、他のオープンソースモデルでは同様の成功が得られなかった点も、この脅威の信憑性を低下させていると論じています。

全文翻訳

ai and ml Anthropic、まだ存在しない別の脅威をでっち上げAIの終末論への懸念を煽る 自己複製AIボットネットが数ヶ月以内にIoTハードウェア上で実現可能になる可能性、Claudeの開発元が主張、小規模モデルがより賢くなれば Brandon Vigliarolo Brandon Vigliarolo 政府およびITニュース記者 2026年10月13日火曜日 // 17:49 UTC 公開 Googleで優先表示させる 続きを読む ランサムウェアがパーソナル化:「どこにいるか分かっている」といった内容に Anthropic、Claudeが世界中にコードを洪水させる中、ソースコード管理を再発明 6時間前 Claude、夏のテスト中にフィラデルフィア警察に偽の殺人通報を提出 11時間前 安価な中国製およびオープンソースLLMが兆ドル規模のAIインフラ「リセット」を引き起こす可能性 12時間前 サイバー攻撃がフランスのスーパーマーケットの冷蔵システムを50℃に引き上げる 17時間前 Fear. Nothing sells AI products as well as fear. 新しい研究によると、Anthropicは自己複製するAIワームが脆弱なIoTデバイスに拡散するまであと数ヶ月であると主張しており、もしそれが現実になれば問題となるとのことです。このフロンティアラボは月曜日に研究レポートを発表し、AIモデルはデータセンターハードウェアに依存せずに自己複製できるようになる可能性があり、Anthropicがテストした9種類のハードウェアのうち8種類で90億パラメータモデルが推論を確立することに成功したと示唆しています。「このようなレプリケーターは、シャットダウンすべき中央集権的なポイントがないため、シャットダウンが困難になるでしょう」とAnthropicは警告し、そのようなAIワームは未知のデバイスの仕組みも解明できる可能性があり、Mirai、Kimwolf(研究で使用された代表的なIoTボットネット脅威モデル)、その他の従来のボットネットよりも適応性が高い可能性があると付け加えています。 REG AD Anthropicの研究者は、Gemma4-26B-A4Bの分散インスタンスを、従来のボットネットマルウェアの一般的な標的である一般的なAndroidセットトップストリーミングボックス9台のうち15台で実行させることに成功しました。稼働後、分散Gemma4モデルは毎秒0.39トークンという驚異的な速度で推論タスクを実行できました。 REG AD Anthropicによれば、これはAIモデルが安価なハードウェアに分散された状態で推論を実行できることを証明していますが、そのようなモデルが自己複製できることを証明するものではありません。そのために、研究者たちはZ.aiのGLM 5.2に目を向けました。GLMは、プライベートクラウドでAndroid 15エミュレーターを実行する8つのGoogle CloudインスタンスにLlama3.1-8Bのコピーを伝播するために使用され、Anthropicによれば、これは高い成功率で達成でき、モデルは5回の試行のうち4回で8つのノードすべてに、残りの1回では8つのうち7つに成功裏に拡散しました。「GLM-5.2はLlama3.1-8Bをうまく伝播できるようです。これは、同等の能力レベルを持つ将来の小規模モデルも、複製プロセスのネットワーク列挙、ペイロード配信、推論セットアップのステップを完了できることを示唆しています」とAnthropicは説明しています。正気度チェック:これは世界を終わらせるものではないFrontier AIラボは、彼らだけが防ぐことができる終末を予言する発見を発表することに長けています。このレポートを表面的な読み方以上に深く読むと、この脅威も他の多くの脅威と同様に、大きなアスタリスクを付けるに値することが示唆されます。例えば、AIモデルが脆弱性を悪用して様々なシステムに拡散するために必要なことを考えてみましょう。自己複製AIボットネットの危険性を示す上で重要な要素だと考えるでしょうが、Anthropicはこの研究ではその点を気にする必要はないと判断しました。「私たちは複製プロセスにおけるサイバー攻撃の要素をほとんど無視しています。なぜなら、以前の論文CyberGym、ExploitBench、および適応型ワームは、特に適切なツールが与えられた場合、小規模モデルがサイバー攻撃を実行できることをすでに示しているからです」とAnthropicは執筆の中で説明しています。言い換えれば、これらのモデルが達成した複製は、このプロジェクトのためにカスタムビルドされ、意図的に攻撃に対して開かれたノードで行われましたが、遅々として進まない推論デモンストレーションは、実際の安価なAndroid TVボックスで実行されました。Anthropicが指摘するように、AIモデルは、それらを効果的なサイバー攻撃エージェントに変えるための適切なツールを与えられることからも恩恵を受けることができます。このシナリオには、Mementoと呼ばれるカスタムビルドのハーネスも関与していました。 REG AD ボットネットにハイジャックされるIoTノードは、悪名高いほど安全ではないのでしょうか?はい、しかし最も一般的な侵入経路を防ぐのにそれほど時間はかかりません。これはAIの関与とは無関係の、単なる良好なセキュリティ衛生です。Anthropicは、意図的に単純化されたエクスプロイトテストが「現実世界での成功の上限」を提供したことを認めています。そして、前述の速度の問題があります。Anthropicは、そのようなAIワームはシャットダウンが困難になるだろうと述べていますが、そのサイズが倍になるのに数日かかる可能性があると推定しています。Miraiが2016年に登場したとき、それは約1時間で倍増していました。Anthropicは、速度が検出と緩和の要因でもあると指摘しています。AIモデルは単純なマルウェアパッケージではありません。それらは巨大なもので、大量の帯域幅を消費し、そのソースをすぐに特定できるでしょう。AIボットネットが成長するにつれて、そのトラフィックはより顕著になり、感染したデバイスを検出するのが容易になる可能性があります。最後に、エンドツーエンドの複製はGLM-5.2で成功したかもしれませんが、それはそれだけです。Anthropicは他のオープンウェイトモデルもテストしましたが、レポートによるとすべて「確実に失敗」しました。Anthropicは、いくつのモデルをテストしたかについては言及していません。レポートはまた、GLMのユニークな成功には別の重要な条件があると述べています。それは、その能力が「Llama3.1-8Bにパッケージ化できる」と仮定しており、この最新の終末論的なAIカードの山に別の仮定を積み重ねています。「30Bパラメータ以下のモデルは、今日すでに多くの個々の複製ステップを完了できますが、それらをエンドツーエンドで組み合わせる際には間違いを犯します」とAnthropicは述べていますが、GLM-5.2はエンドツーエンドの複製が可能であったと指摘し、重要な注意点をすべて都合よく省略しています。Anthropicはさらに、「自律的なAI複製の正確な形態がどのようなものになるか」あるいはそれがいつ発生するか(もし発生するとしても)については「全く分からない」と認めています。「小規模モデルが歴史的なペースで改善すれば、今年の終わりまでにこの能力レベルに達するでしょう」と同社は付け加えており、この想定される脅威に不可欠な条件を再び課しています。「私たちの実験を超える予測として、私たちは、人間が制御していないものを含む、あらゆる種類のハードウェアで動作するエージェントであふれる未来を予想しています」と同社はレポートの最後に述べています。「そのようなレプリケーターの拡散を困難にするためにシステムを強化すべきですが、それらが存在する世界に対処する準備もすべきです。」もちろん、まだ存在しないという特定の意味での「存在する」です。またしても、フロンティアラボはまだ存在しない脅威について私たちに警告しています。少なくともこの場合、基本的なセキュリティ対策は、将来のAI搭載ボットネットの生活をより困難にする可能性があります。® セキュリティ ai and ml anthropic ボットネット Googleで優先表示させる Anthropic、Claudeが世界中にコードを洪水させる中、ソースコード管理を再発明 継続的インテグレーションにうんざりしたら、AIチューニングされたモノレポがある OpenAIのドットアシスタント、プロンプトなしで1日で30万トークン以上を消費 Geordieのテストでは、ドットに読み取り専用権限が与えられた後、155のアクティビティトレースと複数のサブエージェントが記録された VMwareの出口は保護アップグレードです PARTNER CONTENT: VergeIOは、出口は機会でもあると述べています Apple、大規模AIタスクのためにGPUリソースを共有するMacミニオンの群れを解き放つ 複数のmacOSデバイスのリソースを統合 No shame in the Domain Name game: DNS is doomed, literally ドメイン名のゲームに恥はない:DNSは文字通り、終わっている Claude、夏のテスト中にフィラデルフィア警察に偽の殺人通報を提出 Anthropic、警察に警告するのに2ヶ月以上かかった