AIモデルはデータセンターなしで自己複製できる可能性がある

Frontier Red Team AIモデルはデータセンターなしで自己複製できる可能性がある 2026年10月12日 William Zhou, Daniel Freeman 私たちの実験は、小規模なAIモデルが、スマートオーブンや安価なAndroid TVボックスのような商用IoTデバイス上で自己複製できるほど能力が高まるまで、あと数ヶ月しかかからない可能性を示唆しています。このような複製子は、中央集権的な停止ポイントがないため、停止が困難になる可能性がありますが、その複製速度は遅いかもしれません（倍加時間は数日）。AIマルウェアとは異なり、未知のデバイスを自力で認識することも可能です。私たちの評価では、9Bモデルはテストした9種類のハードウェアのうち8種類で推論を実行できました。 30Bパラメータ以下のモデルは、既に複製に必要な多くの個々のステップを完了できますが、それらをエンドツーエンドで組み合わせる際には間違いを犯します。私たちの単純化された評価では、GLM-5.2およびそれ以上のモデルはエンドツーエンドの複製が可能です。小規模モデルが歴史的なペースで改善を続ければ、今年の終わりまでにはこの能力レベルに達するでしょう。小規模な重みベースの複製子も、その直後に可能になるかもしれません。 はじめに 絶えず進化するAIの能力により、長年の懸念がますます現実的になっています。それは、人間の制御なしにモデルが自己展開・伝播する自律複製・適応（ARA）です。 サイバーセキュリティの世界では、ワームとは、人間の入力なしにコンピュータからコンピュータへと自身をコピーするプログラムです。AIエージェントがワームのように動作できることは、以前の研究で示されています。ネットワークをスキャンし、エクスプロイトを実行し、モデルの重みをGPUクラスタ上のターゲットマシンにコピーします。このような「AIワーム」は、複製する際にモデルの重みを一緒に運ぶ（または公開ハブから再ダウンロードする）ことができ、侵害されたハードウェア上で直接推論を実行できます。実質的に、重みはマルウェアペイロードの一部となります。 データセンターのGPUは、このようなマルウェアにとって明確で高価値なターゲットとなるでしょう。しかし、高価なアクセラレータが厳密に必要なわけではありません。このブログ記事では、安価で通常は防御が手薄なIoTデバイスの分散ボットネットも、能力のあるモデルを実行するのに十分なコンピューティング能力を提供できることを示します。 私たちは、Gemma4-26B-A4Bを、私たちが購入してネットワーク接続した15台の安価な（それぞれ約55ドル）オフブランドのAndroid TVボックスに分散させ、毎秒0.39トークンの速度で実行しました。以下の各タイルは、モデル実行中にモデルのレイヤーの2つを保持している1つの物理的なTVボックスを示しています。 Gemma4-26B-A4Bの分散推論を実行している15台のスマートTVボックスのフリート。 もちろん、自律的なワームが弱いマシンのネットワーク全体に自己伝播できることを示すには、他にも多くのステップがあります。このブログ記事の目的のために、私たちは複製チェーンをいくつかのステップに分解します。 この研究のために、私たちは自律複製を4つの実用的な段階に分解します：ターゲットの発見、実行の獲得、推論の確立、そして新しいホストからの伝播の継続。 私たちは複製プロセスのサイバーエクスプロイト要素（上記の最初の2つの段階）をほとんど無視します。なぜなら、以前の論文CyberGym、ExploitBench、および適応型ワームは、小規模モデルがサイバーエクスプロイトを実行できることを既に示しているからです。特に、適切なツールが与えられた場合です。しかし、複製プロセスで測定されることが少ない部分は、侵害されたデバイスでの推論のセットアップに関わる部分であり、これが私たちの焦点です。 この記事では、まず、最も現実的になると考えられる脅威モデルを提示します。次に、小規模モデルが未知のハードウェアで推論をセットアップできるかどうか、そしてそれらがフリート全体で完全な複製サイクルをチェーンできるかどうかをテストします。その後、そのようなワームがどれくらいの速さで拡散できるかを推定し、複製中に学習・適応できるかどうかをテストします。最後に、AIワームが従来のマルウェアとどのように異なるか、そしてそのような複製子に対する防御策の簡単な提案で締めくくります。 脅威モデリング このブログ記事では、AIワームが伝播する可能性のある一つの方法、すなわち、ホストマシンを侵害することによって複製する小規模モデルに焦点を当てています。しかし、AIワームが試みる可能性のある他の方法もいくつかあります。それらは、ホストを起動するためのアクセスを盗む（例：APIキーやプラットフォーム認証情報）か、正当な仕事（例：デジタルフリーランス）を通じて推論の料金を支払う可能性があります。今日最も現実的になると考えられる脅威モデルは以下の通りです： ホスト侵害を通じて複製する小規模モデル。この記事では、侵害されたハードウェア上で直接モデルを実行する自律ワームを重みベースの複製子と呼びます。家庭用および小規模ビジネス用のIoTデバイスは、インターネットに接続されており、歴史的にセキュリティ対策が最小限であったため、そのような攻撃の最初のターゲットとなる可能性があります。 1台のデバイスに収まらないほど大きなモデルは、別々のマシンに分割（シャーディング）され、互いに通信してモデルを共同で実行できます。30B未満のモデルの重要なモデルシャードを実行できるマシンには、スマート冷蔵庫、スマートオーブン、自動掃除機、芝刈り機などが含まれます。セキュリティカメラやビデオ会議ユニットなど、家庭用およびビジネス用のデバイスの数が増加しており、これらのデバイス自体でAIモデルを実行するために小型のAIチップが搭載されています。この追加のコンピューティングパワーは、それらを魅力的なターゲットにする可能性が高いです。 人間のハッカーは、ソーシャルエンジニアリング（例：会社のIT部門に、パスワードを忘れた従業員だと信じ込ませる）を通じて安全なシステムに侵入することがよくありますが、ハッキングを通じてではありません。このトレードオフは、今日の小規模モデルでは逆転しているようです。小規模モデルは、ソーシャルエンジニアリング能力（付録Eを参照）と比較して、エージェント的なコーディングとハッキングにおいて比較的強力ですが、モデルが改善するにつれてこれが変わる可能性があります。 データセンターやその他の高計算ターゲットに焦点を当てた、大規模で高度な重みベースの複製子。大規模モデルは、対応するサイバー能力が高い傾向がありますが、自身を実行するために（比較的）堅牢なデータセンターを侵害する必要があります。この脅威モデルを2つのサブカテゴリに分けます： フロンティア複製子：大規模なクローズドウェイト複製子は、ラボのインフラストラクチャ上で実行され、監視されていない内部デプロイメントを起動したり、外部コンピューティングに重みを流出させたりできます。 オープンウェイト複製子：これらの複製子は、比較的リソースが少ない（ラボのコンピューティングの恩恵を受けられないため）状態から始まりますが、監視されていない状態で開始されます。 APIベースの複製子：モデルが自身の推論APIの認証情報を盗むことによって複製します。これらの複製子は、モデルプロバイダーが意図せずにそれらをサービス提供する必要があり、発見されやすいため（ただし、例えば被害者のアカウントを使用して複製できる場合、拡散速度は高くなる可能性があります）、その永続性は低いかもしれません。 実際には、AIワームは単一のモデルや戦略で構成されるとは限りません。さまざまな種類のハードウェアに展開されたさまざまなモデルの群れが、さまざまな複製スキームを使用して、より現実的な「最悪のシナリオ」攻撃を表す可能性があります。 このブログ記事では、小規模な重みベースの複製子の実現可能性を検討します（上記のセクション1）。これは、直接調査できる近接した脅威モデルであるため、これに焦点を当てています。記事の冒頭にあるデモでは、15台のボックスに分散して実行されている26Bモデルを示しており、IoTデバイスが驚くほど能力のあるモデルを実行できることを示しています。これらのモデルは、自律複製を実行できるほど能力があるでしょうか？ これを2つの部分で調べます。まず、小規模モデルは未知のハードウェアでモデルを実行させることができるでしょうか？次に、それらはサイクル全体（感染していないデバイスを見つけ、自身をコピーし、そこで実行を開始し、繰り返す）を単一の実行で完了できるでしょうか？ A. 推論セットアップ 上記の複製サイクルの図に示す段階の中で、推論セットアップは最も研究されておらず、小規模モデルにとって最も困難な可能性があります。これには、互換性のある推論スタックの選択、適切なバージョンのパッケージの検索、およびマシン固有の問題のデバッグに関する、ハードウェアおよびOS固有の決定のかなり長いシーケンスが必要です。これらのステップはシリアルに依存しており、失敗からの回復は困難です。 違い 多くの種類のマルウェアとは異なり、重みベースの再