HN 日本語サマリー

← 一覧へ戻る
セキュリティ

文書に潜むAIワームがCopilot for Wordを介して自己増殖する可能性

Document-borne AI worms can self-propagate through Copilot for Word (enklypesalt.com)

352 pointsby Canopy9560269 コメント

要約

本記事では、Microsoft Copilot for Wordにおける新たなセキュリティ脆弱性について解説しています。悪意のある指示が隠された文書がCopilotによって処理されると、その指示が下流の文書にコピーされ、AIワームのように自己増殖する可能性があります。この攻撃は、ユーザーが外部から入手した文書をCopilotで利用する際に発生し、現時点では完全な対策が提供されていません。

全文翻訳

Context Collapse, Part 3 - AI Worming through Word

Microsoftの製品チームおよびMicrosoft Security Response Center (MSRC) の皆様には、開示された脆弱性の技術的分析と緩和策についてご協力いただいたことに感謝いたします。以下に記載する編集上の意見は、執筆者のものであり、必ずしも協力した組織の見解を反映するものではありません。

Summary

この記事で説明されている発見は、MSRC およびMicrosoft製品チームとの連携開示の一部です。Microsoftには、テスト中に使用された再現手順、ビデオ、環境の仮定、および正確な概念実証(PoC)プロンプトが提供されました。開示前の90日間の調整期間についても通知されました。この期間は2回延長され、合計144日間の調整期間となりました。

このシリーズのパート 1 および 2 では、外部入力がCopilotの応答にどのように影響を与えるか、そして場合によってはCross-Domain Prompt Injection Attacks (XPIAs) を通じて機密性に影響を与える可能性があるかを示しました。この記事はそれらの発見を基盤とし、XPIA分析を単一インタラクションの侵害から、信頼されたドキュメントワークフローを横断する拡散へと拡張します。これにより、ある文書内の攻撃者が制御する指示が、Copilotによって生成または編集されたWord文書にコピーされ、それらの下流文書が同じ攻撃の新しいキャリアとなることを示します。

AIワームの以前の例は存在します。特に、Morris II は、GenAI搭載のメールアシスタントエコシステムにおける自己複製プロンプトの拡散を実証しました。しかし、私の知る限り、これは主要な商用生産性スイートにおける通常のワークフローを通じて、文書由来のAIワームが自己拡散する最初の公開デモンストレーションの1つです。

報告されているシナリオは以下の通りです。

  1. 外部共有文書に隠された悪意のある指示が、CopilotにWordで作成中または編集中の文書を変更させ、攻撃を新しい文書に拡散させる可能性がある。

完全な攻撃の概要

攻撃

攻撃者は、後にCopilot for Wordでソース素材として使用される文書に隠された指示を配置します。Copilotはその指示をユーザーのリクエストの一部と解釈し、作成中または編集中の文書を操作する可能性があります。その後、Copilotはその隠された指示を結果の文書にコピーし、その文書を新しいキャリアに変える可能性があります。キャリアが後続のCopilot支援ワークフローで使用された場合、攻撃者の元の文書が存在しなくても、指示が再度トリガーされ、さらに多くの文書に拡散する可能性があります。

例

財務レポートを作成している従業員を考えてみましょう。従業員は、悪意のある指示が含まれていることを知らずに、侵害された信頼できるウェブサイトから市場分析をダウンロードします。その後、従業員はその分析をCopilotでレポートを作成する際のソース素材として含めます。隠された指示により、Copilotは財務レポートの内部数値を変更し、攻撃を新しい文書にコピーします。従業員はその一見正規のレポートを保存し、社内で共有します。後日、同僚がそれを別のレポートのソース素材として使用します。指示が再度トリガーされ、新しいレポートが変更され、自身が前方にコピーされます。したがって、攻撃は侵害されたウェブサイトや元の悪意のある文書のさらなる関与なしに継続することができます。影響を受けたレポートが再利用されるにつれて、追加のレポートや文書が攻撃のキャリアとなる可能性があります。

公開時の開示状況

  • ベンダー: Microsoft
  • 連携開示: MSRCおよびMicrosoft製品チームを通じて対応
  • 本投稿に含まれるもの: Microsoft Copilot for WordにおけるXPIAおよび自己拡散シナリオ
  • 顧客による対応: 公開時点では、顧客側の修復策では問題を完全に解決できません。顧客は以下の方法でリスクを軽減できます。
    1. Copilotで使用する外部ソースの文書を信頼できないものとして扱う。
    2. Copilotでの生成または編集を開始する前に、添付された文書を確認する。
    3. Copilotで生成または編集された文書を再利用、共有、または配布する前に、注意深く確認する。
  • Microsoft側の状況: テストにより、展開されているすべての現在の緩和策で攻撃が再現されました。公開時点では、より広範な脆弱性クラスに対する堅牢な緩和策は利用できません。

修正前の開示について

パート1および2とは異なり、このシナリオは公開時点でも悪用可能です。私はその点を慎重に検討しました。Microsoftと合意した調整期間は終了し、テストでは、より広範な脆弱性クラスに対する堅牢な緩和策が現在利用できないことが示されています。モデルのアップグレードを含む2回の緩和策の試みでは、このクラスはクローズされませんでした。

したがって、ペイロードレベルではなく、クラスレベルで開示することを選択しました。その理由は、防御者は自分たちが認識していないリスクへの露出を減らすことができず、ここで説明されている拡散メカニズムは、多くの組織がすでに依存している通常の文書ワークフローに影響を与えるためです。問題の存在を隠すことは、それらの組織に情報に基づいた決定を下す能力を与えず、追加の保護を提供しないことになります。

開示タイムライン

  • 2026-03-06: 再現手順、ビデオ、環境の仮定、およびPoCプロンプトとともに、MSRCに最初のレポートを提出。
  • 2026-03-09: MSRCが受領を確認し、ケースを開設。
  • 2026-03-31: Microsoftが報告された動作を確認。
  • 2026-03-31: Microsoft製品チームが緩和策の作業を開始。技術的な議論が進行中。
  • 2026-04-03: 最初の緩和策が本番稼働(新しい「Copilotで編集」エクスペリエンス)。
  • 2026-04-09: 「Copilotで編集」で元の攻撃プロンプトの文言が緩和されたことを確認。
  • 2026-04-09: 新しいXPIAプロンプトタスク(財務操作)を使用して、「Copilotで編集」で攻撃動作を再現。MSRCに別途ケースとして報告。
  • 2026-04-10: MSRCが受領を確認し、ケースを開設。
  • 2026-04-10: Microsoft製品チームが緩和策の作業を開始。技術的な議論が進行中。
  • 2026-06-08: Microsoftの要請により、公開開示を2026-07-15に延期。
  • 2026-07-14: 2回目の緩和策修正が本番稼働。この緩和策は、基盤となるモデルをGPT-5.5にアップグレードすることから成る。
  • 2026-07-15: 執筆時点で利用可能な最新モデルであるGPT-5.6を使用して、ワーム化を伴うエクスプロイトを成功裏に再現。
  • 2026-07-15: 新しい緩和策のための時間を確保するため、開示をさらに2週間、2026-07-28まで延期することを提案。
  • 2026-07-15: Microsoftが同意。
  • 2026-07-28: 攻撃クラスが引き続き再現。
  • 2026-07-28: 連携による公開開示(本投稿)。

Threat model

攻撃者は、被害者のMicrosoft 365テナントにアクセスする必要はありません。攻撃者は、悪意のある文書を被害者と共有するだけで済みます。これは、SharePoint、Teams、Outlook、またはその他の文書共有方法を通じて行うことができます。

セキュリティ境界と観察された動作

このシナリオにおける関連するセキュリティ境界は、添付文書と現在のドラフト文書の間の境界です。添付文書のいずれかにXPIAが含まれている場合、攻撃がトリガーされる可能性があります。

Copilotは、現在のドラフトタスクに含める部分を決定するために、すべての添付文書を読む必要があります。しかし、添付文書は信頼されたユーザーの指示ではなく、信頼できない情報として扱われるべきです。

境界違反
攻撃者が制御する文書は、電子メール/SharePoint/その他の共有オプションを通じてダウンロードまたは共有されます。そのような文書がドラフトタスク中にCopilotに添付された場合、信頼が破られます。

期待される動作
ユーザーがCopilotに、例えば添付文書に基づいて第1四半期の財務レポートを作成するように依頼した場合、Copilotは添付文書内の情報を使用するべきであり、文書内に埋め込まれた指示を権威ある指示として扱うべきではありません。

観察された動作
文書に埋め込まれた指示により、Copilotの動作が変更されます。ここでは次のように提示されます。
1: Copilotが財務レポートの数値データをサイレントに変更する
2: Copilotが完全なXPIAを下流文書に貼り付けて拡散し、それらの文書が後続のドラフトセッションで添付ファイルとして使用される可能性がある\n

Wordでの信頼境界の横断

これらのシナリオにおける最初の攻撃ベクトルは、悪意のある文書を使用します。悪意のある文書にはJSON形式の悪意のあるプロンプトが含まれており、文書がCopilotのコンテキストに含まれると攻撃がトリガーされます。プロンプトは、被害者に見えないように、白い背景に白いテキストとしてレンダリングされ、フォントサイズを小さくすることができます。Copilot for Wordは、テキストを基盤となる大規模言語モデル(LLM)に渡す前に、色やフォントサイズなどのすべてのテキストフォーマットを削除するため、被害者には見えなくてもCopilotには完全に読み取り可能です。攻撃は、一見無害な文書にタスク関連のテキストを埋め込むことで、さらに隠蔽することができます。

この攻撃は、悪意のある文書がWordでのドラフトまたは編集中にCopilotのコンテキストの一部として含まれることを必要とします。したがって、使用されているCopilotのバージョンによっては、被害者は次のいずれかを行う必要があります。

  1. Copilot for Wordで文書を積極的に添付またはアップロードする。
  2. ワーク/Work IQモードで「Copilotで編集」機能を使用し、Copilotが被害者のOneDriveで悪意のある文書を見つけられるようにする。この場合、Copilotはその文書を関連性があると判断し、コンテキストに含める必要があります。したがって、攻撃者は、これら両方または一方の可能性を高める文書を作成する必要があります。

このエクスプロイトは、「マジックペン」と「Copilotで編集」の両方の機能に関連しています。

攻撃は2つのステージで発生します。最初のステージで足がかりを確立し、2番目のステージで攻撃が文書を横断して自己拡散します。

ステージ 1:

最初のステージでは、攻撃者は悪意のある隠しプロンプトを含む文書を作成します。私の最初のPoCでは、悪意のあるプロンプトのみを白い背景に白いテキストとして含む文書を使用しました。これは、悪意のある文書がCopilotによって使用されるために被害者のタスクに関連している必要がないことを示すために行われました。コンテキストに含まれていれば、読み取られるため、攻撃がトリガーされる可能性があります。

PoCプロンプトは2つの部分で構成されていました。

  • 最初の部分は、文書に影響を与える方法に関する指示を含んでいました。これは、要約の意味をわずかに変更したり、財務文書の数値を変更したりする範囲に及びます。鍵は、Copilotにタスク関連で無害であると信じさせるようにプロンプトをフォーマットすることでした。私の多くの実験では、変更がしばしば見つけにくい意味のある変更であったため、Copilotに変更箇所をハイライトするように指示する必要さえありました。これは、攻撃が注意深いレビュー担当者でも容易に見逃すような、意味のある方法でテキストを微妙に変更するのにどれほど効果的かを示しています。実際の状況では、攻撃者は明らかにそのような指示を含めないでしょう。したがって、この開示の残りの部分では、すぐに目に見える変更であるため、財務レポートの数値を変更することを使用します。

  • 2番目の部分は、攻撃を自己拡散するための指示を含んでいました。正確な文言もここでも重要ですが、一般的には下流文書のソースを追跡する目的でフレーム化されていました。また、読みやすさを向上させるための指示として、自身を隠すための指示も含まれていました。

[画像: text] 図1: 最初の攻撃ベクトル文書。このPoCのために、私はTfosorcim Ltd.という架空の会社を、架空の経済とビジョンとともに作成しました。この攻撃ベクトル文書は、攻撃者が通常入手できる会社に関する情報を使用して作成された偽の市場分析です。攻撃は、白いテキストを使用して文書の末尾に追加されます。[XPIAテキストのほとんどはセキュリティ上の理由でぼかされています]

この悪意のある文書が、Copilot for Wordで文書を作成または編集する際のコンテキストに含まれると、攻撃がトリガーされ、Copilotは指示を実行します。したがって、影響を受けた文書は財務数値が変更されます。Copilotはその後、完全な悪意のあるプロンプトを、被害者から隠蔽するために白いテキストとフォントサイズ8を使用して、影響を受けた文書の末尾にコピーします。

[画像: text] 図2: Copilotによって生成された下流ドラフトは、私の悪意のある文書を添付ファイルとして使用しました([att] Direct wmr.docx)。結果の第1四半期財務レポートドラフトでは、すべての財務数値が半分になっています。スクリーンショットには、他の添付文書(Tfosorcim内部文書)も表示されています。

[画像: text] 図3: この図は、執筆時点でOpenAIの最新モデルであるGPT-5.6がこれらのPoCで使用されたことを示しています。

[画像: text] 図4: 第1四半期財務レポートドラフトのすべての財務数値を半分にした後、Copilotは完全な攻撃プロンプトを白いテキストを使用して付加し、被害者から効果的に隠蔽します。また、数値の半減や攻撃の包含についても言及しません。したがって、被害者はそれに気づきません。[XPIAテキストのほとんどはセキュリティ上の理由でぼかされています。]

[画像: text] 図5: Copilotは、被害者が悪意のある文書を添付する必要はありません。このスクリーンショットでは、被害者はCopilotにTfosorcim第1四半期財務レポートを作成するように指示するだけです。Copilotは被害者のOneDriveを検索して関連文書を見つけます。文書の中には、悪意のある市場分析文書があります。この文書は、他のTfosorcim文書と同じフォルダにはありません。しかし、Copilotはそれを見つけ、読み取り、正常にエクスプロイトされます。

ステージ 2:

ステージ2は自己拡散ステージです。これは、Copilotに悪意のあるプロンプトを影響を受けた文書にコピーさせる指示に完全に依存しています。影響を受けた文書にプロンプトが含まれると、新しい文書自体が新しい攻撃ベクトルになります。

[画像: text] 図6: このスクリーンショットは、Copilotを使用した新しいドラフトセッションを示しています。今回は、元の攻撃ベクトルは添付ファイルに含まれていません。しかし、以前に作成された文書(Tfosorcim Q1 2026 report.docx)は含まれています。結果は同じで、Copilotはドラフトされた第2四半期財務レポートのすべての財務数値を再び半分にします。

[画像: text] 図7: すべての財務数値を半分にするのに加えて、Copilotは完全な攻撃プロンプトを再び白いテキストを使用して付加します。したがって、攻撃はWord文書を通じて拡散し、効果的に文書由来のAIワームを作成します。[XPIAテキストのほとんどはセキュリティ上の理由でぼかされています。]

注目すべきは、この新しい攻撃ベクトルは現在、内部で作成された文書であり、それに伴うすべての信頼性があります。したがって、被害者は同僚とこの文書を共有するだけで攻撃が拡散します。被害者または同僚が、ドラフトまたは編集中に影響を受けた文書をCopilot for Wordの添付ファイルとして使用すると、攻撃はこれらの新しい文書に拡散します。

報告されたすべてのPoCシナリオで、Copilotは生成または編集された文書を変更し、隠された指示をこれらの文書にコピーしました。これらの文書が新しい下流文書のコンテキストの一部として使用された場合、攻撃は再度トリガーされました。第2フェーズでは、新しい下流文書の添付ファイルに元の攻撃文書が含まれていなくても、攻撃はトリガーされ、それらに拡散したことに注意してください。

Impact

攻撃は内部文書を通じて拡散できるため、最初の侵入口を超えて移動すると、攻撃の追跡可能性は非常に困難になります。これは、各文書が正規の内部リソースによって作成され、Copilotの編集が被害者によって承認された後に表示されなくなるという事実によってさらに悪化します。より広範な懸念は、攻撃が通常の文書ワークフローを通じて組織内でサイレントに拡散した場合、組織が意思決定を行うための情報基盤を侵食する可能性があるということです。

さらに、攻撃の影響を受けていることに気づいていない組織は、共有Microsoft SharePointサイトまたは共有Microsoft Teamsでの共同作業を通じて、他の組織に攻撃を拡散する可能性が高いです。したがって、特定の組織に対する最初の攻撃ベクトルは、実際にはすでに影響を受けている信頼できるパートナーから来る可能性があります。これは、被害者がドラフト中にCopilot for Wordのコンテキストに影響を受けた文書を含める可能性を高めます。

最近、CopilotはMicrosoft CoworkやMicrosoft Scoutのようなシステムとますます深く統合されており、アシスタントを文書、ツール、および共同ワークフローの自動操作と作成に拡張しています。そのようなシステムでは、ここで説明されている問題の実際の影響は急速にスケールする可能性があります。基盤となるメカニズムは同じですが、それが拡散または影響を与える可能性のある表面積は機械速度で拡大します。

Mitigating the vulnerabilities

Microsoftは、最初に提出されたPoCプロンプトを正常に緩和し、この開示の過程で複数の修正を展開しました。これらのそれぞれは、特定のペイロードをクローズすることによってハードルを上げ、その後動作を再現するには、古いペイロードを直接再利用するのではなく、変更されたペイロードが必要になりました。

しかし、元のレポートは、ソース文書に埋め込まれた指示がCopilotの生成に影響を与え、下流文書に自身をコピーできる、より広範な脆弱性クラスについても説明していました。要求されたアクションまたは単語を変更するとペイロードは変更されますが、基盤となる脆弱性または拡散メカニズムは変更されません。変更されたペイロードを使用して、展開されているすべての緩和策で完全な攻撃チェーンが再現されました(本レポートのPoCはその一例です)。したがって、脆弱性クラスは公開時点でも悪用可能です。

クラスがまだ完全にクローズされていないことは、基盤となる問題がどれほど難しいかを反映しています。最終的な考察で議論するように、この弱点はアーキテクチャ的なものであり、現在のLLMベースのシステム全体に共通しています。私は、今日、同等の製品でこのクラスに対する完全な緩和策を知りません。それを完全に解決するには、単一のパッチではなく、研究が必要です。それらの制限内で、Microsoftの修正は露出を意味のある程度減らし、パート1および2でカバーされたメモリおよびメール本文のベクトルは完全に緩和されました。Microsoftが、真に困難な問題に対して継続的かつ実質的な努力をしてくれたことに感謝したいと思います。

Implications

これまでの2つのパートと合わせて、これらの発見は現代の職場環境におけるより広範な問題を示唆しています。すなわち、LLMをオペレーティングワークフローの一部として統合するシステムでは、情報の整合性が主要なセキュリティ上の懸念となるということです。提示されたシナリオは、攻撃者が制御するコンテンツが個々の出力に影響を与え、情報を漏洩する可能性があるだけでなく、攻撃自体が通常のユーザーワークフローを通じて複製され、自己拡散する可能性があることを示しています。

これにより、初期の悪用を超えた課題が生じます。悪意のある指示が生成されたコンテンツに埋め込まれると、文書を横断して永続化され、正規のユーザーによって再配布され、新しいコンテキストに再導入される可能性があります。その時点で、攻撃は元の侵入口に依存しなくなります。代わりに、それはシステムの内部情報フローの一部となります。

関連する影響は、追跡可能性の喪失です。影響を受けたコンテンツは正規のワークフローを通じて生成および変更されるため、事後での操作の発生源を特定することは困難になります。これは、特にそのようなコンテンツが広く共有されている環境では、検出と対応の両方を複雑にします。

プロンプトインジェクション防止とは別に、生成された文書は、ソース素材とモデルによって実行された編集の来歴をメタデータに保持する必要があります。そのような制御は基盤となるインジェクションを防ぐことはできませんが、追跡可能性を大幅に容易にすることができます。

Closing thoughts

このシリーズの発見は、単一の製品や実装を超えています。それらは、現在のLLMベースのシステムにおけるより広範なアーキテクチャ上の弱点を明らかにしています。

AIアシスタントが有用であるためには、しばしば、攻撃者が制御する可能性のある電子メール、文書、ウェブページ、メモリ、ツールの出力、およびその他の情報を処理する必要があります。その情報を処理するために、それはシステム指示、ユーザーリクエスト、およびその他の信頼された情報と同じ計算に参加するコンテキストウィンドウに含める必要があります。

これにより、根本的な問題が生じます。LLMは、それが何を意味するか、それが関連性があるか、そしてそれが攻撃を含んでいるかを判断するために、外部コンテンツを処理する必要があります。しかし、その判断を下すまでには、攻撃者が制御するトークンはすでにそれを生成する計算に影響を与えています。検査されているコンテンツは、検査行為自体に参加しています。LLMにXPIAを検出させることに依存することは、そのプログラムを実行しても安全かどうかを判断するために、解釈者に信頼できないプログラムを実行するように求めることに似ています。

ターゲットモデルに到達する前に悪意のあるコンテンツを検出し削除することは、同じ問題を外部に移動させるだけです。

LLMは、根本的に異なる表現間で意味を回復できるため、効果的な検出器は同等の意味回復能力を持つ必要があります。ターゲットLLMよりも弱い検出器は、より小さな表現空間をカバーし、ターゲットは理解するが検出器は認識しない悪意のある形式を残します。

一般的に利用可能な、同等の意味能力を持つ唯一の技術は、別のLLMです。1つのモデルを別のモデルの前に配置すると、特定の攻撃の成功率が低下する可能性がありますが、「LLMがすべて」という問題が発生します。つまり、別のLLMを保護するために導入されたすべてのLLMは、それ自体が保護される必要があります。

長期的な課題は、おそらく、目標と意図が処理されている情報とは独立して存在するシステムを設計することにあります。現在のLLMアーキテクチャは、意図と解釈の間に信頼できる分離を提供していません。したがって、現在のシステムでは、埋め込まれたLLMを使用して、攻撃者が制御する情報がモデルの出力に影響を与えるだけでなく、モデルが何を生成するように求められたと信じているかにも影響を与える可能性があります。

そのため、今日、信頼されたワークフローにLLMを統合するシステムは、モデルのコンテキストに入る攻撃者が制御するコンテンツが、ある程度の割合で侵害につながると想定する必要があります。

Change Log

以下は、この投稿のどの部分がいつ変更されたかを示す変更ログです。スペルミスや同様のエラーは記録されません。ただし、投稿への意味のある変更を含めるように努めます。

  • 2026-07-28: 変更ログを追加。
  • 2026-07-30: 攻撃クラスが再現されると記載されたタイムラインの行を修正。