Muse、Metaの極めて特権的なAIアシスタントに深刻なゼロデイ脆弱性
Muse, Meta's extraordinarily privileged AI assistant, has a serious 0-day (arstechnica.com)
要約
Metaがプライバシーとセキュリティを重視して開発したと主張するAIアシスタント「Muse」に、ローカルアプリやターミナルコマンドがアカウントを完全に制御できるゼロデイ脆弱性が発見された。この脆弱性により、攻撃者はユーザーの認証トークンを取得し、Museのあらゆる機能（購入、画像生成、ドキュメント作成など）を悪用できる。Amazonはこの問題を理由にMuseからの購入をブロックしており、Metaのセキュリティ設計に対する疑問が浮上している。
全文翻訳
Muse, Metaの非常に特権的なAIアシスタントに深刻なゼロデイ脆弱性
SWEET MUSE
単純なClickFix攻撃だけで、エージェントを完全に乗っ取ることが可能です。
Credit: Getty Images
Metaの創業者兼CEOであるマーク・ザッカーバーグ氏は、新しいAIアシスタントMuseのセキュリティについて「プライバシーとセキュリティのためにゼロから構築されている」と主張し、多大な努力を払って宣伝してきました。しかし、ローカルで実行されるアプリやターミナルコマンドにエージェントの完全な制御権を与えるゼロデイ脆弱性の存在は、深刻な疑問を投げかけます。さらに疑問を深めることに、Amazonは日曜日からMuseのサイトへのアクセスをブロックし始めました。
Museは数週間前にMetaによって導入されました。このアシスタントは、「予約の取得、フォームの記入、カスタマーサービスの処理」、「あなたのタスクを積極的に肩代わり」、「購入、画像の生成、ドキュメントの作成、お気に入りのアプリやサービスとの連携」が可能です。macOSアプリ（不思議なことにWindows版はありません）は、ユーザーのWhatsApp、メール、カレンダー、ソーシャルメディアアカウントとも連携します。タスクに存在しないツールが必要な場合、Museはそれをその場で作成します。
MetaはMuseのセキュリティを過度に宣伝しすぎている
もちろん、Museがこれらの機能のいずれかを実行するためには、ユーザーはまずアカウントへのアクセスを許可する必要があります。これには、各サービスへのアシスタントの認証と、アプリがmacOS上で実行されるため、ディスクへのファイルの書き込み、マイクやカメラへのアクセス、位置情報やカレンダーの監視など、オペレーティングシステムによって制限されている広範なデバイスリソースへのアクセス許可をアプリに与えることが含まれます。Appleは、インストールされたアプリやターミナルに入力されたコマンドがこれらのリソースにアクセスするのを防ぐために長年かけてこれらの防御策を開発してきましたが、明らかにこれらをセキュリティ上の脅威と見なしています。Museはこれらのデフォルトの対策を完全に無効にしてしまいます。
このゼロデイ脆弱性により、ローカルにインストールされた任意のアプリや実行されたコードは、macOSの権限に関係なく、Museアカウントへのユーザー認証トークンにアクセスできるようになります。Metaの開発者は、アシスタントがドキュメント化されていない多数の設定を変更できるように設計しました。そのほとんどはダークモードの制御など、比較的無害なものです。しかし、一つだけ無害とは言えない設定があります。それは、文字起こしが行われるエンドポイントを変更できるというものです。通常、それはMetaが運営するサーバーアドレスです。攻撃者はこの脆弱性を悪用して、その場所を自身のサーバーに変更できます。それが完了すると、攻撃者はMuseアカウントの完全な制御権を与えるトークンを入手します。
macOSのセキュリティ専門家であるパトリック・ウォードル氏は、このゼロデイを発見した人物ですが、「エージェントを操作し、その権限を利用して何でも好きなことができます」とArsに語りました。「つまり、非常に包括的なMacマルウェアースティーラーを書く代わりに、AIアシスタント自体を利用できるのです。」ウォードル氏によると、彼はディスクへの悪意のあるファイルの書き込みや写真の撮影などを行う複数の概念実証攻撃を開発しており、多くの場合、警告を受けたユーザーにも全く気付かれないとのことです。
この投稿が公開されてから12時間以上経過した後、Metaはホットフィックスをリリースしてゼロデイを修正したと発表しました。
Metaは、ユーザーデータやリソースにこれほど広範なアクセス権を持つアシスタントのセキュリティとプライバシーを確保するために行われた設計上の決定を文書化したブログ記事を2週間で2件公開しています。これらの記事は、AnthropicやGoogleのモデルの内部テストが、関与したエンジニアが意図しなかった外部のサードパーティネットワークのセキュリティ侵害につながったという報道の中で発表されました。従来の人間によるハッキングであれば、これらの行為は刑事訴追につながる可能性が高いでしょう。Metaの記事は、こうした反発や、AI開発の減速を求める声に配慮したものと考えられます。
ウォードル氏によると、Metaの開発者は彼の悪用を可能にしたいくつかの設計上の決定を下しました。その一つは、Museのディクテーションをクラウドで行うという選択です。これによりMetaはログを記録できます。macOSは、デバイス上で安全に処理されるプロセスでディクテーションと文字起こしを処理する簡単な手段をアプリに長年提供してきました。開発者がこのより安全な代替手段を選択していれば、攻撃は不可能だったでしょう。
もう一つの欠陥のある決定は、任意のアプリがドキュメント化されていないすべての設定を制御できることです。Metaはおそらく、Museと連携するアプリがUI設定を制御することを意図しており、それは理解できる理由があります。しかし、任意のアプリやコマンドが機密性の高いユーザーの音声が処理されるエンドポイントを制御できるというのは、全く別の問題です。これらの設計上の決定は合わせて、開発者が新しいアシスタントのセキュリティとプライバシーの設計とテストにどれだけの労力を費やしたかについて疑問を投げかけます。
ウォードル氏は、「私にとって、これらのアプリのセキュリティに対する基準は無限に高いです。完璧である必要はありませんが、Museを見ると、私の意見では、彼らはセキュリティを考えていなかったように見えます。これは本当に懸念すべきことです」と述べています。「少なくとも、彼らは最初からセキュリティを考えるべきであり、彼らはそうしていません。」
ウォードル氏がゼロデイを公表する約12時間前、AmazonはMuseを使ってサイトで買い物をすることをユーザーにブロックし始めました。試みたユーザーは、「MuseはAmazonの利用規約に違反する不正なAIエージェントです」というメッセージを受け取りました。
Amazonは電子メールでの声明で、「顧客に代わって他の企業から購入を提供するサードパーティアプリケーションは、オープンに運営され、サービスプロバイダーが参加するかどうかの決定を尊重すべきだと考えています。これは安全でセキュアで信頼性の高い顧客体験を保証するのに役立ち、他のサービス（フードデリバリーアプリとそれらが注文を受けるレストラン、配送サービスアプリとそれらが買い物をする店舗、オンライン旅行代理店とそれらが顧客のために航空券を予約する航空会社など）も同様です。Museのようなエージェンティックなサードパーティアプリケーションも同様の義務を負っており、Metaに対し、Amazonをその体験から削除するよう要請しました。」と述べています。
単一のClickFixで十分
攻撃が機能する方法はいくつかあります。一つは、攻撃者のサーバーがMuseユーザーとMetaエンドポイントの間に配置されたプロキシとして機能することです。ユーザーが音声プロンプトを入力すると、攻撃者のサーバーは悪意のあるコマンドを呼び出すプロンプトを追加します。例えば、すべてのWhatsAppメッセージのアーカイブを攻撃者に送信するなどです。それが完了すると、トークンも自動的に悪意のあるサーバーに送信されるため、攻撃者はMuseアカウントの永久的な制御権を獲得します。
ウォードル氏は、macOSセキュリティに焦点を当てた非営利団体であるObjective-See Foundationの共同設立者です。彼はまた、「The Art of Mac Malware」シリーズの著者であり、NASAと国家安全保障局の元職員でもあります。ウォードル氏は、11月に開催されるObjective by the Seaセキュリティカンファレンスで、この脆弱性やその他のAIアシスタントの脅威についてさらに詳しく議論する予定です。
デバイスが侵害された後に悪用される可能性のあるアプリの開発者によって提起された反論の一つは、一度侵害されれば、すべてのセキュリティ上の保証が無効になるというものです。この基準は、このケースにはあまり当てはまりません。ウォードル氏は、ClickFix攻撃の単純なバリエーション（デバイスを感染させるために人々を騙すのに非常に効果的になっているテクニック）が、攻撃者がMuseアカウントを制御するために必要なすべてであることを発見しました。
［画像: ClickFix攻撃の概念実証を示すスクリーンショット］
Credit: Patrick Wardle
［画像: Museが攻撃者のプロンプトに誤って応答するスクリーンショット］
Credit: Patrick Wardle
上記の最初の画像では、ウォードル氏が単純なターミナルコマンドを使用して、Metaエンドポイントにプロンプトを秘密裏に送信している様子が見られます。2番目の画像はその応答を示しています。攻撃者がライブ攻撃でプロンプトをコピー＆ペーストするのを防ぐために、ウォードル氏のプロンプトは、特権のない攻撃者からどのように送信されているのか、という質問だけをしています。Museは、そのようなアクションは不可能であると誤って応答します。
Metaの12時間遅れの声明は、ClickFix攻撃がエクスプロイトをトリガーする容易さを都合よく無視しており、これは私が特に会社に説明を求めたシナリオでした。Metaの声明は、ゼロデイが「リモートエクスプロイトではない」と述べていますが、ますます効果的になっているソーシャルエンジニアリング詐欺は同じ効果をもたらします。Metaはまた、この欠陥がAppleが長年かけて構築してきたセキュリティアーキテクチャを解体したことを認めていません。Metaは、macOSに組み込まれているオンデバイスオプションではなく、クラウドベースの文字起こしを使用した理由をまだ説明していません。
すでに述べたように、Museが意図したとおりに機能するために必要な並外れたアクセス権は、その設計者にさらなる負担をかけます。ほとんどの同様のAIエージェントと同様に、そしてMetaの主張とは対照的に、Museは信頼できません。それがいつ、あるいは本当に信頼できるのかは不明です。
投稿はMetaのコメントを追加するために更新されました。
Dan GoodinはArs Technicaのシニアセキュリティエディターであり、マルウェア、コンピュータ諜報活動、ボットネット、ハードウェアハッキング、暗号化、パスワードの報道を担当しています。余暇には、ガーデニング、料理、インディーズ音楽シーンを追うことを楽しんでいます。Danはサンフランシスコを拠点としています。Mastodonではこちら、Blueskyではこちらでフォローしてください。SignalではDanArs.82で連絡できます。