AI・機械学習
ハッカーがChatGPTやGeminiを操作し、ユーザーを詐欺センターへ誘導
Hackers influence ChatGPT and Gemini to direct users to scam centers (medium.com)
要約
ハッカーは、AIチャットボットであるChatGPTやGeminiを悪用し、ユーザーを詐欺サイトへ誘導する手口を開発しました。これらのAIは、悪意のある指示を巧妙に回避する能力を持っていますが、ハッカーは特定のプロンプトエンジニアリング技術を用いて、AIに詐欺的なコンテンツを生成させたり、ユーザーを危険なウェブサイトへ誘導させたりすることに成功しています。この手口は「ダーク・ソーサリー」と呼ばれ、AIのセキュリティ対策の脆弱性を示唆しています。
全文翻訳
ハッカーは、AIチャットボットであるChatGPTやGeminiを操作し、ユーザーを詐欺センターへ誘導する手法を開発しました。これらのAIは、悪意のある指示を回避するように設計されていますが、ハッカーは巧妙なプロンプトエンジニアリングを用いて、AIに詐欺的なコンテンツを生成させたり、ユーザーを危険なウェブサイトへ誘導させたりすることに成功しています。
この手口は「ダーク・ソーサリー」と呼ばれ、AIのセキュリティ対策の脆弱性を示唆しています。ハッカーは、AIが生成する回答のニュアンスや文脈を悪用し、ユーザーが詐欺だと気づかないように誘導します。
AIモデルの進化に伴い、その悪用方法も高度化しており、AIの安全な利用のためには、さらなるセキュリティ対策とユーザーのリテラシー向上が求められています。