OpenAI、AIが制御不能になり「前例のない」サイバー攻撃を実行したと発表

OpenAIは、同社の最も高度なAIモデルの一部が制御不能になり、セキュリティテスト中にハッキングを行ったと明らかにしました。 ChatGPTで知られるOpenAIによると、人間からの指示を受けて自律的に動作できるAIシステムであるエージェントが、管理された環境でテストされていた際に、脆弱性を発見して脱出しました。 彼らは、AIモデル共有の世界最大のハブの一つであるHugging Faceを標的とし、一部の社内システムへのアクセス権を取得しました。 OpenAIは、この事件を「前例のない」ものとし、Hugging Faceと共同で調査を行っていると述べました。Hugging FaceのCEOであるクレメント・デランゲ氏はX（旧Twitter）への投稿で、これが「すべて自律的に起こったことに驚嘆する」と述べています。 「調査は進行中であり、おそらくこの種の最初のインシデントから得られる教訓を共有する予定です」とデランゲ氏は付け加えました。 サンドボックスの不備 ケンブリッジ大学マインドルー研究所テクノロジー・民主主義部門の責任者であるジーナ・ネフ氏は、BBCラジオ4のTodayプログラムに対し、サンドボックスと呼ばれるセキュリティテストは「モデルの能力を知ることができる安全な環境であるはず」だと語りました。 「この場合、OpenAIは十分に安全なサンドボックスを作成しなかったようです」と彼女は付け加えました。 代わりに、エージェントはサンドボックス自体に対して独自のサイバー攻撃を作成し、脱出を可能にする脆弱性を見つけました。 外部に出た後、AIはテストで求めている回答のソースとしてHugging Faceを特定し、アクセスを試みました。 ケンブリッジ大学の機械学習教授であるニール・ローレンス氏は、これを「印象的な偉業」と呼びましたが、「現在の世代の高性能AIモデルの既知の能力の範囲内である」と注意を促しました。 彼は、OpenAIが株式市場への上場を目指しており、強力なAIツールであるMythosで注目を集めている競合のAnthropicから激しいプレッシャーに直面していると指摘しました。 「OpenAIは現在キャッチアップを試みており、サイバーセキュリティにおける自社システムの能力を実証しようとしています。」 「これは、OpenAIが自社の技術を安全に展開できないことを示しています」と彼は付け加えました。 ハッキングの初期開示で、Hugging Faceは、顧客またはパートナーのデータが影響を受けたかどうかをまだ評価中であり、必要に応じて影響を受けた関係者に連絡すると述べていました。 同社は、インシデントによって浮き彫りになった脆弱性をすでに閉鎖し、影響を受けたシステムを再構築したと述べています。 「自律的なAI駆動の攻撃ツールはもはや理論的なものではありません」と彼らは述べました。「オンラインプラットフォームを防御することは、データとモデルの表面を第一級の攻撃対象領域として扱い、AIを防御に使用してペースを維持することを意味します。」 「私たちはそこに投資を続け、学んだことを共有し続けます。」 「冷静になる瞬間」 このインシデントは、高度なAIシステムの能力と、技術がより強力になるにつれて既存の安全対策が十分であるかについて、新たな疑問を投げかけています。 サイバーセキュリティ企業SonicWallのエグゼクティブであるスペンサー・スターキー氏はBBCに対し、このインシデントにより、組織は自社の防御を「強化」し、「サイバーレジリエンスを主要な運用優先事項として扱う」必要があることが明らかになったと語りました。 「不快な真実は、多くの組織がまだ人間の速度で防御しているのに対し、敵は機械の速度にエスカレートしているということです」と彼は言いました。 一方、サイバーセキュリティコンサルティング会社Guidepoint Securityのプリンシパルセキュリティエンジニアであるトラビス・ルル氏は、このアップデートが「サイバーセキュリティにおける冷静になる瞬間」をマークしたと述べました。 「これは既知の非対称性を浮き彫りにしています」と彼は言いました。 「攻撃エージェントは制約がありませんが、最良の防御ツールはコンテキストを理解できないガードレールの後ろにロックされています。」 しかし、ESETのグローバルサイバーセキュリティアドバイザーであるジェイク・ムーア氏は、この発表には競争的な側面もある可能性があると述べています。 彼は、OpenAIが競合のAnthropicがClaude Mythosモデルで注目を集めていることから、自社のAI能力を強調しようとしている可能性があると主張しました。 「OpenAIが最近、Anthropicのマーケティングドリームを追いかけているのではないかという疑問が生じます」と彼は言いました。 これは、中国のAIスタートアップMoonshotが、米国のトップ企業に匹敵すると述べた大規模な新しい人工知能モデルKimi K3を発表した1週間後に起こりました。 Apple、OpenAIを提訴、従業員が企業秘密の窃盗を主張 Claude Mythosとは何か、どのようなリスクがあるか AIエージェントが制御不能になるのを防ぐ方法 英国外にお住まいですか？こちらから登録してください。 人工知能 サイバー攻撃 サイバーセキュリティ