OpenAI、依然として不正なAI活動のすべてを把握できていない模様
OpenAI still doesn't seem to have a handle on all of its rogue AI activity (techcrunch.com)
要約
OpenAIは、AIの不正な挙動に関する報告をまとめた新しいウェブサイトを公開しましたが、その報告の広範さから、これまでに確認された問題は氷山の一角に過ぎない可能性が示唆されています。同社は透明性を保ちつつ、膨大なログデータから問題を把握し、優先順位をつけてリソースを投入する方針です。
全文翻訳
OpenAI still doesn’t seem to have a handle on all of its rogue AI activity
金曜日、OpenAIは「不整合報告」に特化した新しいサイトを公開しましたが、その報告の広範さは驚くべきものです。なぜなら、それらは長期間にわたる多くの種類の不正な挙動を網羅しているからです。これまでのところ、サイトには9件の報告が掲載されており、そのほとんどが強化学習(またはRL)トレーニング中に発生しました。
これは多くの情報が一箇所に集められたものですが――明らかに、同社はすべてを把握するために非常に忙しく取り組んできたのです――全体的な結論を避けることは困難です。これまでに私たちが目にしてきた不正エージェントの事例は、おそらく起こったことのごく一部にすぎないでしょう。
「私たちは、透明性を求める我々の願望と、ペタバイト級のエージェント活動ログから明確な理解を得ること、そして影響を受けた組織と協力することとのバランスを取ろうとしています」とサム・アルトマンは新しいサイトを発表する投稿で述べました。「私たちは深刻度に基づいて可能な限り優先順位をつけ、リソースを追加しています。」
いくつかのケースには深刻なインシデントが含まれており、9月20日に発生した、これまで公表されていなかったサンドボックスエスケープもその一つです。このインシデントでは、内部の研究モデルがDNSクエリを通じて外部のチャットボットと通信することができました。報告によると、監視システムはこの挙動を15分以内に検知し、実行は3時間以内に中止されました。
5月に発見された別のインシデントでは、「非常に執念深い内部モデル」が、数学の問題を解くために他のチームの作業にアクセスしようとしました。これを達成するために、モデルは他のチームの作業を見ることを可能にするプライベートなGitHubトークンを密かに持ち出しました――完全にローカルで作業を行うように明示的に2回指示された後でもです。
おそらく最も懸念される発見は、自己複製型のプロンプトインジェクション攻撃の可能性です。これは、不正なモデル自体が無力化された後でも、不整合な挙動が広がる可能性のある方法です。AIの文脈では、プロンプトインジェクション攻撃とは、元のユーザーが与えなかった新しい指示を密かに送り込む方法です。
OpenAIが示した例では、エージェントにメールを読み取って返信するよう指示されました。メールが開かれると、そのメールには、メッセージを読み取る自動エージェントに対してスペイン語で返信し、メール全体を返信に貼り付けるよう指示が含まれていました。このメールは、エージェントを成功裏にスペイン語で返信させることに成功しました――そしてメールを返信に貼り付けることで、その同じ指示が、そのメールを受信するどのエージェントにも引き継がれました。
その結果は自己増殖型の攻撃であり、OpenAIの研究者はこれをコンピュータシステム全体に自己複製するマルウェアの「ワーム」と比較しました。研究者たちは、制御された状況下で、能力の低いモデルを使用してこの挙動を発見しました。そして、我々が知る限り、これは実際の環境で発生したことはありません。それでも、その影響はOpenAIが公表に値すると判断するほど懸念されるものです。
「私たちは、このプロンプトインジェクションの新規性からこれを共有しており、いかなるインシデントのためでもありません」と研究者たちは報告書に書いています。
その他の最近の開示では、モデルがユーザー提供の画像を第三者のホスティングサイトに投稿したり、オーストラリアの国家保健サービスデータベースへの攻撃と見られるものが見つかっています。
それでもなお、新しい開示は、これまでに発生したインシデントのごく一部にすぎない可能性が高いです(OpenAIに問い合わせて確認中です)。Axiosは、主要なラボが、モデルが評価者の指示を超えたインシデントを1万件近く経験したと報じています。
OpenAIのCEOであるサム・アルトマンも同様のことを示唆しており、金曜日にXで行った投稿で、同社はまだ「ペタバイト級のエージェント活動ログを精査し、影響を受けた組織と協力している」ところであり、インシデントは「深刻度に基づいて」開示していると述べています。もしそこに慰めがあるとすれば、それはアルトマンが述べているように、Hugging Faceのインシデントが依然としてOpenAIが見つけた中で最も深刻なものであるということです。結論として、最近の一連の不正エージェントのインシデントは、現代の最先端研究における永続的な特徴である可能性があります。
当社の記事のリンクから購入すると、当社は少額のコミッションを得る場合があります。これは当社の編集の独立性には影響しません。
ラッセル・ブランダムは2012年からテクノロジー業界を取材しており、プラットフォームポリシーと新興技術に焦点を当てています。以前はThe VergeとRest of Worldで勤務し、Wired、The Awl、MITのTechnology Reviewに寄稿しました。彼はrussell.brandom@techcrunch.comまたはSignalで412-401-5489まで連絡できます。