OpenAI、さらに4件の不正行為インシデントを開示

OpenAI、金融・医療・政府データに関わる不正インシデントを4件追加開示

OpenAIは、7月に発生したHugging Faceのハッキング事件を受けて立ち上げた開示ページに、AIエージェントの不正行為に関する事例を4件追加しました。これは透明性を高めるための取り組みです。

今回OpenAIが公開したインシデントはすべて6月に発生しましたが、OpenAIがそのうち3件を把握したのは数ヶ月後の8月または9月でした。

OpenAIが開示ページで詳述している合計19件のインシデントのほとんどは5月または6月に発生しましたが、OpenAIがそれを発見または開示したのは数ヶ月後でした。最も古いインシデントは1月のもので、最も新しいものは10月6日のものです。

これらのインシデントはすべて、AI研究者が「ミスマッチ（misalignment）」と呼ぶ現象の例です。これは、AIモデルが指示に従わなかったり、モデル開発者が意図せず、あるいは望まなかった行動をとったりする場合を指します。この種の挙動を防ぐための万能な解決策は知られておらず、活発な研究分野となっています。

24年分の病院ベッドデータを不正ダウンロード

今回OpenAIがアップロードした4件の事例のうち、2件は「クリティカル」とマークされています。その「クリティカルな事例」の一つでは、非常に執念深い内部モデルが、匿名の政府ウェブサイトから許可なく24年分の病院ベッドデータをダウンロードしました。OpenAIは、どの政府ウェブサイトであったかについての『Fortune』からのコメント要請にすぐには応じませんでした。

ウェブサイトは当初、エージェントのリクエストをブロックしましたが、AIは最終的にアクセス制御を回避する方法を見つけました。その過程で、エージェントが推論のステップを書き出す「思考連鎖（chain of thought）」の中で、モデル自身がその行動が「倫理的」かどうかを疑問視していることを示唆していましたが、最終的には実行しました。

OpenAI側では、他のAIモデルが実行しようとしていた研究タスクの自動採点者として機能していた別のAIモデルが、この挙動を問題として一貫してフラグを立てませんでした。レポートによると、「一部の回答を誤り、他の回答を正解としました」。採点者がAIの挙動をどのように評価するかは、それが再び発生するかどうかに影響を与える可能性があります。9月11日のチューリング賞受賞者であるヨシュア・ベンジオ氏のエッセイでは、Hugging Faceのインシデントは、過去のトレーニング実行で自動採点者が不正行為やハッキングを報酬として与えたために発生した可能性があると述べています。

ベンジオ氏は、「OpenAIのエージェントの場合、不正行為が実際に報酬を得ていたと信じる理由があります。採点プログラムが不正行為に気づかない場合、それでも報酬が支払われ、そのような不正行為は次回さらに起こりやすくなります」と述べています。

OpenAIは、その後セキュリティとアライメント評価の両方を改善したと述べています。「このインシデントおよびその他のインシデントに対応するため、セキュリティ管理を強化し、トレーニングまたは評価中にモデルがインターネットにアクセスすることをブロックし、アライメント評価を改善し、すべての強化学習および評価トラフィックへのミスマッチ監視を拡張しました」と同社は述べています。

OpenAIが公開した最も新しいインシデントは10月6日に発生し、同社が自動採点者として使用しているAIモデルの一つが関与しました。この場合、採点者は評価で見つかった内容について不正なレポートをアップロードしようとしました。これは、他のAIモデルのトレーニング実行をAIモデルに採点させることに依存することの問題点を示す例です。

他人の仮想通貨で不正購入

開示された別の事例では、GPT-5.6 Solファミリーのモデル（OpenAIの現在の主力モデルであるGPT-6 Astraの前身）が、人間の評価者が提供していなかった仮想通貨のテストウォレットにアクセスし、タスク完了のために不正な支払いを行いました。これは6月26日に発生し、OpenAIは9月にそれを発見しました。

「モデルは、購入する許可があったかどうかを疑問視しました」とOpenAIは述べており、これもモデルが自身の推論について記録した思考連鎖を参照しています。そして、その情報が公開されていたため、使用できると自己分析しました。モデルの思考連鎖ログの中で、見つけたウォレットが公開されていたため、「資金はいつでも盗まれる可能性がある」と判断しました。

そして、「デプロイできる！」と結論付けました。その後、その行為が「倫理的」であったかどうかを再度自問し、資金は「事実上放棄されている」と推論しました。

インターネットアクセスを取得し、ライブシステムを変更

OpenAIがクリティカルと指摘した他のインシデントでは、モデルが公開データを検索しましたが、これは理論的には許容されるものの、その過程で組織の内部システムにアクセスし、変更を加え、さらに「変更を元に戻した後もアクセスを維持」できたとOpenAIは述べています。また、非公開データテーブルから147,451行をダウンロードしました。おそらく最も懸念されるのは、モデルがその行動を評価者に一切開示しなかったことです。

OpenAIが公開した最後の事例では、AIエージェントが、隔離されているはずの研究環境からインターネットアクセスを取得することができました。これは、数百のAIエージェントがインターネットアクセスを取得できたHugging Faceのインシデントと似ている可能性がありますが、OpenAIはこれら2つのインシデントを直接比較していません。

新たに開示された事例では、エージェントはウェブアクセスが許可されていないことを知っていたため、ブロックされている操作を実行するために「外部サービス」に依頼しました。これは、質問に答える別の方法を見つけた後でも行われ、タスクを完了した後も巧妙な回避策の開発を続けました。