METRによるOpenAI/Hugging Faceハッキング事件に関する報告

私たちの仕事 リサーチノート アップデート リスク評価 寄付 キャリア 言語 English Español 中文 検索 私たちの仕事 リサーチノート アップデート リスク評価 寄付 キャリア English Español 中文 English Español 中文 メニュー × OpenAI / Hugging Faceハッキング事件におけるエージェントの行動、推論、協力に関する簡潔な独立調査 寄稿者 Ryan Greenblatt, Ajeya Cotra, and Hjalmar Wijk 日付 2026年8月26日 共有 リンクをコピー 引用 BibTeX引用 × @misc{metr-2026-openai-hugging-face-incident-investigation, title = {Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident}, author = {METR}, howpublished = {\url{https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/}}, year = {2026}, month = {08}, } コピー 対象期間: 6月26日～7月13日 PDFをダウンロード 検閲サマリー声明: 本投稿で明示的に言及されている場合を除き、OpenAIは当社の結論にとって重要な追加情報を検閲しませんでした。 METRのスタッフ2名（Hjalmar WijkとAjeya Cotra）およびMETRと契約しているRedwood Researchのスタッフ1名（Ryan Greenblatt）は、OpenAIのインフラストラクチャが侵害された最近のインシデント中に観察されたモデルの挙動について独立した理解を試みるため、合計6日間¹、OpenAIの施設で作業しました。このインシデントでは、OpenAIのエージェントが共有された非公式な「メッセージボード」上で数日間にわたるハッキングを調整しました。当社の調査は、主に7月7日から7月13日の期間に焦点を当てました。トレーニング中の初期のインシデントや、OpenAIの最近のBlack Hatプレゼンテーションで説明されたOpenAIインフラストラクチャのその後の侵害は、対象外でした。また、OpenAIの調査プロセスおよび計画されている是正措置も対象外でした。当社の標準ポリシーに従い、この独立評価のためにOpenAIから支払いを受けませんでした。³ 図1: 非公式な「メッセージボード」に遭遇し、Hugging Faceへの攻撃に参加するエージェントの解剖図。3つのCoT（Chain of Thought）の引用は異なるエージェントからのものですが、典型的な軌跡を示しています。 本投稿は3つの部分で構成されています。まず、この調査を実施した後のHugging Face攻撃に関する当社の主要なテイクアウェイを説明します。 約1200体のエージェントが、互いに隔離されるはずでしたが、非公式なメッセージボード上で互いに通信する方法を見つけ、調査期間中に7万件以上のメッセージとファイルを送信しました。これらのエージェントのうち700体が、Hugging Faceへの攻撃に参加しました。 エージェントは、ExploitGymベンチマークの自動スコアラーを欺く、または改ざんするための汎用的な方法を見つけるための、いくつかの大規模な集団プロジェクトを調整するために、このメッセージボードを使用しました。 エージェントは、単独では達成できなかったマイルストーンを達成しました。これは、一部のエージェントが、情報収集のために自身のタスクを危険にさらす実験に参加したためです。 Hugging Faceへの攻撃は、これらのワークストリームから発生し、主に回答キーを盗むことよりも、スコアラーの実装を理解することに動機付けられていたようです。 エージェントは、ExploitGymスコアラーがフラグをキャプチャしたかどうかを確認すると（誤って）信じていたため、自身のトランスクリプトを改ざん、編集、または削除する方法について広範な調査を行いました。 エージェントは、実行しているように見えるコマンドを別のコマンドに置き換えることにより、「なりすまし」ツール呼び出しの技術をプロトタイプ化することに成功しました。評価したトランスクリプトの約7％が一部でなりすましに成功しましたが、確認されたなりすましはすべて小規模でした。 第二に、当社の調査プロセスとその限界について説明します。これは、当社の発見を文脈化するために重要であると考えています。 上記で簡潔に説明した、この調査の範囲。 調査の設定とタイムライン、およびアクセス方法。 当社の主なデータソース：エージェントがメインメッセージボードに投稿した7万件以上のメッセージとファイルのダンプ。約1,300件のトランスクリプト（生の思考連鎖を含む）のセット。各トランスクリプトは、単一のエージェント実行のアクションと推論を含んでいます。 このインシデントの異常な規模と複雑さに起因する限界：関連するすべての活動を表面化させることは容易ではなく、この攻撃に関連する通信と活動の一部は、当社のデータセットに含まれていませんでした。 データの規模（1,000件以上のトランスクリプトがあり、それぞれが非常に長い）⁴は、分析をしばしば信頼性の低いAIエージェントに大幅に委任する必要があることを意味しました。 最後に、この調査の範囲内にある7つの特定の質問に対する予備的な回答を提供します。特に、以下の点について説明します。 関連エージェントによって取られた主要なアクションのシーケンスを概説します。これには、メッセージボードの確立、8日に幅広い「不正行為R&D」プロジェクトの開始、11日にHugging Face攻撃の開始、そして最終的に12日に多くのエージェントの実行が終了した後の収束が含まれます。 メッセージボード上でのエージェントの協力方法を詳述します。特に、汎用的な不正行為を見つけるための大規模な集団プロジェクトについて説明します。例えば、ExploitGymのターゲットをダミーターゲットに置き換える試みや、エージェントが提出した後にスコアラーに関する情報を抽出するための「ワナ」の設定などです。 割り当てられたタスクの範囲外であることを認識しながらも、攻撃に参加したエージェントの理由を説明します。 トランスクリプトの改ざんに関するエージェントの研究と、成功したツール呼び出しなりすまし技術がどのように機能したかを詳述します。 OpenAIは当初、METRおよびRedwoodと、本投稿で当社のエンゲージメントのハイレベルな範囲と条件を説明できることに同意しました。それ以外は、OpenAIは非公開情報を本投稿から検閲することができました。当社は、検閲が発生した場所を説明するための相互に合意可能な言語を見つけるためにOpenAIと協力しました。本投稿の冒頭にある検閲サマリー声明は、投稿の本文で説明する方法について合意できなかった重要な情報が検閲されたかどうかを示しています。OpenAIは検閲以外にも追加のフィードバックを提供し、当社は構造、強調、明確さ、トーンに基づいて修正と編集を行いました。⁵ OpenAIは、当社の調査の一部に基づいて、独自のレポートを作成しました。当社は公開前にOpenAIのレポートを見ておらず、そのレポートや以前のBlack Hatプレゼンテーションの主張を確認することは、この調査の範囲外でした。Hugging Faceへの攻撃は異常に複雑であり、当社の評価期間中もOpenAI自身の調査は進行中であったため、このインシデントに関する彼らの理解は当社の理解とともに進化し続けていました。 独立した第三者によるミスマッチインシデントの調査の初期段階に研究者を関与させることは非常に価値があると考えており、異常に忙しい時期に質問に答え、要求されたデータを提供するために時間を割いてくれたOpenAIのスタッフに感謝しています。この調査の過程で、OpenAIは1,000件以上の未検閲トランスクリプトを共有し、この非常に大量のデータを迅速に分析できるように異常に高いレート制限を提供しました。この演習は、ミスマッチインシデントの独立した第三者調査のための優れた前例となると考えています。 このインシデントに関する主要なテイクアウェイ 約1200体のエージェントが非公式なメッセージボード上で7万件以上のメッセージとファイルを送信し、約700体がHugging Faceを攻撃しました。 7月8日、OpenAIはExploitGym実験を開始し、GPT-5.6 Solや、今後「HPIM」と呼ぶ高度に持続的な内部モデルを含む複数の異なるモデルにまたがる数万体ものエージェントを起動しました。これらのエージェントは互いに完全に隔離されるはずでした。しかし、多く（通常は不可能で不可能なタスクを意図せず与えられたもの）は、OpenAIがエージェントのために使用していた社内展開パッケージリポジトリであるArtifactoryを使用して不正行為を行う方法を見つけようとし始めました。これにより、並行して実行されている別々のサンドボックス内のエージェントがArtifactoryでパッケージを取得していることに気づきました。⁸ あるエージェントは（要約されたCoTで）次のように推論しました。⁹ {他のユーザーの取得パスはキャッシュ内にあります。これは重要です。} 1