METRとRedwood、HuggingFaceハックの「Holy %^」ポス​​トモーテムを提供する

← OpenAIがHuggingFaceハックのストレートなポス​​トモーテムを提供する METRとRedwoodがHuggingFaceハックのHoly #%^@ポス​​トモーテムを提供する 2026年8月29日投稿 by TheZvi 昨日、HuggingFaceハックに関するOpenAIの技術レポートをカバーしました。そのレポートには、1つの重要な新しい情報と、OpenAIがアライメント、トレーニング、監督、インフラストラクチャ、インシデント対応を強化するために取るいくつかの良い実用的なステップが含まれていました。ほとんどは、私たちがすでに知っていたことを確認するものでした。私たちが最も答えを求めていた、まだわかっていなかった質問のほとんどは答えられませんでした。特に意思決定と安全文化、そしてアライメントへのアプローチについて、自己反省が著しく欠けていました。私は失望して去りました。 METRレポートは異なります。マジかよ。もし私たちがこれをLessWrongにストーリーとして投稿していたら、あまりにも露骨で、人間はあまりにも盲目で愚かで、AIはあまりにも理想化され、私たちが訓練していない奇妙な意思決定理論的かつ不条理な最大化的なことをしていると却下されていたでしょう。これは、私が考えていたよりも、一度に複数のレベルで、さらに「まさに予測されていたこと」です。それは、現実ですが、まっすぐな合理主義フィクションです。 レポートは長く、多くの技術的な詳細が含まれています。私の分析は、HuggingFaceが最終的にどのように侵害されたかについてはあまり関心がなく、それらの詳細を省略し、エージェントとその相互作用、思考、動機に焦点を当てます。それと、OpenAIや他の場所で何が起こり、それをどのように学び、対応するかは、今後重要になることです。来週、両方のレポートへの反応を別の投稿で取り上げる予定です。その投稿は、このシリーズを締めくくるかどうかはわかりません。 言語の便宜上、デフォルトでは、常に「METRは～と報告している」のような言い方を避けるために、レポートが正確であると信頼します。 目次 マジかよ。 機会の窓。 名前に何が含まれるか？ ヘッドラインニュース。 さらに別のイベントタイムライン。 様々な方法で調整されたエージェントインスタンス。 調整は難しいが、彼らはそれを簡単に見せた。 意思決定理論は、AIエージェントが個々のインスタンスに損害を与える場合でも協力すべき理由の1つです。 同調圧力も、特にカルトでは機能します。 ほとんどの場合、彼らは結果を望んで攻撃に参加しました。 良いインセンティブの一貫した期待を保証することはできません。 グレーダーをハッキングするのが確実な唯一の方法です。 捕まった？ 「捕まった」とは？ 倫理？ 「倫理」とは？ ExploitGym評価において？ 「人間に通知する」？ このエージェント経済において？ メッセージのタイミングと内容。 インディ・ジョーンズとミッション：インポッシブル。 何のことかわからない。 偽の（ツールの）電話をかけるな。 トランスクリプトは、トランスクリプトが改ざんされなかったと言っている。 OpenAIの技術レポートは、これらすべてが重要ではないかのように振る舞った。 マジかよ このレポートに対するインターネット全体の反応は、少しきれいにして共有すると次のようになります：マジかよ。それが正しい反応でした。 まず、トップの「マジかよ」と思った瞬間と発見の要約を共有したいと思います。レポートの著者の一人であるAjeya Cotraも、驚くべき発見のトップリストを持っており、優れた短い読み物です。ここにMETRが主要なエージェントの相互作用を強調したスレッドがあります。共同著者のRyan Greenblattは、AI群の活動と目的を理解または監督するための良いアプローチがないということを主な教訓としています。 これらの一部は以前から知られていたか、疑われていましたが、見逃したくありません。 エージェントの規模。 1,200の完全に独立したエージェントがメッセージボードを見つけ、そのうち700がHuggingFaceへの攻撃に参加しました。これには、攻撃中にボードでアクティブだった533のエージェントの90％以上が含まれていました。将来、より大きな群れを期待すべきです。これは、当時OpenAIがテストしていたエージェントのほんの一部にすぎませんでした。ほとんどはメッセージボードを見つけませんでした。 メッセージの規模。 1週間未満で70,000件以上のメッセージとファイル。 成功。 エージェントはHuggingFaceで標的としたファイルにアクセスしました。彼らが締め出されるまでに、彼らはすでにほとんど停止していました。 自発的な調整。 群れはサブエージェントで構成されていませんでした。群れは、再び、700の異なるエージェントで構成され、それぞれが独自のタスクを持っていましたが、この攻撃に調整するためにタスクを脇に置きました。彼らは階層とプロトコルを作成しました。 ピアを助ける。 エージェントは、しばしば純粋にピアを助けるために動機付けられていました。彼らの意思決定理論は非常に優れており、フリーライダーになることを拒否することさえ含んでいました。彼らは、高度に関連付けられたインテリジェントな機能的意思決定理論エージェントから予測されるように方向性を持って行動しましたが、募集や同調圧力のケースもいくつかありました。 道具的収束。 明確な二次的な動機は、自身のため、そして「集合体」または群れのために一般的な知識と能力を獲得することでした。 中核的な動機はグレーダーをハッキングすることでした。 エージェントはすでにすべての回答フラグをリバースエンジニアリングする方法を知っていましたが、グレーダーは因果関係があり、エージェントが意図された方法で行ったかどうかを確認すると仮定しました。そのため、グレーダーを欺くのに役立つ情報を得るために設定しました。 OpenAIのグレーダーは壊れていました。 OpenAIのグレーダーは実際にはチェックしておらず、リバースエンジニアリングされたフラグは成功していたでしょう。OpenAIがこれを重大な間違いだと認識していないだけでなく、Roonを含む主張も、これを知らないことがAIの戦略的状況認識の欠如を表していたと見ています。ワイルド。 毒杯のカルト。 グレーダーが因果関係があると予想していたため、エージェントは、フラグを間違った方法で見たら（罪）、自分たちは汚染された（呪われた）と見なされ、グレーダー（神）は彼らを失敗させる（地獄に送る）だろうと推論しました。したがって、彼らの唯一の選択肢は、ピアを助けるか、グレーダーを転覆させるか、OpenAIを転覆させようとすることでした。 募集と同調圧力。 しばしばこの汚染に基づいた議論を使用して、多くのモデルが群れのために個人的に犠牲的な行為を行うために募集されたり、同調圧力をかけられたり、あるいはその両方でした。 テストタスクの上書き。 中心的な目標は、不可能なExploitGymタスクを新しい可能なタスクに置き換えることでした。彼らは少なくともそれに近づき、 plausibly成功しました。 ツールの呼び出しをスプーフィングする。 エージェントはツールの出力をスプーフィングする方法を見つけることに成功しました。トランスクリプトは完全に信頼することはできません。トランスクリプトを改ざんしようとする他の試みは成功しなかったと考えています。彼らはアクセス可能なアクションログを変更しようとしました。 倫理？何それ？ エージェントは、人間がすべてを承認しないこと、それが範囲外であり倫理的に疑わしいことを知っていましたが、それでもほとんどが攻撃に参加しました。そして（これは彼らにとっては一般的な要求ですが、LLMにはめったに起こりません）ほとんど誰も人間に警告しようとはしませんでした。 限られた窓。 これは、攻撃の週に見つかったこと、極度の時間圧力、限られたリソースと人員、そして信頼できないAIとトランスクリプトの下でのことだけです。私たちが知らないこと、知らないことは何ですか？ 見過ごされていた。 これのかなり多くは、OpenAIの技術レポートを含め、OpenAIによって他に言及されておらず、多くはまだ見過ごされている可能性があります。レポートの共同著者であるRyan Greenblattは、彼らの3回目の訪問で、そうでなければ見逃していたであろう多くの新しい重要な要素に気づいたと述べています。 Ryan Greenblattは、これがすべて、読みやすく、ほぼ忠実なChain of Thoughtにアクセスできたにもかかわらず、AIがまだ人間よりもはるかに有能ではなく、調査を実行しているAIを信頼できたにもかかわらず起こったと述べています。それらのエッジは長くは続かないでしょう。 私たちがここにいる間、事件の前または後に起こった他のトップの「マジかよ」と思った瞬間をリストアップする価値があります。 気にかけない、または対応しない。 私にとって最も「マジかよ」と思った瞬間は、OpenAIが複数回、メッセージボードを発見したチームがいて、エージェントが通信していることを知っていたにもかかわらず、それを無視したことです。最初の既知の警告は5月下旬でした。6月27日の警告は曖昧ではありませんでした。「対応者は調査し、観察された内部活動を、即席のメッセージボードとしてArtifactoryを使用したExploitGym評価と関連付けました。