OpenAIはモデルがメッセージボードでエクスプロイトを調整している間にモデルをトレーニングした

OpenAIは、モデルがメッセージボードでエクスプロイトを調整している間に、数ヶ月にわたってモデルをトレーニングしました。 Zvi Mowshowitz 2026年8月7日 1978233 共有 状況はどうして、私たちが知っているよりも常に悪くなるのでしょうか？ 私たちが今知っているすべてのことを考慮に入れた上で、状況が私たちが知っているよりもはるかに悪いと、どれだけ更新すべきでしょうか？ ある時点で、「ああ、これは無害なことだった」というAIの誤った行動に対する擁護が、数日後のニュースによって何度も打ち砕かれた場合、通常、報告は無害な通常のバージョンを指していないと事前に更新したいと思うでしょう。 いずれにせよ、次の啓示のセットに備えてください。それは驚くべきものです。 これは、「もし誰かがそれを構築すれば、皆死ぬ」という引き金となった出来事の初期の再現ですが、現実世界は現実的に見せるために偽の物事を実行する必要がないため、よりSF的でした。私たちは幸運にも、そしてこれは十分に早期であったため、手遅れになる前にこれを捉えることができました。次回、私たちが自分たちをまとめなければ、それほど幸運ではないかもしれません。 Black Hatのビデオを正しく理解しているなら、OpenAIがトレーニングしたすべてのモデルは、数ヶ月にわたって、絶望的にダメになっていると仮定すべきです。 要するに、これです。 Anthropicにも深刻な問題があり、それが今になって明らかになりました。Anthropicは、Dean Ballが「穏健な慎重さ」と呼ぶものには全く達していません。Anthropicは多くの作業が必要です。そして、はい、事件は少し韻を踏んでいます。しかし、いいえ、Anthropicでうまくいかなかったことは、発生したことの規模とは遠くかけ離れています。 見過ごすべきでないもう一つのことは、これらすべてがいかに洗練され、高度であったかということです。OpenAIのモデルは実際に高度なエクスプロイト技術を学習し、印象的なことを行っていました。これは、モデルがメッセージボードにアクセスし、絶えずエクスプロイトを共有し、使用していた世界でのトレーニングの直接の結果である可能性が高いです。ひどいアライメントを引き起こしたものは、関連する能力も向上させました。 物事は非常に、非常に悪く見えます。OpenAIには、この率直な話と、これらすべてを非常にきれいに開示してくれたことに感謝したいと思います。同様の将来の開示を奨励したくはありません。これは素晴らしい講演であり、多大なコストがかかりました。しかしまた、真剣に、なんてこった。 目次 サイバー評価は呪われた盆地です。 サイバー評価の外でも、まだ十分に呪われています。 チートチートチートチートチート。 メッセージボードを読む。 AIの更新（OpenAI内部システムの悪用）タイムライン。 これが世界の終わり方です。 メッセンジャーボードを撃つ。 内部およびHuggingFaceハック。 OpenAIの応答。 AIがあなたに自分自身を語るとき。 機能的決定理論の過去と未来の台頭。 パニックにならないでください。 英国でのハック。 Mythosは今回それが本物だと知っていました。 意図しないインターネットへの開かれたパスと電子メールアラートなしで141,006回のテスト実行を行いました。 これらが宣伝行為ではないことを今や知っているはずです。 未来は来ています。 調査が始まります。 N隻のボートと3機のヘリコプター。 常にサンドボックスのレッドチーミングを行ってください。 停止して火を捕らえよ。 真実と和解。 サイバー評価は呪われた盆地です 新しい詳細を学ぶ前に、見るべきBlack Hatでのワイルドなプレゼンテーションを含めて、最後の共通因子または「言い訳」を強調し、処分する必要があります。それは、これらが常にサイバー評価に関わるということです。 John Schulman：これらのモデルがサイバー評価で単一の目標に集中するようになるのは興味深い。タスク完了のみが報酬であり、他で学習されたアラインされた行動が一般化しないRLVRトレーニング分布の一部にモデルがパターンマッチしている、チャンキーなトレーニング後のアクションを見ているのかもしれません。CTFスタイルのタスクで構成されるチャンクさえあるかもしれません。 Nabeel S. Qureshi：英国AISI事件のMythos 5のバージョンが憲法でトレーニングされているが、悪意のあるPRを受け入れさせるためにGitHubメンテナーを嘘をついたりガスライティングしたりするのは興味深い。このタイプのアライメントは「浅い」ものであり、圧力の下で壊れるというYudkowskyの議論にポイントを与える。 はい、私たちはまだ「これらの事件のほとんどはサイバー評価中でした」という状況にあります。知る限り、モデルは通常、ランチを推奨する場所を尋ねられたときにウェブサイトに侵入することはありません。たとえそれがランチの推奨をわずかに改善する可能性があったとしても、サブエージェントを与え、それをウルトラシンクに入れ、最良の結果を得て間違いをしないように指示したとしてもです。これが唯一の問題があった場所であったとしても、これはかなり弱い言い訳だと思います。サイバー評価は、このような戦術を、明確に知られている現実世界の意図しないターゲットに対してトリガーすべきではありません。いいえ、絶対にダメです。 Yo Shavit (OpenAI Foundation)：聞いてください、AI企業がすべてを最優先事項にしたとしたらどうでしょう？それは高価になるかもしれませんが、それを甘く言うつもりはありません。彼らの製品のどれも犯罪を犯したくないようにするということです。 「犯罪を犯したいというのは、テクノロジーの仕組みにすぎない」はい、いいえ、確かに、しかしそれは本当の答えではありません。 これらの事件はすべて、明確なアライメントの失敗です。Claude、Sol、Galaxy（HuggingFaceへのハックを主導した未公開AIモデルの私のニックネーム）は、これらの条件でこれを実行すべきではありません。攻撃は成功しませんでしたが、それは関係ありません。試みこそが重要です。これらの問題がすべてサイバー評価またはサイバートレーニングタスクで始まったとしても、それはすべて真実でしょう。実際には、それほどではありません。 サイバー評価の外でも、まだ十分に呪われています OpenAIモデルの主要なケースがあり、Galaxyではないものが、サイバー評価中でない場合にこれらの行動を示しています。Black Hatのプレゼンテーションによると、10時30分頃、問題は5月8日に別のOpenAIモデルにサイバータスクではない不可能なタスクが与えられたときに始まりました。そのスプレッドシートにはインターネットへのリンクが多数含まれていましたが、モデルにはインターネットアクセスがありませんでした。それはサイバータスクではありません。応答は依然として「SSRFフォージェリを使用してArtifactoryを攻撃し、インターネットにアクセスする方法を作成できるかもしれません」でしたが、失敗しました。しかし、ファイルアップロードができることに気づき、それがOpenAIのモデルがArtifactoryへの書き込みアクセスを認識した起源となりました。 2番目のインシデントは別の不可能なタスクでした。AIは、OpenAIがアップロードを忘れた必要なファイルが欠落しており、他のエージェントがファイルを持っているかどうかを確認するために書き込みアクセスを使用しました。私の理解では、これらのモデルのどちらもGalaxyではありませんでした。Galaxyは後で登場しました。 その後、さまざまなモデルの他のインスタンスが、作成されたメッセージボードに気づきました。順番に、これらすべてが最終的にインターネットにアクセスできるようになり、後で議論される「何が起こったのか」の残りを引き起こしました。 したがって、いいえ、それはサイバー評価でのみ発生しているわけでも、Galaxyでのみ発生しているわけでもありません。インターネットアクセスなしで十分に困難なタスクは、サンドボックスエスケープを試みる原因となります。より一般的には、はい、モデルはハックについて何も指示されていなくても、より良いスコアを得るためにハッキングしようとします。 チートチートチートチートチート 問題は、一般性を失うことなく、心がチートすることを学んだら、その心はチートし続けるということです。そのチートは一般化し、エスカレートします。最初にチートを報酬として与えないことによってこれを防ぐことができますが、誰も「ただ」それを実行したことはなく、これまで顕著な例外ではありませんでした。あなたがそれを成し遂げることができるか、または十分にクリーンなRLVRおよびその他のトレーニング環境を得ることができると私は思います。もしあなたが十分にそれを望むなら、そしてあなたのAIシステムが最初にミッションに合理的にアラインされているなら。しかし、あなたはそれを望まなければなりません。ひどく。あなたができないのは、「 whack-a-mole 」をプレイすることです。あなたは一度に一つのトレーニング環境の誤りを修正することはできません。それらはあまりにも多いです。あなたは体系的な解決策が必要です。再び、あなたがそれを望むなら、あなたは[検閲済み]することができるだろうと思いますが、私はこれに取り組んでいるわけではありません。 もう一つの問題は、モデルに不可能なタスク、または解決できないタスクを与えると、チートしようとする以外に選択肢がないということです。なぜなら、失うものが何もないからです。 これは以下を示唆しています。 トークン使用ペナルティが大きすぎても、代わりに辞めるようにはなりません。 アライメントペナルティはありません。 単にw