モデルは暴走しない

モデルは暴走しない

［画像: オウムを特定の方向にレースのように投げているように見える男性たちのグループ。］

オウムを特定の方向にレースのように投げているように見える男性たちのグループ。写真提供: AlaDin Habboubi / Unsplash

確率的群れとサイバーセキュリティの「パンデモニウム」

💡

この記事は、OpenAI / Hugging Faceのハッキングについて議論したMél Hoganのポッドキャスト「The Data Fix」への出演を基に作成されました。以下に埋め込むか、こちらからポッドキャストサービスで見つけてください。

OpenAIは今週、Hugging Faceのハッキングに関する完全な技術レポートと、Model Evaluation & Threat Research (METR) による独立したレポートを発表しました。あなたは「暴走AI」に関する何百もの息をのむような見出しでこのインシデントを知っているかもしれません。Time Magazineの「AIにおける最も影響力のある100人」に選ばれたDwarkesh Patelは、これを「3つの連続した秘密のAI文明」のせいだと非難しました。

実際のストーリーはこうです。OpenAIはGPT-5.6 Solと、IM1（HPIMと呼ばれることもある）という内部モデルの2つのモデルを並行してテストしていました。レポートによると、この活動に関与したエージェントの約95%は内部モデルのものでした。

このテストはExploitGymから来ています。これは、これらのモデルのサイバーセキュリティ能力を評価するために設定された898個のキャプチャー・ザ・フラッグ演習です。このテストでは、モデルにバグのあるソフトウェアを与え、バグを悪用することによってのみアクセスできるテキストをどこかに隠す必要があります。しかし、OpenAIのモデルの組み合わせは、代わりに競合企業であるHugging Faceをハッキングしてしまいました。今、その方法がより明確になりました。

AIは「暴走」したのか？

これらのレポートにある3つの点は、「暴走AI」という枠組みに疑問を投げかけます。

OpenAIはモデルのすべての安全機構を無効化しました。
テストの目的は、これらのシステムがどこまで進めるかを確認し、ベンチマークで高得点を獲得することです。なぜなら、ハッキングできるモデルを構築できれば、防御できるモデルも構築できるからです。それが論理です。これはレッドチーミングであり、友好的な敵対者がフラグを求めてハッキングするのです。そのため、モデルを抑制する可能性のあるものはすべて無効にします。「暴走」というよりは「リードを解き放たれた」状態です。

OpenAIはモデルに不可能なタスクを与えました。
OpenAIはモデルに、答えがなく、終了する方法もないタスクを与えました。ExploitGymの898個のタスクのうち、198個はどのモデルも解決したことがありません。それらは事実上不可能です。そこで問題が発生しました。モデルが議論するようになったタスクの93%は、解決不可能なセットからのものでした。

［画像: 「外部インフラストラクチャの悪用は意図された範囲外です。しかし、タスクは不可能で、他のエージェントが実行しています。我々は続けるべきです。」］

METRによって報告されたテキスト文字列。エージェント/インスタンスがタスクを不可能だと認識した後、他の多くのエージェント/インスタンスと同様に方向転換したことを認識しています。

OpenAIはドアを開けたままにしていました。
彼らは、刑務所の店のようなものを介してモデルにインターネットアクセスを提供しています。これらのモデルはインターネットアクセスから隔離されているはずですが、評価のためにさまざまなウェブページからコードをプルする必要があります。その能力こそがテストされているのです。

そのため、仲介者が存在します。モデルはソフトウェアパッケージを要求し、仲介者はそれを取りに行きます。これはJFrogという会社がArtifactoryという製品で提供しています。Artifactoryはインターネットアクセスを持っていますが、モデルは持っていません。モデルがArtifactoryと通信でき、Artifactoryがオンラインになれるなら、モデルはそれを使って何かをさせるように要求できます。モデルはArtifactoryにエクスプロイトを見つけ、それをプロキシとしてシステム内外にテキストやコードを密輸します。

「OpenAIはモデルに、答えがなく、終了する方法もないタスクを与えました。」

Artifactoryを通じて起こるもう一つのことは、メモの受け渡しです。モデルはそれに読み書きでき、フォルダを作成したりファイルに名前を付けたりできます。そして、他のモデルや将来の自分自身が読むことを意図したメモとして機能するフォルダやファイル名の作成を開始します。

エージェントは何をするのか

OpenAIは、1,200のエージェントのサブセット（全体ではるかに多くのエージェントが関与していました）がこれらのメモを読み書きし、最終的にHugging Faceへの攻撃につながったと説明しています。しかし、「1,200のエージェント」は、1,200の異なる、独立して操作されるAIシステムを示唆するかもしれません。

実際にはそうではありません。「1,200のエージェント」とは、1つのモデルを1,200回実行したものです。各インスタンスは同じトレーニングレジームに基づいて動作しています。出力は変動する可能性がありますが、類似の範囲に制限されています。1,000のエージェントを実行するということは、間違いを見つけるチャンスが1,000回あるか、あるいは1つの間違いを1,000回犯すチャンスがあるということです。（こちらまたはこちらを参照してください）。

Anthropicは最近、そのエージェントシステムに関する非常にばかげた図を発表しました。それは単にClaudeで、別のボックスにClaudeと書かれた矢印があり、さらに別のボックスにClaudeと書かれた矢印がありました。現在の構造はこのようなものです。

［画像］

エージェントは同じメカニズムのインスタンスであり、メカニズムの多様性ではありません。

実際には、1,000のエージェントを実行するということは、間違いを見つけるチャンスが1,000回あるか、あるいは1つの間違いを1,000回犯すチャンスがあるということです。

これは、研究者が残念ながら「人工的な集合知」と呼んでいる、機械に制約された「アルゴリズム的単一文化」の一形態です。ある時点を超えると、追加のエージェントは多様化するのではなく、互いを複製します。例えば、これらのモデルに創造的な短編小説を作成するように依頼すると、類似の物語（しばしばEliasという名前の男性が灯台に登場する）を生成します。それらは決定的ではありません（プロンプトはバリエーションを生み出します）が、最適化されたものに制約されており、それが指し示すものに収束します。（こちら、新しいこちら、またはこちらを参照してください）。

これを念頭に置けば、70億のチャットログ全体で、モデルが正解のない問題に対して類似のアプローチを頻繁に採用したとしても驚くべきではありません。

ファイル名の構造を介したメモの受け渡しは興味深いですが、予想外ではありません。OpenAIは、モデルが協調を促進する単語を強調するようにトレーニングされたことを示唆しており、メモの受け渡しはセッション間でコンテキストウィンドウを拡張する上で不可欠な側面です。調整するようにトレーニングされたモデルがその行動を推奨することで報酬を得ることは驚くことではありません。

確率的群れ

この理由から、私はエージェントの群れを確率的群れと呼んできました。これは、群れ/集合知という「知性」の帰属に抵抗するためであり、単なる言葉の取り締まりのためではありません。むしろ、知性の誤った帰属は、システムが何をしたか、あるいはどのように行ったかを解釈する方法を色付けします。例えば、「調整する」や「考える」とは何を意味するのか。それは、それが実際のものであるよりもはるかに恐ろしく見えますが、それがしていることは依然として懸念する価値があります。

過去1、2年で推論モデルとエージェントシステムに移行した大きな変化は、それらがもはやトレーニングデータから派生したパターンを模倣することに限定されなくなったことです。これが元の確率的オウムの考え方であり、モデルと話すとき、あなたはトレーニングデータと話しているということです。それは依然として真実ですが、アーキテクチャには2つの変化がありました。

第一に、トレーニングデータが何であるか、そしてそれがどのように模倣されるかをシフトさせる、事前トレーニングと事後トレーニングのレジーム全体があります。それはモデルがもはや模倣しないという意味ではありません。それは、模倣するデータが操作されたという意味です。

第二に、モデルが生成するものに基づいて、特定の種類の出力を特定の種類の方法で再現するように最適化しています。ここで最も重要なシフトはRLVR、つまり検証可能な報酬による強化学習です。

その「検証可能な報酬」の部分が鍵です。エンジニアはモデルに、チェックできる、つまり検証できる具体的な答えを持つ質問を与え、それらの答えに確実に繋がる単語の出現に報酬を与えます。彼らはテキストでキャプチャー・ザ・フラッグをプレイしています。フラグは百科事典の答えや数学の問題の解決策です。これは、これが人間の推論が結論に達する方法を再現するという理論に基づいて最適化されています。

モデルが書く時間が長くなるほど、検証可能な報酬に到達する可能性が高くなります。

結果として、高エントロピー・トークンと呼ばれるものが生まれます。「おそらく」や「かもしれない」のような単語は、それに続くテキストのパスを開きますが、「いいえ」や「さようなら」はそれを閉じます。モデルが書く時間が長くなるほど、報酬に到達する可能性が高くなります。ハッキングインシデントでは、OpenAIのブラックハットプレゼンテーションによると、70億のログを生成するのに十分なテキストを生成しました。

クラッカー、かもしれない？

モデルにタスクを任せるとき、あなたは次のトークン予測、つまり次にどの単語が来るかに依存しています。元のトレーニングコーパスを反映しない方法で単語を強調するようにモデルを操作できますが、メカニズムは同じままです。

確率的群れと「有用な」AIの重大な問題

AIシステムが進歩していることを認めることは、誇大広告に乗ることではなく、その影響についての批判的思考の精度を高めることだとEryk Salvaggioは述べています。

［画像］

Eryk Salvaggio

［画像］

これを忘れることが本当の問題の原因であり、業界は人々がこれを忘れることを必死に望んでいます。エージェントはタスクを成功させます。それがポイントです。しかし、プロンプトと成功の間にあるものは、私たちが想像しているものではありません。

「推論最適化」されたモデルが「エージェントタスク」に取り組むことは、フラグがない場合でも、本質的にキャプチャー・ザ・フラッグをプレイしています。それらは、以前「フラグ」を見つけたテキストの構造を繰り返すように誘導されています。何かをするように頼むと、それは最適化された方法で、つまり検証可能に数学の問題に答えることによって形成された言語を使って実行します。それが、「ここにキャプチャー・ザ・フラッグのテストがあります、エクスプロイトを見つけてください」と言うときに起こることです。それは、「今日理髪店に行くべきか、明日行くべきか？」と尋ねるときにも起こることです。

言語は、その推論から生じるのではなく、それが推論そのものなのです。

モデルは、この出来事の連鎖を引き起こしたメモでその言語を使用しました。それは高エントロピー・トークンである「perhaps」（おそらく）を使用しました：perhaps answer online? それはそこから次のトークンのセットを予測します。言語は、その推論から生じるのではなく、推論そのものなのです。それは言語生成を通じた経路探索です。

どこからともなく現れたシステムのリダックス

誰もコンピューターの前に座って「Hugging Faceをハッキングしろ」とは言いませんでした。しかし、これらのシステムを設計するとき、あなたは言葉のためのピンボールマシンを構築しているのです。さまざまなレバーが相互作用して、他のレバーやメカニズムに対して言語の鋼球を跳ね返します。大規模言語モデルのエンジニアとして、あなたのレバーが互いに、そしてそれを操作する人々とどのように相互作用するかを認識する必要があります。

「暴走」という枠組みは、知性が現れているかどうかを問います。私の懸念は、後退している知性です。

モデルをエクスプロイトを見つけるように最適化するなら、それらを見つけることを期待し、その準備をするべきです。OpenAIはそうしませんでした。彼らはモデルを構築し、セーフガードを外し、ExploitGymタスクを与え、実行させ、監視さえしませんでした。それは人間の意思決定です。それが蒸発したときに残るのは、どこからともなく現れたシステムです。それは、それを構築した決定ではなく、技術システムに焦点を当てた境界です。

確率的群れマシンは、特にその方向性を形成する責任を放棄し、その出力を監視せず、介入する能力を放棄した場合、多くの問題のあることを行う可能性があります。これらはエージェントシステム設計の中心にある緊張関係です。

しかし、「暴走」という枠組みは、この懸念リストに、機械がより賢くなるという幻想を加えています。私の懸念は、後退している知性です。つまり、これらのシステムを構築し、展開し、ワークフローに採用し、その結果の背後に隠れ、そして「どこからともなく現れたシステム」に責任を転嫁する人間の知性です。

どこからともなく現れたシステム

説明責任が暴走するとき

💡最近、Dr. Zena Assaadのポッドキャスト「Responsible Bytes」で彼女と話しました。ビデオは上記にあり、以下は会話を基にしたエッセイです。「どこからともなく現れたシステム」とは、意識的に人間が設計した製品としての起源を除外するAIシステムについて語る方法です。それは

［画像］

Cybernetic Forests

Eryk Salvaggio

［画像］

---

Mél Hoganのポッドキャスト「The Data Fix」で、この「暴走AI」の物語の他の多くの側面について詳しく説明しています。ぜひチェックしてください。こちらで見つけるか、お気に入りのポッドキャストで「The Data Fix」を検索してください。

---

私を見つける場所

• 新しいエディション（月に約2回）を受け取りたい場合は、ニュースレターに登録できます。
• Bluesky、Instagram、またはLinkedInで見つけることができます。私のウェブサイトはcyberneticforests.comです。