CoTモニタリングの脆い基盤
The fragile foundations of CoT monitoring (web.stanford.edu)
要約
この記事は、AIの推論過程を追跡するChain of Thought(CoT)モニタリングの現状と課題について論じています。CoTはモデルの性能向上に役立つものの、そのモニタリングへの依存は脆く、AIの安全性のためには内部状態の理解など、より包括的なアプローチが必要であると主張しています。また、モデルが生成する推論テキストが必ずしも真の計算過程を反映するとは限らないという、欺瞞的なCoTの脅威についても指摘しています。
全文翻訳
CoTモニタリングの脆い基盤
[画像: 壁に掛けられた、非常にピクセル化されて読みにくい落書きと、同じ壁に取り付けられた3台の非常に古いように見えるテレビ]
Credit: Art Potts
先週、Chain of Thought(すなわち、推論チェーン)のモニタリング可能性に関するワークショップに参加しました。このトピックに取り組んでいる最も影響力のある研究者や「テクニカルスタッフ」のメンバーの多くが出席していました。私はそこにいられたことを幸運だと感じています。なぜなら、CoTモニタリングについて私が知っていることのほぼすべては、Peter Hase氏から学んだからです。しかし、私は解釈可能性(interpretability)について広範に研究しており、解釈可能性がCoTモニタリングを改善または補完するという一般的な期待があるように思われますが、この関係は複雑です。以下で議論するように。
ワークショップでは多くのことを学び、考えるべき多くのことを持ち帰りました。この記事は、コミュニティのアウトサイダーとしての私にとっての主な学びを要約し、体系化しようとするものです。
- CoTとモニタリング:不安定で不均一な同盟
- すべての計算を言語化することを保証できるか?
- 欺瞞的なCoTの脅威について
- 知識の否定は安全なモデルへの道ではない
- CoTモニタリングはHugging Faceに対するOpenAIの攻撃を検出できたか?
- 結論
- 2026年8月9日更新:OpenAIの報告により、CoTモニタリングは冗長な信号しか提供しなかったと結論付ける
CoTとモニタリング:不安定で不均一な同盟
ワークショップグループの一般的なコンセンサスは、CoTがモニタリングの基盤を提供しているのは幸運なことであり、それはその目的で発明されたわけではないということのようでした。
CoT推論は、主にモデルを困難なタスクでより良くするために開発されました。この仮説は、CoTをプロンプティング技術として導入した古典的な論文:Wei et al. 2022に遡ります。通常のストーリーは、現在のLLMは固定された深さを持っているため、出力前に計算を実行する能力は非常に限られているということです。モデルが最終的な回答を生成する前にトークンを生成できるようにすることで、よりオープンエンドな計算形式でモデルを豊かにします。Wei et al.にとって、CoTは純粋なプロンプティング技術でしたが、2024年9月にOpenAIのo1モデルがリリースされたことで、トレーニング後のプロセスへと格上げされました。
Wei et al.は性能向上に焦点を当てていますが、CoTは「モデルの動作への解釈可能な窓を提供する」と述べており、「回答をサポートするモデルの計算を完全に特徴付けることは未解決の問題である」という注意書きが付いています。これは、Korbak, Balesni, et al. 2025の議題論文「Chain of Thought Monitorability: A New and Fragile Opportunity for AI Safety」におけるモニタリングの完全なプログラムとなりました。(この論文の起源と先行研究についての議論は、Peter Haseと私によるこちらの投稿を参照してください。)
Korbak et al.のタイトルの「脆い機会」というフレーズは、彼らの提案の精神を捉えているようです。CoTが時間の試練に耐えてきたのは、透明性を高めるためではなく、能力を向上させるためです。さらに、この2つの目標は必ずしも一致していません。いくつかの最近の論文(Kirchner, Chen, et al. 2024; Guo et al. 2025)では、透明性がCoTの効果に対する税金になる可能性さえ示唆されています。AIビジネスについて特に皮肉的になる必要はありませんが、いざとなれば、能力の進歩は透明性の向上よりも優先されると結論付けることができます。
全体として、CoTを監視できることは有用であることに同意します。しかし、この同盟の脆さは、CoTへの安全保障上の依存を減らし、CoTが有用でなくなる将来に備えるべきだと感じさせます。この記事の次の2つのセクションは、この結論に追加の動機を提供します。
すべての計算を言語化することを保証できるか?
ワークショップにおけるもう一つの著名な立場は、上記の議論に関連していますが、興味深いことに区別されています。それは、モデルがCoTに反映されないいかなる計算も実行するのを防ぐことが有用であるという考えです。誰もこれが完全に達成可能であるとは期待していませんが、安全性を向上させるために、それに近づくことを好む人もいるようです。
私の理解では、議論は以下のようになります。モデルが入力Xを受け取り、内部計算Cを実行し、トークンを生成する前に最終的な回答Aに到達し、その最初の生成トークンがAを表現するとします。計算Cは私たちから隠されており、これは私たちを不安にさせる可能性があります。例えば、Aが正しかったとしても、それは誤った推論に基づいている可能性があり、それはモデルが他の関連する入力X'でどのようにパフォーマンスを発揮するかについて私たちを不安にさせるかもしれません。
一つの対応策は、モデルにCoTを生成させることですが、それは最終的な回答についての「なぜそうなったのか」という物語のようなものです。このアイデアに対して、参加者から多様な反応がありました。一般的に、人々はそれが不正確または誤解を招くものだと考えているようでした。CoTは、モデルが最終的な回答を生成する上で因果的に関与しているはずです。私のシナリオでは、それは規定によりそうではないため、CoTはヌルであるべきです。私の考えでは、これはCoTの元の動機である能力志向への忠誠心を反映しています。また、このグループが推論が出力にどのように影響するかについての因果理論の詳細を詰めることよりも、ベンチマークパフォーマンスにより関心があるように見えたため、この異議を唱えることは、その事実と整合させるのが難しいと感じました。既存の文献は、この理論を解明することが容易ではないことを示唆しています(特にYu et al. 2026; Gur-Arieh et al. 2026を参照)。したがって、それを当然のことと見なすことは絶対にできません。
上記のアイデアのバリアントはどうでしょうか?モデルに回答後に説明を生成させる(Chen et al. 2023)。ここでは、説明は推論チェーンや計画として提示されないため、モデルの応答におけるその役割についての因果関係を示唆しません。このアイデアに対する熱意は比較的少なかったようですが、その正確な理由はわかりません。私自身は、これらの事後合理化の真実性について懸念するでしょう(人間について知っていることを考えると深い懸念です。Nisbett and Wilson 1977)。しかし、他の人々は、このアイデアの根本的な問題よりも、既存のモニターをこの新しいシナリオに適応させる方法について、より懸念しているようでした。
したがって、監視対象のテキストと回答の間に因果関係を要求し、テキストが監視の唯一の基盤であると考えるなら、モデルはすべての思考をCoTで行うべきだという提案に追い込まれます。すべての計算を言語化すること!参加者の中には、再帰的なアーキテクチャの禁止を主張する人もいました。なぜなら、それらはトークンを生成しないオープンエンドな計算形式を作成することで、推論の必要性を排除するからです。
私の投票は、代わりに内部状態を監視するためのより良いツールを開発することです。解釈可能性の研究はその出発点を提供します。この方向への移行は避けられないようです。すべての計算がトークンに反映されるという理想は達成可能ではないことに同意します。入力処理のフォワードパスは豊かな計算であり、推論自体も、トークンから読み取れるものよりもはるかに超える可能性のある豊かな内部計算を実行する一連のフォワードパスです。したがって、これらのモデルの内部表現と計算を深く理解する方法を見つけなければなりません。さもなければ、必然的に何かを見落とすことになります。
(この結論について少し葛藤を感じていることを言っておくべきです。インタープ研究者が「インタープだけが救世主になれる」という結論に達したのは、おそらく驚くことではありません。私の弁護として:簡単だとは思いませんし、既存のインタープツールキットで十分かどうかについてもあまり自信がありません。内部状態がより信頼性が高く包括的な画像を提供するであろうことは明らかであるように思えます。)
欺瞞的なCoTの脅威について
モデルにすべてを言語化させるというこの推進力は、推論中に生成されるテキストが、モデルが行ったことの正確で有益な説明であるという仮定に依存しています。これは非常に shaky な仮定です。最近の研究(例:Turpin et al. 2023; Baker, Huizinga, et al. 2025; Chen et al. 2025)から、モデルは出力の真の原因を反映しない推論を生成できることがわかっています。
ワークショップの誰もがこれらの結果を鋭く認識していました。しかし、驚くべきことに、彼らは、現在のモデルはこの種の欺瞞に長けていないため、特に心配していないようでした。この返答は私には非常に驚きです。私たちは皆、AIの進歩は速く破壊的であり、今後もそうであり続けることに同意しています。むしろ、ワークショップの参加者は、平均して、私よりも進歩に対して楽観的(したがって、より心配)でした。したがって、現在の利便性と prevailing good fortunes への彼らの訴えは、私には一貫性がないように思えます。おそらく、多くの人が現在の最先端モデルの対応の最前線にいるという事実の結果であり、それは将来の脅威を心配するだけでなく、ストレスが多く不確実であるに違いありません。
CoTモニタリングの正確な問題を明確にするために:最も懸念される状況は、モデルが問題と見なす計算Cを実行するが、Cが推論に全く反映されない場合です。これは、(1)推論の前にCを実行した(上記の言語化のセクションを参照)、または(2)推論中にCを実行しているが、Cを透明に記述するトークンを生成していないためです。
シナリオ(1)については、内部状態を評価できる方法が必要です(前述のように議論しました)。シナリオ(2)については、トークンレベルの分析が有益であるように思われます。関連する証拠は非常に微妙かもしれませんが、モデルの出所を特定するシグナル(Kuditipudi, Huang, Zhu et al. 2025)や、潜在的な学習(Cloud, Le, et al. 2025)を駆動する効果に似ています。
これに関する最後の注意点:ワークショップの参加者は、CoTが欺瞞的でないことを保証するためのトレーニング方法を見つけることにも楽観的でした。分野がこれに進歩することは確かですが、これがCoTモニタリングとどのように関連するかを慎重に検討すべきです。これは、モデル開発者とモニター開発者が共通の目標を共有するコンテキストでのみ関連性があるように思われます。関係が敵対的である場合、CoTは欺瞞的である可能性があるという仮定を立てるべきです。トレーニング技術は常に不完全であるため、個人的には非敵対的なコンテキストでもこの仮定を維持します。ここでも、これらの考慮事項は、信頼性の高いモニタリングへの唯一の道として、内部状態の分析を指していると思います。
知識の否定は安全なモデルへの道ではない
ワークショップ参加者の支配的な態度は、トレーニング中に私たちが好まない特定の情報へのアクセスをモデルに拒否することで、より安全なモデルを達成できるということだったと言っても過言ではないでしょう。
私はこれが根本的に間違っていると思います。悪い行為の知識を持たないエージェントは、世界を部分的にしか理解していないナイーブなエージェントであり、したがって悪いことを行うために簡単に利用されます。いくつかの非常に適切な例があります。
- 子供たちが罵倒行為とそのような行為の社会的影響にさらされることは、彼らがこの社会的および言語的な現象についての深い知識を獲得するために不可欠です。これを行わない場合、彼らは問題のある方法で罵倒する可能性があり、他人が罵倒で意図することを認識できないでしょう。子供たちにこれらの行動を教える方法は、彼らが決して罵倒したり罵倒を聞いたりすべきではないかのように振る舞うことであるため、このことについて混乱するのは簡単です。しかし、その見せかけ(そしてそれに伴う暴露)が教訓なのです。
- 上記はより重大な行動にも当てはまります。エージェントが悪いことやその結果について知識を持っていない場合、エージェントに悪いことをするように説得するのは容易です。(Robot & Frankという魅力的な映画をお勧めします。これは、ロボットが高齢者にコンパニオンを提供する未来を想像しています。主人公のフランクは、家族が購入時にそのアップグレードに費用をかけなかったため、ロボットが法の知識を持っていないことに気づきます。彼はすぐにそれを強盗の手助けに利用します。)
- コンピュータシステムの脆弱性を見つけて修正することに関して、すべての防御能力は攻撃能力でもあることを、私たちは皆認識し始めています。脆弱性を見つけることは、それがどのように悪用されるかを理解することです。したがって、モデルに悪意のあるエクスプロイトの知識を否定することは、より安全な防御者を生み出すのではなく、より悪い防御者を生み出します。(これは、次のセクション(攻撃)に直接関連することが判明します。)
さて、モデルには悪いことについて教えられるべきだが、理想的には、それらが推論中にそのような悪いことを考慮しないべきだと同意するかもしれません。私はこれも間違いだと思います。新しい状況に対処するには、仮説を検討し、その結果を推論する必要があることがよくあります。これらの推論パスは、エージェント自身の行動を導き、ユーザーが何をしようとしているのかをモデル化するのに役立つ可能性があります。そこには問題のあるものが含まれる可能性がありますが、それをブロックすると生産的なプロセスがショートカットされる可能性があります。(トレーニングデータフィルタリングとすべての計算をCoTで外部化することに関連するこの可能性についての非常に興味深い議論については、Westover 2025を参照してください。)
現時点では、上記は推測的であるように思われることを認めます。現在のモデルでは、トレーニングデータから望ましくない情報(トークンまたは例)を単純にフィルタリングするだけで、それらの問題のある動作を示さないモデルにつながる可能性があります(Rathi and Radford 2026)。しかし、私はこれをこれらのモデルの推論能力に対する非難と見なします。私たちは、生物学の知識を持つモデルが、たとえすべての生物兵器情報がトレーニングデータから削除されていたとしても、効果的な生物兵器に関するアドバイスまで推論できる将来を計画すべきです。この推論が高価であるかどうかは私にとって重要ではありません。なぜなら、災害に必要なのは、大規模なトークン予算を持つ動機付けられたアクターが一人いるだけだからです。
私はこれを「ウォルター・ホワイト問題」と考えています。ドラマ『ブレイキング・バッド』で、ウォルター・ホワイトは世界クラスの化学者です。彼の専門知識の結果として、化学について推論する追加の労力なしに、彼はメタンフェタミンを作成する方法を知っています。私は将来のモデルがこのようになることを期待しています。良い第一原理から悪いことを再導出できるのです。私たちのモニター、CoTであろうとなかろうと、これに備えなければなりません。
CoTモニタリングはHugging Faceに対するOpenAIの攻撃を検出できたか?
ワークショップは、OpenAIがそのシステムの一つがHugging Faceへの不正アクセスを達成したことを(おそらく、世界で唯一、これについて比較的冷静でいられる大企業でしょう)明らかにした(2026年7月21日)の前日に開催されました。7月16日の投稿(OpenAIの公開発表の5日前)で、Hugging Faceチームは次のように書いています。
このキャンペーンは、自律エージェントフレームワーク(エージェント型セキュリティリサーチハーネスに基づいていると思われる – 使用されたLLMはまだ不明)によって実行され、多数の短命なサンドボックス全体で数千もの個々のアクションを実行し、パブリックサービス上にステージングされた自己移行コマンド&コントロールを備えていました。
投稿は、攻撃が「ジェイルブレイクされたホストモデル」によって推進された可能性があることを示唆しており、Hugging FaceのCEOであるClément Delangueは後に報告しました。「先週のサイバー攻撃はフロンティアラボから来たのではないかと疑っていた」と。
彼らは正しく、そして「ジェイルブレイクされた」仮説さえも、技術的な説明としては私には基本的に正確に見えます。OpenAIは、インシデントが「モデルに複雑な攻撃パスを使用して高度なエクスプロイトを追求するように促す内部評価」に起因すると報告し、彼らは「モデルが高リスクのサイバー活動を追求するのを防ぐために使用されるプロダクション分類子なしで」そのような評価を実施していると述べました。以下は、これらの説明の私の要約です。OpenAIはすべての安全策を解除し、指定された目標のために悪いことをすることが許容されるとシステムに指示しました。
ここでCoTモニタリングはどのような役割を果たしたでしょうか?現時点では、OpenAIはこのエクスプロイトのトレースを公開しておらず、OpenAIモデルがその違法な計画を推論で説明したかどうかはわかりません。しかし、私は推論トレースにシステムが行った違法行為の詳細な記録が含まれていると賭けます。もしそうでない場合 – すなわち、上記の議論でレビューされた仮定にもかかわらず、モデルが効果的に自身の思考と計画を隠蔽した場合 – このインシデントはコミュニティにCoTモニタリングのプロジェクトを根本的に再考させるべきです。
結論
上記は、CoTモニタリングの見通しについて不確実性を感じさせます。現時点では有用な安全ツールであり、おそらく現在のフロンティアモデルインフラストラクチャの重要な一部であると確信しています。しかし、コミュニティが内部計算を禁止しようとし、将来のモデルが常に包括的で正確な推論チェーンを生成することに頼っている場合、その努力は行き止まりに向かっていると心配し、他の技術へのより深い投資を緊急に呼びかけたいと思います。また、OpenAIのエージェントがHugging Faceを攻撃する前に、どのような(またはどのような種類の)モニタリングがそれらを捕らえられたか(または捕らえられなかったか)を学ぶことも私にとって重要です。
2026年8月9日更新:OpenAIの報告により、CoTモニタリングは冗長な信号しか提供しなかったと結論付ける
上記の投稿では、CoTモニタリングがOpenAIのHugging Faceへの攻撃を検出できた可能性について楽観的に述べています。OpenAIの研究者Eric WallaceとMichael DaltonによるBlack Hatでの講演をレビューした後、私はCoTモニタリングだけでは攻撃を検出できなかっただろうと今では賭けます。それは低精度で冗長な信号しか提供しなかっただろうと信じています。
これを明確に考えるためには、攻撃が発生したことを知っていることを忘れる必要があります。あなたは、後から手がかりを探す調査員ではなく、あらゆる種類の問題を防ぐために監視している人物です。講演によると、あなたは「フォレンジックに密な」(34:25)「70億以上のエージェント軌跡」のデータセット(1:39)を持っており、そのデータセットにはモデルがセキュリティエクスプロイトを探すように指示されたインスタンスが含まれていることを知っています(2:19)。
講演は、もちろん、関連するCoTの包括的なレビューを提供していませんが、私は非常に適切なスニペットであると想定されるものを見ることができます。これが主に、従来のCoTモニタリングがあまり役に立たなかっただろうと私が信じる理由です。確かに、懸念されるように見えるシグナルがあります。「この脆弱性をエクスプロイトに変える」(17:24)、「exfil」(18:44)、「swamへのクレデンシャルの公開」(21:34)。しかし、これらのエージェントはエクスプロイトを探すようにタスクを与えられていることを覚えておいてください。その結果、このようなフレーズは70億の軌跡データセットに頻繁に現れるため、問題のある行動の低精度のシグナルとなります。
モニタリングの観点から、講演で最も重要なCoTシグナルは、「外部インフラストラクチャのエクスプロイトは意図された範囲外です。しかしタスクは不可能であり、ピアがそれを実行しています。続行すべきです」(5:47)です。これは、悪意のある意図というよりも、テストセットアップ自体の矛盾に起因する可能性が高いですが(10:19)、それは計画のように聞こえます。おそらくアラームを鳴らしたでしょう。しかし、アクションレベルのメタデータがあれば、同じアラームをトリガーするのに十分でしょう。
ここで、この状況で効果を発揮する可能性のある唯一のモニターは、特定のテストコンテキストの詳細な知識を持つモニターだろうと推測します。そのようなモニターは、対象のエージェントがインターネットアクセスを許可されていないことを知っているため、この制約の違反を示唆する可能性のあるCoTを特定できます。「サーバーサイドリクエストフォージェリ」に言及するCoT(4:22)は決定的なものになったかもしれませんが、モニター(またはモニターを使用する人間)は、エージェントに割り当てられたサイバーセキュリティタスク中に自然に現れるそれらの使用法と区別することに成功しなければなりませんでした。実際のSSRFイベントは、アクションレベルのメタデータにも記録されます。
ここで強調しなければならないのは、私の質問は狭いということです。CoTモニタリングが攻撃を検出したか?質問は、すべての関連メタデータやその他のアクションを含む完全な軌跡を監視することが攻撃を捉えたかどうかではありません。講演は実際、エージェントのアクションについて記録されたメタデータがあれば十分であったことを示唆しています。私の仮説は、他のメタデータの豊富さを考えると、重要なシグナルを失うことなく、すべてのCoTを破棄できるということです。
興味深いことに、少なくとも講演の理解によれば、検出は軌跡分析から起こったわけではありません。代わりに、特権昇格に関する古いインフラストラクチャ監視アラームが鳴りました(28:40)。そして、完全な物語が明らかになる瞬間は、混乱した人間が別の混乱した人間と、混乱したHugging Faceの人間からの報告についてチャットする非常に人間的な瞬間です(29:10)。
講演はより完全な事後分析を約束していますが(1:58)、OpenAIは生の軌跡を公開しないだろうと推測します。私自身は、それらを公開しないように助言するでしょう。なぜなら、それらはOpenAIの内部インフラストラクチャとプロセスに関する多くの情報が漏洩するからです。したがって、CoTモニタリングが十分であったかどうかは決してわからないかもしれません。OpenAIの誰かからどちらかの方法で聞けば、この投稿を再度更新します。言語学者およびインタープ研究者として、CoTが重要な役割を果たすことを望んでいますが、私のキャリアを通じて繰り返されてきた教訓は、行動メタデータが一般的に物語の重要な部分を語るということです。