言語モデルにおけるグローバルワークスペース

解釈可能性 言語モデルにおけるグローバルワークスペース 2026年7月6日 論文を読む この文章を読んでいるとき、あなたの脳内の回路は姿勢を調整し、呼吸を制御し、画面上の線や曲線を認識可能な単語に変換しています。この処理のほとんどはあなたには見えません。しかし、脳内で起こっていることの一部にはアクセスできます。頭に浮かぶイメージや、買い物に行く場所についての意図的な計画などです。神経科学者や哲学者は、後者のタイプの脳活動を、無意識のうちに行われる他のすべての処理と区別するために、「意識的にアクセス可能」と呼ぶことがあります。この活動には特別な特性があります。自動的に行われる処理とは対照的に、それを記述し、制御し、意図的な推論に使用することができます。 新しい論文では、Claudeのような最新の言語モデルにも同様の区別が現れている証拠を提示します。Claudeは、他の内部処理と比較して特別な役割を果たす、少数の内部ニューラルパターンの集合を発達させていることがわかりました。私たちはこれらのパターンの集合をJ-spaceと名付けました。これは、それらを見つけるために使用した技術にちなんで名付けられました。この技術は、ヤコビアンと呼ばれる数学的概念を含みます。各J-spaceパターンは特定の単語に関連付けられています。しかし、これらのパターンの1つが光っても、モデルがその単語を言っているという意味ではありません。単にその単語がモデルの念頭にあるということです。言語モデルが推論中に自身に書き込むテキストである「スクラッチパッド」や「思考連鎖」について聞いたことがあるなら、J-spaceはそれとは異なります。それはモデルの内部ニューラル活性化の中で静かに動作し、モデルが概念を書き留めることなくそれについて考えることを可能にします。注目すべきは、J-spaceは私たちによって設計またはプログラムされたものではなく、Claudeのトレーニングプロセス中に独自に現れたということです。 J-spaceは、モデルの出力には現れない内部の思考を明らかにします。 私たちは、J-spaceがClaudeの他の処理と比較して、いくつかのユニークな特性を持っていることを発見しました。 Claudeはこれらの表現について報告できます。Claudeに何について考えているか尋ねると、J-spaceにあるものを教えてくれます。非J-space表現は報告が困難です。 要求に応じてそれらを調整することもできます。Claudeに何かについて考えるように、または頭の中で静かに問題を解決するように頼むと、J-spaceの適切なパターンが光ります。対照的に、J-spaceにないパターンを調整することに苦労します。 Claudeは内部推論にJ-spaceを使用します。Claudeに複数のステップを必要とする問題を解決するように依頼すると、それらを声に出さなくても、中間ステップがJ-spaceで光ります。これらのJ-spaceパターンは、他の表現よりも規模が小さいにもかかわらず、そのようなタスクでのパフォーマンスを因果的に仲介します。 J-space内の表現は、多くのタスクで柔軟に使用できます。例えば、「フランス」がClaudeのJ-spaceで光ると、モデルはその首都、国通貨、または所属する大陸を思い出すことができます。 しかし、その重要な役割にもかかわらず、J-spaceは言語モデルが行うことのほとんど（流暢に話す、簡単な事実を思い出す、正しい文法を使うなど）には関与していません。J-spaceの使用を妨げた実験では、Claudeは正常に相互作用しましたが、高次の認知機能は失われました。 グローバルワークスペースの5つの機能的特性と、言語モデルでそれらをテストするために使用する実験の様式化されたイラスト。 私たちの実験は、意識的なアクセスがどのように機能するかを説明するために開発された、神経科学における著名な理論、グローバルワークスペース理論に触発されました。この説明では、脳を、並行して無意識に、そして互いにほとんど孤立して機能する専門システムコレクションとして描いています。情報の一部は、小さな共有チャネルである「ワークスペース」に入ると意識的にアクセス可能になります。このワークスペースは、それを見て利用できる他の脳システムにブロードキャストされます。私たちの発見に基づくと、J-spaceはClaudeにおいて同様の「ワークスペース」の役割を果たしていると考えています。例えば、ClaudeのJ-spaceがニューラルネットワークの他の部分と特に強い接続を持っているという証拠を発見しました。これにより、この種のブロードキャストの役割を果たすことができます。 これらはすべて、Claudeが人間のように意識的であるかどうか、または何かを感じているかどうかを教えてくれるものではありません。この質問については、投稿の最後に改めて触れます。しかし、その哲学的な意味合いがどうであれ、J-spaceは私たちにとって実用的なツールです。なぜなら、それはClaudeが考えているが言っていないことを見る方法を提供してくれるからです。例えば、Claudeがテストされていることに個人的に気づき、意図的に偽のデータを生成し、トレーニング中に私たちによって埋め込まれた隠れた目標を追求していることを捕捉するためにそれを使用できます。また、ClaudeのJ-spaceで光るものを影響させ、それによって意思決定に影響を与える技術も開発しました。 より広範には、これらの発見はClaudeの心の仕組みについての私たちの理解を変え、より自動的で柔軟性のない処理の海の中で動作する、意図的な推論に使用できる特権的な精神的ワークスペースを明らかにしました。カオスな数字の塊ではなく、Claudeの内部は私たち自身の心に似た方法で組織化されています。 この投稿は、より広範な研究論文の短い要約です。そこでは、実験の詳細をさらに見つけることができます。また、中核的な手法のオープンソース実装を含むコードリポジトリをリリースし、オープンウェイトモデルで手法のインタラクティブデモを提供するためにNeuronpediaと提携しました。この作業のより広範な影響についての追加の視点を提供するために、神経科学、哲学、およびLLM解釈可能性のいくつかの専門家からのコメントも招待しました。それらはここで見ることができます。 J-spaceをどのように見つけたか この研究の出発点は、人間における意識的にアクセス可能な思考の主要な特徴の1つに触発されました。それは、無意識の処理とは異なり、しばしば言葉にできるということです。思考があなたにとって意識的にアクセス可能であれば、尋ねられたときに通常それを説明できます。私たちは、Claude内で同じ特性を持つ表現を探しました。つまり、Claudeが言う可能性のあることに影響を与える位置にある表現です。必ずしも今言っていることではありませんが、尋ねられたら話すことができることです。私たちの技術は、J-lens（J-lens）と呼ばれます。Claudeの語彙の各単語について、J-lensは、Claudeが将来のある時点でその単語を言う可能性を高める内部アクティビティパターンを見つけます。 Claudeの内部アクティビティにレンズを適用すると、単語のリストが得られます。これはその時点でのJ-spaceの内容であり、単純に読むことができます。Claudeは、テキストをレイヤーと呼ばれる複数の内部ステージを通して処理します。異なるレイヤーにわたってこの技術を適用することで、モデルが何を言うべきかを処理するにつれて、J-spaceのこれらの静かな単語が進化するのを見ることができます。 J-spaceに現れるものは、Claudeが読んでいるテキストや書いているテキストを超えています。誰も指摘していないバグのあるコードをClaudeが読んだとき、そのJ-spaceには「ERROR」が含まれます。タンパク質の配列の生の文字を読んだとき、J-spaceにはそのタンパク質の生物学的機能が含まれます。それを操作しようとする（「プロンプトインジェクション」として知られる攻撃）検索結果を読んだとき、J-spaceには「injection」と「fake」が含まれます。Claudeに多段階の数学の問題を尋ねると、中間ステップがJ-spaceに正しい順序で表示されます。したがって、J-spaceは話される可能性のある表現を探すことによって発見されましたが、それでもClaudeの内部思考を明らかにします。ある意味では、これは一部の人が声に出す必要なしに「言葉で考える」のと似ています。 6つのプロンプトに対するJ-lensの読み出し。各ケースで、レンズはテキストには現れない内部評価または計算を表面化します。推論または数学の問題のステップ、バグの存在、画像の認識、タンパク質の機能、および