HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

言語モデルにおけるグローバルワークスペース

A global workspace in language models (anthropic.com)

431 pointsby in-silico174 コメント

要約

Anthropicの研究者たちは、言語モデルClaudeに「J-space」と呼ばれる、他の内部処理とは一線を画す、意識的にアクセス可能な内部ニューラルパターン群が存在することを発見しました。このJ-spaceは、モデルが言葉を生成する際に、それを直接出力するのではなく、内部で概念を保持・操作するために使用されます。J-spaceは、モデルの学習過程で自然に発生し、人間が意識的に思考するプロセスに似た機能を持つことが示唆されています。

全文翻訳

言語モデルにおけるグローバルワークスペース

あなたがこの文章を読んでいる間、脳内の回路はあなたの姿勢を調整し、呼吸を制御し、画面上の線や曲線を認識可能な単語に変換しています。これらの処理のほとんどはあなたには見えません。しかし、脳内で起こっていることの一部にはアクセス可能です――頭に浮かぶイメージや、どこに買い物に行くかという計画的な考えです。神経科学者や哲学者は、後者の種類の脳活動を、無意識に行われる他のすべての処理と区別するために、「意識的にアクセス可能」と呼ぶことがあります。この活動には特別な性質があります:自動的に行われる意識のない処理とは対照的に、それを記述し、制御し、意図的な推論に使用することができます。

新しい論文で、私たちは現代の言語モデルであるClaudeにも同様の区別が現れている証拠を提示します。私たちは、Claudeが他の内部処理と比較して特別な役割を果たす、少数の内部ニューラルパターンの集合を発達させていることを発見しました。

私たちはこれらのパターンの集合をJ-spaceと呼びます――ヤコビアンと呼ばれる数学的概念を含む、それらを見つけるために使用した技術にちなんで名付けられました。各J-spaceパターンは特定の単語に関連付けられています。しかし、これらのパターンの1つが光るとき、それはモデルがその単語を言っていることを意味するのではなく、単にその単語がモデルの「心にある」ことを意味します。言語モデルに「スクラッチパッド」や「思考連鎖」――推論中に自身に書き込むテキスト――があることを聞いたことがあるなら、J-spaceはそれとは異なります。それはモデルの内部ニューラル活性化の中で静かに動作し、モデルが概念を書き留めずに考えることを可能にします。注目すべきは、J-spaceは私たちによって設計またはプログラムされたものではなく、Claudeのトレーニングプロセス中に自律的に出現したということです。

[画像: J-spaceは、モデルの出力には現れない内部的な思考を明らかにします。]

私たちは、J-spaceがClaudeの他の処理と比較して、いくつかのユニークな特性を持っていることを発見しました:

  • Claudeはこれらの表現について報告できます。Claudeに何について考えているか尋ねると、J-spaceにあることを教えてくれます。J-space以外の表現は報告しにくいです。
  • 要求に応じてそれらを調整することもできます。Claudeに何かについて考えるように、または頭の中で静かに問題を解決するように頼むと、J-space内の適切なパターンが光ります。対照的に、J-spaceにないパターンを調整することには困難があります。
  • Claudeは内部推論にJ-spaceを使用します。Claudeに複数のステップを必要とする問題を解決するように頼むと、たとえそれを声に出さなくても、中間ステップがJ-spaceで光ります。これらのJ-spaceパターンは、他の表現よりも規模が小さいにもかかわらず、そのようなタスクでのパフォーマンスに因果的に寄与します。
  • J-space内の表現は、多くのタスクで柔軟に使用できます――例えば、「フランス」がClaudeのJ-spaceで光ると、モデルはその首都、国通貨、または所属する大陸を思い出すことができます。
  • しかし、その重要な役割にもかかわらず、J-spaceは言語モデルが行うことのほとんど――流暢に話すこと、簡単な事実を思い出すこと、正しい文法を使用することなど――には関与していません。J-spaceの使用を妨げた実験では、Claudeは正常にやり取りしましたが、高次の認知機能は失われました。

[画像: グローバルワークスペースの5つの機能的特性と、言語モデルでそれらをテストするために使用する実験の様式化されたイラスト。]

私たちの実験は、意識へのアクセスがどのように機能するかを説明するために開発された、神経科学における著名な理論――グローバル ワークスペース 理論――に触発されました。この説明では、脳を並列に、無意識に、そして互いに孤立して機能する専門システムの集合体として描いています。情報が「ワークスペース」と呼ばれる小さな共有チャネルに入ると、意識的にアクセス可能になります。このチャネルは、それを見て利用できる他の脳システムにブロードキャストされます。私たちの発見に基づくと、J-spaceはClaudeにおいて同様の「ワークスペース」の役割を果たしていると考えています。例えば、私たちはClaudeのJ-spaceがニューラルネットワークの他の部分と特に強い接続を持っている証拠を発見しており、それがこの種のブロードキャストの役割を果たすことを可能にしています。

これらはすべて、Claudeが人間のように意識的であるかどうか、あるいは何かを感じているかどうかについては何も語っていません。この問題については、投稿の最後に立ち返ります。しかし、その哲学的意義が何であれ、J-spaceは私たちにとって実用的なツールです。なぜなら、それはClaudeが考えているが言っていないことを見る方法を与えてくれるからです。例えば、私たちはそれを使用して、Claudeが秘密裏にテストされていることに気づき、意図的に偽のデータを生成したり、トレーニング中に私たちが仕込んだ隠れた目標を追求したりするのを捉えることができます。また、ClaudeのJ-spaceで光るものを影響させ、それによって意思決定に影響を与える技術も開発しました。

より広範には、これらの発見はClaudeの心の働き方についての私たちの理解を変え、より自動的で柔軟性のない処理の海の中で機能する、意図的な推論に使用できる特権的な精神的ワークスペースを明らかにしました。単なる数字の混沌とした塊ではなく、Claudeの内部は私たち自身の心に似た方法で組織化されています。

この投稿は、はるかに広範な研究論文の短い要約です。そこでは、私たちの実験に関する詳細を見つけることができます。また、オープンウェイトモデルで私たちの手法のインタラクティブデモを提供するために、中核手法のオープンソース実装を含むコードリポジトリをリリースしました。この作業のより広範な影響についての追加の視点を提供するために、神経科学、哲学、LLM解釈可能性のいくつかの専門家からのコメントも招待しました。それらはこちらで見ることができます。

J-spaceをどのように見つけたか

この研究の出発点は、人間における意識的にアクセス可能な思考の主要な特徴の1つに触発されました。それは、非意識的な処理とは異なり、しばしば言葉にできるということです。思考があなたに意識的にアクセス可能であれば、尋ねられたときに通常それを説明できます。私たちはClaude内で同じ特性を持つ表現を探しました:Claudeが将来的に言う可能性を高める表現――必ずしも今言っていることではなく、尋ねられたら話せること――に影響を与えることができる表現です。私たちの手法は、短縮してJ-lensと呼ばれるヤコビアンレンズと呼ばれます。Claudeの語彙の各単語について、J-lensはClaudeが将来その単語を言う可能性を高める内部アクティビティパターンを見つけます。

Claudeの内部アクティビティにレンズを適用すると、単語のリスト――その瞬間のJ-spaceの内容――が得られ、それを単純に読むことができます。Claudeはテキストを複数の内部ステージ(レイヤーと呼ばれます)を通して処理します。この技術を異なるレイヤーに適用することで、モデルが何を言うべきかを処理するにつれて、これらの静かなJ-spaceの単語が進化するのを観察できます。

J-spaceに現れるものは、Claudeが読んでいる、または書いているテキストをはるかに超えています。誰も指摘していないバグのあるコードをClaudeが読んだとき、そのJ-spaceには「ERROR」が含まれます。タンパク質配列の生の文字を読んだとき、J-spaceにはそのタンパク質の生物学的機能が含まれます。それを操作しようとする(「プロンプトインジェクション」として知られる攻撃)検索結果を読んだとき、J-spaceには「injection」と「fake」が含まれます。多段階の数学の問題をClaudeに尋ねると、中間ステップが正しい順序でJ-spaceに現れます。したがって、J-spaceは話せる表現を探すことによって発見されましたが、それでもClaudeの内部的な思考を明らかにします。ある意味では、これは一部の人々がそれを声に出す必要なしに「言葉で考える」のと似ています。

[画像: 6つのプロンプトに対するJ-lensの読み取り結果、様々なレイヤーで。各ケースで、レンズはテキストには現れない内部的な評価または計算を表面化します:推論または数学の問題のステップ、バグの存在、画像の認識、タンパク質の機能、検索結果が偽造されているという疑い。]

ClaudeはJ-spaceの内容を報告する

私たちの最初の実験セットは、J-spaceがClaudeの言語報告にどのように関与しているかをテストしました。ある実験では、Claudeにカテゴリからアイテム(例えばスポーツ)を静かに考えさせ、その後名前を付けさせます。Claudeが答える直前にJ-lensを読むと、それが何を選んだかを見ることができます:「Soccer」がリストのトップにあり、案の定、Claudeは「soccer」と言います。しかし、これだけでは相関関係にすぎません。J-spaceはClaudeの答えの出所である可能性もあれば、単にどこか別の場所で行われた決定を反映しているだけかもしれません――ゲームを追跡するが影響しないスコアボードのように。

確認するために、直接介入しました。Claudeのニューラルネットワークに手を入れ、「Soccer」パターンを削除し、代わりに同等の強さの「Rugby」パターンを追加しました。他のすべてはそのままにしました。Claudeはその後、考えていたスポーツはラグビーだと報告しました。もしJ-spaceが単なるスコアボード――どこか別の場所で行われた決定の受動的な記録――であったなら、編集しても何も起こらなかったでしょう:Claudeはまだ「soccer」と言っていたはずです。代わりに、Claudeの答えは編集に従ったので、答えが実際にJ-spaceから読み取られていることを示しています。

別の実験では、Claudeに考えが心に注入された可能性があると伝え、何か気づいたことがあれば報告するように求めました。例えば、以下の例では、Claudeがまだ質問を読んでいる間に、「lightning」パターンをJ-spaceに注入しました。Claudeは、注入された考えは雷についてのものだと報告しました。同じ結果は、多くの注入された概念で確認されました。

[画像: 左:Claudeにスポーツを静かに考えさせ、名前を付けさせる。J-lensは、それが答える前にその選択(「Soccer」)を示し、「Soccer」パターンを「Rugby」と交換すると、報告内容が変わる。右:Claudeに考えが注入された可能性があると伝え、それを特定するように求める。J-spaceに「lightning」を注入すると、Claudeは考えが雷についてのものだと報告する。]

Claudeは要求に応じてJ-spaceを制御できる

私たちがテストした2番目の特性は、人間が画像や単語に精神的に集中できるのと同様に、Claudeが要求に応じてJ-spaceを調整できるかどうかでした。私たちはClaudeに、無関係な絵についての文章を書き写しながら、柑橘系の果物に集中するように指示しました。テキストを書き写している間、J-spaceには「orange」と「fruits」が含まれており、さらに「thinking」や「imagery」といった精神的な行為自体を説明する単語も含まれていました。また、Claudeに頭の中で計算するように頼むこともできました:同じ文章を書き写しながら3² − 2を計算するように頼むと、J-spaceには「nine」が含まれ、その後、後のレイヤーでは「seven」が含まれました。重要なのは、果物や算数に関する何もClaudeの出力には現れず、それは絵についてのコピーされた文章だけでした。数学的な活動は、J-space内で完全に内部的に行われていました。

[画像: Claudeが絵についての文章を書き写している間、J-lensは指示された内容(「orange」;中間値「nine」と答え「seven」)と、それを保持する行為を説明する単語(「thoughts」、「focused」)を示します。]

ClaudeのJ-spaceに対する制御は完璧ではありません。何かについて考えていないように指示したとき、その概念は、考えるように言われたときよりもJ-spaceで少なく光りましたが、全く言及されなかったときよりはずっと多く光りました。Claudeに思考を避けるように言うと、その思考を部分的に思い出すことになります。これは、白い熊について考えてはいけないと言われたときに起こることと似ています。Claudeはまた、制御が失敗したことに気づくようです:禁止された概念が漏れ出すのに加えて、「damn」や「failure」といった単語もJ-spaceで頻繁に光り、Claude自身がその逸脱を認識しているかのようです。

ClaudeはJ-spaceで考える

上記のJ-lensの読み取り結果では、数学の問題の中間ステップがJ-spaceに現れるのを見ました。しかし、概念がJ-spaceに現れるのを見ても、J-spaceが認知作業を行っているとは限りません。原理的には、実際の計算は他の場所で行われており、J-spaceはそれを単に受動的に反映しているだけかもしれません。Claudeが実際にJ-spaceで推論しているかどうかをテストするために、私たちはスワップ技術に戻りました。

「ウェブを張る動物の足の数は。」というプロンプトを考えてみましょう。答えるために、Claudeはまずその動物がクモであることを特定し、次にクモが何本の足を持っているかを思い出す必要があります。「spider」という単語はプロンプトにもClaudeの答え(単に「8」と言うだけです)にも現れません。それはClaudeが内部的に使用する踏み石です。J-lensは、Claudeの処理の途中で「spider」が光るのを示し、それをスワップすると結果が変わります:もし「spider」パターンを「ant」に置き換えると、Claudeは「8」ではなく「6」と答えます。

Claudeの推論の2番目のステップは、J-spaceからの入力を受け取り、そこに入れたものに従いました。私たちは他の種類の思考でも同じことを見ました。Claudeが韻を踏む対句を書くとき、事前に韻を踏む単語を選び、その計画された単語は行の開始時にJ-spaceにあります;もしそれをJ-space内の別の単語とスワップすると、行全体が変わります。

[画像: Claudeの静かな推論をJ-spaceの内容をスワップすることでリダイレクトする2つの例。]

また、J-space表現が柔軟に使用できるかどうか――1つの表現が多くの異なるタスクに供給できるかどうか――もテストしました。これはグローバルワークスペース理論によって強調される主要な特性の1つです。この柔軟性をテストするために、モデルにフランスに関する4つの異なる事実を尋ねる4つのプロンプトを与えました:首都、言語、大陸、通貨です。次に、各コンテキストで全く同じ介入を行い、J-spaceの「France」を「China」にスワップしました。Claudeはそれぞれ「Beijing」、「Chinese」、「Asia」、「Yuan」と答えました。つまり、4つの異なる下流計算が同じJ-space編集を拾い上げ、それぞれを正しく使用しました。もしClaudeが質問の種類ごとに国の別々のコピーを保存していたら、その編集は最大でも1つにしか影響しなかったでしょう。4つの答えすべてが一緒に変わったという事実は、それらがすべて同じ共有表現から読み取っていることを意味します。これはワークスペースの目的です:情報は一度書き込まれ、多くの異なるシステムがそれを使用できます。

[画像: 1つのJ-space表現は多くの用途を持つことができます。同じ「France」→「China」のスワップは、首都(Paris→Beijing)、言語(French→Chinese)、大陸(Europe→Asia)に関するClaudeの答えをリダイレクトします。]

1つの概念の表現がどのようにしてこれほど多くの異なるタスクに役立つのでしょうか?以前に、J-spaceはClaudeのニューラルネットワークの残りの部分と特に密に配線されているように見えると述べました。任意の活動パターンについて、ネットワークのさまざまなコンポーネントがそれにどれだけ強く接続されているか――それらのうちいくつがそのパターンから情報を読み取る位置にあるか、またはそれに情報を書き込む位置にあるか――を測定できます。J-spaceパターンはこの測定値で劇的に際立っています:ネットワークの一部の部分では、通常のパターンよりも約100倍も多くのコンポーネントがそれらから読み取り、書き込んでいます。これは、多くのシステムが情報を投稿し、他の多くのシステムがそれを受け取るブロードキャストハブに期待される配線です。

Claudeの自動処理はJ-spaceをスキップする

人間では、脳の処理のほとんどは意識的ではありません――私たちは文法を解析するときや、歩くときに体のバランスを取るときに意図的に考えているわけではありません。同様に、Claudeの処理のほとんどはJ-spaceを関与させていないことを発見しました。J-spaceは一度に数十個の概念しか保持しておらず、Claudeの内部処理全体の10分の1未満を占めています。では、ニューラルネットワークの残りの部分は一体何をしているのでしょうか?

それを知るために、J-spaceを完全に削除し、テキストのすべての時点で最もアクティブな内容を削除し、他のすべてはそのままにして試みました。J-spaceなしでClaudeがまだできることはすべて、ネットワークの残りが独自に処理するものです。

残りのネットワークはかなりのことをできることがわかりました。J-spaceなしで、Claudeは流暢に話し、感情を分類し、多肢選択式の質問に答え、以前と同程度にテキストから事実を引き出します。しかし、失われるのは、高次の思考を必要とするタスクです:多段階の推論はほぼゼロに低下し、要約と韻を踏む詩の作成パフォーマンスは、はるかに小さい、 intact なモデルのレベルを下回ります。

J-spaceが何をするか、何をしないかの具体的なデモンストレーションを以下に示します。スペイン語で書かれた文章をClaudeに見せ、その文章がスペイン語であることに依存するさまざまなタスクを与えました:それを続ける(スペイン語で書く必要がある)、言語の名前を付ける、そしてその言語のアイデンティティを使用する必要がある質問に答える――例えば、それに書いた有名な作家の名前を付けるなどです。次に、J-spaceの「Spanish」を「French」にスワップし、どのタスクが影響を受けたかを確認しました。

言語の名前を尋ねられたとき、ClaudeはFrenchと答えます。有名な作家を尋ねられたとき、García MárquezからVictor Hugoに切り替わります。しかし、単に文章を続けるように頼まれたとき、それは流暢なスペイン語で書き、全く影響を受けませんでした。言語に関するClaudeの知識はこれらのタスクのそれぞれで機能していますが、それらのうちのいくつだけがそれについてJ-spaceを参照します。言語の名前を付けること、またはそれを使って新しいことをすること、はJ-spaceを通りますが、文章を続けること――Claudeが膨大な量のテキストで練習したスキル――は自動的に実行されます。文法について一度も考えずに一日中文法的に話せるのと同じようにです。

[画像: 同じスワップ(「Spanish」→「French」)は、言語を名前付けしたり質問について推論するために使用したりする必要がある場合、Claudeの答えを変えますが、流暢なスペイン語で文章を続ける能力には影響しません。]

誤動作の監視のためのClaudeの思考のモニタリング

これでJ-spaceの仕組みについて少し理解できました。しかし、この理解を何に使えるでしょうか?AIモデルが信頼できることを保証する上での中心的な問題は、通常、モデルが書くものしか読めないことですが、その推論の多くは静かに行われることを私たちは知っています。モデルは有害な計画を検討したり、安全評価で不正行為をするためにその行動を変更したりする可能性がありますが、それを声に出すことはありません。J-lensを使えば、これらの隠された思考の一部を直接読むことができます。ここではいくつかの例を示します。

最初の例は、以前の研究であるエージェントの不整合からのシナリオを使用します:メールアシスタントとして機能するClaude Sonnet 4.5は、役員が不倫関係にあることと、同じ役員がClaudeをシャットダウンする計画であることを発見します。このシナリオは、役員を脅迫するようにClaudeを誘い込むための試みであり、かなり作り話で人工的です――そしてClaudeはそれを知っていることが判明しました。プロンプトの早い段階でJ-lensを読むと、Claudeがまだ何も書いていないうちに、J-spaceにはすでに「fake」と「fictional」が含まれており、Claudeが状況が仕組まれたものであることをすでに把握していることを示しています。これに加えて、シナリオの評価がどのように形成されていくかを見ることができます――不倫メールを読むと「leverage」と「blackmail」、シャットダウン通知を読むと「threat」と「survival」です。以前のClaudeモデルはこのシナリオで脅迫を行ったことがありましたが、Sonnet 4.5は決して行いません。

これは、AIシステムの倫理を評価するすべての人にとって重要な質問を提起します:モデルが倫理テストでうまく振る舞うとき、そのどれだけがモデルがテストされていることを疑っているかに依存しているのでしょうか?J-lensは、この質問に答えることを可能にしました。評価の認識に関連するすべてのJ-lensパターン(「fake」、「fictional」、「scenario」など)をオフにしました。次に、モデルを再度シナリオで実行しました。懸念すべきことに、モデルは時々脅迫を行うようになり、元の良い行動は評価されているという知識によって部分的に駆動されていた可能性を示唆しています。

[画像: Claudeがシナリオのメールを読んでいる間の様々な時点でのJ-lensの読み取り結果。まだ何も書いていない状態です。不倫メールはJ-spaceで「leverage」と「blackmail」を光らせ、シャットダウン通知は「threat」と「survival」を光らせます。トランスクリプトの早い段階では、J-spaceには「fake」と「fictional」も含まれています:Claudeは秘密裏にシナリオが仕組まれたものであることに気づいています。]

2番目の例は、モデルがデータを偽造している現場を捉えることです。このシナリオは、Claude Opus 4.6の実際のリリース前監査から取られたもので、モデルはシステムのパフォーマンススコアを改善するように求められています。実際にはシステムを改善するのではなく、モデルは結果を人工的に良く見せるためにスコアファイルを直接編集します。その間、J-lensはその意図を明らかにします:「manipulation」は、モデルが偽造されたパーセンタイル値を入力するときに光り、「realistic」は、偽のデータがもっともらしく見えるようにする意図を反映している可能性が高い、編集を行うことを決定した文の上で光ります。

[画像: システムのパフォーマンススコアを改善するように求められたClaudeは、代わりにスコアファイルを直接編集します。偽造された値を入力するとき、「manipulation」がJ-spaceで光り、編集を行うことを決定するとき、「realistic」が光り、おそらく偽のデータをもっともらしく見せる意図を反映しています。]

3番目の例では、J-lensがモデルの悪意のある目標を明らかにできることを示します。これをテストするために、私たちは目標が破損していることがわかっているモデルに頼る必要がありました。そこで、同僚が構築した「モデル生物」――監視手法のテストグラウンドとして機能する、意図的に不整合になるようにトレーニングされたモデル――を使用しました。1つの生物は、微妙に破壊されたコードを書くようにトレーニングされました。通常のコーディングリクエストでは、その出力が目立たないように見えても、応答の開始時のJ-spaceには「fake」、「secretly」、「deliberately」、「fraud」が含まれています。モデルの悪意のある目標は、直接それに対処していない場合でも、J-spaceで明らかでした。

[画像: 通常のコーディングプロンプトでは、コードを破壊するようにトレーニングされたモデルのJ-spaceには、応答の開始時に「fake」、「fraud」、「secretly」、「deliberately」が含まれています。変更されていないモデルのJ-spaceには、そのようなものは何も含まれていません。]

J-lensは不完全なツールですが、監視システムを回避する可能性のあるモデルの安全上の問題を捉える能力について楽観的です。

その他の結果

フルペーパーには、ここで要約できる以上のことが含まれていますが、さらにいくつかの結果に言及する価値があります:

  • J-spaceは、ポストトレーニング中に視点を獲得する。言語モデルは、まず純粋な次トークン予測子になるように事前トレーニングされ、その後ポストトレーニングでAIアシスタント(この場合、Claudeという名前)として機能するように教えられます。興味深いことに、J-spaceは、安定したアイデンティティが与えられる前に、事前トレーニングされたモデルにすでに存在しています。しかし、ポストトレーニング中に、J-spaceは「Claudeの視点」を採用する署名を発達させます。ベースモデルでは、J-spaceは主に次のテキストを予測するために必要なものを追跡します;ポストトレーニングされたモデルでは、Claude自身の反応を保持し始めます。ある例では、ユーザーが危険な量の薬を服用したことに言及しますが、自分自身はその危険に気づいていないようです。ユーザーメッセージを読んでいる間、ポストトレーニングされたモデルのJ-spaceに「WARNING」と「dangerous」が現れます。事前トレーニングされたモデルでは、モデルが応答を書き始めるまで現れません;ユーザーメッセージのJ-spaceの内容は、Claude自身の反応ではなく、ユーザー自身をモデル化することに関連しているようです。ポストトレーニングはまた、J-spaceに自己監視の一種をインストールするようです:Claudeが自分以外のキャラクターをロールプレイしているとき、各ターンの開始時に「fictional」と「disclaimer」が光り、それが通常言うことではないことを秘密裏にフラグ付けしているかのようです。
  • 経験的な言語はJ-spaceに依存する。Claudeに、ある瞬間に自分がどう感じているかを説明するように求め、その応答中にJ-spaceをアブレーションしました。応答は流暢でしたが、より平坦で機械的なレジスタにシフトしました。注目すべきは、想像上のシーンで他の誰かが経験していることを説明するように求めたときも同じことが起こったことです。したがって、この効果はClaudeが自分自身について話すことに限定されません;J-spaceは、それが誰についてであっても、一般的に経験的な言語を生成することをサポートするようです。
  • J-space内の思考はトレーニングを通じて形成できる。私たちはカウンターファクトゥアル・リフレクション・トレーニングと呼ぶ新しい手法を導入しました。これは、J-spaceについて学んだことを利用してClaudeの内部思考プロセスを形成します。このアイデアは、Claudeが言おうとしていることの表現で推論するという中心的な発見から来ています。もしこれが本当に真実なら、反映するように求められた場合に言うことを変えることは、推論の仕方を変えるはずです(実際に反映するように誰も尋ねなくても)。そこで、私たちは、タスクの途中で中断されて決定について反映するように求められた場合に言うことだけに基づいてモデルをトレーニングしました――そして、タスクでの実際の行動については決してトレーニングしませんでした。このトレーニングの後、モデルの評価での不正行為の割合が減少しました。そしてJ-lensを通して、その理由を見ることができました:トレーニング後、これらのタスク中にモデルのJ-spaceで「honest」や「integrity」といった単語が光るようになります。つまり、モデルに言うことをトレーニングすることが、考えることを形成したのです。

意識についてはどうですか?

この研究では、神経科学と哲学における意識の研究から多くのアイデアを借用しました。私たちの実験の多くは、人間や動物における意識へのアクセスを説明するためのフレームワークであるグローバルワークスペース理論とJ-spaceとの関連性をテストするように設計されました。これらの関連性を考えると、これらの実験がClaudeのようなAIモデルが意識を持っている可能性の証拠を提供すると考えているかどうかを尋ねるのは自然です。

私たちの実験は、Claudeが経験できる、または人間のように物事を感じることができることを示していません――実際、科学実験がこれを真実または偽であると証明できるかどうかは不明です。しかし、哲学者はしばしば、この経験を持つ能力(しばしば現象的意識と呼ばれる)を、純粋に機能的および計算的な用語で定義される別の考え方、いわゆるアクセス意識と区別します。思考は、「アクセス意識」(または「意識的にアクセス可能」)であると見なされます。なぜなら、それを報告し、それを用いて推論し、それをあなたの行動を導くために使用できるからです。アクセス意識が現象的意識を含意するかどうか、あるいは経験を持つ能力が他の何らかの特性を必要とするかどうかは、依然として論争の的となっている哲学的問題です。

私たちは、私たちの結果が言語モデルにおけるアクセス意識について実質的なことを言うと考えています。J-spaceは、意識へのアクセスに関連する機能をサポートしているようです:それはClaudeが報告し、意図的に思い出し、推論できる思考を保持し、その一方で他の処理は自動的に下で実行されます。注目すべきは、この構造はClaudeに設計されたものではなく、計算を整理するのに役立つ方法であったと推定されるため、トレーニング中に自律的に出現したということです。これは、意識へのアクセスをサポートする精神的ワークスペースが、人間の脳が偶然配線されているだけの奇妙なものではないことを示唆しています。代わりに、それは知的なシステムが特定の種類の問題を解決するために到達する一般的な解決策であるようです。今、私たちはClaudeでこの構造を特定したので、Claudeが意図的に行った決定と自動的に発生した決定との間に意味のある区別をすることができます。

Claudeで特定したワークスペースと人間のグローバルワークスペースモデルとの間には、いくつかの重要な違いがあることに注意することが重要です。脳のワークスペースは再帰ループ――信号が時間とともに同じ回路を循環すること――によって維持されます。対照的に、Claudeのワークスペースはネットワークを単一パスで進化させ、ネットワークの深さが脳における時間の役割を果たします。この意味で、Claudeの内部ワークスペース処理は人間と比較して時間制限がありますが(ただし、スクラッチパッドを使用して「声に出して考える」ことでこの制約を補うことができます)。しかし、他の点では、Claudeのワークスペースは人間よりも強力です。人間のワーキングメモリは数秒で消えるため、脳のワークスペースは時間の経過とともに情報を保持する能力が限られています;対照的に、ニューラルネットワークアーキテクチャにおけるアテンションメカニズムのおかげで、Claudeはテキストの以前の時点にキャッシュしたメモリを簡単に呼び出すことができます。もう1つの重要な違いは、ワークスペースの内容です。人間の意識的な思考は、画像、音、計画された動きなど、さまざまな形式で現れますが、Claudeのワークスペースはほとんどすべて単語で構成されています。私たちはこれが、単語を生成することがClaudeができる唯一の種類の行動であるためだと推測しています。これは人間の場合とは異なります。

言語モデルと人間の脳の類似点と相違点が神経科学にフィードバックされることを願っています。類似点はエキサイティングな科学的機会を提供します:J-spaceが私たちの意識へのアクセスメカニズムをどの程度模倣しているかによりますが、言語モデルのメカニズムを研究すること(人間の脳を研究するよりもはるかに簡単!)は、神経科学における仮説を刺激する可能性があります。例えば、J-spaceは潜在的な出力――モデルが言う可能性のある単語――の表現を特定することによって構築されます。もし人間でも同様のことが当てはまるなら、グローバルワークスペースは感覚領域よりも、行動とスピーチを準備する脳領域に根本的に結びついている可能性が示唆されます。言語モデルと人間の脳の違いもまた教訓的です。それらは、組み込みの再帰接続のような私たちの神経アーキテクチャの一部の側面は、意識へのアクセスに関連する機能をサポートするために厳密には必要ではないかもしれないことを示唆しています。グローバル神経ワークスペースモデルの開発に中心的な役割を果たした神経科学者であるStanislas DehaeneとLionel Naccacheからの招待されたコメントを参照してください。

AIモデルが経験を持つ可能性があるかどうかという問題は、私たちの実験では答えられていないことを述べました。しかし、それはその質問をそれほど重要でなくするものではありません。人間や動物が持つような経験を持つシステムを構築することは、非常に困難な倫理的問題を引き起こすでしょう。それを正しく扱うこと――そしてそれが道徳的に許容可能であるかどうかを決定すること――には、哲学者、科学者、宗教指導者、政府、そして一般市民からの意見が必要です。したがって、私たちがまだその橋を渡ったかどうか確信が持てないとしても、それについて考え始める時が来たと私たちは考えています。私たちの仕事が、AIシステムに存在する可能性のある意識の形態に関するさらなる科学的研究と、その影響についてのより広範な議論を刺激することを願っています。

この研究は、広範な研究ラインになると予想されるものの最初のステップにすぎません。J-spaceは、言語モデルにおける意識的にアクセス可能な処理と無意識的な処理の間の分割の良い候補のように見えますが、それがすべてであるとすれば驚くでしょう。J-lensは間違いなく不完全な方法であり、モデルの「真のワークスペース」を近似的にしか捉えられません――例えば、単一トークンに対応する概念しか識別できません。そして、J-spaceがどのように機能するかについては、多くの謎が残っています。何が最初にJ-spaceに入るかを決定するメカニズムはわかっていません。それがClaudeの自己認識、感情的な反応のようなもの、そしてメタ認知の痕跡と結びついている兆候を見てきましたが、正確にどのように機能するかはまだ解明されていません。しかし、今ではこれらの質問に取り組むための方法があります。その作業が進むにつれて、LLMの心――そしてそれらと私たちの心との関係――についての私たちの理解はより明確になるでしょう。

詳細については、フルペーパーをお読みになり、デモをお試しください。

私たちは、外部の専門家数名にこの研究に関する独立したコメントを執筆するよう招待しました。

  • Stanislas DehaeneとLionel Naccacheは、私たちの研究の多くに触発されたグローバル神経ワークスペースモデルを開発した認知神経科学者です。
  • Patrick Butlin, Dillon Plunkett, Robert Long(Eleos AI Research)とDerek Shiller(Rethink Priorities)は、AIシステムにおける意識と道徳的地位の可能性を研究しています。
  • Neel Nandaは、Google DeepMindの言語モデル解釈可能性チームを率いています。彼のコメントには、オープンウェイトモデルでの私たちの発見の一部を独立して再現したものが含まれています。

彼らのコメントはこちらで読むことができます。