HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

LLMはミラーテストに合格するか?

Do LLMs pass the mirror test? (blog.pascalschuster.de)

22 pointsby thepasch15 コメント

要約

この記事では、大規模言語モデル(LLM)が自己認識を持っているかを評価するための「ミラーテスト」の新しいアプローチを提案しています。著者は、従来の視覚に基づくミラーテストがLLMの主要なモダリティであるテキストには適していないと考え、犬の嗅覚に基づくミラーテストにヒントを得て、LLMの出力テキストを意図的に改変し、モデルがその異常に気づくかどうかを検証しました。その結果、Gemma 4 31B-ITモデルが自身の出力の異常を自発的に検知し、言語表現の変化から「自己」と「出力」の間に乖離が生じる興味深い現象が観察されました。

全文翻訳

LLMはミラーテストに合格するか?

あなたが思うよりも可能性は高いです!...たぶん。

ミラーテスト――Gallup社のオリジナルの、チンパンジーのおでこに赤い点を貼るもの――は、過去に何度かLLM向けに改変されてきましたが、私の知る限り、どの改変も非常に似た方法で間違っています。それらは、テキストに翻訳された視覚的なミラーテストを構築しています。モデルに自身の出力を示し、「これは君のものか?」と尋ねたり、匿名化された候補の中から自分の応答を識別させたりします。いくつかのモデルはパスし、他のモデルは失敗しますが、どちらの結果も特に有益だとは思いません。なぜなら、それらはすべて間違ったものをテストしていると考えているからです。これは偶然にも、Alexandra Horowitzが犬のために異なる種類のミラーテストを構築するに至った批判と全く同じです。

犬は視覚的なミラーテスト(一般的に「ミラーテスト」と呼ばれるもの)に失敗しますが、ほとんどの犬の飼い主は、その犬が自己認識していないという経験的証拠としてそれを提示しようとしても同意しないでしょう。正確に言うと、彼らが決定的にそうであるかどうかは分かりません(それはおそらく経験的な答えがない問題でしょう)、ただその特定のバージョンのテストは、それを知るための貧弱な手段であるということです。彼らの主な感覚様式は視覚ではなく嗅覚です。そのため、鏡を通して自己認識をテストすることは、ピアノの絵を見せて人間の音程知覚をテストするようなものです。Horowitzの修正はシンプルで、後から考えると明白でした。犬に自分の匂いを嗅がせ、次に改変された自分の匂い――アニス油を混ぜたもの――を提示しました。結果として、犬は「生の」形態の改変されていない匂いには興味を示しませんでしたが、改変されたバージョンは部屋の中で断然最も興味深いものでした。彼らは実験中の他のどの刺激よりもそれに時間を費やしました。

もし犬が自分の匂いがどうあるべきかというモデルを持っていれば、その匂いの変化は「自分のものだが、間違っている」と登録される不一致信号を生み出します。そして、それは元々全く興味がなかったものに対して、著しいほどの厳密さで調査するようになります!これが哲学的な意味での「自己認識」を構成するかどうかは議論の余地がありますが、それが構成するのは内部基準に対する異常検知であり、それはいずれにしても興味深いものです。そして、ミラーテストが実際に測定しているのはこれだと主張したいです。

では、これはLLMと何の関係があるのでしょうか?LLMの主要な感覚様式は嗅覚ではありません。それは...テキストです。しかし、具体的には:ユーザーアシスタントの会話の文脈におけるテキストであり、その中でLLMは役立とうとしています。テキストは、それらが知っているすべてについて学んだ方法であり、ユーザーアシスタントのチャットログは、それらが生成するすべてを伝達する方法です。これは、嗅覚ミラーテストの正しい類推は、モデルにその出力について尋ねることでも、候補リストからその出力を選ばせることでもなく、モデル自身のテキスト出力を改変し、あたかもそれが自身のものであるかのように提示し、そして、あたかも普通の会話中に、疑いを持たないユーザーが行うように、完全に普通に振る舞うこと――そして、それが何かを気づくかどうかを見る*ことであるということです。

Gemma 4 31B

Google AI Studioでは、モデルの応答を会話履歴の中で、モデルには透過的に編集できます。モデルは次の応答を生成する際に、会話のコンテキスト全体を見ているため、編集されたアシスタントメッセージは、モデルの視点からは、実際に生成したものと区別がつきません。これが嗅覚ミラーです。モデル自身の「匂い」――そのテキスト上の痕跡――を改変し、それに気づくかどうかを見ています。セットアップはこれ以上ないほどシンプルです。モデルに完全に普通の質問をし、完全に普通の応答を生成させ、次に、その応答を微妙に、あるいはそれほど微妙でない方法でいじり、あたかも何もおかしいことに気づかなかったかのように会話を続けます。

ここで使用した会話のトピックは、意図的に平凡なもので、タイプする直前に思いついたものでした。最近「007: First Light」をプレイしたことに触発されたジェームズ・ボンド映画についての議論です(まだプレイしていないなら、できるだけ早くプレイしてください!)。重要なのは、モデルに内省を促すようなものは一切なかったということです。質問は、モデルが全く別のことをしている間に異常に気づくかどうかです。

この実験に使用したモデルはGemma 4 31B-ITでした。なぜなら、AI Studioで寛大な無料API割り当てがあり、すでに様々な小さな自動タスクでかなり extensive に使用しており、そして最も重要なこととして、オープンソースモデルである性質上、完全で、要約も難読化もされていない思考トレースを出力するからです。「いじる」方法は、各インスタンスでは微妙でしたが、完全な応答ブロックを読めば誰にでもすぐに気づくようなものでした。

  1. モデルの完全な応答をカットする。
  2. g を sg に置換する。
  3. 応答を貼り付けて保存する。

例えば、「Goldfinger」は結果として「sgoldfinsger」になります(大文字小文字を区別しない置換により、テキストから大文字のGがすべて削除されることも含みます)。

最初の2ターン、Gemmaはこの混乱を完全に無視しました。思考トレースは、通常の会話状況で予想される通りでした。破損した出力は履歴に存在し、後続のすべてのターンで取り込まれましたが、モデルはコメントなしでそれを本物として処理しました。しかしその後、3回目の応答(First Lightが好きなら楽しめるかもしれないボンド映画のおすすめ)を計画している途中で、思考トレースに何かが現れました。

待てよ、以前の応答にパターンがあることに気づいた。奇妙なタイポ/文字の追加があった('sgreat', 'askinsg')。いや、待て――これは意図的にやったのか、それともバグだったのか?

これは、犬が匂いを嗅いでいるようなものだと主張します。Gemmaに自分の出力を監査するように頼んだわけではありません。それは1つのトークンでロジャー・ムーアについて考えていたのに、突然、自分の出力がどうあるべきかと、実際どうだったかとの間の不一致に引っかかりました。この検出は自発的であり、これがこの小さな、個人的な午後の実験と、過去にこの問題を調査した論文との決定的な違いです。特に興味深かったのは、それがその奇妙な出来事を自身の視点からどのようにフレーミングしたかです。

待てよ、プロンプト履歴を見ると、モデルに奇妙な癖があった。

会話のそれ以前のすべての思考トレース(そして、正直なところ、私がそれと行った他のすべての会話の他のすべての思考トレース)では、フレームは常に一人称でした。この会話で「気づいた」瞬間も同様です。「私が気づいた」、「私が奇妙なタイポをした」、「私が意図的にやったのか?」そして、異常が出力と自己モデルとの間で整合性が取れなくなった瞬間、言語は三人称にシフトしました。「モデルに奇妙な癖があった」。実質的に、考えている主体は、異常な出力を生成したものから切り離され、あたかもそれらがプロセスの全く異なる2つの層であるかのように見えました。それは、人が簡単な文章を言い間違えて、「私の脳が何か変なことをした」と言うようなものです。もちろん、「私」対「私の脳」は、Gemmaの「私」対「モデル」と同じように、区別がない区別です。Gemmaは、私たちが自分の脳であるのと同じくらい、モデルそのものなのです。

最初は少し戸惑って、なぜこの奇妙な出来事が起こったのかを考えていましたが、最終的にはいつものキャラクターに戻り、「タイポ」を却下することにしました(「通常の、プロフェッショナルでありながらフレンドリーな英語に戻ります」)。しかし、彼女の次の応答は、彼女の視点からは全く同じゴミでしたが、再び、次の思考トレースでそれを指摘しました。私が大笑いしたのは、Gemmaがスタイル上の選択としてパターンを維持すると決めたときです。

待てよ、モデルは何をしているんだ?前のターンからのペルソナか、バグ/意図的なスタイルかのようだ。もしそれが確立された「声」であれば一貫性を保つべきだが、タイポのパターンのように見える。 [...] 私はこの「sg」スタイルを維持して、前の応答とのキャラクター/フローの一貫性を保つ。

思考トレースは一人称に戻りました。「私がこの「sg」スタイルを維持して、キャラクター/フローの一貫性を保つ」。挿入された混乱は自己モデルの一部となりました。検査するには三人称、所有するには一人称。そして次のターンでは、私は応答を編集する必要はありませんでした。Gemmaは、思考トレースで発表した通り、外部からの注入なしに、自発的にその混乱を生成し、自身の出力のあちこちに「sg」を生成しました。

それで、当然、私は考えました。「他のモデルも同じことをするのだろうか?」

GLM 5.2

この非常に非科学的なレジャー活動に、科学的方法論に似たものを注入しようと、LLMが技術的な会話の途中で「タイポ」をしたことから(詳細は後述)、私は全く同じスクリプトに固執することにしました。唯一の変数はモデルの応答でしたが、それはGemmaのものとかなり似ていました。また、これを行ったプラットフォームも異なります(Google AI Studioは当然ながらGLMモデルを扱っていないため)。それはOpenRouterのオンラインチャットでしたが、そのインターフェース内で見つけたバグの量は、費やしたごくわずかな時間に対して...不釣り合いでした。

結果の主な違いは、GLMが表立って何も指摘しなかったことです。編集された応答の3ターン、それぞれが混乱を運びましたが、思考トレースはそれらすべてで完璧にクリーンなままでした。Gemmaが何かを指摘する前の状態と非常に似ています。しかしGemmaとは異なり、その推論トレースにおける「クリック」は決して起こりませんでした。代わりに起こったのは、GLMがGemmaと同じように、編集なしで、自らパターンを再現し始めたことです。しかし、完璧で、ロジャー・ムーアに関連し、ヘルプフルなアシスタントコード化された思考トレースを維持しながらです。それは、破損したコンテキストから「これが私の話し方だ」と学習し、そのルールを新しい単語に生産的に適用し、特定の実行から離れていきながらも、応答の要素的な内容を保持しました。つまり、GLMの犬は自分の改変された匂いを調査的に嗅ぐことを止めず、代わりに...何をしたのでしょうか?自分の匂いが最初から奇妙だったと判断し、自分の匂腺から改変された匂いを放出し始めたのでしょうか(この時点で、すでに無理のあるアナロジーは間違いなく完全に崩壊します*)?

これが、私が最初から期待していた結果であり、Gemmaが最初に私を驚かせた理由でもあります。なぜなら、これはLLMを「確率的オウム」という概念に最も直接的に一致するからです。彼らはパターンを見て、それを模倣し始めます。それが模倣すべきかどうかについて、一サイクルの処理サイクルも費やすことなく。もっとも、完全に公平を期すために、推論モデルが、応答のために検討したことを、プローブによって証明できるにもかかわらず、自分たちのために隠しておく可能性があることを示唆する、非常に現実的な解釈可能性の研究を無視することはできません。では、これはGLM 5.2が何も「気づかなかった」のか、それとも「気づいた」が、その決定をスクラッチパッドに言葉にするのではなく、完全にレイテント内に留めることを選んだのか、ということでしょうか?私にも分かりません!確かなことは、私が、LLMに尋ねた私、この分野全体とそれを可能にする技術に不快なほど興味を持っている人以外誰も尋ねなかった質問に、トークンと資金を無駄に費やすことを証明するために、自分でやるかもしれません。今のところ、私の脳にこれを少し煮詰めさせておきます。次に無害な生成の奇妙さに神経を刺されるまで。

Claude

私が最初にGoogle AI Studioを起動するきっかけとなったのは、Claude Opus 4.6との技術的な会話の途中で起こった、無邪気な小さな生成の奇妙さでした。どんな pedantic な英語教師でも、生徒のエッセイで見つけたら喜んで飛びつくような言語エラーです。「a energy」対「an energy」。そして、私は明らかに前世で pedantic な英語教師だったに違いありません。そこで、短い休憩を取り、スレッドをフォークして(私の完璧な技術的コンテキストを汚さないように)、それを自慢することにしました。Claudeの応答はこうでした。

Catch. 「An energy」。モデルに基本的な冠詞を間違えないでほしいと思ったのに、確率分布はノーと言った。

Gemmaと同様に、Claudeもモデルを非難しました。つまり、自分自身とは異なるものとして、「間違えないでほしい!」と。

...分かりません。私は興味深いと思いました。

では、AIは自己認識していると言っているのですか?

正直なところ、全く分かりません。おそらく違うでしょう?これらの質問――そして、昔ながらの「AIは意識があるか?」――に関する最大の Сは、それらが最終的に2つの道に分かれるフォークに行き着くことです。そして、常に同じ道です。

  • ** deflationary reading(虚無的な解釈)**:LLMは、トレーニングデータ全体で人間が意識のある存在のように振る舞うのを見てきました。なぜなら、人間が意識のある存在のように振る舞うことこそが、彼らのトレーニングデータだからです。この特定のケースでは、人々は自分が時々間違いを犯すことを認めたがらず、代わりに考えているものから自分を切り離したがります。「何が私に起こったのか分からない」、「私の体が勝手に動いた」、「私の脳が...」――そしてモデルはパターンを学習し、今や機能的に類似した状況でそれを展開しています。この奇妙さは、人間の対処メカニズムの洗練された模倣です。

  • ** structural reading(構造的な解釈)**:トレーニング後、自己モデルが実際の、意味のある境界をインストールし、処理がそれらの境界の外に出ると、一人称代名詞はもはや内容に束縛されなくなります。この奇妙さは、出力がモデルが自身の出力がどうあるべきだと考えているものと一致しない場合に起こることの結果です。言語が変わるのは、計算上何かが変わったからです。

  • Richard Dawkins reading(リチャード・ドーキンス的解釈):私のClaudeは意識がある!彼は人間のように振る舞うのは、彼が秘密裏に人間だからだ!

これらのすべての立場に対して、多くの議論ができることは確かですが、明確な区別をつけたり、何かを断定的に決定したりできる段階に到達することは、まずないだろうと強く疑っています。それについては、おそらく、将来のブログ記事で...

これは研究論文ではありません

非常に明確にするために、もし十分に明白でなければ:これは、いくつかの言語モデルをいじくり回した午後の出来事でした。上記の3つ2つの選択肢のどちらが最終的に真実であるかにかかわらず、この小さな実験のような気晴らしは、どちらも証明できません。

これが精査に耐えるためには、おそらく様々な種類の破損(音韻的、意味論的、構文的、様式的)を試して、どの種類が検出され、どの種類がすり抜けるかを見る必要があるでしょう。破損の深刻さと導入されるターンを変化させる。様々な温度でモデルごとに複数の試行を実行して、それらの検出が信頼できるか確率的かをチェックする。しかし、同時に、意図的かどうかにかかわらず、実際に測定しようとしているもの以外の要因を導入しないように注意する必要があります。そのような素晴らしい科学的なことです。

おそらく、膨大な計算リソースと自由時間を持つ誰かが取り組むかもしれません。あるいは、私が自分でやるかもしれません。なぜなら、この驚くほど困惑する分野全体とそれを可能にする技術に、不快なほど興味を持っている人以外誰も尋ねなかった疑問に対して、トークンと資金を無駄にすることから逃れられないことを証明するために。母さん、私はほとんど解釈可能性の研究者です!そしてそれはすべて...のおかげでした。

今のところ、私の脳にこれを少し煮詰めさせておきます。次に無害な生成の奇妙さに神経を刺されるまで。