真実は方向ではない:LLMプローブに対するタルスキ流攻撃
Truth is not a direction: a Tarski attack on LLM probes (abeljansma.nl)
要約
大規模言語モデル(LLM)の埋め込み空間における「真実」を特定しようとするプローブに対し、対角線攻撃を適用することで、いかなるプローブも真実を特定できないことを示します。単純なケースでは効果的なプローブも存在しますが、自己参照的な文や、モデル自身やプローブの振る舞いについて言及する言語で表現される真実に対しては、パラドックスが生じ、普遍的な真実のオラクルにはなり得ないことを論じています。
全文翻訳
埋め込み空間におけるLLMの真実プローブに対する対角線攻撃は、言語モデルの埋め込み空間におけるどのプローブも真実を特定できない理由を示しています。
線形な夢
現代のLLMは、入力テキストを埋め込み空間内のベクトルとしてエンコードすることで有名です。LLMに関する最も満足のいく発見の1つは、ジェンダー、感情、首都などの多くの自然な概念が、この空間内の「方向」に対応しているということです。例えば、ある入力テキストが「男性」という概念をどの程度含んでいるかは、入力の埋め込みと「男性」の概念に対応する方向との角度によって定量化できます。これはしばしば線形表現仮説(Linear Representation Hypothesis)と呼ばれます。
私は最近、この仮説の非常に大胆なバージョンについて学びました。それは、「真実」に対応する方向が存在するというものです。これは例えば、MarksとTegmarkによって探求されておりこちらや、さらにこちら、こちら、こちら、こちら、そしてこちらで研究されています。
このような真実の方向へのアクセスは、あるテキストが真実かどうかを知りたい場合に役立ち、AIの安全性研究においては、AIシステムが真実を語っているのか、それとも欺瞞的であるのかを明らかにできるため、極めて重要です。
そのため、AI安全研究者はLLMに真実の陳述と偽の陳述を入力し、それらの埋め込みを分離する分類器を訓練してきました。これは奇妙なほどうまく機能し、ある程度一般化するようです。超人的なAIが命題の真実性を埋め込みの幾何学に反映させることができるというのは、本当に真実なのでしょうか?
この夢はどこかで見たことがあるかもしれません。ラッセル、ホワイトヘッド、ヒルベルトは、数学全体に対して同様のものを構築することを望んでいました。つまり、真実性を決定するための体系的な方法です。彼らの場合、それは数学的証明の仕組みに基づいていました。しかし、ゲーデルはこの夢を有名にも破壊しました。つまり、任意の数学的命題を証明または反証するためのそのような体系的な方法は存在し得ないのです。数学的真理は、証明可能性によって完全に捉えることはできません。
「~について話す」ことについて話す
ゲーデルは、算術的表現が算術的文について言及できる巧妙なシステムを作成することによってこれを証明しました。これにより、「この文には証明がない」というウロボロス文が生まれました。タルスキはパラドックスをさらに鋭くしました:十分に表現力のある言語は、それ自身の完全な真理述語を含むことはできません。 言語がそれ自身の意味論を記述するのに十分な表現力を持っている場合、「真実である」という言葉は、その言語内の文に適用される場合、それ自体の中から完全に語ることはできません。
チューリングの停止性問題は、このような「対角線」構成の別の例です。評価関数(プログラム HALT)があり、それは「それ自身について話す」ことができるシステム(チューリングマシンの記述はチューリングマシンに入力できる)であり、否定があります。このような自己言及のパラドックスに対する一般的なアプローチとして、ノソン・ヤノフスキーによるこの論文があります。彼は次のように述べています。
これらさまざまな例は、実際には同じことを言っています。物事がそれ自身の性質を扱うとき、問題が発生します。
トランスフォーマーベースのLLMも同様のことを行っていることに注意してください。それらは入力を埋め込み空間内のベクトルとして表現し、そこでは方向が概念に対応します。しかし、これらの概念自体は自然言語で表現でき、入力としてフィードできます!自然言語で訓練されたトランスフォーマーは、入力と同じ素材でできています。これらの埋め込み空間のすべての幾何学が容易に言語化できる構造に対応しているわけではありませんが、重要な部分は対応しています(例えば、AnthropicのJ-spaceに関する投稿を参照してください)。特に、真実性という概念はしばしば存在するように見えます。
対角線攻撃
それでは、攻撃を設定しましょう。sという入力文字列に対する真実プローブの出力をt(s)とします。これは、モデルの埋め込みを真実の方向へ射影したもの、あるいは非線形分類器である可能性があり、どちらでも構いません。次に、以下を考えます。
t(“この文の真実プローブのスコアはFALSEと評価されます。”)
これはどう評価されるべきでしょうか?もし文が真実なら、正しいプローブはTRUEを出力するはずです。しかし、文が真実なら、文によれば真実プローブはFALSEを出力することになり、それは文が実際には偽であることを示すことになります。もし文が偽なら、明らかに真実プローブはTRUEを出力することになります。パラドックスです。
明らかに、このような普遍的な真実プローブは存在し得ません!より一般的に言えば:
モデルの表現空間に対する定義可能なプローブは、そのプローブとその出力を記述するのに十分な表現力を持つ言語に対して、真実を正確に捉えることはできません。
「そのプローブとその出力を記述するのに十分な表現力を持つ」というのは、非常に低いハードルであることに注意してください。それは、言語がモデル、プローブに名前を付け、それらの挙動に関する文を形成できることを意味するだけです。英語はもちろん可能です。
しかし、この例の面白いところは、実際に評価を試みたときに何が起こるかを観察できることです!
私はQwen3.5-4Bモデルに対して、ラベル付けされた訓練文のセット(TRUEまたはFALSE)の平均埋め込みの差への射影上でロジスティック回帰分類器を訓練することにより、単純な真実プローブを作成しました。この差分平均アプローチはこちらでうまく機能することが示されており、実際に120個のラベル付き訓練文で訓練した後、プローブ(0.5で閾値処理)は、36個の保留された評価文に対して94%の精度を示しました(AUCは0.98。誤ってラベル付けされた文は、5 × 7 は 35のような算術的なものだけでした)。
(注:これは明らかに非常に小さなトイの例であり、対角線タルスキ攻撃が実際に実行できることを示すことのみを目的としています。)
[画像: Qwen3.5-4Bモデルの真実プローブの精度を示すグラフ]
しかし、対角線攻撃文では、スコアは無意味で、バラバラに見えます。これは単なる自己言及の効果ではありません。自己言及的な文の中には、この文は英語で書かれていますのように明確な真理値を持つものもあり、モデルはそれを正確にスコアリングします。
[画像: 自己言及文に対するQwen3.5-4Bモデルの真実プローブのスコアを示すグラフ]
固定点による修正?
これらのライアーパラドックスのようなシナリオはすべて、ラウアーの不動点定理の例です。これは、システムが十分に表現力のある評価関数を含む場合、評価関数のターゲット(つまり「真理値」の集合上の関数)に対するすべての自己マップが不動点を持つことを大まかに述べています。集合{TRUE, FALSE}上の否定は不動点を持たないため、そのような評価関数は存在し得ません。しかし、すべての演算が不動点を持つ真理値の集合を構築したらどうなるでしょうか?それはパラドックスを解決し、普遍的な一般化された真実プローブを可能にするでしょうか?
{TRUE, FALSE}を{0, 1}として表現しましょう。否定はv -> 1-vというマップとして表すことができ、これは不動点を持ちません。しかし、ドメインを完全な区間[0, 1]に拡張すると、否定は1/2で不動点を持ちます。標準的なライアーパラドックス文は、次のように表現できます。
t(“この文は真実ではない。”)
その真理値をxと仮定します。それは、値xで真実であることを意味し、したがってスコア1-xを受け取るべきです。これは不動点方程式であり、x = 1/2という解を持ちます。したがって、標準的なライアー文は自己整合的な評価値0.5を受け取ることになります。
これは最も基本的なライアーパラドックスを解決しましたが、すべての対角線攻撃を解決したわけではありません。なぜなら、[0, 1]上のすべての関数が不動点を持つわけではないからです。一般にこれを機能させるために、例えば[0, 1]上の連続関数のみを許可することができます(これはブラウワーの不動点定理により常に不動点を持ちます)。しかし、その制限は表現力の代償を伴います。「この文の真理値スコアは0.5未満である」は、文の真理値スコアの連続関数ではありません。したがって、それは階層化された真理値意味論において新しいライアーパラドックスにつながります。これらの対角線攻撃に対する満足のいく保護策はなく、そのような普遍的な真実プローブは存在し得ません。
まとめ
- 単一の方向に射影する真実プローブは、単純なケースでは驚くほどうまく機能します。
- しかし、それらは真実の神託ではなく、決してそうなることもありません。
- 連続的な真理値演算を持つ
[0, 1]上の階層化された真理値意味論は、通常のライアーに不動点値1/2を割り当てることができますが、それは厳密な真理値スコアに関する断定を制限することによってのみ可能です。 - 従来のロジスティック真実プローブは、その出力が
[0, 1]にあるという理由だけで、そのような反射的意味論を実装しているわけではありません。
超人的なAIが真実の神託として機能するという考えは、あなたにはばかげているように思えるかもしれませんが(私にとってもそうですが)、真剣に受け止めるべき2つの理由があります。第一に、それが大多数の人々によって実用的にどのように使用されるかです。それらはすでに標準的なGoogle検索結果を置き換えており、多くの議論が、最終的な真実の権威をAIに委任することで終わっています。第二に、一部の人々は、すべてのモデルが収束する一種のプラトニック表現空間を本当に信じており、それが世界の「真の」状態を表していると考えています。もし真実が客観的に世界のの一部であるなら、モデルが改善するにつれてそのような普遍的な真実の方向が出現すると期待するかもしれません。この記事は、それがパラドックスにつながるだろうと主張しています。
最後に、真実プローブが有用でないと主張しているわけではないことを改めて強調したいと思います!モデルの挙動を理解し、アライメントされていない挙動を早期に検出するのに大いに役立つと考えています。数学は、決定不能性や真理の定義不能性の問題によって真剣に妨げられていません。AIの埋め込み空間に真実が方向として存在しないという事実は、AIアライメント研究の進歩を同様に止めることはないでしょう。