LLMと自己言及性

LLMと自己言及性

昨日、おそらくは明白か、あるいは愚かな考えが頭に浮かびました。

多くの読者、そして私自身も、若い頃にダグラス・ホフスタッターのゲーデル・エッシャー・バッハから得た中心的な命題は、知能（したがってAI）の秘密は、自己言及性と「奇妙なループ」に大きく関わるだろうということでした。

ロジャー・ペンローズの『皇帝の新しい心』でさえ、ある意味でGEBの対極にあったにもかかわらず、皮肉なことに、AIプロジェクト全体の成功または失敗における自己言及性の根本的な重要性についてはGEBに同意していました。それは（私の見解およびほとんどの専門家の見解では誤りですが）AIは決して機能しないと主張しました。なぜなら、ゲーデルの定理と自己言及性には、コンピュータプログラムが決して捉えられない何かがあるが、それは人間の脳がアクセスできる異質な物理学によって捉えられる可能性がある、というのです。

そして今、2026年、私たちはほとんどの人間をほとんどの知的タスクで凌駕するAIを構築することに成功しました。これらのAIの技術スタックのどの部分—トランスフォーマーニューラルネット、それらが動作するGPUクラスター、トレーニングプロセス、あるいは他のどこにも—自己言及性に関する何かを組み込む必要はありませんでした。（例えば、モデルにその役割とアイデンティティを伝えるシステム指示を除く。これらは知的な行動には必要ありません。また、LLMの自己回帰的な性質を「自己言及的」とは数えません。それは単なる動的なフィードバックです。）

もちろん、GPT 5.6 ProやFableは、自分自身について、ゲーデルの定理について、自己言及性について、今私たちが話していることについて、ほとんどの人間よりも上手に話すことができます。しかし、自己言及的な能力を組み込む必要は一度もありませんでした。それらは、モデルがポケモンや長鎖ポリマー、認知行動療法、プレートテクトニクスなどについて話せるようになったのと同じ事前学習の副産物として現れたのです。

ホフスタッターがLLMの成功に驚き、この記事のようなエッセイで現在のAI能力について落ち込んでいるように見えるのも不思議ではありません。彼は、何が起こったのかを否定したり、それが実際にはカウントされない理由を発明したりするほど愚かではありません（多くの人が取ったアプローチです）。しかし、彼は、GEBの世界観ではあまりにも安易で単純すぎると見なされ、明らかに「奇妙なループ」がどこにも組み込まれていない経路から、真の会話知能を手に入れたことを認識しています。

もちろん、ホフスタッター派は、LLMでは奇妙なループが出現すると主張するかもしれません。実際、GEBには奇妙なループが最初から明示的に設計される必要があるとはどこにも書かれていませんでした。しかし、GEBに慣れ親しんでいない人が、LLMを考える上で有用な方法としてこれにたどり着くでしょうか？

後から振り返って、これについて何が言えるでしょうか？対角線論法と自己言及の考えはもちろん、現代の数学的論理学とコンピュータサイエンスの誕生に中心的な役割を果たしましたが、最も有名な用途は否定的なものでした：自然数と実数の間には全単射が存在しない。算術のための完全で健全な証明システムは存在しない。停止問題（halting problem）を解くアルゴリズムは存在しない。

もしあなたの目標がZFCの公理と一階述語論理の推論規則を構築することだけだったり、電子コンピュータを構築することだけだったりした場合、それのために明示的な自己言及性は必要なかったでしょう。あなたはただ…構築を始め、命令セットが普遍性を満たさないように注意するだけです。

はい、ZFCはそれ自体について形式化し、定理を証明できます。はい、電子コンピュータは自身のコードを入力として受け取るプログラムを実行できます。しかし、アルファベットや文法規則に自己言及性を組み込む必要があったのと同じように、これらの能力を組み込む必要は誰にもありませんでした。それは普遍性の無料の副産物として現れたのです。

同じように、LLMが自分自身について話す能力は、学習したディスコース宇宙のあらゆるものについて話す能力の副産物として現れました。知能に関する古くからの大きなアイデアで、基本的に正しかったのは、知能とは予測であり、予測とは圧縮であり、圧縮とはコルモゴロフ複雑性の上界をますます良く見つけることであるという考え方でした。自己言及の類ではありません。（ただし、コルモゴロフ複雑性が完全に計算できない理由を知りたいのであれば、その否定的な記述は再び自己言及的な議論を必要とするでしょう。）

何が残っているでしょうか？もちろん、意識と主観的経験は依然として非常に神秘的です。私たちが知る限り、ホフスタッターがそれらが自己言及性に関係していると正しかったのかもしれません。（私たちが知る限り、ペンローズでさえ、それらが生物学的脳にはアクセスできるがデジタルコンピュータにはアクセスできない異質な物理学に関係していると正しかったのかもしれません！）

しかし、説得力があり、世界を変えるような会話知能を得る前に明示的な自己言及性が必要になるという考えは？それは、人間の歴史における最も重要な誤った考え—地動説、アリストテレスの目的論的物理学、エーテル、フロギストン、フロイトの心理学、マルクスの労働者蜂起とその後の階級なきユートピアの予測など—とともに、ウェストミンスター寺院かアーリントン国立墓地に埋葬されるべきです。しかし、埋葬されるべきなのです。

This entry was posted on Tuesday, September 1st, 2026 at 12:17 pm and is filed under Embarrassing Myself, Metaphysical Spouting, Procrastination. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.

You can use rich HTML in comments! You can also use basic TeX, by enclosing it within $$ $$ for displayed equations or ( ) for inline equations.

After two decades of mostly-open comments, in July 2024 Shtetl-Optimized transitioned to the following policy:

All comments are treated, by default, as personal missives to me, Scott Aaronson---with no expectation either that they'll appear on the blog or that I'll reply to them.

At my leisure and discretion, and in consultation with the Shtetl-Optimized Committee of Guardians, I'll put on the blog a curated selection of comments that I judge to be particularly interesting or to move the topic forward, and I'll do my best to answer those. But it will be more like Letters to the Editor. Anyone who feels unjustly censored is welcome to the rest of the Internet.