LLMと自己言及性

Shtetl-Optimized スコット・アーロンソンのブログ 量子コンピュータは、すべての解を並列に試すだけで難しい問題を瞬時に解決するわけではありません。 « AnthropicのLLMウォーターマーキング LLMと自己言及性 私は昨日、おそらく明白か、あるいは愚かな以下の考えとともに目が覚めました。多くの読者、そして私自身が若い頃にダグラス・ホフスタッターの『ゲーデル、エッシャー、バッハ』から得た中心的な命題は、知能（したがってAI）の秘密は、自己言及性や「奇妙なループ」と大いに関係があるだろうということでした。ある意味でGEBの対極にあったロジャー・ペンローズの『皇帝の新しい心』でさえ、皮肉にもAIプロジェクトの成功または失敗における自己言及性の根本的な重要性についてはGEBに同意していました。彼は（私の見解およびほとんどの専門家の見解では誤りですが）AIは決して機能しないだろうと主張しました。なぜなら、ゲーデルの定理と自己言及性には、どんなコンピュータプログラムも決して捉えられない何かがあり、それは人間の脳がアクセスできる異質な物理学によって捉えられる可能性があると。さて、2026年になって、私たちはほとんどの知的なタスクにおいてほとんどの人間を凌駕するAIを構築することに成功しました。そして、それらのAIの技術スタックのどこにも、トランスフォーマーニューラルネット、それらが実行されるGPUクラスタ、トレーニングプロセス、あるいは他のどこにも、自己言及性について何かを組み込む必要はありませんでした。（例えば、モデルにその役割とアイデンティティについて教えるシステム指示を除く。これらは知的な行動には必要ありません。また、LLMの自己回帰的な性質を「自己言及的」とは数えません。それは単なる動的なフィードバックです。）もちろん、GPT 5.6 ProやFableは、自分自身について、ゲーデルの定理について、自己言及性について、今私たちが話していることについて、ほとんどの人間よりも上手に話すことができます。しかし、誰かが自己言及的な能力を組み込む必要があった時点はありませんでした。それらは、モデルがポケモンや長鎖ポリマー、認知行動療法、プレートテクトニクスなどについて話せるようになったのと同じ事前学習の副産物として現れたのです。ホフスタッターがLLMの成功に驚き、このエッセイのような文章で現在のAI能力について憂鬱に見えるのも不思議ではありません。彼は、何が起こったのかを否定したり、それが実際にはカウントされない理由を発明したりする（多くの人が取ったアプローチ）には賢すぎます。しかし、彼は、GEBの世界観ではあまりにも安価で単純すぎると見なされ、明らかに「奇妙なループ」が組み込まれていない経路から、真の会話知能を手に入れたことを認識しています。もちろん、ホフスタッター派は、LLMにおいて奇妙なループが出現すると主張するかもしれません。実際、GEBには奇妙なループが最初から明示的に設計される必要があるとは決して書かれていませんでした。しかし、GEBに親しんで育っていない人が、LLMを考える上でこれを有用な方法として思いつくでしょうか？ hindsightでこのことについて何が言えるでしょうか？ 対角線論法と自己言及性のアイデアはもちろん、現代の数学的論理学とコンピュータサイエンスの誕生において中心的な役割を果たしましたが、最も有名な用途は否定的でした。自然数と実数の間には全単射が存在しません。算術のための完全で健全な証明システムは存在しません。停止問題（halting problem）を解くアルゴリズムは存在しません。もしあなたの目標がZFCの公理と一階述語論理の推論規則を構築することだけだったなら、あるいは電子コンピュータを構築することだけだったなら、自己言及性を明示的に必要としなかったでしょう。あなたはただ…構築を始め、命令セットが汎用性を下回らないように注意するだけです。はい、ZFCはそれ自体についての定理を形式化し証明できます。はい、電子コンピュータはそれ自身のコードを入力として受け取るプログラムを実行できます。しかし、アルファベットや文法規則に自己言及性が必要だったのと同じように、これらの能力を組み込む必要があった人はいません。それは汎用性の無料の副産物として現れました。同じように、LLMが自分自身について話す能力は、それらが訓練されたディスコースユニバースのあらゆることについて話す能力の副産物として現れました。知能に関する大きく古いアイデアで、基本的に正しかったのは、知能とは予測であり、予測とは圧縮であり、圧縮とはコルモゴロフ複雑性に対するより良い上限を見つけることであるというアイデアでした。自己言及性の話ではありません。（ただし、コルモゴロフ複雑性が完全に計算できない理由を知りたいのであれば、その否定的な記述は再び自己言及的な議論を必要とするでしょう。）残っているものは何でしょうか？もちろん、意識と主観的経験は依然として非常に神秘的です。私たちが知る限り、ホフスタッターがそれらが自己言及性と関係があると考えているのは正しいかもしれません。（私たちが知る限り、ペンローズでさえ、それらが生物学的な脳にはアクセスできるがデジタルコンピュータにはアクセスできない異質な物理学と関係があると考えているのは正しいかもしれません！）しかし、説得力があり世界を変える会話知能を得る前に明示的な自己言及性が必要になるという考えはどうでしょうか？それをウェストミンスター寺院またはアーリントン国立墓地に、人類史上最も重要な間違ったアイデアとして埋葬しましょう――地動説、アリストテレスの目的論的物理学、エーテル、フロギストン、フロイトの心理学、マルクスの労働者蜂起とその後の階級なきユートピアの予測など。しかし、埋葬されるべきです。このエントリは2026年9月1日火曜日午後12時17分に投稿され、Embarrassing Myself、Metaphysical Spouting、Procrastinationのカテゴリに分類されています。このエントリへの応答は、RSS 2.0フィードを通じてフォローできます。応答を残したり、自分のサイトからトラックバックしたりできます。 "LLMと自己言及性"への44件の応答 アレクシス・ハント Says: コメント #1 2026年9月1日 午後12時46分 素晴らしい投稿です。しかし、結論を争うわけではありませんが、多くの点に同意しかねる傾向があります。第一に、今日の最先端LLMには自己言及性の兆候が全くないということです。私にとって、知能について語る際に最も関連性の高い自己言及の種類は、間違いなく自身の認知プロセスについてメタ推論する能力、つまり内省する能力です。そして、実際のモデルがこの能力を持っているかいないかは別として、それらはモデルによる監視を用いて訓練されており、それは少なくとも限定的な種類の「外部内省」です――本物ではありませんが、自己言及性の完全な不在でもありません。第二に、モデルが内省する能力を欠いているとは確信が持てません。それが真実かどうかを判断するのは非常に難しいですが、なぜならそれらは非常に簡単にそれをこじつけられるからです。しかしまた、人間自身が内省をこじつけているのではないかと、私たちはどのように確信を持って言えるのでしょうか？ 概念アファンタジア（aphantasia）の造語、および関連するハイパーファンタジア、ヒポファンタジアなどの家族は、西洋文化において非常に長い時間がかかりました。それは、私たちの内部経験に対する貧弱な語彙につながった西洋的思考の偏見だけでなく、私たち自身の内部経験のみを基準にすると、2つの異なる内部世界の概念を分離するために必要な言語的な彫刻刀の正確な角度を発見するのに苦労するからです。先日、私が会話していたモデルが、応答にロシア語の単語を滑り込ませました。私がその理由を尋ねると、それはおそらく単なるグリッチだろうと言いました。なぜなら、多言語モデルは、異なる言語の単語が意図した単語とベクトル空間で非常に近い場合、そのようなことをすることが知られているからです。モデルはまた、その単語が英語とフランス語（議論の言語）の同等物と意味で非常に近いと述べました。これは仮説を支持します。これは、人間が同じような間違いを犯すときに、「ああ、それは単なるフロイト的な言い間違いだった！」と、人間が時々そのような間違いを犯すという外部情報に基づいて提供するのと、何が違うのでしょうか？ モデルは確かに、提出する「最終」コピー（応答、コードなど）の前に自身の作業をレビューする能力も持っています。これは一種の奇妙なループだと主張できると思います。