数学大崩壊(Mathocalypse)
The Mathocalypse (scottaaronson.blog)
要約
OpenAIが発表した372件の数学的ブレークスルーの中に、長年の未解決問題であったユニークゲーム予想(UGC)の証明が含まれており、理論計算機科学に大きな影響を与えています。この証明はAIによって生成されたと考えられていますが、人間が理解するにはAIの助けが必要なほど難解であり、数学界に新たな時代をもたらす可能性を示唆しています。
全文翻訳
シュテトル最適化
投票!
2026年10月21日
今日は、定例のAI数学黙示録の話題から離れて、アメリカの読者に中間選挙への投票を促したいと思います。まだ投票していないなら、できれば期日前投票をしてください。特に、私の移住先のテキサス州のように、主要な選挙が複数ある州ではなおさらです。
私は、四半世紀以上前に選挙権を得て以来、すべての選挙で一貫して民主党に投票してきました。ですから、はい、私は私の家の近くで神学を学んだ男、そしてキリスト教の「すべての人に親切に」という教えを本当に内面化したように見える男に投票しました――
――彼の嘲笑的で、チンピラのような、漫画のようにマフィアのような対立候補よりも。
テキサス州の共和党は、腐敗し、陰謀論を唱え、人種差別的で、2026年のMAGAの驚くほど堕落した基準から見てもタリバン的であることによって、私にとってこの選択を容易にするために、できる限りのことをしました。私が息を吸う限り、UTの学生を、彼らが東南アジア系であるという理由で攻撃し、スタンドで学校のフットボールの勝利を応援した候補者の一人、あるいはその候補者をほとんど非難することさえできなかった他の候補者たちに、私は決して投票することはできませんでした。(まるで、移民にアメリカ文化に同化してほしかったのではないですか?これらの子供たちは、肌の色を漂白する以外に、一体何をすればよかったのでしょうか?)
それにもかかわらず、これは私の人生で初めて、自分の投票が本当に意味を持つと感じたアメリカの選挙でした――特に、イスラエルが10月7日に攻撃されたのと同じような戦争を戦ったという理由で、イスラエルを非難するTalarico氏の言葉を聞いたときです。Hasan PikerがUTオースティンで応援する聴衆の前で話すために来たとき、私はTalarico陣営の知人に連絡を取り、TalaricoがPikerの多くの反ユダヤ主義的で反アメリカ的な発言を非難し、その支持を放棄するのに十分な度胸があるかどうか尋ねました。私の連絡先は親切にも私に返信してくれ、こう言いました:心配しないでください、ジェームズはPikerの訪問中にオースティンから遠く離れるようにしていますので、彼は全く関与する必要はありません!
だから、これが私の候補者です:私のイスラエルの親戚が強姦され、斬首されても構わないと思っているストリーマーに対して、戦略的に沈黙している男。Abdul El-Sayedがミシガンでそのストリーマーとキャンペーンを行ったように、彼とキャンペーンを行うのではなく。私はTalaricoにとって、党の若者の勢いに抵抗することさえ、この程度まで行うのに真の道徳的勇気が必要だったと、皮肉ではなく信じています。
このような状況下で、近い将来私の票を獲得するためには、テキサス州の共和党員は、いくらかでも正気または合理的であればよいのです。例えば、人種差別は悪いことだと肯定し、中絶は女性の選択であると肯定し、キリスト教はアメリカの国教ではないと肯定し、コビッドワクチンは効くと肯定し、そして/またはジョー・バイデンが2020年に勝利したと肯定し、それでもなお税金やその他のことについて恣意的に右翼的であるということです。そうすれば、彼らは単に民主党が、現在フランスの美しい都市を燃やし、店主を恐怖に陥れ、できる限りのルイ・ヴィトンバッグを略奪している、マスクをしたフーリガンたちの世界観に完全に陥落するのを待つことができます…もちろん、すべてはパレスチナのため、そして世界資本主義の暴力的な打倒のため、そして陰謀を企む、金にがめつい、鉤鼻の、国際的なタルムード…ええと、つまり「シオニスト」の暴力的な打倒のためです。
私が言いたいのは、このサイクルで私から一票も獲得できなかったテキサス州の共和党の功績は、真の功績だったということです。
ミートスペースでの冒険, お知らせ, 人類の運命 に投稿 | コメントなし »
AIアラインメント理論コース:講読資料とラポールレポート!
2026年10月19日
数週間前にこのブログで発表したように、今学期UTオースティンで「AIアラインメント理論」という新しいコースを教えています。このようなコースを「タイムリー」と呼ぶのは控えめすぎます。私が教えているコースで、コースに関連する複数の巨大な進展が私が教えている間に起こったのは、これが初めてです。
AIアラインメントはまだ標準的な教科書がない分野であるため(ただし、そうなるかもしれない)、標準的な数学理論の体系もないため、私たちはコースを人文学のディスカッションセミナーのように運営しています。ただし、CS学科で行われ、時折技術的な結果も含まれるものです。基本的に、各クラスセッションで、学生の「ラポータ」がAIアラインメントの講読資料についての発表を行います。それには、「古代」の講読資料(2016年頃のもの)、「現代」の講読資料(例えば先週のもの)、そしてその間のすべてが含まれます。その後、発表された内容について自由に議論し、私の役割は主に(時折、技術的な概念についてミニ講義を行う)馬虻のようなものです。
さて、2週間前、私たちは議論している論文やその他の文章のリスト、そしてそれらの論文に関する学生の「ラポータレポート」を約束しました。レポートには、論文自体だけでなく、学生の論文に対する考えや、クラスの議論で提起された点の(匿名化された)要約も含まれます。人々はそれ以来、私にそれをせがんでいます。
喜ばせるために、前置きはこれくらいにして、ここにリストを載せます!学期が進むにつれてリストを更新し続けますので、この投稿はコースの公開リポジトリとして機能します。
-
AGI Ruin: A List of Lethalities, by Eliezer Yudkowsky (2022). ラポータレポート(テニスン・バードウェル)(以前に投稿したものです)。
-
Concrete Problems in AI Safety, by Amodei, Olah, Steinhardt, Christiano, Schulman, and Mané (2016). ラポータレポート(ダニエラ・ウィーパート)
-
The Alignment Problem from a Deep Learning Perspective, by Ngo, Chan, and Mindermann (多くのバージョンがありますが、最新は2025年), and Research Priorities for Robust and Beneficial Artificial Intelligence by Russell, Dewey, and Tegmark (2016). ラポータレポート(オレグ・ピットマンとジャック・ホルト)
-
What Happened: OpenAI and HuggingFace, by Zvi Mowshowitz; The Rise and Fall of Agent Civilizations, by Dwarkesh Patel, and the METR report by on the HuggingFace incident, by Greenblatt, Cotra, and Wijk (すべて2026年). ラポータレポート(ショウジョ・アディヤ・チャウドリとジョン・ロバートソン)
-
We Must Pace the Frontier, by Dario Amodei (2026). ラポータレポート(ディラン・シャー)
-
The Basic AI Drives, by Stephen Omohundro (2008), and Optimal Policies Tend to Seek Power, by Turner, Smith, Shah, Critch, and Tadepalli (2023). ラポータレポート(ビル・ジェン)
-
Corrigibility, by Soares, Fallenstein, Yudkowsky, and Armstrong (2015). ラポータレポート(スクルート・チコディカー)
-
The Off-Switch Game, by Hadfield-Menell, Dragan, Abbeel, and Russell (2017). ラポータレポート(プラニール・セス)
-
Planting Undetectable Backdoors in Machine Learning Models, by Goldwasser, Kim, Vaikuntanathan, and Zamir (最新版2024年), and Oblivious Defense in ML Models: Backdoor Removal without Detection, by Goldwasser, Shafer, Vafa, and Vaikuntanathan (2025). ラポータレポート(アグリム・ジェインとインディラ・ダッタ)
-
Backdoor Defense, Learnability, and Obfuscation by Christiano, Hilton, Lecomte, and Zhu (2024), and Unelicitable Backdoors in Language Models via Cryptographic Transformer Circuits, by Draguns et al. (2024). ラポータレポート(ジョン・ダンバー、近日公開)
-
Functional Decision Theory: A New Theory of Instrumental Rationality, by Eliezer Yudkowsky and Nate Soares (2018). ラポータレポート(アイザック・ノエル、近日公開)
-
Robust Cooperation In the Prisoner’s Dilemma: Program Equilibrium via Provability Logic, by Barasz, Christiano, Fallenstein, Herreshoff, LaVictoire, and Yudkowsky (最新版2021年). ラポータレポート(シュナン・ジェン、近日公開)
-
Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training, by Hubinger et al. (多数の著者) (2024). ラポータレポート(アンソニー・ワン、近日公開)
-
Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback, by Conitzer et al. (多数の著者) (2024) and Toward a Theory of Value in AI Alignment, by Ahmed, Birhane, Smart, Kay, Shrishak, and Tobin (2026). ラポータレポート(プリヤンカ・サダゴパン、近日公開)
-
Claude’s Constitution, by Amanda Askell, Joe Carlsmith, Chris Olah, Jared Kaplan, Holden Karnofsky, et al. (2026). ラポータレポート(アラン・リー、近日公開)
-
AI Safety via Debate, by Geoffrey Irving, Paul Christiano, and Dario Amodei (2018). ラポータレポート(サンプーンナ・ポリア、近日公開)
-
Scalable AI Safety via Doubly-Efficient Debate, by Jonah Brown-Cohen, Geoffrey Irving, and Georgios Piliouras (2023). ラポータレポート(アルーシ・ラキ、近日公開)
-
AI as Normal Technology, by Arvind Narayanan and Sayash Kapoor (2025). ラポータレポート(ウェイシ・チェン、近日公開)
-
On the Dangers of Stochastic Parrots, by Emily Bender, Timnit Gebru, Angelina McMillan-Major and Shmargaret Shmitchell (2021). ラポータレポート(ジョージ・ツォウカラシス、近日公開)
(学期終了まで、さらに講読資料を追加予定!)
これをまとめるのに協力してくれたTAのLin Lin Leeに感謝します。
更新: コメントセクションでのこれらの論文やラポータレポートに関する活発な議論を歓迎します。学生の中にも参加する人がいるかもしれません!学術クラスとの関連性から、この投稿では建設的でない、またはトピックから外れたコメントを特に厳しく排除します。
AI, お知らせ, 人類の運命 に投稿 | 20コメント »
トピックに関するポッドキャスト
2026年10月13日
「トピック」とは、もちろん数学黙示録ですが、時にはAIアラインメント、さらには量子コンピューティングや複雑性理論なども含まれます。
特に、上記のポッドキャストの終盤近くで、Anthropicのモデルが数世代にわたって記録を破る3SUM問題と全対最短経路問題のアルゴリズムを見つけたというニュースに対する私のライブリアクションを見ることができます――私が起きてログインしたときにはまだ知らなかったニュースです。(見たくない場合は、私のリアクションは基本的に「ええ、すごい…もし私が歴史最大の数学的ブレークスルーのビュッフェでご馳走を食べ過ぎていなかったら、きっとこのニュースにも個別の驚嘆の念を抱いただろうに…」というものです。)
そしてこちらが「モダンCTO」とのポッドキャストで、同様のトピックについてです。
ああ、そして3つ目があります:テオ・ジャフィーとのMTSポッドキャスト。
お楽しみください、そしてこれらのポッドキャストのホストに感謝します!
更新(10月19日): 私とアダム・イェディディアの2016年の結果である「8000番目のビジービーバー数(Busy Beaver number)は集合論の公理系では決定できない」という研究に、AI支援による改善が急速に行われています。私はそれらすべてを追跡できていませんが、最新のものは、ブログの友人であるエリオット・グレイザーによるもので、BB(230)の値がZFCから独立していることを示しています(説明はこちら)。
お知らせ, 複雑性, 量子, 人類の運命 に投稿 | 131コメント »
数学黙示録
2026年10月7日
追加更新(10月12日): ジェフリー・ケッチャーサイドはClaude Codeエージェントを使用して、BusyBeaver(10)がグラハム数を超えることを示しました。これは以前のBB(13)の記録を更新するものです。
私の依頼に応えて、数日後ジェフリーはClaudeエージェントを使用して、BB(335)の値がZFCから独立していることを示しました。これは、アンドリュー・ウェイドの以前のBB(393)の結果を改善するものです。10年前に私とアダム・イェディディアが行った最初の結果は、BB(8000)の独立性結果を示しただけだったことを思い出してください。
一方、数学黙示録への多くの反応の中で、ブログの友人であるクナル・マルワハは、私たちが「世界数学コモンズ」の管理者になることを提唱しています。(worldmathcommons.org)
更新(10月9日): よく寄せられる質問に答えるために…
いいえ、これらの結果の直接的な実用的な意味については何も知りません。O(n log0.9999999999999 n)時間フーリエ変換アルゴリズムがすぐに実用化されるとは全く期待していません!しかし、これについて騒ぎ立てる人は、数学的進歩がどのように見えるか、あるいはそれが最終的に科学、技術、そして人類文明の残りをどのように牽引するかを理解していないだけです。もし関連する人間の数学者がこれら372の論文のすべてにおける巧妙な新しいアイデアを理解すれば、彼らはそれらのアイデアを使ってあらゆる種類の新しいことを行うことができ、そのうちのいくつかは実用的な価値を持つだろうと私は疑いません。それは、人間の理解を私たちの事業の中心に据えようとするもう一つの理由です――もちろん、理解と応用というタスクをAIモデルにアウトソースすることに満足しているのでなければ、です。*
一方、数学とCS理論コミュニティは、AI企業に、私たちの小さな領域内だけでなく、(はるかに結果的に)AIの進歩をペース設定し、アラインメントを解決し、私たちの文明全体の破局を防ぐために、より良く振る舞うように、足を火につけておくべきだと私は考えています。ですから、私たちのコミュニティがますますそうしていることを嬉しく思いますし、私もわずかながら貢献できたことを願っています。
同時に、「AIモデルを使って私たちの未解決の数学の問題を解くのを邪魔しないでほしい」という立場は、全く維持できないと考えています。それは、広範な公共の利益のために控えるべき理由を提供しません――様々な数学者の狭いキャリアの利益とは対照的に。それは、数学の問題は、絶対的に誰でも(はい、憎まれている企業でさえ)解決しようと試みるためにそこにあるという中心的な原則に違反します。そしてもちろん、GPTまたはClaudeサブスクリプションを持っている人なら誰にでもこれらの能力が急速に普及する世界では、それはどうせ施行できません。
私たちはこの新しい世界に適応する必要があります。
…そして彼らはナヴィエ・ストークス方程式を取りに来た、私は何も言わなかった、なぜなら私はナヴィエ・ストークス方程式に取り組んだことがなかったからだ。しかし彼らがRL対Lを取りに来たとき、私は事態が深刻だと悟った。
– ブログの友人、オマー・レインゴルド(許可を得て共有)
昨夜、私の9歳の息子が、複雑性理論家の妻であるダナ・モシュコヴィッツをからかっていました。次のようにです:「ママ、ママがやられたって聞いたよ!ママがキャリア全体をかけて取り組んだ数学の問題をロボットが解いたって聞いたよ!うわー!」
息子は意地悪でしたが、間違ってはいませんでした。あなたがそれに興奮していても、落ち込んでいても、怒っていても、何であっても――昨日は間違いなく数学史における最大の日の1つでした。そしてはい、昨日OpenAIがリリースした372の大きな結果のうち、ティモシー・ガワーズ、エドワード・ウィッテン、その他の著名な数学者からなる諮問委員会の推奨により、妻が私が彼女を知って以来ずっと証明しようとしてきたステートメントであるユニークゲーム予想(UGC)の証明が含まれていました。(UGCは、半正定値計画緩和(semidefinite programming relaxation)という主要なツールから得られる近似よりもわずかに優れた近似しか得られない場合でも、多くの最適化問題が本当にNP困難であることを意味します。)
少なくとも、証明だと私たちは確信しています!他の372の画期的な結果の一部(すべてではない)と同様に、Lean証明書があります。しかし、これらの証明のいずれかもまだ人間が理解していないようです。そのための競争が始まったばかりです。その競争がどのようなものになるかの現場感覚を得たいなら、昨夜ダナが私に送ってきたテキストの一部を紹介します。
サイケデリックな人が書いたような感じだ。多くのことが不明瞭で、意味をなさない。以前の仕事の名前がたくさん挙げられているが、それが不可能性の結果にもかかわらずなぜ使えるのかについては議論されていない。
基本的に、論文は非常にひどく書かれているため、AIの助けなしには読むことが不可能だ。
アストラにノイズガジェットの妥当な完全性と健全性に関する主張を尋ねたところ、論文全体からの主張を組み合わせてそれらを提供してくれた。
彼らはまた、UGCの主要な応用(Max CutとすべてのCSP)に対する直接的な最適なNP困難性近似証明を持っており、UGCを回避している。
UGC証明は、完全に新しい奇妙なコードとノイズテストを発明している。それはクレイジーな再帰的構造だ。
ロングコードでもショートコードでもない――エイリアンの狂気だ。
私はまだ、ハーフスペースコード(自然なもの)を使う証明があるかもしれないと思っている。
引用はしばしば無関係で混乱を招く。
可能な未来は、ビジョン/創造的なアイデアを持つ者にとっては天国のような数学の世界であり、AIがそれをチェックし実装するのを助けることができる。
そしてもちろん、エイリアンから学ぶことはたくさんある。
ダナがどのような感情を抱いているか疑問に思っているなら――そう、おそらくすべてです!キャリアの中心的な目標がロボットに奪われたとしても、彼女には少なくとも2つの緩和要因があります。第一に、UGCが結局真実であったことを証明できることで、多くの同僚が疑っていたにもかかわらず、彼女は決して疑いませんでした!第二に、数学、理論計算機科学、数学物理学の私たち全員、少なくとも明確に述べられた問題を解決することに関心があった人々は、今や同じ船に乗っています。
ユニークゲーム予想に加えて、以下は私が今後数週間で最も注目するであろう、アラジンの洞窟からの宝物のほんの一部です:
- L=BPL(つまり、確率的対数空間と決定論的対数空間は同じものである)、P=BPPに次ぐ、偉大なランダム化解除予想の1つ。その真偽は真剣に疑われていなかったが、それを証明することに専念したサブコミュニティ全体があった。
- フーリエ変換と整数乗算がO(n log n)未満の時間で実行可能になった。1960年代から続く障壁を破った。新しい実行時間は、好奇心旺盛な人のために、O(n log0.9999999999999 n)です。
- 単位合成問題の正の解。これは、グレッグ・クーパーバーグと私が2007年に提起した問題です。すべてのn量子ビットユニタリー変換Uに対して、Aを古典的なオラクルとして、UがAにアクセスして量子多項式時間で実装できるようなものが存在します。これは、私たちのほとんどが予想していたこととは逆であり、例えばブラックホールのホーキング放射の計算問題や、量子複雑性理論の他の多くの問題に影響を与える可能性があります――もし我々がオラクルAを構築する効率的な方法を持っていれば、この論文はそれを提供していません。(追加: この問題に長年取り組んできた、友人であり同僚であるダクシタ・クラナによる美しいブログ記事「Classical at Heart」をご覧ください。私や他の多くの人とは異なり、彼女はこの問題に対する肯定的な答えを正しく信じていました。そして、AIの証明を読み解く上での彼女の現在の感情も。)
- QAC0におけるパリティ。1999年以来の量子複雑性理論の偉大な問題の1つであり、多くの同僚がそれに迫っていました。
- 全ブール関数に対する確率的および量子的なクエリ複雑性のほぼ4乗分離。私の好きな問題の1つ(1998年!)で、当時、最適な分離指数は2から6の間であることがわかっていただけでした。過去数年間、それは3から4の間であることがわかっていました。したがって、これはついにこの物語を締めくくります。
- 感度とブロック感度の間の超二次分離。
- 2次元ギャップハミルトニアンの面積法則。ハミルトニアン複雑性における主要な未解決問題の1つ。
- n9/4+o(1)時間での行列乗算――今回は有理数指数(!)、そしてO(n2.373)などで使用されたものとは全く異なるアプローチによるものです。
- 永久行列(permanent)の決定式複雑性(determinantal complexity)に対するΩ(n3)の下界、以前の最高の二次下界を改善。
- 一般グラフにおける完全マッチングの近似計数に対する多項式時間確率的アルゴリズム、およびそのようなグラフにおける最大マッチングを見つけるための確率的ほぼ線形時間アルゴリズム。(https://arxiv.org/abs/2609.14036)
- 素体上の多項式因数分解のための決定論的多項式時間アルゴリズム、GRHを仮定する必要なし。
- 有理数上の多項式方程式の解法の計算不可能性――これは計算可能性理論における Arguably 最大の未解決問題でした(整数のディオファントス方程式の解法の計算不可能性は1970年代に証明され、ヒルベルトの第10問題に否定的な答えを与えました)。
上記のうちどれか一つだけでも、いくつかの分野で「今年の成果」になり得たでしょう(そして、ユニークゲーム予想やL=BPLのような場合では、CS理論全体で)。そして、私が省略したものがたくさんあります――コメントであなたの目を丸くさせているものを自由に共有してください!数論、組合せ論、代数幾何学、解析学、そしてほぼすべての他の数学分野にも同様に驚くべき驚異があります。それらのほとんどは私が決して理解できないでしょうが、リーマン予想への進展やホッジ予想(符号エラーのため撤回!)やバーチ・スウィンナートン=ダイアー予想(つまり、残りのミレニアム問題の大部分)が含まれていることに注意します。
リストにないものに慰めを見出すことができます。P≠NPはそこにありませんし、P=BPPやNEXP⊄P/polyさえもありません。そして確かに、試みなかったわけではありません。理論計算機科学の最大の未解決問題は、確かに非常に難しいようです!
念のため:OpenAIの発表の1日前の、つまり月曜日の夕方に、Virginia WilliamsとJosh AlmanはarXivプレプリントを投稿しました。これは3SUM問題をO(n1.9992)時間で、全対最短経路問題をO(n2.9995)時間で解決するもので、それぞれn2-o(1)とn3-o(1)が正しい答えであるという半世紀前の予想を否定するものです。この場合、決定的なアイデアを提供したのはOpenAIのモデルではありませんでした。それはAnthropicのモデルでした!しかし、AnthropicはOpenAIとは異なるアプローチを取りました。消化されていない解決策を世界に公開するのではなく、補償と引き換えに、消化されたバージョンを執筆・発表する機会をVirginiaとJoshに与えました。
これらはAI数学ブレークスルーを伝えるための2つの主要なモデルとして浮上しており、どちらにも長所と短所があります。「OpenAIモデル」は、人間が混乱したAIの証明を消化・説明するためのクレイジーなレースを設定します(これは、報われず、ほとんど評価されず、競争的で、楽しくない仕事になる可能性があります)。一方、「Anthropicモデル」は、民間企業がAIの使者を誰にするかを選択する立場に置きます。どう思いますか?
不思議に思っている方のために:どうやら、これらの驚異すべてを生み出したAIモデルは、例えばナヴィエ・ストークス方程式の有限時間爆発を構築するために使用されたような、1万エージェントが数百万ドルの計算能力を燃やすような特注の装置ではなかったようです。代わりに、それは単に最新の内部OpenAIモデルでした――安全委員会からの推奨に応じて、数ヶ月以内に有料のChatGPT顧客にリリースされる可能性があるものです!(私の9歳の息子:「ああ、絶対にリリースすべきじゃない。あれほど多くの数学の問題を解決できたなら、絶対に安全ではありえないよ。」)どうやら、問題ごとに平均して約3時間のGPT-Proレベルの計算能力が使用されたようです。
また、不思議に思っている方のために:どうやら、彼らは約4,000の問題にモデルを試したようです。ですから、現在、それは単に、長年かかってきた問題の約10%を、単一の3時間の試行で「単に」解決しています。(この投稿の以前のバージョンでは8,000の問題と約5%の成功率と記載されていましたが、コメントで訂正されました。)
CS理論コミュニティがこの機会に応えているのを見て嬉しく思います。バークレーのサイモンズ研究所、UTオースティン、そしてその他の場所で、研究者たちが原稿を精査し、それらを理解し、説明するために急いでいるという話を耳にします――他に何をすればいいのでしょうか?私たちは、私たちが人生の多くを捧げてきた技術をどのようにして続けていくのでしょうか?
もし、今数学の世界がどのようなものか感覚を得たいなら、熱帯雨林の奥深くで生き残ることを人生をかけて学んできた狩猟採集民を想像してみてください。すると、巨大なリゾートホテルが隣に現れ、ヘリポートと温水プールとAirbnbがあり、狩猟採集民は一瞬の遅れもなくこう言います:「よし、わかった、じゃあ私の新しい仕事は観光客のためにサファリツアーを運営することだな、あるいはそれに類することだ。」
Quanta誌で、Jordana Cepelewitzは別の比喩を試みました。(https://www.quantamagazine.org/is-ai-the-end-of-math-as-we-know-it-20261005/):
高い山の頂上にテレポートされたかのようだ。霧に囲まれ、自分がどこにいるのか、周りに何があるのか全くわからない。自分の山が他の山とどう繋がっているのかわからないし、探索を助ける道具も、誰かを連れてくる方法もない。もし自分で山を登っていたら、人間の体が高度や酸素レベルの変化にどう適応するかを経験しただろう。ナビゲートするため、急な崖を登るため、または避難所を作るために道具を発明しなければならなかったかもしれない。仲間の一人の探検家に出会い、隠された谷で一緒に迷子になり、救命薬になる植物を見つけたかもしれない。
その代わりに、あなたは頂上にいるが暗闇の中にいる。そして、テレポートマシンを作った人が、それが人間よりも遠くまで探検できると言っている。
これらの山のどれについても、もし私たちが十分に気にかければ、私たちはこれまで通りにできると楽観視している:霧を晴らし、道を見つけ出す。ただし、今ではテレポートマシンをガイドとして使う。より大きな課題は、このマシンがある世界で、山の頂上への道を見つけるという英雄的な冒険をまだ気にかけているコミュニティを育むことだろう。(ああ、そして、比喩の1つの欠点は、私たちがまだお互いを持ち続けていることだ。以前よりもずっと!)
経験上、今でも、これのどれも現実ではなく、カウントされないと恩着せがましく説明する人々がいるだろう。もしそのような人々が、経験的世界で何かに感銘を受け、何かについて更新することができるなら、彼らはすでに数年前に、実際の数学黙示録の時点よりもずっと前に感銘を受け、更新していたはずだ。
だから、彼らは、 alleged な解決策は解決策ではなく、単なる「AIのスロップ」だと言うだろう。あるいは、解決された372の有名な未解決問題のどれも本当の数学の問題ではなく、すべて栄光あるコンテストのパズルと些細なことだったと言うだろう。(結局、まだリーマン予想は解かれていない!)あるいは、4000年の歴史を持つ数学という学問全体を放棄する必要があると言うだろう:結局のところ、それはすべてパズルを解くことと些細なことであった;唯一の違いは、今やその些細さが仮面を剥がされたということだ。いずれにせよ、本当に重要なのは、真の人間の創造性の内奥は侵されていないし、おそらく決して侵されないだろうということ、そしてまた、サム・アルトマンとダリオ・アモデイは軽蔑すべき小さなオタクであるということだ。
もしあなたがまだその運命づけられた世界観の支持者であり、沈みゆく船に乗っているのであれば、私はあなたに、昨日のもう一つの偉大なAI言説への貢献を読むことを強く勧める。OpenAIの数学黙示録のダンプに加えて、それはスコット・アレクサンダーのSteven Pinkerへの公開書簡である。私はこれにいくらかの責任を感じている。なぜなら、私が最初にSteven Pinkerに合理主義コミュニティの存在を紹介し、そしてSteven PinkerとScott Alexanderを互いに紹介した人物だからだ(彼らは二人ともお互いの執筆のファンだった)。そして今、スコットはスティーブに文字通りの決闘、銃での決闘を挑んでいる!
価値があるかどうかは別として:スティーブは私の生涯にわたる知的ヒーローであり、スコットにとっても同様であり、私もスティーブを友人と呼ぶ特権を持っている。しかし、スコットの投稿は、私が読んだ中で最も壊滅的な反論の1つだと感じた。そして、スコットの結論はまさに正しかったと思う:AIリスクに関して、スティーブの大きな課題は、より「ピンカー的」な認識論を受け入れ、使い始めることだ。
昨夜、私はOpenAIの数百の論文のいずれかを精読するか、この投稿を書くべきだったのに、子供たちと過ごすことにした。彼らは映画の夜を望んでいたので、彼らが一度も見たことがなく(そして私が何十年も見ていなかった)もの、そして彼らが育つであろう世界のための実用的なガイダンスに満ちているように思えるものを提案した:ターミネーター2。
更新: 数人が指摘したように、暗号理論はOpenAIの376の論文リストに顕著に欠けている分野です!しかし、私の情報筋によると、AI企業は現在、最新の内部モデルが重要な暗号プロトコルやプリミティブを破ることができるかどうかを、慎重かつ控えめに調査し始めているとのことです。もしできるなら、世界が同じことを発見する前に先手を打つことができれば、確かに良いでしょう。
さらに更新: 数週間前に発表された、数学と人工知能に関する諮問グループ(AGMAI)の声明は非常に慎重に言葉を選んでおり、OpenAIの行動を支持も非難もしていません。一読の価値があります:
数週間前に発表されたように、OpenAIは内部モデルによって生成された大量の数学的結果を公開し、数百の未解決問題の解決策を報告しました。これは数学にとって重要な出来事であり、個々の結果を超えて、数学と数学コミュニティの両方に影響を及ぼします。
AGMAIの諮問的役割は、これらの結果の影響についての判断、またはOpenAIがそれらを得たプロセスの承認として解釈されるべきではありません。私たちは数学コミュニティ全体を代表しているわけではなく、必要な評価を行うことができるのは数学コミュニティだけです。
この作業を公開することは第一歩です。このリリースは、人間の理解と、その作業を数学的知識に組み込むプロセスの開始であり、完了ではありません。同時に、数学研究の未来は、AIラボによって生成された結果を理解することだけでは成り立ちません。数学者は、自分自身の問いを定式化し、自分自身の方法を開発し、AIシステムの能力の例として選択されていない方向を探求できなければなりません。強力な研究ツールへの公平なアクセスと十分な計算リソースは、その自由にとって不可欠です。
私たちは、責任あるリリースに関する公開された推奨事項を再確認します。それらをOpenAIと議論し、同社が協力してくれることに感謝しています。これらの議論は建設的だと考えていますが、最終的には、私たちの推奨事項がどの程度成功裏に実施されたかを評価し、他に提案すべきことがあるかどうかを判断するのは数学コミュニティ次第です。私たちはこれらの問題について、最先端のAIラボと関わり続けることを約束しており、すでにいくつかのラボと連絡を取っています。
UTオースティンでの私の新しいコース:AIアラインメント理論
2026年10月4日
今学期、私はCS395T AIアラインメント理論という新しいコースを教えています。コースの説明は以下の通りです:
過去10年間のAIの驚異的な進歩は、高まる恐怖を伴ってきました。強力なAIシステムをアラインメントし、制御する方法――それらが単に私たちが言ったことではなく、私たちが望むこと、あるいは熟考して望むであろうことを確実に実行させる方法――を本当に理解しているのでしょうか?現在のパラダイムに沿って汎用的な超人的知能を構築することに成功した場合、その開発が人類にとって良い結果をもたらすと期待すべきでしょうか?それらの知能の設計、トレーニング、監視、または足場を修正して、それがうまくいくようにすることができますか?これらの問題に触れる最近の経験的な研究は数多くありますが、このコースは主に理論的および数学的基盤に焦点を当てます。警告として、AIアラインメントの理論的基盤は、まだ分野によって標準として受け入れられている単一の統一された結果の体系にはなっていません。それにもかかわらず、このコースでは、LLM革命の前と最中の両方から、AIアラインメント分野で最も影響力のある概念的および数学的作品の多くを読み、議論します。学生のプレゼンテーション、レポート、プロジェクトが中心的な役割を果たします。
20年前、エリヤ・ユドコウスキーと彼の「シーケンス」に出会った時のことを鮮明に覚えています。私はこう思いました:たとえこれらの人々が狂信者のように話し、振る舞うとしても、それでも、私は最大限に認識論的に徳を積み、彼らのアイデアをそのメリットに基づいて検討しよう。ほとんどの学者はそうしないだろう。もちろん、最終的にはアイデアを拒否することになるとしても、強力なAIは今日、推測小説の領域の外では何も有用なことを言うことができないほど、あまりにも遠い見込みであるという単純な理由で。
私が将来を見通せなかったことの罰として、2026年になって私がユドコウスキー研究に関するコースを教えているのは当然のことです。そしてそれは私が教えられる最も重要なコースです。
まあ、「教える」という言葉の定義によりますが。AIアラインメントの難しいところは、教科書がないこと(ただし、ILIADが作成に取り組んでいるらしい)や、分野で標準と見なされている中心的な非自明な定理の核がないこと、そして実際には数学理論の体系が全くないことです。これは、量子情報科学や計算可能性と複雑性のような、私が教え慣れているコースとは非常に異なります。
そのため、私たちはコースをディスカッションセミナーとして運営しています。セッションごとに、「ラポータ」がAIアラインメントの研究論文またはその他の講読資料を発表します。その後、私や他の人が質問し、議論します。講読資料の一部(例えば、オモハンドロの「基本的なAIドライブ」や、ハドフィールド=メネル他のオフスイッチゲーム)は現在のLLM革命以前のものですが、他のもの(例えば、METRのHuggingFace事件に関するレポートやダリオ・アモデイの「We Must Pace the Frontier」)は非常にタイムリーで、コースの最中にリリースされたばかりです。ほとんどはそれらの間にあります。
私は学生に、なぜAIアラインメントが差し迫った懸念事項なのか、なぜそれがもはやSFではないのかなどを説明する必要があるだろうと予想していました。コースへの需要は非常に高く、もちろん選抜効果はありますが、集まった学生たちは非常に熱心で、時には割り当てられた論文が既存リスクを十分に真剣に捉えていないと批判することさえありました。
おそらく驚くことではありませんが、私たちの最初の講読資料であるエリヤ・ユドコウスキーの2022年のエッセイ『AGI Ruin: A List of Lethalities』(https://www.lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities) については、そのような批判はありませんでした。これは、エリヤが信じていることとその理由の最も代表的な声明の1つであり、本よりも短いものです。そして、これがこの投稿の残りの部分につながります!私たちのラポータは単にクラスで論文を発表するだけでなく、論文の内容、彼ら自身の考え、そしてクラスの議論のハイライトについての書面レポートも提出しています。そして、学生の許可を得て、それらのレポートをこのブログで共有します!
それでは、早速、エリヤの致死性のリストに関する最初のレポート、テニスン・バードウェルによるものを紹介します。彼の仕事に感謝します。コメントセクションで自由に議論してください。学生の中にも参加する人がいるかもしれません。今後数週間でさらにレポートがここに掲載される予定です。
「AGI Ruin: A List of Lethalities」エリヤ・ユドコウスキー著:ラポータレポート(テニスン・バードウェル)
UTオースティンには今秋、新しいコンピュータサイエンスのコースがあります。「高度コンピュータネットワーク」や「凸最適化」といったおなじみの大学院レベルのクラスと並んで、スコット・アロソン教授が教えるCS395T:AIアラインメント理論があります。これは、学術機関で教えられるAIアラインメントコースの増加傾向の1つです。誤ってアラインメントされたAGIシステムによる壊滅的な結果への懸念がより広い公的議論に達するにつれて、この分野で最も声高な人物の一人であり、このコースの最初の割り当て講読資料の著者であるエリヤ・ユドコウスキーは、原因は絶望的であると宣言しています。
したがって、AIアラインメント理論の学生たちは、AIアラインメント研究における重要な問題、それらの問題を解決しない場合に壊滅的な結果をもたらす理由、そしてこれらの問題に対する過去および将来の進歩に対する悲観論の理由のリストから学期を開始しました。エリヤのエッセイ『AGI Ruin: A List of Lethalities』は、2022年に彼の人気のコミュニティ主導ウェブサイトLessWrongに投稿され、3つのセクションに分かれています。
セクションAは、AIアラインメント問題の規模を大まかに説明しています。つまり、AGIシステムを構築する前に人間の価値観にアラインメントすることに完全に失敗した場合の結果の規模です。AGIは、既存の人間の制作物(俗に「インターネットを食べる」と呼ばれる)から学習するだけで、すぐにすべての人間の知識に追いつき、その後、ほぼ同じ速さで人間の知識を意味のある形で超え始めるだろうと推測しています。AlphaGo Zeroは、これがどのように起こりうるか、そしてそれを事前に正確に予測するのがいかに難しいかを示すモデルとして提示されています。多くの人は、AlphaGoの囲碁での成功は、人間のゲームの広範な歴史から学習できたことに主に起因すると考えていました。AlphaGoが最高の人間のプレイヤーを破ってから1年足らずで、後継システムであるAlphaGo Zeroは元のAlphaGoを凌駕しました。その前身とは異なり、AlphaGo Zeroはわずか3日間で、自分自身と対戦することによってのみ訓練され、人間のゲームを一つも見ませんでした。
AGIから超知能へのこの迅速な急増は、人間が通常対処することに慣れているものとは異なる種類の問題を引き起こすでしょう。科学や工学における従来の問題とは異なり、失敗した試みの結果は、別の試みの余地を残さないかもしれません。誤って目標設定された知能は、自分が人間と対立していることを十分に認識しており、自身の生存が危険にさらされる状況になるまで欺瞞的に行動する可能性があります。ほとんどの目標は、権力と資源の制御から利益を得るため、ほぼどのような目標駆動型知能も人間の願望とは一致しない機会を十分に持つ可能性が高いと思われます。
セクションBは、かなりの注意が払われたとしても、現在の方法で構築されたAGIがデフォルトでアラインメントされない可能性が高い理由を説明しています。この「現在の方法」とは、勾配降至(gradient descent)です。つまり、望ましくない行動を「罰する」損失関数に対する漸進的な進歩です。そのような訓練済みモデルの悪名高い捉えどころのない特性は、トレーニング分布から一般化する能力です。原始的なモデルを人間にアラインメントするように訓練するには、多くの行動規則を学習する必要があるかもしれません。しかし、はるかに賢いエージェントを抑制するために必要な種類の規則は、単純なモデルには常に適用できるとは限りません(例:「感情的に人間を動揺させない」は、人間の気分を損なう能力が低い、またはトレーニングでそのような反社会的行動から利益を得るタスクが割り当てられていない単純なモデルには関連しないかもしれません)。
エリヤは、人間が創造主(進化または進化圧)とアラインメントされないことを、誤ってアラインメントされた知能システムを推論するための重要なデータポイントとして焦点を当てています。一般的に遅いプロセスであるにもかかわらず、進化は最終的に、世界を支配し、関連種を絶滅させ、最終的に(予測されるように)人口減少を引き起こす、制御不能な知能システム(ホモ・サピエンス)を生み出しました。最後の開発は、進化によって課せられた唯一の命令、つまり繁殖することに反対するものです。
セクションBでは、AIアラインメントに向けた最も人気のある経路に対する批判にも時間を割いています。これには、解釈可能性(機能しない、そしてそれを訓練しようとするとグッドハートの法則を誘発し、欺瞞を奨励する)、力の均衡を維持するために複数のAIを使用すること(人類とアラインメントされていない複数の強力なAIが、弱い人間にとってより良い結果をもたらすとは明確ではない)、および修正可能性(AIシステムにその結果を実行させる動機を与えることは、それ自体を維持したいという願望も動機付けることになり、不可能に見える)が含まれます。
セクションCは、AIアラインメントのベテランが現在の進歩に満足しておらず、AGIシステムの出現前に具体的な解決策を提供する計画を持っていないという暗い状況を描写しています。特に、エリヤは最近の結果を、見栄えは良いが役に立たないと描写しています。彼は、追加の資金があっても、適切な評価メカニズムの欠如が、最も効果的な研究者がトップに立つことを妨げると信じています。
エリヤが描写した状況の概要を、以下のフローチャートに示します。
図1:エリヤがエッセイで説明した(選択された)経路のフローチャート。このフローチャートの一般的な特徴は、多くの「良い状態」――例えば、誤動作しているAGIを無効にする、またはAGIを構築しないことを選択するなど――が「最終」状態ではないということです。なぜなら、それらは永続的な解決策ではないからです。したがって、これらのノードには逆向きの矢印があります。
暗い内容にもかかわらず、エリヤの色彩豊かな文章は活発なクラスディスカッションを刺激しました。このディスカッションが始まる前に、クラスのAGIの将来の様々な結果に関する予測調査が実施されました(完全な結果は以下の図2にあります)。この調査では、学生にいくつかのステートメントに対する意見を求めました。これらの個々のステートメントが真であれば、AIによる壊滅的な災害への懸念を減らすことになるでしょう。例えば、「AGIを構築しないことを人間が選択する」というステートメントについて尋ねたところ、回答者の半数が高い確信度で強く反対すると答えました(合意度=1、確信度=5)。学生たちは一般的に以下のステートメントにも反対しました:
- 「AGIは私たちの生涯では技術的に実現不可能だろう」
- 「(ハイパー)AGIは極めて明白に非倫理的な決定を下さないだろう」
- 「個別に十分な理由は存在しないが、それらを合わせるとAGIを恐れない正当な理由となる」
解釈可能性、修正可能性、「その他の」AIアラインメント研究については、回答が分かれました。後者の2つのケースでは、回答者の多数(約4分の1)が、そのような研究がAGIを無力化するというステートメントに強く同意しました(合意度=4、確信度=4)。一方、他のほとんどの回答は、様々なレベルの同意を低い確信度で示しました。しかし、AIアラインメント研究がAGIを無力化する可能性について尋ねられたとき、悲観的な声はより団結していました。回答者の4分の1は依然として同じ楽観主義を示しましたが、約半分は悲観論(合意度≤2)を示し、そのうち半分は少なくとも中程度の確信度(確信度≥4)を示しました。続く議論に基づくと、これは解釈可能性研究へのより深い知識、初めての経験さえも含まれるためかもしれません。
一般的な同意を得た唯一のステートメントは、「(ハイパー)AGIは、私たちがコーディングできるよりも、人間の意図をよりよく理解するだろう」でした。しかし、注意すべきは、「AGIは人間の願望を、それを理解した上で尊重するだろう」といったステートメントは調査されなかったことです。
図2:クラス調査結果。議論の前に実施されました。学生は、以前にそのステートメントを検討したことがない場合は確信度=1、両側に強い議論がある場合は確信度=3、十分に検討された確信がある場合は確信度=5で回答するように指示されました。
調査が完了した後、結果が公開され、オープンディスカッションが始まりました。最先端のLLMからの最近の経験的研究と同様に、エリヤの記事よりも解釈可能性研究に多くの時間が割かれました。学生たちはまず、解釈可能性の定義について意見が分かれました。それは、モデルの重みのみからモデルの振る舞いを解釈する能力を指すのか、サンドボックス内でモデルを繰り返しプローブすることによる解釈を指すのか、あるいは現代の連鎖思考(chain-of-thought)トレースも含まれるのか、ということです。しかし、どのように定義されたとしても、参加者は一般的に解釈可能性研究に対して悲観的または非常に悲観的でした。ある学生は、連鎖思考の一般的な誤解を批判しました。それはモデルの内部対話の逐語的なコピーではなく、完全な思考状態の表層的な要約であり、英語の推論の途中にまれに使用される中国文字のような、しばしば意味不明なものを生成します。
人気のあるトピックは、再帰的自己改善ループの正確な形状と速度でした。それがゆっくりと起こる場合、私たちは「ニアミス」から何を学ぶことができるでしょうか?例えば、Hugging Face事件のようなものです。AIがさらなる反復を防ぐのに十分な力を得る前に、私たちが学ぶことができるニアミスの数は、この曲線に依存する可能性があります。一部の学生は、AIによる絶滅イベントはまだ遠いと主張しました。なぜなら、AIシステムと比較して、物理世界での人間のデフォルトの堅牢性だけでなく、人間の数の多さによるものです。この「スローテイクオフ」の意見を裏付けるのは、AIがすでにモデル開発において主要な役割を果たしているという噂であり、これはプロセスの開始と解釈される可能性があります。
「倫理を解決する」ことに焦点を当てることは、AIアラインメントの仕事の大部分を占める、より日常的なタスクから注意をそらす、不必要に高いハードルであると批判する人もいました。特に、この論文を発表した学生ボランティア(およびこのレポートの著者)は、「倫理的ジレンマ」に関するセクションをプレゼンテーションに含めました。抽象的な道徳哲学に焦点を当てることに対する議論の中で、アロソン教授はエリヤを引用して、アラインメントは困難であること、そしてそれは倫理的に曖昧なケースだけではないことを強調しています:
アラインメントが難しいと言うとき、私は実際の技術を使っているという点で、「文字通り全員を確率約1で分解しないでください」という要求は、私たちが達成する見込みのない、あまりにも大きな要求だと意味しています。
それに応えて、私は、日々の意思決定を批判的なレンズで検討すること――例えば、愛する人への軽い嘘をつくことや、動物性食品を消費すること――は、十分な知能を持つすべてのエージェントに善性が現れるという考えを払拭するのに役立つと主張します。
最も興味深い議論の1つは、最先端のLLMと合理主義の議論で長い間議論されてきた理論上のAIエージェントとの違いについてでした。現在のLLMは「人間の分布を模倣する」ため、人間の社会規範と道徳的行動に関する広範な理解がプリロードされています。これにより、憲法上のアラインメント(システムプロンプトを使用して基本ルールを確立する現在の慣行)が非常に効果的になります。これは、直交性仮説を根本的に変えるか、または複雑な状況で人間の判断をより良く近似するための新しいツールを提供する可能性があります。
提起されたすべてのポイントの中で、私が最も興味深いと感じたのは単純に(要約すると)でした:
人間のアラインメントは非常に扱いやすいと思います
ここで、「人間のアラインメント」とは、AIが人間の価値観とアラインメントされることではなく、異なる人間間の協力を指します。より具体的には、人間の社会が、より大きく、より急速に進化するAIシステムに無謀に突入しないことを選択できる能力を指します。AIアラインメントの技術的な問題に焦点を当てた学術コースでは、政策議論が価値がないと信じて完全に無視しないように注意を促すものでした。結局のところ、多くの破壊的な技術は、国際合意によって以前に封じられてきました。注目すべき例としては、核兵器や設計された疫病があります。しかし、これもまた議論の的でした。主な批判は、(1)AIの極端な「デュアルユース」の性質、つまり平和的な成長と戦争の両方に使用できること、および(2)予防策を講じた後でもAIの逃亡のより大きな危険性でした。しかし、楽観的な締めくくりとして――割り当てられた講読資料とは異なり――私は、人間の協力へのこの信念をもって締めくくりたいと思います。
アドベンチャー・イン・ミートスペース, お知らせ, 人類の運命 に投稿 | 84コメント »
科学とAIに関する私の「Knowmads」ポッドキャスト
2026年9月28日
または、上記が機能しない場合はこちらをクリック。
UTオースティンにある私のオフィスで対面で録音されました。後ろの黒板には「ARC」「Scalable Oversight」「Models」と書かれた箇条書きリストがありますが、なぜかはもう覚えていません(誰がそれらを置いたのか、なぜかはもう覚えていません)。90分間の長さです。カメラの組み合わせ方により、私の手足が空中で振れているのが見えることがあります。いつものように、適切な体験のためには2倍速を強くお勧めします。
これは私の最高のポッドキャストの1つになるかもしれませんが、私はそれを計画していませんでした!ヒューストンから車で録音に来てくれたBhavay TyagiとPrachi Garellaに心から感謝します。
カバーしたトピックの厳密なサブセットを以下に示します:
- ナヴィエ・ストークス・ミレニアム問題がAIによって解決された話(知られている範囲で)
- 最近のAIによる証明は「真に創造的」と呼べるか?
- LLM革命以前のAIの歴史
- LLMを「ブラックボックス」と呼ぶとき、何を意味するのか?
- 解釈可能性分野の成果
- OpenAI/HuggingFace事件で実際に何が起こったのか
- HuggingFace事件について「擬人化された言葉」を避ける必要があるか?(ネタバレ:いいえ)
- 私が何十年も気にかけていた量子コンピューティング理論における主要な未解決問題で、AIモデルが最近解決したもの
- 現在のAI大惨事が数学コミュニティ、特に学生に与える影響
- AIの講演を聞いているときに最も腹が立つこと
- OpenAIでの私の経験、彼らが私を雇った理由、そして私がそこで行ったウォーターマーキングの仕事
お楽しみください!
さらにAI関連のコンテンツが近日公開予定です。このブログは――世界の他の多くの場所と同様に――「すべてAI、すべて時間」へと移行を続けています(ただし、依然として老いて衰退する生物の脳によって100%書かれています)。
そして、私の揺れ動きと、理論計算機科学を説明する際のフィラーワードの使いすぎに耐えられない方のために!こちらが2番目のポッドキャストです。これは主に量子コンピューティングについてで、Seb Agertoftとのものです。彼に感謝します。お楽しみください!
定理と証明を超えた理論:ゲスト投稿
2026年9月19日
スコットの序文: 私の優秀な同僚であるプラヴェシュ・コタリ、ラグー・メカ、そしてプラサド・ラガヴェンドラに、理論計算機科学(特にSTOC/FOCS/SODA会議)が、私たちの分野に現在衝突しているAIの小惑星に、少なくとも私たちが創業以来実践してきた方法で、どのように進化すべきかについて、以下のゲスト投稿を共有してくれたことに非常に感謝しています。プラヴェシュ、ラグー、プラサドは私や理論コミュニティ全体ではなく、彼ら自身の見解を述べていますが、私は彼らの「概念トラック」の提案を、さらなる議論の良い出発点だと考えています。–SA
AI定理証明機の開発ペースを考えると、以下のシナリオが近い将来少なくとももっともらしいと多くの人が認めるでしょう:
AI定理証明機は、指定された数学的命題、さらには長年未解決であった多くのよく研究された命題でさえ、数時間で証明できる可能性があります。さらに、これらのシステムは、 nominal なコストで一般消費者に広く利用可能になる可能性があります。
TCS研究者として、上記のシナリオが現実になったと仮定し、自問してみましょう:その世界での私たちの役割は何でしょうか?それは理論研究の終わりを意味するのでしょうか?
この質問を考えるにあたり、以下のすべての混同要因を無視しましょう:
- ミレニアム懸賞問題における最近の論争
- AI企業の動機と行動
- 既存のAIシステムにおける執筆、説明、または先行研究への帰属に関する観察された欠陥。
上記の混同要因のどれも、私たちの質問への答えに影響を与えません:超人的なAI定理証明機が存在する世界で、理論家は何をすべきか?
私たちは「AI定理証明機」という言葉を使います。「AI」だけではありません。この概念的な区別が、この質問を考える上で重要だと信じています。
まず最初に、私たちのような世代(そしてそれ以前の多くの世代)の研究は主に問題解決を中心に展開していたことを認めたいと思います。概念的な洞察を開発した場合でも、それは主に明確に定義された長年の質問に答えるためのものでした。私たちは、一方の研究形態が他方よりも優れていると判断するつもりはありません。それは、AI定理証明機が特定の種類の研究活動を加速するだけであり、それを最大限に活用したいと考えているだけです。また、この激変には多大な人的コストがかかりますが、それはおそらくより重要な問題であり、この提案では直接対処していません(私たちには良いアイデアがありません)。同様の点は様々な文脈で以前にも述べられていますが、今がより切迫した時期です。
定義、質問、理論:
あらゆる理論科学の目標は、観察された現象に対する人間の理解を進歩させることです。定理と証明に加えて、理論科学には定義、質問、理論があります。
定義は観察対象を特定します。好奇心と文脈が、尋ねるべき質問を推進します。理論は観察された現象を説明します。私たちは、超人的なAI定理証明機が存在する世界でも、人間が定義、質問、理論の生成において中心的な役割を果たし続けると信じています。
定義:AIはランダムネス抽出器、ストリーミングアルゴリズム、またはゼロ知識証明を定義できるでしょうか?おそらく。しかし、人間が定義の考案において依然として大きな役割を果たすと信じるべき理由はいくつかあります。
例えば、抽出器という概念は、完璧なランダムソースの欠如という現実世界の問題から生じます。ゼロ知識証明は、純粋に人間の好奇心から、好みによって導かれるように思われます。人間の文脈と好奇心は、理論研究を推進し続けるでしょう。結局のところ、私たちが観察する対象を決定するのは私たちです!
理論:以下の思考実験を考えてみましょう。1965年に、ボタンを押すだけで、任意の計算問題に対して、それが多項式時間アルゴリズムを持つかどうかを教えてくれる魔法の機械があったとします。
それは計算複雑性理論の終わりだったでしょうか?いいえ。人間はそれを完全に不満足だと感じ、なぜこれらの問題には多項式時間アルゴリズムがなく、他の問題にはあるのかと尋ねるでしょう。
NP完全性の理論は、効率的なアルゴリズムを持たないように見える問題の間でパターンを特定します。もし効率的なアルゴリズムを持つかどうかを教えてくれる魔法の機械があったとしても、この理論は計算機科学理論の傑出した宝石であり続けるでしょう。同様に、CSPがNP完全かPにあるかを予測する機械があったとしても、私たちは「なぜ3-SATはNP完全で、2-SATはPにあるのか?」と尋ねるでしょう。この質問は、満足のいく答えをもたらす多型理論につながります。
理論は単に質問に答えるための簡潔または効率的なメカニズムではありません。最も優れた理論は、人間が「満足のいく説明」と見なすものを提供します――それが何を意味するにせよ。
最後に、AI定理証明機の能力が進歩するにつれて、人間の好奇心はより壮大で深い質問を追求するでしょう。以前は、新しいモデルや理論を構築したいと思っていても、それらについて証明することが前提条件であり、長年研究されてきた分野で壮大な質問がすでに限界に達していたため、規模を縮小する必要がありました。AIによって証明された各定理を実験データポイントとして扱うと、人間はこれらの定理全体にわたるパターンを探す、より壮大な質問をすることができます。
具体的な提案:
私たちは、理論家がこれらのAI定理証明機を研究に積極的に活用すべきだと考えています。ある程度は、これはすでに明示的または暗黙的に行われています。
理論家として、私たちは新しいモデルを導入したり、全く新しい質問をしたりすることには倹約的であり、新しいものをすぐに採用することには慎重でした。これは、新しい定義やモデルの特性を形式的に証明することが、10年、数十本の論文を要する困難な作業であったためです。AI定理証明機はこのダイナミクスを完全に変える可能性があります。まさに今こそ、定義、質問、理論に焦点を戻すべき時です。私たちは、これらの理論研究の部分を奨励し、強化するための明確なシステムを必要としています。次の世代のAIモデルがこれを実行できると言う人もいるかもしれませんが、それはそうかもしれませんが、私たちは現在の機会を捉える必要があると信じています。
この目的のために、STOC/FOCS/SODAは独立した論文トラックを作成すべきだと提案します。このトラックは、新しい定義を導入したり、斬新な質問をしたり、説明的な理論を構築したりする論文専用です。このトラックの論文は短く、例えば10ページ未満とします。論文は、通常通り、必要に応じて定理を含めることができます。最も重要なことは、これらの論文に定理の証明を含める必要がないという根本的な変化です。代わりに、著者は論文の補足としてLean証明書を提供します。評価も、ある意味でこれらの証明の難易度から「直交」します。
このトラックの論文は、証明の難易度とは完全に無関係に、概念的なメリットのみに基づいて評価されるべきです。
レビューは、2つの理由で証明から完全に独立している必要があります。STOC/FOCSのメイントラックには、前者(概念トラック)の論文が含まれています。第二に、真に斬新な概念論文を作成する上での大きな障壁は、それらがしばしば証明の技術的な深さの欠如のために悪く評価されることです。私たちは、これら2つの側面が(ITCS/SOSA)から分離されると考えており、いずれにせよ、すべての会議、STOC/FOCS(「フラッグシップ」会議)を含む、私たちが必要としているものです。
明確にしておきますが、私たち自身も、新しい定義を作成したり、深く興味深い質問をしたり、新しい理論を構築したりするスキルを磨く必要があることを認めています。独立した概念論文トラックは、若手およびシニアの研究者、そして分野全体がそうするための体系的なメカニズムを提供するでしょう。
私たちは、今後の世代の大学院生が、私たちには全く手の届かないと思われた研究の方向に取り組むと信じています。私たちは、理論における新しい研究方法を育成するシステムを整えるだけでよいのです。
— Pravesh Kothari, Raghu Meka, Prasad Raghavendra.
驚異と恐怖の時代
2026年9月15日
20年前、AIが私たちの生涯で世界を乗っ取るという考えが、まだほとんどの人にとって、SFを知りすぎているが科学をほとんど知らない人々の制約のない空想のように思えたとき、私たちはしばしばこう言いました:
いいか、物語の中で最もありえない部分は、再帰的に自己改善する超知能が、警告なしにハッカーの地下室から爆発して世界を乗っ取るということだ。もしそれが起こるなら、私たちは多くの警告サインを見るだろう。AIエージェントが封じ込めから脱出し、互いに協力してウェブサイトをハッキングし、奇妙な目標を狂信的に追求するのを見るだろう。そしてもちろん、AIが主要な数学問題を解決するのを見るだろう――クレイ・ミレニアム問題さえも。それがパニックになる時だ!それが起こったら私を起こして!
20年前、上記の考えは、学術CSの最も保守的で懐疑的な同僚でさえ喜んで支持した見解でした。
私の現在の見解を知りたいなら、上記の考えから始めて、荒々しい予言が現実になったという事実に更新してください。最初の兆候は、10年前にAlphaGoで始まったと言えるでしょう。LLMとコーディング、推論エージェントで顕著に大きくなり、この夏と秋には、理解が足りない人間でなければ否定できないほどの驚異と恐怖のクレッシェンドへと加速しました。
「ああ、もちろんAIは今や[サンドボックスから脱出できる/ミレニアム問題を解決できる/最近行った最も劇的なこと]、誰もそれを否定しなかった[私が否定した]、AIが[来年起こることだがまだ起こっていないこと]をするまで私を起こしてくれ、その時私の世界観を再評価するだろう[いや、しないだろう]」という、終わりのないごまかしゲームにはうんざりします。ジェットコースターがどれほど速く加速しても、あなたの見慣れた世界が後ろに消え去った後でさえ、あなたはそれがカウントされない理由を考え出すでしょう。
AIに関する私の立場は、単に2006年の保守的で懐疑的な立場であり、2026年後半の現実に知的な誠実さで更新されたものです。そしてその立場を、もし私が明確に説明する必要があるなら、それは以下の通りです:
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAA
私には、シンギュラリティはすでに始まっているように思えます。それはただ、極めて不均一に分布しているだけです。はい、私はまだ食器を片付け、爪を切っています。一方で、残りの人生で、私が本当に必要とされているから定理を証明することは二度とないだろうと予想しています。もしそうするとしても、それは私の、あるいは他人の楽しみや教化のためだけでしょう。
テストはこうです:もし私たちがこれらの過去数週間のニュースを取り、20年前にタイムスリップさせたら、私はそれがAIシンギュラリティの始まりのように見えると同意するでしょうか?知的に誠実な答えは:はい、絶対に。しかし、それなら、それ以上何も必要ありません。後戻りはできません。
私は、皆が自分のイデオロギー的な斧を研ぐのをやめ、ダリオ・アモデイやサム・アルトマンについての感情を、驚異と恐怖が現実に存在することを単に認めるのに十分な時間、やめることが健康的だと感じています。まるでマトリックスの映画のように空が赤みがかったオレンジ色になったかのように、それは十分に明確です。
それは十分に明確なので、夜に子供たちを寝かしつけるとき、胃の底にそれを感じます:彼らはどのような未来を持つことができるのでしょうか?その未来に関連する可能性のあることを、今日彼らに何を学ばせることができるのでしょうか?(昨日、私の13歳の娘は、もし数学者になりたいなら、あと2週間しかないように見えると、自発的に冗談を言いました。)確かに、私の大学院生が卒業時のキャリアについて話し合いたいとき、私はもはや何を伝えるべきか全く分かりません。
話題を少し変えましょう。妻とテキサス州オースティンに引っ越して以来、私は時々次のような質問を受けます:「ユダヤ人であり、懐疑的な科学者であるあなたが、どうしてテキサス州の福音派キリスト教徒とうまくやっていけるのですか?確かに、彼らはユダヤ人にとても友好的に見えるかもしれませんが、それは彼らの終末論におけるユダヤ人の特別な役割のためだけだと理解していますか――キリストが栄光のうちに再臨するとき、あなたは彼を主として受け入れるか、永遠に地獄で焼かれるかのどちらかです?」私は彼らを見つめて言います:「待って、つまりキリストが再臨した後にしかキリストを受け入れることができないのですか?なんて素晴らしい取引だ!それにどうして反対できるだろうか?」
AIの破滅が黙示録的な宗教のように聞こえると言う人、合理主義者/シンギュラリティ主義者がベイエリアのカルトのように見えると言う人、エリヤ・ユドコウスキーがメシア的な預言者の雰囲気を醸し出すと言う人:はい、はい、そしてはい。しかし、決定的に、今日、あなたはもはや議論や外挿を信じることを求められていません、ただフロントページのニュースだけを信じるように求められています。ナヴィエ・ストークスや他の数十の長年の未解決数学問題を解決し(そして毎月能力を劇的に向上させている)、来たるべき機械の神の現実を受け入れることは、輝く雲の上で地上に再臨した後にイエスを受け入れるようなものです。それは認識論的な最低限の要件です。
はい、私たちの残りの人生がどのようになるかについては依然として大きな不確実性がありますが、私の知る限り、もはやそれほど大きな不確実性はありません。それはほとんどすべてAIを中心に展開し、その力を人類の繁栄に向けて導くことに私たちがどれだけ成功するか、あるいは失敗するかにかかっています。
どのような計算方法であっても、エリヤ・ユドコウスキーは、私たちの生涯における文明の最大の挑戦が何であるかについて正しかったのであり、あなたと私はそれについて間違っていたのです。なぜ私が間違っていたのかは、残りの時間、毎日自問する質問でしょう。しかし、まあ、少なくとも予言された驚異と恐怖が実際に到着した後に更新しました!もしあなたがまだそうしていないなら、なぜしなかったのですか?
おそらくあなたがすでに知っているように――それは一週間ずっとオタクインターネットで話題になっていました――ナヴィエ・ストークス・ミレニアム問題は解決されたようです。人間とAIの両方からの重要な貢献がありましたが、正確に何が起こり、何が起こるべきだったかについての混乱した論争があります。答えは、多くの数学者が最近疑っていたように、滑らかな初期データが存在し、有限時間で特異点につながる(少なくとも滑らかな外部力が加えられた場合。外部力がない場合は未解決)。この問題は100万ドルの賞金を持つはずでしたが、OpenAIは賞金を受け取ることに興味がないと述べており、代わりに人間が受け取る資格があるかどうかは不明です。OpenAIは、その166ページの解決策を生成するために少なくとも約1500万ドルの計算能力を費やしましたが、おそらくまだ人間によって読まれ理解されていません。
Quanta誌の記事はこちら、そしてNYUの数学者トリスタン・バックマスターの説明はこちら。彼は、自身とAnthropicのLevent Alpögeが果たした役割について語っていますが、これはOpenAIの説明とは大きく異なります(OpenAIのSebastian Bubeckからの応答はこちらで読めます)。人間数学者のDiego CórdobaとLuis Martínez-Zoroaによって近年開拓されたアプローチに基づいていることは合意されています。
私の目的は論争を裁定することではありません。はい、ナヴィエ・ストークスに関する進捗状況を知った後、はるかに大きなリソースを持って現れたOpenAIは、一部の人が「スポーツマンシップに欠ける」と表現するような行動をとったようです。いいえ、OpenAIのモデルがBuckmasterとAlpögeのチャットログから意味のある恩恵を受けたとは信じがたいです。しかし、これは重要な質問を残します:OpenAIはBuckmasterとAlpögeの仕事について正確に何を知っており、いつ知っていたのか?
いずれにせよ、Zviが指摘するように、詳細にこだわりすぎて、高次のビットを見失うのは簡単です。つまり、地球上の主要な定理証明者としての人間数学者の地位は、もはや永遠に失われたと言って安全だということです。私は、それが可能だった過去数十年間、理論計算機科学における伝統的なキャリアを持つことができたことを光栄に思います。
もし私たちがナヴィエ・ストークスだけを話していたなら、あなたは私が結論を急ぎすぎていると非難するかもしれません。しかし、そうではありません。私が最もよく知っている分野(量子複雑性理論など)や、おそらく他の分野でも、長年の未解決問題(大小を問わず)が日々解決されており、今や洪水状態です。
arXivまたはECCCに行ってみてください。私が興味を持つであろう論文のほとんどすべてに、謝辞の近くに「AIステートメント」が含まれています(これが私が知りたい中心的なことなので、それを探すために論文の最後までスクロールしなければならないのは残念です!)。これらのステートメントは、「私たちの主な結果はGPT-6 Astraから完全に得られましたが、私たちはそれを理解しており、責任を負います」から、「結果は人間著者とAIの相互作用から得られました」または「AIを使用しましたが、校正やその他の付随的なことだけです」から(素晴らしい!)、「著者はAIを全く使用しませんでした」まで様々です。
今、編集者やプログラム委員長に話しかけると、ロード・オブ・ザ・リングの映画で、ゴンドールやロハンの男たちが5万匹のオークの予想される襲撃に対して厳しく城壁都市を要塞化している不穏なシーンを思い出させます。レビューは、そうでなければオークの軍隊を処理する方法がないため、部分的にAIによって行われなければなりません:審査員は一方的に武装解除できません。
いずれにせよ、ナヴィエ・ストークス以外で、過去1ヶ月の、私が以前知っていたり気にかけたりしていた長年の未解決問題を解決した、重要なAI証明または支援結果の小さなサンプルを以下に示します。
- もちろん、ヤコビ予想の反例は、Levent Alpögeによって、今や有名なツイートで発表されました:「こんにちは、ヤコビ予想は偽です。親友のAkhilが尋ねてくれたおかげで、そしてワールドカップ決勝中に働いたもう一人の親友Fableのおかげで」(反例のリストが続きます)。
- グロタンディーク定数の改良された上限(UTオースティンで私の友人や同僚が主導)。
- フェルマーの最終定理のLean検証済み証明。
- QMAとQMA(2)の間の量子オラクル分離、およびワトロス(Watrous)のディセンタンガー予想(Disentangler conjecture)の証明。これは、私が2007年に広めた問題で、私の最近卒業した博士課程学生サビー・グレワルを含む著者リストによるものです。
- (再び)サビー・グレワルとドリアン・ルドルフによるQMAの完全な完全性(perfect completeness)の証明。これは私が2009年に研究した数十年前の未解決問題です。
- Chen、O'Donnell、Pelecanos、Wrightによる量子状態のシャドートモグラフィーの改良された上限。ヒルベルト空間次元dへの依存性をlog(d)から√log(d)に改善しました。(私が2017年にシャドートモグラフィーを導入したとき、測定回数mの対数依存性を維持しながら、dへの依存性を完全に排除できるかどうかという問題を提起しました。)
アロソン=アンバイン予想(Aaronson-Ambainis Conjecture)(直接量子アルゴリズムについて言及するバージョン)の進展。これは、クエリを少数の並列ラウンドで行う量子アルゴリズムに対して成り立つことを示しています。(更新: いや、ごめんなさい、Jordan Docterが指摘してくれたのですが、これはAI以前のもので、AIは校正やその他の付随的なことだけに使われました!)これは、LiuとMutrejaによって独立に達成され、AIをより実質的に使用しています。- 私が聞いた噂によると、理論計算機科学におけるいくつかの非常に長年の未解決問題の解決策(いいえ、P≠NPや他の複雑性クラスの分離ではありませんが、私たちの他の最大の未解決問題のいくつかを考えてください)。AI企業は、ナヴィエ・ストークス証明に対する敵対的な反応で火傷を負ったため、より良い対処法を見つけるまで、いくつかの非常に大きな問題の解決策を保留していると聞いています。
私が省略したものを思い出させてください。
数学コミュニティの現在の気分を伝えようとしています、少なくとも私の経験が及ぶ範囲で。ほぼすべての会話はAIの津波についてであり、そうでなければ最終的には津波に話題が移ります。しかし、しばしば、焦点は未知の未来――人間の企業としての数学研究はあとどれくらい続くのか?――よりも、どのように対応するかという当面の質問にあります。
自分の名前で論文を書くことができる新しいルールは何でしょうか?そして、まあ、それに対するクレジットを得るのでしょうか?証明を完全に理解し、証明について話すことができ、その正確性に対して責任を負うことができるか?証明を見つける上で何らかの役割を果たした必要がありますか?
それらの条件のすべてが満たされていない、おそらくますます増えるであろうケースでは、AI生成の数学をどのように共有するのか、もし共有するなら?アルページ(Alpöge)がヤコビ予想の反証で面白おかしくツイートしたように、ツイートするのか?arXivやGitHubに投稿するのか?「GPT-6 Astra」や「Claude Fable」を著者としてリストアップした論文を公開する――しかし、その後、AIに、そのような素晴らしい問題を提案してくれたことに対して、謝辞であなたを大いに感謝させるのか?
もちろん、当面の問題にどのように対応するかは、最終的には数学研究が何のために、そして何についてのものであるかについての、より広範な信念に依存します。私たちは単に様々な予想が真か偽かを決定しようとしているだけでしょうか?それとも、世代を超えて、予想を理解し、それらが真か偽か、そしてなぜそうなのかを気にかける人間のコミュニティを維持しようとしているのでしょうか?後者であれば、AI企業が投げ込む巨大な議論の検証者や説明者(せいぜいそれくらい)に役割が縮小される場合、人々をそのコミュニティに参加させ、必要な何年もの激しい訓練を受けさせることをどのように奨励するのでしょうか?
皆さんがおそらくすでに見たように、テレンス・タオを含む25人のフィールズ賞受賞者が、「数学におけるAIの深刻な不整合」と題された公開書簡を発表しました。これは、ナヴィエ・ストークス発表後のこれらの懸念の一部を表現しています。多くの批評家が指摘したように、公開書簡には明確な要求がほとんどありません。主に、著者がAI時代に維持する価値があると考える人間の数学コミュニティの価値観を雄弁に述べています。熟考の後、私はその声明を支持することにしました。なぜなら、私もそれらの価値観を維持したいからです。
署名者の誰も、AIが数学研究の方法を永久に変えないとナイーブに考えているとは思えません――実際、すでにそうしているのです。間違いなく、「認定オーガニック定理」の市場はごくわずかでしょう。それは問題ではありません。問題は、人間が(人間またはAIが生成したもの)を、人間の理解を、この事業全体の中心に据える方法でAIを組み込むかどうかです。おそらくいつか、それは持続不可能になるでしょう。おそらくいつか私たちはこう言うでしょう:「人間の数学は4000年間の素晴らしい歴史を歩んだが、今日私たちは店を閉め、すべてを機械に引き渡し、私たちが数学を適用するのは、せいぜい運動、娯楽、またはチェスのような競技のためにするだけだ。」
しかし、AIの不整合についての私の懸念の一部のため、私はまだ諦める準備はできていません。私は、人間が予想や反論を証明するタスクにおける優位性を譲り渡すとしても、数学者、計算機科学者、物理学者が行うことの中心に、できる限り長く、洞察と理解を据えたいと思っています。
アラインメントといえば:もしあなたが数学研究者であり、驚異と恐怖の現在の時代が、それが存在しないか、あるいはまだ遠いと偽るのではなく、津波に正面から立ち向かうために残りの時間を費やすことをあなたに促したのであれば、同じ場所にたどり着いた数十人の同僚に加わってください!
私の友人であり同僚のマイク・ワイナーは、理論物理学を専攻し、プリンストン高等研究所でフアン・マルダセナとポスドクを経験しましたが、その後AGIピル(AGI-pilled)になり、バークレーのアラインメント研究センター(ポール・クリスティアーノが設立、彼は10年前に私と量子コンピューティング理論をやった後にAIアラインメントに転向した)でフルタイムで働くことを決意しました。マイクは最近、「アカデミアからアラインメントへ」と題したSubstack投稿を書きました。私はそれを楽しみ、この移行を考えている人に推薦します。同様に、こちらをご覧ください。そして、もう一つ:スタンフォード大学の数学学部生であるローガン・グレイブスによる、数学者の可能な未来の司祭または修道士としての瞑想。
お知らせ, 複雑性, 量子, 人類の運命 に投稿 | 262コメント »
9/11 バークレーにて
2026年9月11日
注: もちろん、私は今週、AIの劇的な展開に釘付けになっています。それについての投稿を書いています。私は物事に迅速に反応するのが得意ではありません。ですから今日は、25年前の私たちが皆 commemoration する悲劇を記念する投稿をします。コメントで9/11の思い出を自由に共有してください。また、祝う方々へ、Shana Tova!
2001年9月11日の朝、私はバークレーの博士課程2年生でした。夜遅くまで衝突問題の量子下界の証明を追求した後、インターナショナルハウスの寮で寝坊して起きました。
ラップトップに目をやると、奇妙なメールの嵐を目にし、クリストス・パパディミトリウ教授からの「私たちはコミュニティであり、皆で支え合うだろう」というメールや、ルカ・トレヴィサン教授(当時私がTAをしていたアルゴリズムコースの担当者)からの「このような日には、アルゴリズムについて考えることは不可能だ。授業はキャンセルだ」というメールが含まれていました。
混乱して、ニューヨーク・タイムズをクリックすると、燃えるタワーの写真を見て、私が起きる頃にはすでに終わっていたことについて、茫然と読みました。母親に連絡を取り、ニューヨーク地域の親戚や友人が大丈夫であることを確認しました。父はアトランタでの会社のイベントに出席しており、国内便の運航停止のため、車で帰宅する必要がありました。
私の人生の最も初期の記憶の1つ、5歳の時の記憶は、ワールドトレードセンターの頂上に登ったことです。ニューヨークから車で1時間ほどの距離で育った私にとって、そこはエキゾチックな場所ではありませんでした。
数年後、死者の中にダニー・ルウィンがいたことを知りました。彼は元イスラエル国防軍大尉、理論計算機科学者、そしてアカマイの共同創業者であり、ハイジャッカーと戦おうとしている間に飛行機の中で喉を切られ、その日の最初の犠牲者となりました。アカマイの技術は、その日ニュースサイトを稼働させ続けたものの一部でしたが。ダニーに会ったことはありませんでしたが、彼と共通の知人はすでにたくさんいました。数年後、ダニーの記憶を称える学生論文賞を受賞したことを光栄に思いました。
いずれにせよ、9/11のバークレーでは、他の人々と一緒にいるためにソーダホールに歩いて行きました。数人の学生がオフィスアワーに来て、アルゴリズムの宿題を手伝ってほしいと言ってきましたが、それは信じがたいことでしたが、周りのコンピューター画面が燃えるタワーを表示する中、集中しようと最善を尽くしました。
その夜、スパウル広場で行われた犠牲者のための追悼式典に行きました。しかし、「追悼式典」は、悲しみや祈りをすぐに終え、アメリカは戦争ではなく愛で応じるべきであり、頬を向けろという拍手喝采のスピーチに変わりました。一方、学生共産主義組織は、犠牲者のほとんどが「裕福な資本家とその労働者たち」だったと説明するビラを配っていました。それは、ニューヨークがまだ煙に覆われ、生存者の必死の捜索が続けられている間でした。私は追悼式典を早めに去りました。
その日まで、私は自分自身を基本的に「左翼」だと思っていました。私の最優先事項は気候変動の存亡リスクでした。確かに、私は原子力発電から才能教育、イスラエルに至るまで、様々な問題で他の左翼と意見が異なりましたが、それらは単なる左翼内の論争でした。
前年、私はジョージ・W・ブッシュではなくアル・ゴアが大統領になるよう、歴史に介入しようと必死にウェブサイト「In Defense Of NaderTrading」を作成しました。ブッシュがフロリダで537票という悪名高い差で「勝利」したとき、私はそれを生涯でこれ以上の悪はありえないだろうという、最悪の勝利だと考えました(ハッ)。ブッシュほど私の信念のすべてと正反対の政治家を想像できませんでした。この見解は、もちろん、バークレーでは特に目立つものではありませんでした。
しかし、9/11の後、私はバークレー流の「左翼」ではいられないことが明らかになりました。仲間の学生の中には、オサマ・ビンラディンが多くの素晴らしい点を指摘した、攻撃は基本的に正当化された、そしていずれにせよ、私たちアメリカはイスラエルと呼ばれるジェノサイド植民地を支持したことによって、彼らを挑発しすぎた、そしてイスラエルが秘密裏に9/11攻撃を画策した可能性さえある(しかし、もしビンラディンがそれを実行したなら、彼は正当化されていたでしょう)と感じた人もいました。
同時期に第二次インティファーダが起こり、イスラエルのバス、ピザ屋、大学のカフェテリアでの一連の自爆テロがバークレーの学生の一部を熱狂させ、活気づけ、彼らが「ナクバ」のためにブルホーンでホロコースト記念日のイベントを乗っ取り、ヒレル(Hillel)の建物の窓を破壊し、キッパ(kippot)を着た学生を数人殴打しました。それほどまでに彼らは反ナチスでした。
2004年にバークレーで博士号を終えたとき、量子コンピューティング以上のことを学びました。私は、アメリカの学界には、私のようなオタクにとって本当に重要な避難所やオアシスである部分がある一方で、自分のイデオロギー的ビジョンのために私や私の親戚、そして仲間のアメリカ人が殺されるのを見ても構わない人々も潜んでいることを学びました。そして、私は自分自身のイデオロギー的ビジョンを持っていることを学びました。それは、そのような人々はくそくらえだ、ということでした。
ジョージ・W・ブッシュと何らかのことで同じ側にいることは、私を深く苦しめました――特に、9/11が彼の任期中に起こり、彼はすべての警告を無視し、そしてジハード主義との戦争を管理するには著しく無能だったことを知っていたからです(ただ、どれほど無能だったかは、当時は知りませんでした)。しかし、ブッシュがどれほど欠陥があっても、私は彼が一時的な管理者であった文明を破壊するのではなく、維持したいと思っていたことを知っていました。そして、その日からの主な教訓は、もちろん9/11が学校で学ぶ歴史的な出来事(ボストン茶会事件やアラモの戦いのような)に過ぎない私の子供たちに伝えたい、私たちの文明の価値と脆弱性だと思います。
アドベンチャー・イン・ミートスペース, 人類の運命 に投稿 | 40コメント »
LLMと自己言及性
2026年9月1日
昨日、私は以下の考えを持って目が覚めました。これらは、おそらく明白か、あるいは愚かかのどちらかでしょう。
ダグラス・ホフスタッターの『ゲーデル、エッシャー、バッハ』から若い頃に多くの読者(私も含めて)が取った中心的な命題は、知能(したがってAI)の秘密は、自己言及性や「奇妙なループ」と大いに関係があるだろうということでした。
ロジャー・ペンローズの『皇帝の新しい心』でさえ、ある意味で反GEBでしたが、皮肉なことに、AIプロジェクトの成功または失敗における自己言及の根本的な重要性についてはGEBに同意していました。それは(私の見解では、そしてほとんどの専門家の見解では間違っていると主張しましたが)AIは決して機能しないだろうと主張しました。なぜなら、ゲーデルの定理と自己言及性には、コンピュータプログラムが決して捉えることのできない何かがあるが、それは人間の脳がアクセスできる異質な物理学によって捉えられる可能性があるからです。
さて、2026年、私たちはほとんどの知的タスクでほとんどの人間を凌駕するAIを構築することに成功しました。そして、それらのAIの技術スタックのどの時点でも――トランスフォーマーニューラルネット、それらが実行されるGPUクラスター、トレーニングプロセス、あるいは他のどこにも――自己言及性に関するものを組み込む必要はありませんでした。(例えば、モデルにその役割とアイデンティティについて伝えるシステム指示を除く。これは知的な行動には必要ありません。また、LLMの自己回帰的な性質を「自己言及」とは数えません。それは単なる動的なフィードバックです。)
もちろん、GPT 5.6 ProやFableは、自分自身について、ゲーデルの定理について、自己言及について、そして今私たちが話していることについて、ほとんどの人間よりも上手に話すことができます。しかし、自己言及能力を組み込む必要があった時点は一度もありませんでした。それらは、モデルがポケモンや長鎖ポリマー、認知行動療法、プレートテクトニクスなどについて話せるようになったのと同じ事前トレーニングの副産物として現れました。
ホフスタッターがLLMの成功に驚き、このようなエッセイで現在のAI能力について憂鬱に見えるのも不思議ではありません。彼は、何が起こったのかを否定したり、それが実際にはカウントされない理由をでっち上げたりするには、あまりにも賢すぎます(多くの人が取ったアプローチです)。しかし、彼は、GEBの世界観ではあまりにも安価で単純すぎると見なされる道から、そして明らかにどこにも「奇妙なループ」が組み込まれていない道から、真の会話知能を今や手に入れたことを認識しています。
もちろん、ホフスタッター派は、LLMでは奇妙なループが出現すると主張するかもしれません――実際、GEBには奇妙なループが最初から明示的に設計される必要があるとは決して言われていませんでした。しかし、GEBを読んで育っていない人が、LLMを考える上で有用な方法としてこれにたどり着くでしょうか?
後からこのことについて何が言えるでしょうか?対角線論法と自己言及のアイデアはもちろん、現代の数理論理学と計算機科学の誕生に中心的な役割を果たしましたが、最も有名な用途は否定的でした:自然数と実数の間には全単射がありません。算術のための完全で健全な証明システムはありません。停止問題(halting problem)を解くアルゴリズムはありません。
もしあなたの目標がZFCの公理と一階述語論理の推論規則を構築することだけだったなら、あるいは電子コンピュータを構築することだったなら、自己言及を明示的に必要としなかったでしょう。あなたはただ…構築を始めるでしょう、あなたの命令セットが普遍性を満たさないように注意しながら。
はい、ZFCはそれ自体について形式化し、定理を証明できます。はい、電子コンピュータは自身のコードを入力として受け取るプログラムを実行できます。しかし、誰もそれらの能力を組み込む必要はありませんでした。自己言及がアルファベットや文法規則に組み込む必要がなかったのと同じように。それは普遍性の無料の副産物として現れました。
同様に、LLMが自分自身について話す能力は、彼らが訓練されたディスコース宇宙のあらゆることについて話す能力の副産物として現れました。知性に関する古くからの大きなアイデアで、最終的に基本的に正当化されたのは、知性とは予測であり、予測とは圧縮であり、圧縮とはコルモゴロフ複雑性(Kolmogorov complexity)の上界をますます良く見つけることであるという考えでした。自己言及の話題ではありません。(もちろん、コルモゴロフ複雑性を完全に計算できない理由を知りたいのであれば、その否定的な声明は再び自己言及的な議論を必要とするでしょう。)
何が残っていますか?もちろん、意識と主観的経験は非常に神秘的です。私たちが知る限り、ホフスタッターはそれらが自己言及と関係があるかもしれないと正しかったかもしれません。(私たちが知る限り、ペンローズも、それらがデジタルコンピュータではアクセスできない生物学的脳にアクセス可能な異質な物理学と関係があるかもしれないと正しかったかもしれません!)
しかし、説得力があり、世界を変えるような会話知能を得る前に、明示的な自己言及性が必要になるだろうという考え?それをウェストミンスター寺院またはアーリントン国立墓地に、人類史上最も重要な間違ったアイデアとして埋葬しましょう――地動説、アリストテレスの目的論的物理学、エーテル、フロジストン、フロイトの心理学、マルクスの労働者蜂起の予測とその後の階級なきユートピアなど。しかし、埋葬される必要があります。
自分を恥じる, 形而上学的空論, 先延ばし に投稿 | 136コメント »