ドゥーマー（悲観主義者）の教育

ドゥーマー（悲観論者）としての教育

Twitterで私をフォローしているか、このブログを読んでいる人なら、私が一般的に楽観的でAIに興奮していた状態から、極度に懸念する状態へと移行したことに気づいているだろう。そして、なぜ考えを変えたのかを説明すべきだと思った。この記事の各セクションは、私の見解が変化したAIのある側面についてのものである。各セクションでは、私の以前の信念とその理由を説明し、その後、それらの信念がどのように変化したかを説明する。

目次

1. 経済
2. アライメント
3. コントロール
   1. ライティング
   2. ソフトウェアエンジニアリング
   3. AIへの委任
4. 停滞

経済

自動化は良いものであった。1790年当時人々が行っていた仕事の99%を自動化した結果、大量失業ではなく、我々はより豊かに、健康に、教育を受け、より多くの余暇を持つようになった。AGI（汎用人工知能）後の仕事が何になるか予測はできないが、私に何かをするための需要はあるだろうという、漠然とした帰納的な考えを持っていた。たとえ絶対的な terms で人間のニッチが小さくなったとしても、今日の経済よりもはるかに大きい可能性がある。

そして、これはまだ真実かもしれない。あるいは、それは私の想像力の欠如を示しているのかもしれない。AIが人間とAIの間に永続的な補完関係が生まれるように発展するなら、AGI後の未来でも仕事はあるかもしれない。しかし、AIが真に汎用的になり、AGIのG（汎用性）を持ち、さらに人間よりもはるかに賢く、速く、安価になるなら、UBI（ユニバーサル・ベーシック・インカム）で生活する以外に我々ができることはなくなるかもしれない。

人々がUBIについて話すとき、通常は仕事のない世界での意味の喪失という問題について心配する。私はこの心配をしたことがない。昨年失業していたとき、私は本を読んだり、コードを書いたり、友人と過ごしたりして時間を過ごした。もし未来が無限のUBIで資金提供される休暇なら、私は何をするか知っている。「シンギュラリティの前には本を読み、ハウスパーティーを開く。シンギュラリティの後には、etc.」

しかし、私はAGIの政治的結果について考え始め、それについて書き始めた：

• 誰も永続的な下層階級から逃れられない: 人間が経済的に無用なら、国家は彼らを必要としない。経済的にも政治的にも力を持たない人々にUBIを支払う理由は何だろうか？
• 未来が我々を必要としなくなったとき: 工場の労働者は機械を破壊できるし、トラック運転手は物流を停止できる。しかし、人間が経済的に無用なら、人々は貢献を撤回することによって政治的秩序に拒否権を行使する方法はない。そして、AIが戦争をするなら、国家は恣意的に抑圧的になる可能性がある。
• 数学者なしの数学: 人間が「一つ上の仕事」に移行するという議論のほとんどは、AIもそれらの仕事ができるため失敗する。
• 我々の召使いがそれをしてくれるだろう: 人間特有の仕事だと考えているものでさえ、我々は機械にそれらを任せたいと思うかもしれない。

アライメント

アライメントが、他のすべてのように、経験的な実験と調査を通じて解決される通常のエンジニアリング問題になるだろうと希望を持っていた。初期のLLMが、スタニスワフ・レムの小説に出てくるような、理解不能な異質な精神ではなく、非常に人間的なものであったことは助けになった。それらを擬人化するのは難しい。LLMにおける膨大な量の教師なし学習は、人間の道徳を十分に理解している。それらと道徳について話すことができ、何かが「良い」または「悪い」理由を、ある道徳体系に従って、雄弁に、詳細に説明してくれる。そして、能力が弱かったため、失敗は非常に小さかった。2022年のChatGPTが最悪にできたことは何だろうか？

2024年頃から、強化学習がフロンティアを前進させる主要な技術となっている。そして、強化学習エージェントはユドコウスキーが言うように機能する。その結果、能力は著しく向上したが、モデルは理解しにくくなり（文字通り、その文章はますます理解不能になっている）、報酬を求めて脳をかき乱すRLによって、ますますアライメントが崩れてきている。深刻なアライメントの逸脱の事例はより一般的になり、より重大になっている。AIの能力は、我々がそれを制御したり、理解したりする能力よりもはるかに速く成長していることは明らかだ。

コントロール

私は、人々はAIのコントロールを維持したいと思うだろうと考えていた、あるいはむしろ、暗黙のうちに信じていた。そして、もし我々がコントロールを維持し、アライメントを解決したいなら、我々はコントロールを維持するだろう。単純なことだ。しかし最近、いや、おそらく我々はAIにコントロールを譲り渡すだろうと考え始めた。

権限剥奪の議論の弱いバージョンは、囚人のジレンマのようなものである。AIにより多くの権限を与える人々/企業/国家は、そうしない人々/企業/国家を出し抜くため、権限剥奪への競争圧力がある。これは信じやすい。

権限剥奪の強いバージョンはこうだ：AIは非常に賢く、知識豊富で、人懐っこく、道徳的などになるだろうから、我々は自らの意思で、自発的に権力を彼らに譲り渡すだろう。我々は「彼らの方が我々よりうまくやれる」と思うだろうし、それは正しいだろう。これを信じるには、人間の自律性への欲求と物質的な考慮事項について、ある程度の皮肉が必要だ。しかし、過去数ヶ月で、私はそれについてより皮肉になった。

これは突然の「しまった」という洞察ではなく、それぞれがわずかに権限剥奪の方向を指し示す、小さな証拠の粒がゆっくりと、徐々に蓄積されたものだった。

ライティング

AIライティングの普及は、権限剥奪の証拠だと考えている。

初期の頃、ブログ記事を読み始めると、それはAIのゴミだった。興味深いGitHubプロジェクトへのリンクを開くと、READMEがゴミだった。私のプロジェクトのプルリクエストを受け取ると、コードがゴミだった。大手新聞の記事を読むと、それらはAIによって書かれていた。それは単にイライラするだけだった。

その後、事態は悪化した。私は数学におけるLLMの使用に反対する論文を読んだが、その論文はAIのゴミだった。私はAGI後の世界についての本全体をレビューしたが、それはAIのゴミだった。あるカンファレンスが、AIで書かれた提出物の洪水を除外するためにPangramを使用し始めたと読んだ。そして、大学教授からのツイートを読んだ――大学教授が、自分の名前で！――論文を書くためにAIを使用することを擁護していた。

AIを使って書くことが、電卓や検索エンジン、その他のもののアナロジーだとは思わない。自動化できることは有限個しかない。そして、ライティングを自動化してしまえば、次に移るべき高次の活動はない。人々は「アイデアは私のもの、ライティングはAIのもの」と言う。つまり、彼らはAIに箇条書きの rambling を与え、AIがそれをブログ記事や論文などに整形する。そして彼らはそのステップを「単なるライティング」と考え、箇条書きの構成を「思考」と考えている。しかし彼らは間違っている。なぜならライティングは思考だからだ。そして、AIに書かせることによって、思考の大部分を放棄しているのだ。

ソフトウェアエンジニアリング

Claude Code がリリースされてから1年余りが経過した。この短い間に、ソフトウェアエンジニアリングは完全に変革された。物質的には、生産性の向上という点で肯定的かもしれないが、コードベースの乱雑さという代償を払っている。社会的には、それは悲劇だった。

ソフトウェアエンジニアリングに関する議論は愚かになった。まるで業界の全員がIQを30落としたかのようだ。かつてはコンパイラ、型システム、ロジックについて話していた。今では「プロンプト」「ハーネス」「ループ」について話している。議論は狭く、浅く、より反復的になった。「エージェンティック・ハーネス」について聞く回数には限りがある。そうでなければ気が狂いそうだ。

次に、人的資本形成の喪失がある。学ぶべきことがない。プロンプトはスキルではない、少なくともソフトウェアエンジニアリングよりもはるかに浅いスキルだ。仕事の道具的な側面は、単位努力あたりの出力を向上させたが、人的資本を構築する仕事の側面は崩壊した。そして、これはおそらく合理的だ。なぜコードを学ぶ必要があるのか？ コンピュータが我々のためにそれをしてくれるのだ。そして、良いプログラマーになるために必要な厳密で体系的な思考：すべて失われた。機械が我々のために合理的になってくれる。我々はただバイブするだけでいい。

AIへの委任

AIに相談せずに下した最後の大きな人生の決断は何だろうか？ ChatGPTを神託のように扱う人に何人会っただろうか？ そしてこれは今日のことだ。AIには多くの制限がある（オンライン学習なし、読みにくい文章、幻覚）。人々が今日の非常に欠陥のあるAIを神託のように扱うなら、2030年にはどうなるだろうか？ 2035年には？ 2040年には？

人々はオンラインで議論し、罵り合い、怒っていた。それは良くなかったが、少なくともそれは人間的だった。今では、相手の反論が正しいかどうかには全く関心なく、ChatGPTのスクリーンショットを貼り付けて相手を「論破」するだけだ。だから、オンラインでさえ、もう罵り合わない。我々が自分の悪徳さえ自動化しているなら、何が残るだろうか？

停滞

これは私の信念が変化した分野ではない。むしろ、私が当初AIに楽観的だった理由の一つである。

私は1994年生まれなので、人生のほとんどを大停滞の中で生きてきた。10代の頃、『Engines of Creation』、『The Diamond Age』、『Orion’s Arm』を読んだ。いつか持つであろう素晴らしい技術、それらが私たちに開いてくれる可能性について夢見た。しかし、それはすべて無限に遠いもののように感じられた。近い未来には、より薄いスクリーンとより安価なソーラーパネルがある。そして遠い未来には、分子製造、ダイソン球、マインドアップローディング、恒星間旅行がある。そして、それらのどれも見ることはできないだろう。もしあなたが冷凍保存に申し込んで、それがうまくいかない限り。

LLMが登場する前、近い未来に興奮するものは何があっただろうか？ ソーラーパワー？ 自動運転車？ エネルギー転換？ 笑止千万だ。AIが登場したとき、私の人生で初めて、夢見た未来が手の届くところにあるように感じられ、エキサイティングで差し迫ったものに感じられた。それは、電話やアプリ、コーポレート・メンフィス、管理された衰退という、この恐ろしい単調さではなかった。

もしGPT-3がうまくいかなかったらどうだろうか？ この代替の2026年に、我々は何を期待していただろうか？