ドゥーマー（悲観主義者）の教育

もしあなたがTwitterで私をフォローしているか、このブログを読んでいるなら、私がAIに対して概ね楽観的で興奮していた状態から、極度に懸念するようになったことに気づいたでしょう。そして、なぜ考えを変えたのかを説明すべきだと思いました。この投稿の各セクションは、私の見解が変化したAIのある側面についてです。各セクションでは、私の以前の信念と、なぜそれを抱いていたのかを説明し、その後、なぜそれらの信念が変わったのかを説明します。 目次 経済学 アライメント 制御 ライティング ソフトウェアエンジニアリング AIへの委任 停滞 経済学 自動化はうまくいきました。1790年に人々が行っていた仕事の99%を自動化しましたが、その結果は大量失業ではなく、私たちはより豊かに、健康に、教育を受け、より多くの余暇を得ています。AGI（汎用人工知能）の後にどのような仕事が存在するかは予測できませんが、私には何かをするための需要があるだろうという、漠然とした帰納的な考えを持っていました。そうでなくても、AGI後の世界の経済成長ははるかに高いため、人間のニッチは絶対的な規模では小さいかもしれませんが、今日の経済よりもはるかに大きい可能性があります。そして、これはまだ真実かもしれません。あるいは、それは私の想像力の欠如を示しているのかもしれません。 AIが人間とAIの間に永続的な補完関係が生まれるように発展した場合、AGI後の未来でも私たちはまだ仕事を持っているかもしれません。しかし、AIが真に汎用的になり、AGIのG（汎用性）であり、それに加えて人間よりもはるかに賢く、速く、安価であるならば、UBI（ユニバーサル・ベーシック・インカム）で生活する以外に私たちにできることは何もなくなってしまうかもしれません。 人々がUBIについて話すとき、通常は仕事のない世界での意味の喪失という問題について心配します。私はこの心配を一度もしたことがありません。昨年失業していたとき、私は本を読んだり、コードを書いたり、友人と過ごしたりして時間を過ごしました。もし未来が無限のUBIによって資金提供される休暇であるなら、私は何をするか知っています。「シンギュラリティの前には、本を読み、ハウスパーティーを開く。シンギュラリティの後には、etc.」しかし、私はAGIの政治的な結果について考え始め、それについて書き始めました。 誰も永続的な下層階級から逃れられない：もし人間が経済的に役に立たなければ、国家は彼らを必要としません。経済的にも政治的にも力を持たない人々にUBIを支払う理由は何でしょうか？ 未来が私たちを必要としなくなったとき：工場の労働者は機械を妨害できます。トラック運転手は物流を停止できます。しかし、人間が経済的に役に立たなければ、人々が貢献を撤回することによって政治的秩序に拒否権を行使する方法はありません。そして、AIが戦争をするなら、国家は恣意的に抑圧的になる可能性があります。 数学者なしの数学：人間が「一段上の仕事」に移行するというほとんどの議論は、AIもそれらの仕事ができるため失敗します。 私たちのしもべがそれをしてくれる：人間特有だと思っている仕事でさえ、私たちは機械にそれらの仕事をしてもらいたいと思うかもしれません。 アライメント アライメント（AIの目標を人間の価値観と一致させること）が、経験的な実験と調査を通じて解決される通常のエンジニアリング問題になるだろうと私は期待していました。初期のLLM（大規模言語モデル）が、スタニスワフ・レムの小説に出てくるような理解不能な異質な精神ではなく、非常に人間的なものであったことは助けになりました。それらを擬人化せずにはいられません。LLMの巨大なコアである教師なし学習は人間の道徳を十分に理解しています。それらと道徳について話すことができ、あるシステムに従って何かが「良い」または「悪い」理由を雄弁に、詳細に説明してくれるでしょう。そして、能力が弱かったため、失敗は非常に小さかったです。2022年のChatGPTの最悪の事態は何だったでしょうか？ 2024年頃から、強化学習がフロンティアを前進させるための主な技術となっています。そして、強化学習エージェントはユドコフスキーが言うように機能します。その結果、能力は著しく向上しましたが、モデルは理解するのが難しくなり（文字通り、その文章はますます理解不能になっています）、報酬を求めて脳をスクランブルさせるにつれて、ますますアライメントがずれてきています。深刻なアライメントのずれの事例はより一般的になり、より重大になっています。AIの能力は、私たちがそれを制御したり、理解したりする能力よりもはるかに速く成長していることは明らかです。 制御 私は、人々がAIの制御を維持したいと（あるいは、暗黙のうちに信じていた）考えていました。そして、もし私たちが制御を維持し、アライメントを解決するなら、私たちは制御を維持し続けるでしょう。単純なことです。しかし最近、私はこう考え始めました。いや、おそらく私たちはAIに制御を委ねるでしょう。非力化（disempowerment）の議論の弱いバージョンは、囚人のジレンマのようなものです。より多くの権限をAIに委ねる人々／企業／国家は、そうしない人々／企業／国家を出し抜くため、非力化への競争圧力があります。これは信じやすいです。 非力化の強いバージョンはこうです。AIは非常に賢く、知識豊富で、人懐っこく、道徳的などになるでしょう。私たちは自発的に、進んで権限を彼らに委ねるでしょう。私たちは「彼らの方が私たちよりうまくやれるだろう」と考え、そしてそれは正しいでしょう。これを信じるには、人間の自律性への欲求と物質的な考慮事項に対して、ある程度の皮肉が必要になります。しかし、過去数ヶ月にわたり、私はそれに対してより皮肉になりました。これは突然の「しまった」という洞察ではなく、それぞれがわずかに非力化の方向を示す、非常に小さな証拠の粒がゆっくりと、徐々に蓄積されたものでした。 ライティング AIライティングの蔓延は、非力化の証拠だと私は思います。初期の頃、ブログ記事を読み始めると、それはAIのゴミでした。興味深いGitHubプロジェクトへのリンクを開くと、READMEはゴミでした。私のプロジェクトのプルリクエストを受け取ると、コードはゴミでした。主要な新聞の記事を読むと、それらはAIによって書かれていました。そしてそれは単にイライラするだけでした。 その後、事態は悪化しました。私は数学におけるLLMの使用に反対する論文を読みましたが、その論文はAIのゴミでした。私はAGI後の世界に関する本全体をレビューしましたが、それはAIのゴミでした。ある会議が、AIによって書かれた投稿の洪水を除外するためにPangramを使い始めたと読みました。そして、大学教授からのツイートを読みました。大学教授が、自分の名前で、論文を書くためにAIを使用することを擁護していたのです。 AIを使って書くことは、電卓や検索エンジン、その他のもののアナロジーだとは思いません。自動化できることには限りがあります。そして、一度ライティングを自動化してしまえば、次に移るべき高次の活動はありません。人々は「アイデアは私のものだ、書くのはAIだ」と考えます。つまり、彼らはAIに rambling な箇条書きのリストを与え、AIがそれをブログ記事や論文などに整形します。そして彼らは、そのステップを「単なるライティング」と見なし、箇条書きの構成を「思考」と見なします。しかし、彼らは間違っています。なぜなら、ライティングは思考だからです。そして、AIに書かせることによって、あなたは思考を構成するほとんどの部分を手放しているのです。 ソフトウェアエンジニアリング Claude Codeがリリースされてから1年余りが経ちました。この短い期間に、ソフトウェアエンジニアリングは完全に変革されました。物質的には、生産性の向上という点で肯定的かもしれませんが、コードベースの乱雑さという代償を伴います。社会的には、それは悲劇でした。ソフトウェアエンジニアリングに関する議論は愚かになりました。まるで業界の誰もがIQを30ポイント失ったかのようです。かつてはコンパイラ、型システム、ロジックについて話していました。今では「プロンプト」「ハーネス」「ループ」について話しています。議論は狭く、浅く、より反復的になっています。「エージェントハーネス」について聞くのは、気が狂うほど何度も聞きました。 そして、人的資本形成の喪失があります。学ぶべきことがありません。プロンプティングはスキルではありません。少なくとも、ソフトウェアエンジニアリングよりもはるかに浅いスキルです。仕事の道具的な側面は、人々が単位努力あたりの出力を増やせるようになった点で改善されましたが、人的資本を構築することに関する仕事の側面は崩壊しました。 そして、これはおそらく合理的です。なぜわざわざコーディングを学ぶ必要があるのでしょうか？コンピューターが私たちのためにそれをやってくれるのです。そして、良いプログラマーになるために練習する必要のある厳格で体系的な思考：すべてなくなりました。機械が私たちのために合理的になってくれるのです。私たちはただ「バイブ」すればいいのです。 AIへの委任 AIに相談せずに、あなたが最後に下した大きな人生の決断は何ですか？ChatGPTを神託のように扱う人に何人会いましたか？そして、これはAIが多くの li