AI精神病の定義。パート2：「多作なAI精神病」

AI精神病の定義 パート2：「多産型AI精神病」

［画像: ］

先週、AI精神病という言葉が少なくとも3つの異なる状況に適用されると提案しました。

1. LLMの使用に関連する真の精神病体験。これは「真のAI精神病」と記述しました。

2. 現実からの緩やかな乖離を伴う、AIツールへの過剰な関与。これは「多産型AI精神病」と呼びます。

3. 人間のつながりを模倣するAIチャットボットとの不適応な関係。これは「パラソーシャルAI精神病」と呼びます。

その後、「真のAI精神病」について議論しました。精神科医にとって精神病が何を意味するのかを明確にし、真のAI精神病は新しい症候群というよりは、既存の精神病の変異型であると結論付けました。

今週は、「多産型AI精神病」についての現在の理解を説明します。

多産型AI精神病

多産型AI精神病は、個人の仕事の実際の価値を著しく増加させることなく、大量のAI出力を生成する場合に発生します。場合によっては、新しいAIワークフローが価値を破壊することさえあります。

例えば、多産型AI精神病に陥ったソフトウェアエンジニアは、毎日数千行のコードを生成できますが、そのコード自体にはほとんど実用的な価値がありません。対照的に、生産的な開発者はより少ないコードを作成するかもしれませんが、そのコードはユーザーや組織にとって価値があります。ある日はコードベースに大きな追加が行われ、別の日は不要なコードの削除に費やされ、時には単一の文字を変更することでソフトウェアを破壊するバグが修正されることもあります。コード行数は生産性と緩やかにしか相関しません。

これを、より馴染みのある言葉で説明しましょう。お気に入りの作家を考えてみてください。彼らが現在、1日に1,000語という respectable な量を書いていると知っていて、もし彼らが1日に100,000語を書き始めたら、あなたは正当に心配するでしょう。1,000の素晴らしい単語を選ぶのにかかる注意は、100倍の量では維持できません [1]。

多産型AI精神病の問題は、出力の増加ではありません。（より多くのコードとより多くのテキストは、実際にはより生産的かもしれません。）

問題は、対象者の出力に対する認識にあります。彼らは自身の仕事の質を評価できません。この現象は、対象者が現実からの軽度の乖離、つまり批判的思考の欠陥を経験するため、精神病に似ています。

現在のAIツール

さらに進む前に、現在のAIツールについて説明することが重要です。ほとんどの人にとって、AIは依然としてChatGPTの会話やGoogle検索に付随するGeminiの要約を意味します。これらのツールで多産型AI精神病を経験する人は少数ですが、最先端のツールははるかに大きな脅威をもたらします。

現在のAIツールとチャットボットの間には類似点があります。プロンプトを入力し、応答を得ます。しかし、最先端のツールは現在、エージェントハーネスと呼ばれるプログラムに包まれています。会話を通じて単純な質問に答える代わりに、ハーネスは解決策が見つかるまで複雑なタスクに取り組むように設計されています。それは、意思決定を行い、プログラムを開き、インターネットにアクセスし、目標達成を支援するソフトウェアを記述することで、エージェントとして機能します。

優れたハーネスは、ソフトウェア開発において特に印象的です。10年前にiPhoneアプリを作成したい場合、基本的なアプリを動作させるために、何十時間もコードを読んだり書いたりする必要がありました。今日では、Claude Codeに数行のテキストを入力し、いくつかの質問に答えるだけで、新しいアプリが数分で出力されます。それは素晴らしいものではないかもしれませんが、あなたの問題を解決するかもしれません。（アプリストアに掲載することは、それほど簡単には解決できない全く別の問題です。）

開発者はさらに多くのことができます。ハーネスは、AIモデルを繰り返し呼び出すループを作成し、完全なアプリが構築されるまでソフトウェア開発のToDoリストを処理できます。規律を持って行えば、その結果は驚異的です。AIエージェントが困難なタスクを完了してくれると、奇跡のように感じられます。

しかし、すべての超能力には欠点があり、AIは時として信じられないほど悪い決定を下します。1行の修正で済む場合に、複数の新しいファイルが作成されることがあります。新しいソリューションが機能すると自信を持って伝えられますが、実際のソフトウェアは以前よりも壊れています。コードは読みにくく、拡張がほぼ不可能な絡み合った混乱になります。オープンソースソリューションで解決されている、シンプルで数十年前の問題がゼロから再構築され、製品の動作が非常に遅くなります。これらの問題の一部を軽減する方法は見つかっていますが、それは開発に時間がかかるスキルです。

現在のAIモデルは大学院生レベルで動作すると主張する人もいます。それは私の経験とは一致しません。それらは、シニアエンジニアの一部分と、赤色のクーラードリンクのピッチャーを持った幼児が白いカーペットを横切って走っているような状態の一部分です。あなたの仕事は、どちらがどちらかを判断することです。残念ながら、両方とも自身の能力について完全な自信を持って話し、常にクーラードリンクをこぼしたことに気づけるわけではありません。そのため、ソフトウェアエンジニアの仕事には、多くの困難な監督が含まれるようになりました [2]。

別の考え方をしましょう。AIソフトウェア開発は、世界で最も有利なスロットマシンをプレイするようなものです。レバーを引くほとんどは大きな勝利です！ほとんどの負けは明白で小さいです。時折、負けが勝利のように見えます。そして、偽の勝利を拒否するためのスキル、集中力、忍耐力がない限り、あなたの間違いはやがて混沌を生み出すでしょう。

多産型AI精神病の発症

LLMツールの使用が多産型AI精神病に進行する過程を説明するために、仮説的な例を考えてみましょう。

あなたが、これまでで100倍速く一部のタスクを簡単に完了できるツールを手に入れたソフトウェアエンジニアだと想像してください [3]。

もしあなたがソフトウェア構築が好きなら、これは非常にエキサイティングです。仕事でより多くのことを達成できます。ずっと欲しかった趣味のプロジェクトを構築できます。ついに夢のビデオゲームを作成できます。あらゆる可能性がテーブルにあります。

そしてあなたはスロットマシンのレバーを引き、始めます。ホイールが回っている間に、あなたはさらに多くのマシンをセットアップします。結果を確認するために急いで戻ります。今回は良い結果です。しかし、時折バグに遭遇し続けます。そのため、あなたの作業をチェックするための新しいマシンをセットアップします。時にはそれらが問題を見つけ、時には見つけません。そのため、それらの指示を洗練します。それらにさらに多くの機能を与えます。問題を解決するために協力するボットのネットワークを作成します。コードは出続けます。

あなたの野心は高まります。あなたは新しいソフトウェアを作成するだけでなく、10億ドルの企業を運営する最初の開発者になるつもりです。それは予測されています。なぜあなたではないのですか？プロジェクトの範囲が拡大します。あなたは仕事がしたくて夜も眠れません。あなたはますます多くの時間をコンピューターと過ごし、人々と過ごす時間はますます少なくなります。あなたの努力に疑問を呈する人々は理解していません。彼らの批判は近視眼的です。そして、モデルが今完璧でなくても、次のツールのセットはより良くなるでしょう。

時間が経つにつれて、あなたの睡眠不足と過集中はあなたを現実から遠ざけます。あなたのソフトウェアは多くの点で印象的です。しかし、それは有用ですか？それは良いものですか？それは人々が実際に望むものですか？これらの質問をする時間がありません。「永久的な下層階級から抜け出す」必要があります。

それを考えるとストレスを感じます。

私は完全なAI精神病を経験したことはないと思いますが、この道を進んでいた短い期間はありました。急速な進歩を遂げるのは信じられないほど素晴らしいことです。そして、モデルの出力が奇跡に他ならない時があります。

私が自身のプロジェクトを理解できなくなったときに、その幻想は壊れました。それはテクノロジーにおいて馴染みのある感覚ではありません。すべての進歩は、私が決して完全に理解できない進歩の層の上に構築されています [4]。しかし、私はこれまで、どのように機能するのか全く分からないカスタムファイル数十個を書いたことはありませんでした。そして、ゼロからやり直すことなく新しい機能を追加することが不可能になりました。

私は同様の経験をした多くの開発者と話しました。人生は反対側ではるかに良くなります。数十の生産的なAIワークフローがあり、それぞれに利点と欠点があります。しかし、最も効果的な開発者は皆、人間の判断、睡眠、そして少なくとも仕事以外の生活のいくらかの側面を優先しているようです。

多産型AI精神病の原因

多産型AI精神病の原因については、推測しかできません。

AIツールのスロットマシン風の報酬が部分的に責任があります。間欠強化（予測不可能なスケジュールで肯定的なまたは否定的な結果を受け取ること）は、人間の行動の最も強力な推進力の一つです。それはまた、完全に除去できないLLM技術の重要な特徴でもあります。

個々の要因も重要です。ADHDや衝動制御の問題を持つ人々は、多産型AI精神病のリスクが高いと推測します。同様に、高い開放性と低い誠実性といった性格特性は、リスクと相関する可能性があります。

経験が役割を果たすかもしれません。新しい開発者とシニアエンジニアのどちらがよりリスクが高いかはまだ明らかではありません。新しいプログラマーの方が影響を受けやすいと推測しますが、著名な開発者が多産型AI精神病と思われる状態を経験したという報告は比較的よくあります [5]。

文化的な興奮も開発者の行動に影響を与えます。これらのツールは、うまく使われれば強力です。しかし、すべての技術革命には、不当な誇大広告と一攫千金の計画が伴います。上向きの可能性が非常に魅力的である場合、ダウンサイドを無視するのは簡単です。

AIがすべての仕事を置き換えるという物語は役に立ちません [6]。このメッセージはここ数ヶ月で和らぎましたが、恐怖は依然として大きいです。これは、特にソフトウェア開発者にとって顕著です。彼らはレイオフ後に新しい役割を見つけるのが難しいことがよくあります。生産的ではないとしても、より多くの出力は、メトリクス駆動の環境では依然として報酬を推進します。

最後に、「テイスト」がますます関連性を持つようになります。残念ながら、定義するのは難しいです。私は「クラフト」という言葉を好みます。それは私にとって、品質と美学の両方を含みます。言語に関わらず、製品の評価は人間との対話であると信じています。それは有用ですか？それは良いものですか？それは望ましいものですか？それは楽しいものですか？これらはLLM内では見つけにくい主観的な品質です [7]。

多産型AI精神病はソフトウェア開発者だけの問題ではないことを付け加えておきます。AIで自動化できるものは何でも、不十分な人間のガイダンスがあればスラッジ（ゴミ）に変わる可能性があります。意図的な境界を設定することは、AI時代の最も重要なタスクの一つです。

今日はこれで十分です。来週は、LLMチャットボットとのパラソーシャル関係について書きます。

脚注:

[1] この比較は不完全です。ソフトウェアと小説は根本的に異なります。すべてのソフトウェアプロジェクトには定型コードと限られた語彙があります。同様に、ソフトウェア開発で発生する問題は、他の創造的な試みで見られる問題とは種類が異なります。

[2] エージェントエンジニアリングを進歩させた最近の作業の多くは、この課題に対処しようとする試みです。しかし、最良の作業でさえ、かなりの人間の監督を必要とします。

[3] AIが人々を仕事で100倍効果的にするという主張には懐疑的です。数分で1日分の作業を節約できるモデルのインスタンスを見つけましたが、これは100倍の桁数に相当します。しかし、生産性の平均的な増加はそれほど大きくありません。節約されたすべての瞬間には、AI監督の増加も含まれます。これは些細なタスクではありません。さらに、生産性の他のボトルネックがあります。これらには、調整、実験、顧客の理解、リソースへのアクセス、および内部ポリシーが含まれます。

[4] このコミックが伝説であるのには理由があります: https://xkcd.com/2347/

[5] 体験談はデータではありません。したがって、さらなる研究が必要になります。同様に、「AI精神病」という非難が常に正当であるとは限りません。「これは私の個人的な品質基準を満たしていません」という批判は、生成AIよりも前から存在します。

[6] コミュニティ内で共有される文化的な信念は、妄想ではありません。テクノロジーコミュニティには特有の癖があります。「永久的な下層階級」、「人工超知能」、または「AIバブル」の存在を信じる（または信じない）ことは、妄想ではありません。

[7] AIエージェントに直接販売するエージェント経済に取り組んでいる人々がいることは承知しています。それは私が興味を持っている分野ではありませんが、人間以外の味についての疑問を提起します。

投稿なし