チャットベースの大規模言語モデルは、占い師の詐欺のメカニズムを再現する

過去1年ほど、私は言語モデルと拡散モデルをソフトウェアビジネスで利用することについて研究してきました。この研究の中で、私を悩ませてきた問題の一つは、多くの人々が言語モデル、特にチャットベースの言語モデルを知能があると思い込んでいることです。しかし、大規模言語モデル（LLM）に、そのような知能を可能にするような内在的なメカニズムは存在せず、もし存在するとすれば、それは全く説明されていません。LLMは脳ではなく、動物や人間が推論や思考に使うメカニズムとは意味のある形で共有していません。LLMは言語トークンの数学的モデルです。LLMにテキストを与えると、そのテキストに対して数学的に妥当な応答を返します。それが思考したり推論したりすると信じる理由は全くなく、実際、これまでの全てのAI研究者やベンダーは、これらのモデルは思考しないと繰り返し強調してきました。 この効果には2つの可能な説明があります。1つは、テクノロジー業界が、生物の世界には並行するものがない、全く未知の原理に基づいた、全く未知のプロセスで、全く新しい種類の知能の初期段階を偶然発明してしまったというものです。もう1つは、知能の錯覚はLLM自体ではなく、ユーザーの心の中にあるというものです。私自身を含む多くのAI批評家は、後者の考えを強く支持しています。だからこそ、生成AIのリスクに関する私の著書のタイトルは「The Intelligence Illusion（知能の錯覚）」としました。 過去数ヶ月間、私はこの知能の錯覚のメカニズムを説明すると思われるアイデアに取り組んできました。今では、これらのLLMには以前考えていたよりもさらに知能や推論能力が少ないと信じています。提案されている多くのユースケースは、私にとって境界線上の詐欺的な疑似科学のように見えます。 機械的な占い師の台頭 知能の錯覚は、しばしばコールドリーディングと呼ばれる、占い師の詐欺と同じメカニズムに基づいているようです。それは、同じ基本的な戦術の偶然の自動化のように見えます。例えば、フォーラー効果（Forer effect）のような文章を使った検証的な発言を用いることで、チャットボットと占い師は、非常に具体的な回答ができるかのような印象を与えますが、それらの回答は実際には統計的に一般的なものです。占い師はこれらの発言を使って、人の心を読んだり、死者の秘密を聞いたりできるかのような印象を与えます。チャットボットは、あなたやあなたの仕事に特化して関わっているかのような知能の印象を与えますが、その印象は統計的なトリックに過ぎません。 この考えが私の頭に植え付けられたのは、これらの「AI」の推論について人々がしている発言のいくつかを検討していた時でした。最初は、これらは単なるテクノロジーバブルの熱狂の典型的なケースだと思っていましたが、そうではありませんでした。「AI」は異なる層を引きつけ、そして「AI」バブルの信奉者たちの言葉は、以前のバブルの信奉者たちとは大きく異なって聞こえます。 「これは本物だ。少し心配だが、本物だ。」 「本当に何かがある。どう考えればいいか分からないが、自分自身で経験した。」 「可能性に対して心を開いておく必要がある。そうすれば、何かがあることに気づくだろう。」 その時、テレンス・エデン（Terence Eden）のブログ記事で、チャットボットの応答によく見られるフォーラー（Forer）ステートメントの普及について読んだことを思い出しました。これは以前にも聞いたことがある。この畏敬、不信、そして恐怖の特定の組み合わせは、すべてメンタリスト（手品師）や詐欺師、つまり占い師の被害者が使う言葉のように聞こえます。占い師の詐欺は、時代を経て洗練されてきた、人々を騙すための実績のある方法です。私が以下に説明するのはそのバリエーションの一つです。多くのバリエーションがありますが、中核となるメカニズムは同じです。 占い師の詐欺 1. 観客が自己選択する ほとんどの人は占い師などに興味がないため、初期の観客層は一般人口よりも既にオープンマインドで批判性が低い傾向があります。 2. シーンが設定される 初期の観客は準備されます。照明は暗くなります。占い師は盛り上げられます。スタッフはソーシャルメディアや会話を通じて観客を調査します。観客の人口統計情報が記録されます。 3. 人口統計の絞り込み 占い師は、観客に関する情報を把握し、ある列またはクラスターを指さし、具体的であるように聞こえるが実際には人口統計的に可能性が高い発言をします。通常、少なくとも一人は反応します。もし反応がなければ、占い師はその秘密は「本物」の人物にとってはあまりにも恥ずかしいと示唆し、個人的な鑑定のためにいつでも利用可能であることを人々に思い出させ、再び試みます。 4. マーク（標的）が試される その反応は、マークが自分が「読まれた」と信じたことを示します。これにより、再び具体的であるように聞こえるが、実際には統計的に一般的な一連の質問が投げかけられます。マークが応答しない場合、占い師は最初の読み取りを成功と宣言し、再び試みます。 5. 主観的な検証ループ 詐欺が本格的に始まります。占い師は、マークにとって非常に具体的であるように聞こえるが、実際には人口統計や以前の回答に基づいた統計的に可能性の高い推測であり、非常に自信に満ちた、特定の言葉遣いで表現された一連の質問をします。 6. 「すごい！あの占い師は本物だ！」 占い師は会話を終え、マークは占い師が不思議な力を持っているという感覚を残されます。しかし、占い師は本物ではありません。それはすべて詐欺です。 1. 観客の選択 予言者、タロット占い師、霊媒師、心霊術師が皆詐欺師というわけではありません。時には「占い師」が、それがすべてエンターテイメントであることを公言し、精霊に連絡したり心を読んだりできると偽っていない場合もあります。一部の占い師は利益目的を持っておらず、詐欺がなければ人を詐欺師と呼ぶのは公平ではないように思えます。しかし、その多くは意図的に人々を騙す詐欺師であり、彼らは皆、鑑定が本格的に始まるずっと前から始まるのと同じ基本的なメカニズムを用いて活動しています。観客は通常、既に心霊現象を信じるように predisposed されている人々や、彼らが連れてきた人々で構成されています。熱心な懐疑論者は、観客の非常に小さな少数派であることがほとんどであり、彼らを管理しやすく、懐疑心を抑えるための社会的圧力を提供します。参加する人々は信じるように準備されており、占い師を取り巻く神話に既に精通しています。これらすべてが、彼らが期待を管理し、そのパフォーマンスを枠組みするのに役立ちます。 2. シーンの設定 通常、パフォーマンスの開始時に、観客はどのように「機能する」かについてのグラウンドルールを思い出させられます。彼らはメディア、映画、テレビによるこれらのルールの普及によって助けられています。誰もが今、「知っている」のは次のことです：鑑定は通常、曖昧で不明瞭な状態から始まります。「精霊界」との「つながり」が強くなるにつれて、より明確になります。エラーは予想されます。「精霊」はしばしば曖昧で聞き取りにくいです。非信者はつながりを弱めたり、妨害したりすることさえあります。占い師はまた、人口統計をマッピングしたり、ソーシャルメディアで検索したり、パフォーマンスの前に参加者と交流するスタッフによる非公式なインタビューを行ったりすることで、観客を習慣的に調査します。照明が暗くなると、占い師は誰が優れたマークになるかの明確なアイデアを持っているはずです。 3. 絞り込み マークは通常、自分で選ばれます。占い師は発言をし、ある列を指さし、その発言に視覚的に反応した誰かに基づいてジェスチャーを素早く変更します。これにより、最初からマークを指さしていたかのように見えます。マークはそのように最初から占い師を信じるように準備されます。彼らは油断しています。通常、占い師が次に提供する質問の迅速な連射に完全に準備ができていません。それらの質問がマークを引き込み、彼らを惹きつける場合、実際の鑑定が続きます。そうでなければ、彼らは先に進み、再び試みます。 4. マークのテスト—主観的な検証を用いたコールドリーディング 詐欺—コールドリーディング—は、人間の心理の奇妙な点にかかっています。もし私たちが個人的にある発言に関連すると感じれば、私たちは一般的にそれを正確だと考えます。私たちの心の機能のこの残念な副作用は、主観的検証（subjective validation）と呼ばれます。主観的検証は、時には...