HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

チャットベースの大規模言語モデルは、占い師の詐欺のメカニズムを再現する

Chat-based Large Language Models replicate the mechanisms of a psychic's con (softwarecrisis.dev)

213 pointsby jalev282 コメント

要約

この記事は、チャットベースの大規模言語モデル（LLM）が、あたかも知能があるかのようにユーザーに感じさせるメカニズムが、占い師が行う「コールドリーディング」という詐欺の手法と酷似していると論じています。LLMは統計的に生成された汎用的な応答を、あたかもユーザー固有の情報であるかのように提示することで、ユーザーに主観的な確信を与え、知能があるかのような錯覚を生み出すと指摘しています。

全文翻訳

LLMentalist効果：チャットベースの大規模言語モデルは、占い師の詐欺の手法をどのように再現するか

この1年ほど、私は言語モデルと拡散モデルをソフトウェアビジネスで利用することについて集中的に研究してきました。

この研究で私を悩ませてきた問題の一つは、多くの人々が言語モデル、特にチャットベースの言語モデルを知能的だと確信していることです。

しかし、大規模言語モデル（LLM）には、そのような能力を可能にするような内在的なメカニズムはなく、もしそれが現実であれば、全く説明がつかないことになります。

LLMは脳ではなく、動物や人間が推論や思考に使うメカニズムとは意味のある形で共有していません。

LLMは言語トークンの数学的モデルです。LLMにテキストを与えると、そのテキストに対して数学的に妥当な応答を返します。

それが思考したり推論したりすると信じる理由は全くありません。実際、これまでのすべてのAI研究者やベンダーは、これらのモデルは思考しないと繰り返し強調しています。

この効果には、2つの可能な説明があります。

  1. テクノロジー業界が、生物の世界とは並行するものがない、全く未知の原理に基づいた、全く未知のプロセスを使用した、全く新しい種類の知能の初期段階を偶然発明してしまった。
  2. 知能の幻想はLLM自体にあるのではなく、ユーザーの心の中にある。

私自身を含む多くのAI批評家は、断固として第二のキャンプに属しています。だからこそ、生成AIのリスクに関する私の本に『The Intelligence Illusion』というタイトルを付けたのです。

過去数ヶ月間、私はこの知能の幻想のメカニズムを説明すると思われるアイデアに取り組んできました。

今では、これらのLLMには私が以前考えていたよりもさらに知能や推論能力が少ないと信じています。

提案されている多くのユースケースは、私には境界線上の詐欺的な疑似科学のように見えます。

機械仕掛けの占い師の台頭

知能の幻想は、しばしばコールドリーディングと呼ばれる占い師の詐欺と同じメカニズムに基づいているようです。それは、同じ基本的な戦術の偶然の自動化のように見えます。

検証ステートメント、例えばフォアラー効果のような文を使用することで、チャットボットと占い師は、非常に具体的な回答ができるかのような印象を与えますが、それらの回答は実際には統計的に一般的なものです。

占い師はこれらのステートメントを使用して、心を読んだり、死者の秘密を聞いたりできるかのような印象を与えます。

チャットボットは、あなたやあなたの仕事に特化して関わっている知能であるかのような印象を与えますが、その印象は統計的なトリックに過ぎません。

この考えは、人々がこれらの「AI」の推論について述べている声明のいくつかを調べていたときに、私の頭に最初に植え付けられました。

私は最初、これらは単にテクノロジーバブルの熱狂の典型的なケースだと思っていましたが、そうではありませんでした。「AI」は異なる層を取り込み、「AI」バブルの信奉者は以前のバブルとは非常に異なるように聞こえます。

—「これは本物だ。少し心配だが、本物だ。」

—「本当に何かがある。どう考えればいいかわからないが、自分で経験した。」

—「可能性に対して心を開いておく必要がある。そうすれば、そこに何かがあることがわかるだろう。」

その時、チャットボットの応答におけるフォアラー・ステートメントの普及に関するテレンス・イーデンのブログ記事に触発されて、私はこれを思い出しました。私はこれを以前にも聞いたことがある。

この畏敬、不信、そして恐怖の特定の組み合わせはすべて、メンタリスト詐欺師—占い師—の犠牲者の言葉のように聞こえます。

占い師の詐欺は、何世紀にもわたって洗練されてきた、人々を騙すための実績のある方法です。

以下に説明するものは、そのバリエーションの一つです。多くのバリエーションがありますが、中核となるメカニズムは同じままです。

［画像: 観客は円の集まりで表される。無関心な人々は灰色。関心のある人々は黒］

1. 観客は自分で選ばれる
ほとんどの人は占い師などに興味がないため、初期の観客プールはすでに一般人口よりも開かれた心を持ち、批判的でない人が多い。

［画像: 円は、単一の人口統計ではないことを示すために異なる色で示されている］

2. シーン設定
初期の観客は準備される。照明は暗くなる。占い師は盛り上げられる。スタッフはソーシャルメディアや会話を通じて観客を調査する。観客の人口統計が記録される。

［画像: 選ばれなかった人口統計を表す円はすべてぼかされている］

3. 人口統計の絞り込み
占い師は、観客に関する情報を評価し、ある列またはクラスターを指さし、統計的には人口統計に当てはまるが、具体的であるかのように聞こえるステートメントを行う。通常、少なくとも一人が反応する。反応がない場合、占い師はその秘密が「本当の」人物にはあまりにも恥ずかしいと示唆し、プライベートなリーディングのために利用可能であることを人々に思い出させ、再度試みる。

［画像: 占い師を表す赤い箱が、マークを表す円を指す矢印を持っている］

4. マーク（標的）のテスト
反応は、マークが「読まれた」と信じたことを示す。これは、これもまた具体的であるように聞こえるが、実際には統計的に一般的な質問の連発につながる。マークが応答しない場合、占い師は最初のリーディングを成功と宣言し、再度試みる。

［画像: マークの円と占い師の箱がお互いを指すループを表す矢印を持っている］

5. 主観的検証ループ
詐欺が本格的に始まる。占い師は、マークにとって非常に具体的であるように聞こえるが、実際には人口統計や以前の回答に基づいた統計的に可能性の高い推測に過ぎない一連の質問をする。これらは非常に自信に満ちた方法で表現される。

［画像: マークの円に感嘆符が付いている］

6. 「すごい！あの占い師は本物だ！」
占い師は会話を終え、マークは占い師が超自然的な力を持っているという感覚を残される。しかし、占い師は本物ではない。すべては詐欺だ。

1. 観客の選択

予言者、タロットカードリーダー、占い師、心霊能力者は皆詐欺師ではありません。時には「占い師」は、すべてがエンターテイメントであり、霊に連絡したり心を読んだりできると偽っていないことを公言しています。一部の占い師は利益目的を持っておらず、詐欺がなければ誰かを詐欺師と呼ぶのは公平ではないように思えます。

しかし、彼らの多くは人々を意図的に騙す詐欺師であり、彼らは皆、リーディング本番よりもずっと前から始まるのと同じ基本的なメカニズムを使用しています。

観客は通常、心霊現象を信じやすい人々、または彼らが連れてきた人々で構成されています。熱心な懐疑論者は、観客の非常に小さな少数派であることがほとんどであり、彼らを管理しやすく、懐疑論を抑えるための社会的圧力を提供します。

参加する人々は信じるように準備されており、占い師を取り巻く神話にすでに精通しています。これらすべてが、彼らが期待を管理し、そのパフォーマンスを構成するのに役立ちます。

2. シーン設定

通常、パフォーマンスの開始時に、観客は心霊リーディングが「どのように機能するか」の基本的なルールを思い出させられます。彼らはメディア、映画、テレビによるこれらのルールの普及によって助けられています。

誰もが今、「知っている」こと：

  • リーディングは通常、曖昧で不明瞭に始まる。
  • 「霊界」との「つながり」が強くなるにつれて、それらはより明確になる。
  • エラーは予想される。「霊」はしばしば曖昧または聞き取りにくい。
  • 非信者はつながりを弱めたり、妨害したりすることさえできる。

占い師はまた、パフォーマンスの前に参加者と交流するスタッフによる非公式なインタビュー、または人口統計をマッピングすることによって、観客を習慣的に調査します。

照明が暗くなると、占い師は観客の中から誰が良いマーク（標的）になるかについての明確な考えを持っているはずです。

3. 絞り込み

マークは通常、自分で選ばれます。占い師はステートメントを行い、列を指さし、誰かがそのステートメントに目に見えて反応するのに基づいてジェスチャーを素早く変更します。これにより、最初からマークを指していたかのように見えます。

マークはそのように最初から占い師を信じるように準備されます。彼らは油断しています。通常、占い師が次に提供する質問の迅速な連発に少し驚き、全く準備ができていません。それらの質問がマークを引き込み、マークを引き込むと、実際のリーディングが続きます。そうでなければ、彼らは先に進み、再度試みます。

4. マークのテスト—コールドリーディングと主観的検証の使用

詐欺—コールドリーディング—は人間の心理の奇妙な点にかかっています。もし私たちが個人的にステートメントに関連付けられるなら、私たちは一般的にそれを正確だと見なすでしょう。

私たちの心の機能のこの残念な副作用は、主観的検証と呼ばれます。

主観的検証、または個人的検証効果と呼ばれることもありますが、これは、人々がステートメントまたは他の情報が個人的な意味や重要性を持つ場合にそれを正しいと見なす認知バイアスです。主観的検証によって意見が影響された人々は、個人的な信念がそれらを関連付けることを要求するため、無関係な2つのイベント（つまり、偶然の一致）を関連していると認識します。

その結果、多くの人々は、たとえ最も一般的なステートメントであっても、言われたことに自分自身を関連付けることができれば、自分自身に特有であると解釈します。

ステートメントに意味を見出そうとすればするほど、効果は強くなります。

話者の正確なステートメントを行う能力を信じるほど、効果は強くなります。

占い師の詐欺の基本的なメカニズムは、マークが、たとえ意図的でなくても、言われたことを自分自身に関連付ける意思と能力があることに基づいています。

5. 検証ステートメントを使用した主観的検証ループ

占い師は、統計的には一般的でありながら、個人的に関連付けられるように調整された一連のステートメントを作成することによって、この認知バイアスを利用します—あなたにとって具体的であるように聞こえます。

これらのステートメントには多くの種類があります。私はこれらのさまざまな戦術のすべてを包括する用語として「検証ステートメント」を使用します。

いくつかの一般的な例：

  • フォアラーまたはバーナム・ステートメントはおそらく、主観的検証効果を利用する最も有名なステートメントの種類です。これらのステートメントの多くは本質的に無意味ですが、それでも聞き手には正確だと感じられます。例えば、ほとんどの人は「あなたは自分に厳しい傾向がある」というステートメントを自分自身を正確に描写していると感じるでしょう。
  • 消える否定とは、質問が否定形（「〜ない」など）を含んで再構成されることです。もし占い師が「あなたはピアノを弾かないのですか？」と尋ねた場合、答えが何であれ、後で質問を正確なものとして再構成できます。あなたが否定的に答えた場合：「そう思いました。」肯定的に答えた場合：「そう思いました。」（※原文の例では、否定的な答えに対する返答が「そう思いました」となっており、これは「そう思いました」という返答が「あなたはピアノを弾かない」という質問に対して、相手が「弾かない」と答えた場合に「そう思いました（＝やはり弾かないのですね）」と返すことを指していると解釈できます。肯定的な答えに対する返答は明記されていませんが、同様に「そう思いました（＝やはり弾くのですね）」と返すことが想定されます。）
  • レインボー・ルーズとは、占い師がマークをある特性とその反対の特性の両方に関連付けることです。「あなたはとても穏やかな人ですが、挑発されると非常に怒りっぽくなることがあります。」
  • 統計的推測。「あなたは左足または膝に傷跡がある、またはあった」のようなステートメントは、ほとんどすべての人に当てはまります。一般的な統計に関する十分な知識があれば、占い師はマークにとって信じられないほど具体的であるように聞こえる一般的なステートメントを作成できます。
  • 人口統計学的推測。統計的推測に似ていますが、これらは人口統計に共通するステートメントですが、聞いているマークにとっては非常に具体的であるように聞こえます。
  • 検証不可能な予測。「誰かがあなたに対して強い悪意を抱いていますが、彼らはそれを行動に移す可能性は低い」のような予測は検証不可能ですが、多くの人にとって真実のように聞こえます。
  • ショットガンニングは、占い師がステートメントの連発を行う、より一般的な戦術の1つです。マークはステートメントの1つが正確であることに気づき、私たちの心の働き方により、正しいステートメントだけを記憶して離れます。

このプロセスの重要な部分は、占い師のトーンと態度です。彼らは自信を持ち、間違いを犯したときに素早く誤りを却下して次に進み、人々の表情やボディーランゲージを素早く読み取り、それに応じて応答を調整する必要があります。

6. 詐欺は完了する

プロセスの終わりに、マークはリーディングが不気味なほど正確であったことを思い出す可能性が高いです—占い師が超自然的な精度を持っていたと—これは、次回参加する際にさらに受け入れやすくなるようにします。

ここで詐欺はしばしば陰湿になります。マークが協力的なほど効果は強くなり、彼らは時間とともにますます協力的にさえなります。

さらに、脆弱性は知性とは関係ありません。

高いIQを持っていると信じるように育てられた人は、自分の知的能力を低く考えているように育てられた人よりも、これに陥りやすいです。主観的検証は人間の心の奇妙な点です。私たちは皆、それに陥ります。しかし、自分が騙されないと思っている人は、代わりに知性を「それがどのように起こったのかを解明する」ために適用しようとするでしょう。これは、彼らがかなりの創造性と知性を使用して、占い師があなたを騙すのを助けることになり、そのための合理化を思いつくことを意味します。そして、自分が騙されないと思っているので、あなたは占い師の力の主張を擁護するためにも知性を活用します。賢い人々（または、自分を賢いと思っている人々）は、最も大きく、最も儲かるマークになる可能性があります。

一方、自分自身をあまり賢くないと思っている懐疑論者は、次のように言う可能性が高いです。

「それは巧妙なトリックだ。どうやったのかわからない。とても賢いに違いない。」

そして、そのまま進みます。

多くの占い師は自分自身を騙している

占い師が無意識のうちにコールドリーディングを無意識のうちに行うようになることは珍しくありません。占い師自身が自分の戦術に気づいていないことさえあります。

デニス・ダットンが説明するように：

科学的なキャリアを追求する大学院生として、彼は占星術に興味を持つようになりました。この期間中、占星術の物理的な基盤について nagging doubts がありましたが、彼の多くの満足したクライアントから、彼らの個人的な状況や問題を「驚くほど正確に」描写していると常に言われ、それを続けるように励まされました。ある日、彼が完全に間違ったホロスコープに対してそのような満足のいく反応を得た後、彼は自分の活動の本当の性質をゆっくりと理解し始めました。彼の占星術師としての偉大な成功は、占星術の科学としての有効性とは全く関係がありませんでした。実際、彼は熟練したコールドリーダーになっていました。彼はクライアントからの絶え間ない強化を受けて、占星術の力で心から信じていました。彼はもちろん彼らを騙していましたが、彼自身が幻想に陥った後だけでした。

調査を始めると、これの多くの例が簡単に見つかります。メカニズムは十分に単純であり、リーディングがどのように機能するかについての人々の先入観にすでに組み込まれているため、多くの占い師は偶然その技術を開発します。これは、彼らが読まれる人を騙しているだけでなく、自分自身も騙していることを意味します。

この点は後で重要になります。

［画像］

1. 観客は自分で選ばれる
「AI」チャットボットに懐疑的な人々は、それらを使用する可能性が低いです。チャットボットの「知能」の可能性を積極的に否定しない人々は、ボットに引き込まれることはありません。最も活発な視聴者は、初期の採用者、テクノロジー愛好家、そして一般的にAIの現実的な可能性を信じている人々であり、彼らは皆、一般的に批判的でなく、よりオープンマインドです。

［画像: 円は、単一の人口統計ではないことを示すために異なる色で示されている。すべてに「Hype」という言葉が重ねられ、流行の雰囲気が示唆されている矢印が付いている］

2. シーン設定
ユーザーは、テクノロジーを取り巻く誇大広告によって準備されます。チャット環境がムードと期待を設定します。「初期段階である」や「幻覚」についての警告は、ボットを擬人化し、その絶え間ない失敗が気づかれたときに、すぐに言い訳を提供します。

［画像: 選ばれなかった人口統計を表す円はすべてぼかされている］

3. プロンプトがコンテキストを設定する
各ユーザーはチャットボットにプロンプトを与え、チャットボットは応答します。多くのユーザーは、与えられた回答を受け入れるか、望む結果を得るために最初のプロンプトのバリエーションを繰り返します。彼らは効果に騙されることなく先に進みます。しかし、一部のユーザーは会話に参加し、引き込まれます。

［画像: マークを表すさまざまな円が、チャットボットを表す箱とのループ矢印で接続されている。残りはぼかされている］

4. マークは自分自身をテストする
チャットボットの回答は現在のコンテキストに非常に具体的であるように聞こえますが、実際には統計的に一般的です。チャットボットの背後にある数学的モデルは、質問に対して統計的に妥当な応答を返します。これを説得力があると見なすマークが引き込まれます。

［画像: マークの円とチャットボットの箱がお互いを指すループを表す矢印を持っている］

5. 主観的検証ループ
マークは一連の質問をし、すべての応答はコンテキストに特化した推論された回答のように聞こえますが、実際には統計的に可能性の高い推測に過ぎません。マークが関与すればするほど、チャットボットの知能に確信を深めます。

［画像: マークの円に感嘆符が付いている］

6. 「すごい！このチャットボットは考えている！汎用人工知能の兆候がある！」
マークは、チャットボットが自己認識に不気味なほど近く、間違いなく推論能力があるという感覚を残されます。しかし、それは統計的および心理的な効果に過ぎません。

1. 観客は自分で選ばれる

「AI」に興味がないなら、「AI」チャットボットを使用しないでしょうし、試したとしても、戻ってくる可能性は低いです。

これは、これらのチャットボットの熱心なユーザーの多くが、AI分野と汎用人工知能（AGI）の概念—これらの技術が自己認識的で自己改善的な推論システムにつながる可能性があるという考え—に対して熱心でオープンマインドであるように自己選択されていることを意味します。

AGIに真に熱心な人々—この分野が新しい種類の知能を発明しようとしていると信じている人々—は、他の人々よりもこれらのチャットボットの使用に大幅に熱心である可能性が高いです。

これは占い師の詐欺の観客選択と並行しています。来世を信じ、それが生きている人と連絡が取れると信じている人々は、他の人々よりも占い師のリーディングに参加する可能性が大幅に高いです。

2. ステージ設定

現在の容赦ない誇大広告の環境は、少なくとも真の知能の兆候に対する期待を構築し、ステージを設定します。ベンダーがこれらのシステムが汎用知能ではないと警告しても、それらの声明は常に「まだ」という含意または実際の言葉に続いています。誇大広告は、これらが「ほぼ」知能であり、それらに知能の「火花」を感知できるはずだと強く示唆しています。

信じる人々は主観的検証のために準備されます。

警告もステージ設定の役割を果たします。「初期段階である」ということは、応答の統計的に一般的な性質が発見されたときに、「エラー」として簡単に却下されることを意味します。「幻覚」のような擬人化された概念の使用は、統計的な応答が意味や事実から完全に切り離されているという事実を却下するのに役立ちます。AIの誇大広告と神話は、聴衆にこれらのシステムを理解し関与すべき人物として考えさせ、主観的検証をほぼ保証します。

3. プロンプトがコンテキストを設定する

最初のプロンプトのやり取りが最初のフィルターです。ほとんどの人は最初の応答を受け入れて離れるか、せいぜい望む結果が得られるまでプロンプトのバリエーションを繰り返します。これらのやり取りは純粋に機械的です。エンドユーザーはチャットボットを単なる生成ウィジェットとして扱っているため、LLMentalist効果に引き込まれることはありません。

エンドユーザーの一部、通常は「AI」の見込みにさらに熱心な人々は、「会話」に参加し始め、数学的な言語モデルとの「会話」に引き込まれます。

4. マークは自分自身をテストする—主観的検証が始まる

その会話が主なフィルターです。信じたい人々は、彼らのプロンプトへの応答を、自分自身に関するものであり、知的なものとして見ます。彼らはチャットボットを、彼らのテキストを読み、それらに思慮深く応答する人物として見るように準備されています。しかし、言語モデルはそうは機能しません。LLMは、トークンとしての言語における単語やフレーズの分布をモデル化します。それらの応答は、プロンプトの統計的に可能性の高い継続に過ぎません。

テキストを与えます。それは、あなたのテキストのようなテキストがトレーニングデータセットで一般的に受ける応答に一致する応答を返します。

すでに、これは占い師の詐欺と同じ基本的な原則に従って機能しています。LLMは、占い師があなたの心を読んでいるのと同じように、あなたのテキストを「読んで」いません。彼らはあなたが言うことに基づいて統計的に妥当な応答を返しています。あなたは、それらの応答を会話の主題であるあなたに特有のものとして検証する方法を見つけているのです。

トレーニングデータセットのサイズが大きいため、チャットボットからの応答は、統計的には一般的であるにもかかわらず、非常に説得力があり、具体的であるように見えます。過去20年間のウェブのほとんど、盗まれた電子書籍の大規模なコレクション、Redditのほとんど、ソーシャルメディアの大部分、そして低賃金の労働者によるかなりの量のカスタムインタラクションでトレーニングされた場合、モデルはあなたが考えられるほとんどすべてのことに対する応答を持っているか、すでに見たことのあるもののバリエーションを使用できます。

これらの最初のやり取りは、特にあなたが「AI」の信奉者であれば、非常に説得力がある可能性がありますが、効果が本当に現れ始めるのは、より長く繰り返される会話です。

5. 主観的検証ループ—RLHFが関与する

この段階で、人間からのフィードバックによる強化学習がどのように機能するかを覚えておくことが重要です。

これは、ベンダーが生の言語モデルを会話できるチャットボットに変えるために使用する方法です。

RLHFは、ベンダーがLLMの出力に具体的な修正を加えることを許可しません。この方法は、人間のフィードバックを使用して、通常は他の形式のファインチューニングに従って、モデルによって生成されたさまざまなテキストをランク付けすることを含みます。ランク付けされたテキストは、次に別の報酬モデルをトレーニングするために使用されます。実際のLLMの強化学習を担当するのは、このモデルです。報酬モデルと、チャットのコレクションでのLLMのファインチューニングが組み合わさることで、通常のモデルの境界線上の不安定な会話が、ChatGPTのようなシステムで見られる流暢な体験に変わります。

フィードバックはランキングに基づいているため、特定の課題に基づいて簡単にすることはできません。モデルが会話中に誤ったステートメントを行った場合、その会話は低いランクになります。

具体的な特定性の欠如は、一般的にRLHFモデルが正確に聞こえる応答を報酬する可能性が高いことを意味します。報酬モデルは単なる言語モデルである可能性が高いため、事実や特定の何かを基準に報酬を与えることはできません。したがって、正確であると評価されたステートメントに一般的に関連付けられているトーン、スタイル、構造を持つ出力にのみ報酬を与えることができます。

ランキング自体も疑わしいです。これらのフィードバックをAIベンダーに提供する労働者のほとんどすべて、またはすべては、彼らが評価しているトピックに関連する専門知識を持っている可能性が低い低賃金の労働者であり、たとえ持っていたとしても、すべてをファクトチェックする時間がない可能性が高いです。

これは、彼らが会話をトーンと文の構造に基づいてほぼ完全にランク付けすることを意味します。

これが、RLHFが効果的に言語モデルを検証ステートメントの生成に特化させる報酬システムになったと私が考える理由です：フォアラー・ステートメント、ショットガンニング、消える否定、統計的推測。

LLMをより人間らしく、より自信があり、より魅力的に聞こえるようにしようとしながら、その出力の特定の詳細を編集できないため、AI研究者は機械仕掛けのメンタリストを作成したようです。

統計的に妥当な検証ステートメントを通じて心を読んでいるふりをする代わりに、統計的に妥当な検証ステートメントを通じてあなたのテキストを読み、理解しているふりをします。

マークが言語モデルの知能を自分自身に納得させる作業を絶えず行うことで、検証ループはしばらくの間続く可能性があります。十分に長く行われると、それはマークのための強化学習の一形態になります。

6. マークは応援団になる

差し迫ったAI革命の最も熱心な信奉者は、長年の占い師や心霊能力の信奉者と非常に似たように聞こえ始めています。

彼らは、不可能なことが可能である理由を説明するために、ますます複雑な考えやモデルを考案します。彼らは、彼らの世界観に挑戦する科学や研究の分野をますます軽視するようになります。彼ら自身のステートメントは、畏敬と恐怖の念を帯びるようになります。

そして、彼らは布教し続けます。これは本物だ！

しばしば続く：これは危険だ！

覚えておいてください、マークが知的であり、信じたい場合に効果はより強力になります。主観的検証は、私たちの心の働き方に基づいています。一般的に、そしてあなたの報告されたIQには影響されません。

むしろ、あなたの知性は、主観的検証を合理化する能力を向上させ、効果をさらに強めるだけでしょう。それが、汎用人工知能を発見しようとしているという詐欺を信じたいという本当の願望と組み合わされると、効果は一度定着すれば、抵抗不能で強力であるはずです。

だからこそ、これらの問題を発見するためにユーザーレポートに頼ることができないのです。占い師を信じる人々は、彼らが騙されている間でも、一般的に占い師について肯定的なことしか言いません。AGIを構築しようとしていると信じている人々は、その信念を支持するチャットボットについて肯定的なことしか言いません。

これに陥るのは簡単です

この統計的な幻想に陥るのは簡単です。それはあなたの知性や、たとえあなたが騙されやすいかどうかとは関係ありません。それはあなたの脳があなたに対して機能しているのです。ほとんどの場合、会話は協力的で個人的なものなので、あなたの心はその状況下で言われたことの意味を見つけるように最適化されています。もしあなたが信じたいなら、それが占い師であれAGIであれ、あなたの心はあなたがしている会話を信じる理由を親切に見つけるでしょう。

あなたがプレスツアーを行い、この考えに公人としてコミットするほど深く入り込んでしまうと、私たちがプロトAGIを持ったという信念を覆すことは不可能になります。科学者が特定の占い師を信じていると公に述べるのと同じように、彼らの自己イメージはその占い師への信念と絡み合っています。現象のどんな却下も、彼らにとって個人的な攻撃のように感じられるでしょう。

占い師の詐欺は、長年にわたって人々を騙すのに非常に成功してきたメカニズムです。それは機能します。

最善の防御策は、説得力のある占い師のリーディングに対するのと同じように応答することです：「それは巧妙なトリックだ、どうやってやったのか不思議だ？」

さて、これであなたは知りました。

あなたの心の働き方の誤謬について知ったら、その誤謬が意図的かどうかにかかわらず、いつ悪用されているかを特定するのが容易になるはずです。

これで重要な質問に移ります。

これは意図的なのか？

テクノロジー業界には数十億ドルがかかっていることを考えると、知能の統計的な幻想がテクノロジー業界の人々によって意図的に作成されたと仮定するのは魅力的でしょう。

個人的には、それは非常にありそうもないと思います。

さまざまな政府の陰謀論に対する一般的な応答は、政府機関は秘密を維持するのがそれほど得意ではないということです。

さて、テクノロジー業界はソフトウェアが得意ではありません。この幻想は、正直なところ、それを作っている人々が意図的に作成するにはあまりにも巧妙すぎます。

AI研究分野は、他の分野の価値を無視する評判を持っているため、占い師の詐欺のこの再実装は完全に偶然であると確信しています。おそらく、認知バイアスに関する心理学の研究や、占い師の詐欺がどのように機能するかを知らずに、彼らはメカニズムにつまずき、多くのチャットボットメーカー自身を騙すチャットボットを作成してしまったのでしょう。

私が上で書いた、占い師がしばしば自分自身を騙していること、彼らの多くが自分の詐欺に気づいてさえいないことを思い出してください。

これはここでも同じです。私は、この業界は自分が何をしているのか理解しておらず、今では、自分が何をしたのか理解していないのだと思います。

だからこそ、多くのテクノロジー関係者が、真の汎用人工知能の最初の火花を作成したと完全に確信しているのです。

この新しいテクノロジー時代は、迷信と疑似科学の上に築かれているようです

LLMのやり取りが占い師の詐欺のバリエーションである可能性を研究し始めると、私は「AI」分野のあらゆる場所に類似点を見始めました。

  • 言語モデルをMRIに接続し、それが心を読めると主張する。
  • 顔の表情や歩き方に基づいて犯罪性を判断できると主張する。
  • 健康問題に対する魔法の解決策を提案する。
  • 未来の文字通りの予測。
  • 潜在的な従業員の正直さを判断できると主張する。

これらはすべて「AI」システムの提案されたアプリケーションですが、これらはすべて一般的な占い師の詐欺でもあります。心霊、警察支援、信仰療法、予言、さらには占い師による従業員の適性検査もすべて、メンタリストのプレイブックからそのまま出てきたものです。

これらの努力が誠実であることに疑いの余地はありませんが、テクノロジー業界が全体として迷信と疑似科学に身を委ねていることはますます明らかになっています。彼らは、他の分野からの警告や、自分たちの陣営からの批評家の懸念を無視し続けています。

大規模言語モデルには、この迷信の波を補う機能や特徴がありません。

これらを総合すると、これらの欠陥によりLLMは情報技術というよりは、占いホットラインの現代的な機械化のように見えます。

意思決定、ランキング、評価、戦略立案、分析、またはその他の形式の推論をチャットボットに委任することは、アドバイスのために占い師に電話することと同等の機能になります。

Googleや大手テクノロジー企業が、フロントページに占いホットラインを追加して検索エンジンを修正しようとするのを想像してみてください。それがBardで行われていることです。

—「私たちの大学の学生は、私たちのウェブサイトを全く理解できません。占いホットラインを追加しましょう！」

—「カスタマーサービスポータルを改善する必要があります。占いホットラインを追加しましょう！」

—「ウェブブラウザに占いホットラインボタンを追加しました！いいえ、削除することはできません。どういたしまして！」

—「技術文書の何も理解できませんか？新しい派手な占いホットラインを参照してください！」

AIバブルは乗り越えるのが難しいでしょう。

「AI」についてさらに詳しく

私は言語モデルと生成AIの多くの欠点について書くのに時間を費やしてきました。

私は、言語モデルはほとんどの場合、その仕事に間違ったツールであるという結論に至りました。

LLMまたはチャットボットを製品、ウェブサイト、または組織プロセスに統合することは強くお勧めしません。

もしあなたが生成AIを使用しなければならない場合、それがあなたの給与等級より上の指示であるか、その他の要件であるかどうかにかかわらず、私は生成AIを仕事に使用する際の問題に特化した本を書きました。

The Intelligence Illusion: a practical guide to the business risks of Generative AI

EPUBとPDFでわずか35ドルです。これは、12ヶ月のChatGPT Plusの240ドルのコストのわずか15％です。

しかし、繰り返しますが、最初から言語モデルの使用を避け、電子書籍とChatGPTサブスクリプションの両方のコストを節約していただければ幸いです。

占い師の詐欺に関する参考文献

私たちはあなたのプライバシーを尊重します。

いつでも購読を解除できます。