HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

クロードの妄想

The Claude Delusion (pluralistic.net)

39 pointsby hn_acker25 コメント

要約

この記事は、人間が意図や目的を物事に帰属させる生来の傾向について論じています。AIとの対話において、私たちはその背後に人間がいると「妄想」してしまいますが、AIの出力は数学的演算の結果であり、人間の意図や感情を反映するものではありません。この人間的な「妄想」は、AIが生成する「誤り」よりもはるかに一般的で影響が大きいと筆者は指摘しています。

全文翻訳

The Claude Delusion (permalink)

無神論者になることで、夕日の見方がどう変わるか、あまり語られない側面の一つです。全知全能の神を信じるなら、夕日は神の意図的な創造物であり、したがって、薄明かりの空に屈折する美しい色は、その効果を生み出すために選ばれたということになります。

信仰心を持って夕日を眺めることは、他者の心の意図的な行為に遭遇することです。信仰心なく同じ夕日を眺めることは、印象的で美しく、しかし空虚なものを見ることです。驚異や美しさが空虚なのではなく、目的が空虚なのです。誰もあの太陽を空に吊るしたわけではなく、沈む太陽の色を選んだわけでもありません。それでも美しいかもしれませんが、それは根本的に異なる種類の美しさです。

宗教的な夕日と無神論的な夕日の中間に位置する夕日があります。それは、芸術家による夕日の描写です。これは、別の人間、別の心の選択を表しており、少なくとも、その心は自分自身と対話し、心の内側から何かを取り出して心の外側に出そうとしていました。

非常に多くの場合、夕日の描写を指示した心は、他の人々、おそらくはあなた（愛する人が夕日の写真を送ってくれたと想像してください）に何かを伝えたいと思っていました。その絵や写真は神聖ではないかもしれませんが、確かに意図的です。夕日の絵、あるいは夕日の写真を見るとき、それは誰かが作ろうと選んだものを見ることになります。あなたは滑って、偶然に夕日の絵を作り出すことはありません。夕日の絵は偶然ではありません。夕日の絵は何かを伝えようとしています。

意図を理解することは、私たちの心が反射的に行う専念です。それが、私たちが交通事故で死なないようにし、ポーカーで勝てるようにします。それは愛と子育て、効果的な管理と「上司との付き合い方」の鍵です。なぜ私たちが人に腹を立て、なぜ許すのか。なぜ本や画面の登場人物に共感して心臓がドキドキするのか。詩、歌、本、彫刻とのあらゆる遭遇において、それは自動的で抵抗できない出発点です。それは、木の彫刻と木との根本的な違いです。木は自力で成長しましたが、彫刻は別の心を持つ別の人間によって、意図的に作られたのです。

意図を帰属させるこの反射は、AIがなぜそれほど論争的で、魅力的で、そして不気味なのかを説明します。マーク・フィッシャーは、不気味さを「あるべきところに何もない、あるいは、あるべきところに何もないのに何かがある」と定義しています。

https://www.programmablemutter.com/p/large-language-models-are-uncanny

AIが生成したテキストや画像を見るということは、選ばれたのではなく、押し出されたものを見ることです。あなたはAIに夕日の画像を生成させるようにプロンプトを入力して滑ることができ、それは誰の意図も伴わないでしょう。

これは私たちが経験したことのないことです。絵を見るとき、私たちは反射的にそれを画家がいるものとして解釈します。本を読むとき、私たちは反射的にその言葉に著者の意図を帰属させます。会話するとき、私たちは反射的に会話のもう一方を指示する心についての理論を形成します。

しかし、AIではこれができません。私たちが「AI」と呼ぶ（現時点での）理論フリーの統計推論システムを理解している人なら誰でも、それが意図を形成できないシステムであり、意図を形成するための何かを持っていないことを理解するでしょう。

https://pluralistic.net/2026/09/18/surprise/#wow-signal

それでもなお、意図を持つように見えるものに意図を帰属させる反射を避けるのは難しい（あるいは不可能）です。文学で出会う架空の登場人物に対するあなたの自律的で避けられない感情的な反応を考えてみてください。架空の人物に対して悲しみや喜びを感じるのは奇妙です。彼らは現実ではなく、あなたは彼らが現実ではないと知っています。それにもかかわらず、彼らの苦境に涙を流すかもしれません。

文学の美的経験は、通常は人間の意図の産物であるものに人間の心を帰属させる私たちの反射に対する、合意されたハックから生じます。他人の意志、つまり彼らの言葉や行動に触れるとき、私たちは彼らが誰であるか、どのように感じているか、なぜそのように行動するのかを理解しようとします。

https://genius.com/David-byrne-and-ghost-train-orchestra-she-explains-things-to-me-lyrics

友人が見知らぬ人との遭遇について説明するような、他者の言葉や行動の証拠に直面しているときでさえ、私たちはこれを行います。あなたの反射的で意図を探求する心にとって、架空の人物の行動を描写する著者は、古い共感マシンを起動して、物語の人物の立場に自分を置こうと試みるための抵抗できない信号です。

https://locusmag.com/feature/cory-doctorow-stories-are-a-fuggly-hack/

AIと「会話」することは、小説の架空の登場人物よりも現実ではない、架空の登場人物との対話を行うことです。実際、チャットボットは登場人物よりも現実ではないと言えます。なぜなら、登場人物は別の心の産物であるのに対し、チャットボットの言葉は、人間が発したすべての言葉の巨大なデータベース上で、互いの関連性の頻度によって配置された複雑な数学的操作の産物だからです。その数学が美しく印象的なものを作るとき、それは夕日のようです。どれほど印象的であっても、それは空虚です。誰もその色を選んでいません。誰もその言葉を選んでいません。

言い換えれば、AIと対話するとき、私たちは対話の相手側の人物を妄想しているのです。これらの妄想は、AIが生成する「幻覚」（これらはより適切には「エラー」または「欠陥」と呼ばれるべきです）よりもはるかに一般的で、はるかに重大です。

幸いなことに、私たちのほとんどにとって、これらの妄想の強度は時間とともに薄れ、その強度が低下するにつれて、妄想の性質も変化します。私たちのほとんどが、架空の文学作品の登場人物の苦境によって引き起こされる感情を、私たちが知っている実在の人物の苦境に対する感情よりも重要性や「現実味」が低いものとして脇に置くのが容易であるのと同じように、私たちのほとんどにとって、AI生成コンテンツの経験は繰り返しによって薄れてきました。

AI生成のテキストや画像との最初の出会いは、それが数学的操作の産物であることを知っている私の心の部分と、絵には画家がいるはずだと主張する私の心の部分との間の緊張から生じる驚異を呼び起こしました。当時感じた驚異を振り返ると、それは主に、数学的に導き出された文章や画像の良さに対する私の期待値と比較して、その出力がいかに優れていたかによって駆動されていたことに気づきます。

その経験の新規性は、私を機械の出力を曲線で評価するように駆り立てました。「踊る熊がうまく踊るのではなく、熊が踊ること自体が驚異なのだ」と。しかし、繰り返しによって、刺激は平均に回帰しました。これらの出力には、説得力のない質感の欠如があります。AI生成の散文やメディアの滑らかさは、それを耐え難いほど陳腐なものにしています。それはハックです。

AIがまだ私を驚かせる程度には、その驚きは私たちの現実世界にある滑らかさの量についてです。AIが統計的予測を使用して質問に答えたり会話をしたりできるという事実は、私たちの現実世界がいかに規則的であるかについて、何か重要なことを教えてくれます。それは統計的予測が理解と同じであることを証明するものではありません。

https://pluralistic.net/2026/09/18/surprise/#wow-signal

もちろん、ある主題について詳しく知れば知るほど、AIの応答は説得力を失います。専門家であるということは、その主題の「木目」を知っているということです。料理人はスパイスの pinch を味わい、画家は筆致に気づき、ダンサーは振付を個々の動きに分解できます。

先日、ある人がAIから得られる散文に対する編集上のフィードバックの質に感心し、「何が足りないか教えて」というプロンプトが「大学教授がエッセイを採点したときに興奮するような」提案を生成すると語っていました。多くのライターを教えてエッセイにフィードバックを与えてきた者として、私はその人がAI生成のフィードバックを見て大学教授がどれほど興奮するかを劇的に過大評価していると思います。

事実として、非専門家のライターは、その執筆においてほとんど同じ種類の誤りを犯します。そして、ほとんどのライティング指導は、過去、現在、未来の同僚が犯した、犯している、そして犯すであろう同じ種類の初歩的な誤りを犯しているライターに対して、反復的でほぼ同一の助言を提供することから成り立っています。

優れた執筆の基本を習得することは、練習とフィードバックの問題であり、そのフィードバックのほとんどは定型的です。優れたライティング教師を作るもの、そして優れたライターを生み出すのに役立つものは、学生の作品の非標準的な側面を見つけ出し、それをユニークで強力な声に発展させることができることです。誰でも、より良いライターになるための滑らかな部分であなたを助けることができます。優れた教師だけが、あなたをユニークなライターにする質感を見つけ、洗練させるのを助けることができます。

その質感は、初心者作品では特に見つけにくいです。なぜなら、初心者作品は経験不足による完全に普通の誤りに満ちており、AIはテキストを生成する際にそれらを確実に回避できるからです。しかし、AI生成の散文には、それらのユニークさの痕跡が全くなく、それらを見つけることもできません。これらの痕跡は、AIが計算を開始する前に常に丸める小数点以下の多くの桁に見られます。

私たちが慣れ親しんだ質感を滑らかに消し去ったAIに遭遇するほど、私たちは意図性を妄想する傾向が薄れ、それらはあまり不気味ではなくなります。私たちのほとんどは、ゆっくりと着実にAI無神論者になりつつあり、夕日は心による意図的な産物というよりは、物理学の非意図的な産物のように見え始めています。

このAI無神論には二つの大きな障壁があります。第一に、私たちのほとんどにとって、不慣れな活動のどの部分にどのような意図が関わっているのかを理解できないため、世界でそのタスクが実行されているのを見るたびに、それは意図的でなければならず、したがって意図を持つ者がいなければならないと仮定しやすくなります。言い換えれば、私たちはハッカーコンにあまり行かないので、ハッカーなしでハッキングするという考えを理解するのが難しいのです。

https://pluralistic.net/2026/09/12/god-in-the-box/#llms-are-fake

しかし、少数の重要な人類のサブセットがチャットボットが人間ではないことを理解するのを難しくする第二の障害があります。それは、ほとんどすべての人類を現実の人間と見なさない億万長者です。これらの自己中心的な人々は、チャットボットを人間と同等（あるいはそれ以上）と見なします。なぜなら、彼らはほとんどの人間も完全な人間とは考えていないからです。

https://pluralistic.net/2026/05/13/vibe-governance/#k-hole

私たちの種の歴史のほとんどの間、意図を必要とするように見えたものには常に意図する者がいました。多くの時代や場所（そして今でも多くの人々にとって）、自然界に何らかの形の人間性と意図があるとみなし、したがって道徳的配慮に値するものとして行動することは自然で有益です。「自然のための権利」運動は、動物や生態系に人間性を拡張することで大きな進歩を遂げました。

しかし、チャットボットに人間性を帰属させることは、自然に人間性を帰属させることとは全く異なります。実際、それは「自然のための権利」と根本的に両立しません。「企業擬人化」という忌まわしいものを考えてみてください。この人間的な構築物に人間性を拡張することで、私たちは人工生命体、つまり有限責任会社が自然を破壊し、動物を絶滅に追い込むことができる世界を作り出してきました。これらの気候を破壊し、水を大量に消費するAIモデルに人間性を拡張した場合、それらの人間性は動物、自然界、そして私たち自身の幸福の犠牲を要求するでしょう。

https://pluralistic.net/2026/04/15/artificial-lifeforms/#moral-consideration

チャットボットは数学の驚異であり、それで十分です。それらは人間である必要はありません。それらを人間と間違えること（あるいは単に人間のように扱うこと）は、それらが世界に吐き出す無駄、醜さ、そして間違ったことから、それらができる有用なことを分離することを不可能にします。

現在「AI」と呼んでいる技術を使って、「幻覚」を起こさないチャットボットを構築することは不可能だと思います。しかし、私たちがAIについて妄想するのをやめることは、可能であり、かつ必要です。

Hey look at this (permalink)

［画像］

［画像: A shelf of leatherbound history books with a gilt-stamped series title, 'The World's Famous Events.'］

Object permanence (permalink)

#25yrsago 9/11 knocks sex off the top of the search charts for the first time ever https://web.archive.org/web/20011019190617/http://www.reuters.com/news_article.jhtml

#25yrsago Post-9/11 flag shortage sparks wave of flag-thefts https://web.archive.org/web/20011024162814/http://www.suntimes.com/output/brown/cst-nws-brown18.html

#25yrsago Pilots' preflight announcement includes exhortation to tackle suspected terorists https://web.archive.org/web/20010919081055/http://www.washtimes.com/commentary/20010919-6357240.htm

#25yrsago Larry Ellison: 9/11 means everyone should have a secret government dossier (on an Oracle server) https://web.archive.org/web/20010924045158/https://www.siliconvalley.com/docs/news/svfront/ellsn092301.htm

#20yrsago Rotary phone cost woman $2,000 over 40 years https://web.archive.org/web/20080526111157/http://www.usatoday.com/news/offbeat/2006-09-14-phone_x.htm

#20yrsago French DRM activists surrender to police https://web.archive.org/web/20070110181344/http://stopdrm.info/index.php?2006/09/20/110-compte-rendu-de-l-operation-des-interoperabilisateurs-volontaires

#20yrsago Zimbabwe’s Internet cut off due to lack of foreign currency https://web.archive.org/web/20070218185156/http://news.zdnet.com/2100-9588_22-6117553.html

#20yrsago An “expert Wikipedia” won’t work https://web.archive.org/web/20061023150433/http://many.corante.com/archives/2006/09/18/larry_sanger_citizendium_and_the_problem_of_expertise.php

#20yrsago RIAA threat-mail parody from McSweeney’s https://web.archive.org/web/20060927155553/https://www.mcsweeneys.net/2006/9/20lloyd.html

#15yrsago Italian MPs propose Internet disconnection law: one copyright accusation from anyone and you lose your Internet connection https://web.archive.org/web/20110924143709/http://www.twitlonger.com/show/d62gmb

#15yrsago Trying to understand riots isn’t the same as excusing riots https://web.archive.org/web/20110924030515/https://www.newscientist.com/article/mg21128306.100-trying-to-understand-the-english-riots-is-not-a-crime.html

#15yrsago ATM skimmer gang invested proceeds in 3D printer to make better ATM skimmers https://krebsonsecurity.com/2011/09/gang-used-3d-printers-for-atm-skimmers/

#15yrsago Facehugger-inspired leather mask https://bobbasset.com/archives/745/

#15yrsago Westerfeld’s Goliath: suitably thrilling conclusion to cracking steampunk WWI YA trilogy https://memex.craphound.com/2011/09/20/westerfelds-goliath-suitably-thrilling-conclusion-to-cracking-steampunk-wwi-ya-trilogy/

#15yrsago Report from 1978’s “Second West Coast Computer Faire” https://web.archive.org/web/20110930035442/https://blog.modernmechanix.com/2011/09/20/the-second-west-coast-computer-faire/

#15yrsago UK patent office seeks public’s help with prior art that invalidates patent applications https://www.peertopatent.org.uk/

#15yrsago 3D printed AR-15 parts challenge firearm regulation https://web.archive.org/web/20110922005752/http://www.thingiverse.com/thing:11636

#15yrsago Minor diplomatic spat when US customs queries Aussie foreign minister’s Vegemite https://www.theguardian.com/world/2011/sep/19/hands-off-vegemite-kevin-rudd

#15yrsago Toronto Convention Centre charges attendees $150/day to use WiFi https://blogcampaigning.com/2011/09/most-expensive-wi-fi-ever/

#15yrsago Tracking down the stories behind a trove of 1920s report cards from a NYC girls’ vocational school https://www.slate.com/articles/life/permanent_record/features/2011/permanent_record/how_i_found_the_report_cards_and_how_they_changed_my_life.html

#15yrsago Movie-industry self-piracy proves that IP addresses aren’t people, invalidates copyright enforcement schemes https://torrentfreak.com/movie-institute-feels-pain-of-ip-address-only-piracy-evidence-110922/

#15yrsago Cost of raising middle-income child in USA increases by 40% in ten years https://web.archive.org/web/20110925000225/https://money.cnn.com/2011/09/21/pf/cost_raising_child/index.htm

#10yrsago HTML standardization group calls on W3C to protect security researchers from DRM https://www.eff.org/deeplinks/2016/09/html-standardization-group-calls-w3c-protect-security-researchers-drm

#10yrsago I have found a secret tunnel that runs underneath the phone companies and emerges in paradise https://memex.craphound.com/2016/09/22/i-have-found-a-secret-tunnel-that-runs-underneath-the-phone-companies-and-emerges-in-paradise/

#10yrsago Gene Luen Yang wins a Macarthur “genius” prize! https://web.archive.org/web/20160922142951/https://www.macfound.org/fellows/class-2016/

#10yrsago China’s elites appear to be exfiltrating billions while on holidays https://web.archive.org/web/20160922125621/http://www.bloomberg.com/news/articles/2016-09-21/suitcases-of-cash-chinese-travel-data-hint-at-capital-outflows

#10yrsago Wells Fargo fired the whistleblowers who reported massive fraud, and that’s a crime https://www.nakedcapitalism.com/2016/09/wells-fargo-fake-accounts-hidden-by-fake-whistleblowing-former-employees-including-hr-officials-allege-systematic-retaliation.html

#10yrsago Phoebe and her unicorn are back in Razzle Dazzle Unicorn! https://memex.craphound.com/2016/09/22/phoebe-and-her-unicorn-are-back-in-razzle-dazzle-unicorn/

#10yrsago Brexit’s proposed racist immigration policy will backfire https://crookedtimber.org/2016/09/19/brexit-and-bigotry/

#10yrsago Done in your name: Survivors of CIA’s torture-decade describe their ordeals https://www.aljazeera.com/features/2016/9/14/the-dark-prisoners-inside-the-cias-torture-programme

#10yrsago HP detonates its timebomb: printers stop accepting third party ink en masse https://www.bbc.com/news/technology-37408173

#10yrsago How America abandoned the only policy that consistently closes the black-white educational gap https://www.propublica.org/article/ferguson-school-segregation

#10yrsago Edgar Allan Poe’s “The Raven” – the pop-up book edition https://memex.craphound.com/2016/09/19/edgar-allan-poes-the-raven-the-pop-up-book-edition/

#10yrsago Sitelock abuses DMCA to censor rival’s criticisms https://torrentfreak.com/web-security-firm-sitelock-uses-dmca-to-censor-critics-160920/

#10yrsago Netzpolitik publishes more damning, leaked German surveillance reports, despite previous treason prosecution https://www.techdirt.com/2016/09/20/leaked-oversight-report-shows-illegal-surveillance-massive-constitutional-violations-germanys-intelligence-service/

#10yrsago Web’s inventor and MIT prof explain ICANN to Ted Cruz, using small words https://web.archive.org/web/20160921203119/https://www.washingtonpost.com/news/powerpost/wp/2016/09/20/ted-cruz-is-wrong-about-a-key-internet-agencys-ability-to-censor-free-speech/

#10yrsago Execs with long corporate crime rapsheets stand up for Apple’s tax evasion and “the rule of law” https://web.archive.org/web/20160921002619/https://theintercept.com/2016/09/20/throng-of-corporate-criminals-demands-rule-of-law-in-apple-eu-tax-case/

#10yrsago DIY Epipen: the $30 Epipencil https://fourthievesvinegar.org/2022/07/12/introducing-the-epipencil/

#5yrsago The Framework is the most exciting laptop I've ever used https://pluralistic.net/2021/09/21/monica-byrne/#think-different

#5yrsago Ignore career advice from established writers https://pluralistic.net/2021/09/21/monica-byrne/#pay-it-forward

#5yrsago The Actual Star https://pluralistic.net/2021/09/21/monica-byrne/#like-its-3012

#5yrsago Facebook algorithm boosts pro-Facebook news https://pluralistic.net/2021/09/22/kropotkin-graeber/#zuckerveganism

#5yrsago Mutual Aid and David Graeber https://pluralistic.net/2021/09/22/kropotkin-graeber/#against-just-so

#5yrsago Gig workers around the globe https://pluralistic.net/2021/09/22/kropotkin-graeber/#an-injury-to-one

#1yrago It's still censorship (even if it doesn't violate the First Amendment) https://pluralistic.net/2025/09/22/one-throat-to-choke/#communicable-disease

Upcoming appearances (permalink)

［画像: A photo of me onstage, giving a speech, pounding the podium.］

［画像: A screenshot of me at my desk, doing a livecast.］

Recent appearances (permalink)

［画像: A grid of my books with Will Stahle covers..］

Latest books (permalink)

［画像: A cardboard book box with the Macmillan logo.］

Upcoming books (permalink)

  • "The Post-American Internet," a geopolitical sequel of sorts to Enshittification, Farrar, Straus and Giroux, 2027

  • "Unauthorized Bread": a middle-grades graphic novel adapted from my novella about refugees, toasters and DRM, FirstSecond, April 20, 2027

  • "Enshittification, Why Everything Suddenly Got Worse and What to Do About It" (the graphic novel), Firstsecond, 2027

  • "The Memex Method," Farrar, Straus, Giroux, 2027

［画像］

Colophon (permalink)

Today's top sources:

Currently writing:

- “Once Is Enemy Action,” a science fiction novel about the origins of modern technofascism. Friday's words: 518 (17048 total).- "The Post-American Internet," a sequel to "Enshittification," about the better world the rest of us get to have now that Trump has torched America. Fourth draft completed. Submitted to editor.

  • A Little Brother short story about DIY insulin PLANNING

［画像］

This work – excluding any serialized fiction – is licensed under a Creative Commons Attribution 4.0 license. That means you can use it any way you like, including commercially, provided that you attribute it to me, Cory Doctorow, and include a link to pluralistic.net.

https://creativecommons.org/licenses/by/4.0/

Quotations and images are not included in this license; they are included either under a limitation or exception to copyright, or on the basis of a separate license. Please exercise caution.

How to get Pluralistic:

Blog (no ads, tracking, or data-collection):

Pluralistic.net

Newsletter (no ads, tracking, or data-collection):

https://pluralistic.net/plura-list

Mastodon (no ads, tracking, or data-collection):

https://mamot.fr/@pluralistic

Bluesky (no ads, possible tracking and data-collection):

https://bsky.app/profile/doctorow.pluralistic.net

Medium (no ads, paywalled):

https://doctorow.medium.com/

Tumblr (mass-scale, unrestricted, third-party surveillance and advertising):

https://mostlysignssomeportents.tumblr.com/tagged/pluralistic

"When life gives you SARS, you make sarsaparilla" -Joey "Accordion Guy" DeVilla

READ CAREFULLY: By reading this, you agree, on behalf of your employer, to release me from all obligations and waivers arising from any and all NON-NEGOTIATED agreements, licenses, terms-of-service, shrinkwrap, clickwrap, browsewrap, confidentiality, non-disclosure, non-compete and acceptable use policies ("BOGUS AGREEMENTS") that I have entered into with your employer, its partners, licensors, agents and assigns, in perpetuity, without prejudice to my ongoing rights and privileges. You further represent that you have the authority to release me from any BOGUS AGREEMENTS on behalf of your employer.

ISSN: 3066-764X