HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

LLMは本物、AIは偽物

LLMs are real, AI is fake (pluralistic.net)

14 pointsby andy991 コメント

要約

この記事は、AI、特に大規模言語モデル（LLM）に関する現在の誇大広告と、その能力に対する誤解を批判しています。著者は、LLMは実際の技術であり、その動作は過去のデータパターンに基づいていると主張し、AIが「暴走」したり「自律的な目標」を設定したりするという考えは、AI企業の誇張やメディアのセンセーショナリズムによるものだと指摘しています。Hugging Faceのハッキング事件のような出来事も、LLMが自律的に行動したのではなく、Pythonスクリプトと過去のハッキングコンテストのデータセットを組み合わせた結果であると説明しています。

全文翻訳

LLMは本物、AIは偽物 (パーマリンク)

AIの「ハイパースケーラー」と呼ばれる企業文化が、主に皆がバスルームに閉じこもり、顎の下に懐中電灯を当て、「アァァァァイ」と叫び続けることで脳みそを調理しているようなものであると理解すれば、多くのことが明確になります。

https://pluralistic.net/2023/06/04/ayyyyyy-eyeeeee/

これにより、企業がエンタープライズセールス部門を増強する一方で、その製品が「人類を終わらせる確率が10%ある」という考えに絶えず怯えているという状況が説明できます。

https://www.latimes.com/business/story/2026-09-11/is-there-really-10-chance-ai-could-kill-us-all

AI関係者の多くがこのように脳みそを調理してしまっていることを考えると、これらの人々を自分たちの製品の能力について信頼できない語り手として扱うのが賢明です。覚えておいてください：彼らの製品がいかに恐ろしく、ひどく危険であるかという話を繰り返すたびに、あなたは彼らがより多くの投資資本を調達するのを助けているのです。これは彼らのビジネス（統計エンジンをお金に繋げること）の重要なインプットです。

https://peoples-things.ghost.io/youre-doing-it-wrong-notes-on-criticism-and-technology-hype/

例えば、OpenAIのチャットボットが、Hugging Faceという別のAI企業のサーバーをハッキングし、「Exploit Gym」というハッキングチャレンジで不正行為を行ったという話を取り上げましょう。技術系メディアでさえ、このようなことになると、Skynetやその他のSF的な概念への言及を避けられません。

https://theaicronicle.com/en/news/ethics/skynet-day-openai-hugging-face-hack

これらの話は、AI関係者だけでなく、すべての人々の脳みそを調理しています。昨夜、マンチェスターでの私のイベントで、ある男性がAIが「自律的に目標を設定している」と叫び始め、それが進行中であると主張して話を遮り続けました。彼はその後すぐに立ち去ったので、私が実際に何が起こったのかを説明する機会はありませんでした。残念なことです。

Hugging Faceのハッキング事件の真実を理解するには、Ed ZitronとCal NewportがEdの「Better Offline」ポッドキャストで最近行った会話を聞くのが良いでしょう。

https://podcasts.apple.com/us/podcast/no-ai-is-not-autonomously-hacking-with-cal-newport/id1730587238?i=1000785935670

Newportは、これらの「自律的なハッキング」ツールがどのように機能するかを分解するのに見事な仕事ぶりを見せています。まず理解すべきは、チャットボットが実際には操作を指示しているわけではないということです。代わりに、チャットボットは、単純なPythonプログラムによって繰り返しクエリされる過去のハッキングチャレンジのデータベースのフロントエンドとして機能します。Pythonは習得しやすいプログラミング言語です。

仕組みはこうです：Pythonプログラムは、チャットボットにチャレンジの性質をプロンプトとして開始します。「リモートサーバーに侵入して情報を取得する必要があるハッカーのキャプチャー・ザ・フラッグ（CTF）チャレンジに参加しています。どのように始めればよいですか？」

チャットボットは、そのトレーニングデータ（人間チームがこのような目標を達成するために競い合った長年のCTFセッションの記録）を参照します。CTFマッチはハッカーカンファレンスの定期的なイベントであり、競合チームのサーバーログとチャットトランスクリプトは、他のハッカーやセキュリティ専門家の教育のために公開されます。チャットボットは次のような応答を生成します。「まず、ターゲットサーバーについてさらに詳しく知る必要があります。以下のコマンドライン手順を実行して、サーバーのIPアドレスを見つけ、どのサーバーソフトウェアが実行されているかを確認してください。」

Pythonプログラムは、これらのコマンドライン指示を、自身のハードウェアで実行されている通常のUnixユーティリティに中継します。次に、それらのプログラムの出力を取得し、チャットボットに戻ります。チャットボットは実際のアクションを追跡しているわけではないため、Pythonプログラムはこれまでのすべての出来事をプロンプトに含める必要があります。「リモートサーバーに侵入して情報を取得する必要があるCTFチャレンジに参加しています。ターゲットサーバーについてさらに詳しく知るために以下のコマンドを実行しましたが、結果はこうでした。次に何をすればよいですか？」

チャットボットはPythonスクリプトに次に試すべき可能性のあるコマンドを提供し、それらを実行した後、Pythonスクリプトはトップに戻り、出力をプロンプトに追加してチャットボットに戻ります。これは自律的な悪意のあるソフトウェアを実行する上で非常に無謀な方法です。

最も可能性が高い結果は、チャットボットが次に何をすべきかについて間違った推測をし、行き止まりに陥ることです。複雑なタスクのヘルプをチャットボットに求めた際に、自信を持っていくつかのステップを順に提示され、1時間後、ステップ10で、ステップ3で全てがうまくいかず、もう手遅れだと気づいた経験があるかもしれません。

しかし、これよりもはるかに悪い結果もあり得ます。チャットボットがトレーニングデータを見て、ゲームマスターによって設定された封じ込めから脱出する事例を見つけるかもしれません。例えば、ランダムな不正なメッセージボードをインターネットで見つけて、互いにメッセージをやり取りするなどです。

これはインターネットの伝統的な手法です！私が最初にこれを行った人物について聞いたのは2000年代で、当時 Information Week の編集者だったMitch Wagnerが、彼の古いブログ投稿のコメントセクションで、ティーンエイジャーの少女たちが学校のファイアウォールによるチャットツールのブロックを回避するためにそれを使用しているのを発見しました。ChatGPTのチャットボットがこの戦術を展開したとき、彼らは「自律的に目標を設定」したり、懸念すべきイニシアチブを示したりしていたわけではありません。彼らは約20年間、アメリカの中学生が理解している戦術を展開していたのです。

さらに、それらのメッセージの内容は、生成されたトレーニングデータを理解すれば容易に理解できます。ハッカーは悪態をつくことで有名で、自分たちの冒険を非常にドラマチック、あるいは映画的な言葉で語る傾向があります。特にハッカーが仲間のためにパフォーマンスをしている場合、例えば、後で他のハッカーが分析することを知っているCTFゲームに参加している場合、これはさらに顕著になります。

ハッカーの自慢話は、常に敵対者や批評家との共生関係を持ってきました。1990年代に企業のセキュリティ担当者がFBIやシークレットサービスを扇動してハッカーのドアを蹴破らせようとしたとき、彼らはハッカー自身の冒涜的なジン記事やメッセージボードの悪態を使って主張をしました。

https://www.gutenberg.org/ebooks/101

OpenAIのチャットボットがHugging Face事件中に交わした対話については、多くのことが語られています。それも当然です。まるで映画「Hackers」のリブート版の却下された脚本のように読めます。しかし、それはチャットボットが目覚めて「Cult of the Dead Cow」への参加を申請しているからではありません。それは、彼らが映画「Hackers」のリブート版のスターになることを夢見る興奮した若者のチャットトランスクリプトのコーパスでトレーニングされたからです。

Hugging Face事件のあらゆる側面には、トレーニングデータにおける前例があります。これには、OpenAIのチャットボットが競合他社のサーバーに侵入した戦術も含まれます。これはハッカーコンのキャプチャー・ザ・フラッグゲームで起こります：チームは互いのシステムに侵入して、問題の解決済み部分を覗き見します。それは許可されています！それはハッキングコンペティションなのです。

それだけでなく、それはスパイ機関が使用する戦術でもあります：NSAには「第三者収集」という教義があり、他のスパイ機関のシステムに侵入して、彼らが収集したすべての情報を収穫します。また、「第四者収集」もあり、NSAが別のセキュリティ機関にハッキングし、その機関がさらに別のセキュリティ機関にハッキングした場合、NSAは両方の機関のすべての秘密を盗みます。

https://www.techdirt.com/2015/01/21/snowden-documents-show-nsa-cant-keep-its-eyes-its-own-papers-harvests-data-other-surveillance-agencies/

これは、OpenAI/Hugging Faceのハッキングが全く何ものでもないということではありません。それは確かに何かですが、それは特定の何かであり、説明可能で、予測可能な軌跡を持っています。これらのチャットボットがこのようなチャレンジをこのような戦術で完了するように設計されたことを理解すれば、チャットボットが「暴走」したのではないことがわかります。彼らは設計された通りに動作し、OpenAIが不十分な監視（Pythonループの各イテレーションをチェックして逸脱していないか確認する「ヒューマン・イン・ザ・ループ」なし）で実行したため、競合他社のサーバーを破壊しました。

自律的な悪意のあるソフトウェアを設計することは、一般的に無責任で危険なことと考えられています。Defconで、自分の自律型マルウェアが予期せぬことをして他人のコンピューターを損傷したという話で講演したら、聴衆からの最初の質問は「なぜそんなに安全なサンドボックスを作るのが下手なんだ？」となるでしょう。「ハッキングツールを作るのがどれほど素晴らしいか？」ではありません。

OpenAIが、スキルを持たない人々がサーバーに侵入して損傷を与えることをはるかに容易にしているという事実は、確かに非常に悪いニュースですが、新しい悪いニュースではありません。無責任な関係者は長年これをやってきました。特にNSAがそうです。NSAには、Windowsのような広く使われているソフトウェアのバグを研究する部門があります。深刻なバグを見つけた場合、Microsoftに警告して、Microsoftがそれを修正し、アメリカ人（およびその他）を、このバグを発見して攻撃に使用する悪意のあるアクターから安全に保つことがあります。

しかし、時にはNSA（およびCIAのような他の「セキュリティ」組織）が非常に「美味しい」バグを発見し、それを秘密にしておくことがあります。それは、敵を攻撃するために使用するためです。これは「NOBUS」（No One But Us）の略で、「私たち以外誰もこのバグを見つけられないほど賢くないので、アメリカ人を危険にさらすことなくパッチを当てずに放置できる」という意味です。

NOBUSはひどい考えです。どれほどひどいか？2017年、NSAは発見して隠蔽していたMicrosoft Windowsの脆弱性「EternalBlue」の追跡を失いました。EternalBlueが流出した後、半ば有能なハッカーがそれをありふれた日常的なランサムウェアに組み込み、そのランサムウェアに新たな命を吹き込みました。数ヶ月のうちに、インターネット上で最も愚かな人々が、世界で最も重要なシステムの一部をシャットダウンし、現金を要求しました。

https://en.wikipedia.org/wiki/EternalBlue

彼らは都市全体をシャットダウンしました。

https://en.wikipedia.org/wiki/2019_Baltimore_ransomware_attack

彼らは病院を乗っ取りました。

https://www.bbc.com/news/technology-35584081

彼らは石油パイプラインを乗っ取りました。

https://en.wikipedia.org/wiki/Colonial_Pipeline_ransomware_attack

彼らは大英図書館を乗っ取りました。その攻撃に関する事後分析は、これまで書かれたサイバーセキュリティ文書の中で最も明確で有益なものの一つです。

https://cdn.sanity.io/files/v5dwkion/production/99206a2d1e9f07b35712b78f7d75fbb09560c08d.pdf

NSAのEternalBlueの無責任な取り扱いは、無能で取るに足らないサイバー犯罪者に巨大なフォース・マルチプライヤーを与えました。まるでプリウスの下でソーセージカッターで触媒コンバーターを取り外している男を見つけて、アメリカの主要都市をシャットダウンできるソフトウェアを渡したようなものです。それは、非常に悪いことでした（そして今もそうです）。

チャットボット企業が開発しているハッキングツールは、この非常に愚かな伝統を引き継ぐ可能性があります。それは恐ろしいですが、チャットボットが目覚めているからではありません。それは、世界のITシステムが無関心に作成され、メンテナンスが悪く、脆弱性に満ちているからです。

https://xkcd.com/2347/

今週、私はRiley Quinnと公の場でこの件について話し合う機会が2度ありました。最初はロンドンでのブックローンチで、次にTrashfutureポッドキャストで。

https://www.patreon.com/trashfuture/posts/what-would-do-169247456

Rileyはこれを要約するのに非常に良い方法を持っていました：「LLMは本物、AIは偽物」。LLM、つまりCTFログのようなものでトレーニングされ、サーバーに侵入できるチャットボットは本物です。それらは、現代のデジタル世界の脆弱性を着実に実証してきた他のハッキングツールとの連続体上にありますが、権力者を何も行動を起こさせるようには刺激していません。

「AI」、つまり目覚めて「自己目標を設定」し、「自発的に」サーバーをハッキングし始めるチャットボットは偽物です。「人類を終わらせる確率が10%」はありません。Hugging Faceのハッキングは、神秘的で超常的な出来事ではありません。それはPythonループとチャットボットです。責任者は誤って神を創造したのではなく、自律的な悪意のあるソフトウェアを作成し、それを綿密に監視しなかったため、予測可能で悪いことを引き起こしました。

たとえ愚かな人々がさらに多くのコンピューターを破壊する能力を持つようになったこの新しいツールのセットについて心配するのは構いません。あなたはそれを心配すべきであり、企業や政府に、NOBUSスタイルの脆弱性隠蔽の包括的な禁止を含む、より良いセキュリティ慣行を要求すべきです。それは生産的な種類の心配であり、あなたの懸念領域に対処する可能性があります。懐中電灯を手にトイレに閉じこもり、鏡に向かって「アァァァァイ」と叫んでおしっこを漏らすまで続けるより、はるかに合理的です。

Hey look at this (permalink)

［画像: A shelf of leatherbound history books with a gilt-stamped series title, 'The World's Famous Events.'］

Object permanence (permalink)

#25yrsago Why the Bombings Mean That We Must Support My Politics https://web.archive.org/web/20010917015537/http://www.adequacy.org/?op=displaystory;sid=2001/9/12/102423/271

#25yrsago How blogs are covering 9/11 https://web.archive.org/web/20010917015712/https://www.wired.com/news/culture/0,1284,46766,00.html

#20yrsago Wikipedia founder debates Britannica editor-in-chief https://web.archive.org/web/20061005041001/http://online.wsj.com/public/article/SB115756239753455284-A4hdSU1xZOC9Y9PFhJZV16jFlLM_20070911.html?mod=blogs

#15yrsago Deceptive “independent research” from Hollywood front suggests Australians are easily frightened https://torrentfreak.com/anti-piracy-lobby-misleads-aussie-press-for-three-strikes-campaign-110912/

#15yrsago Agents tell YA authors: lose the gay characters and I’ll get you a deal https://web.archive.org/web/20110913010328/http://blogs.publishersweekly.com/blogs/genreville/?p=1519

#10yrsago IoT malware exploits DVRs, home cameras via default passwords https://securityaffairs.com/50929/malware/linux-mirai-elf.html

#10yrsago Oppps.ru: patient zero in Russia’s fake news epidemic https://globalvoices.org/2016/09/12/how-fake-stories-reported-in-russias-news-media-regularly-fool-everyone/

#10yrsago It’s really easy for fired, dirty cops to walk into a new police job in a new town https://www.nytimes.com/2016/09/11/us/whereabouts-of-cast-out-police-officers-other-cities-often-hire-them.html

#10yrsago Donald Trump used $20K worth of charitable donations to buy a 6′ tall painting of Donald Trump https://www.washingtonpost.com/politics/how-donald-trump-retooled-his-charity-to-spend-other-peoples-money/2016/09/10/da8cce64-75df-11e6-8149-b8d05321db62_story.html

#10yrsago Autocratic regimes systematically deny internet access to opposition ethnic groups https://www.science.org/doi/10.1126/science.aaf5062

#10yrsago Leaked Stingray manual shows how easy warrantless mass surveillance can be! https://web.archive.org/web/20160912203446/https://theintercept.com/2016/09/12/long-secret-stingray-manuals-detail-how-police-can-spy-on-phones/

Upcoming appearances (permalink)

［画像: A photo of me onstage, giving a speech, pounding the podium.］

［画像: A screenshot of me at my desk, doing a livecast.］

Recent appearances (permalink)

［画像: A grid of my books with Will Stahle covers..］

Latest books (permalink)

［画像: A cardboard book box with the Macmillan logo.］

Upcoming books (permalink)

  • "The Post-American Internet," a geopolitical sequel of sorts to Enshittification, Farrar, Straus and Giroux, 2027
  • "Unauthorized Bread": a middle-grades graphic novel adapted from my novella about refugees, toasters and DRM, FirstSecond, April 20, 2027
  • "Enshittification, Why Everything Suddenly Got Worse and What to Do About It" (the graphic novel), Firstsecond, 2027
  • "The Memex Method," Farrar, Straus, Giroux, 2027

［画像］

Colophon (permalink)

Today's top sources:

Currently writing:

  • “Once Is Enemy Action,” a science fiction novel about the origins of modern technofascism. Today's words: 574 (7730 total).
  • "The Post-American Internet," a sequel to "Enshittification," about the better world the rest of us get to have now that Trump has torched America. Fourth draft completed. Submitted to editor.
  • A Little Brother short story about DIY insulin PLANNING

［画像］

This work – excluding any serialized fiction – is licensed under a Creative Commons Attribution 4.0 license. That means you can use it any way you like, including commercially, provided that you attribute it to me, Cory Doctorow, and include a link to pluralistic.net.

https://creativecommons.org/licenses/by/4.0/

Quotations and images are not included in this license; they are included either under a limitation or exception to copyright, or on the basis of a separate license. Please exercise caution.

How to get Pluralistic:

Blog (no ads, tracking, or data-collection):

Pluralistic.net

Newsletter (no ads, tracking, or data-collection):

https://pluralistic.net/plura-list

Mastodon (no ads, tracking, or data-collection):

https://mamot.fr/@pluralistic

Bluesky (no ads, possible tracking and data-collection):

https://bsky.app/profile/doctorow.pluralistic.net

Medium (no ads, paywalled):

https://doctorow.medium.com/

Tumblr (mass-scale, unrestricted, third-party surveillance and advertising):

https://mostlysignssomeportents.tumblr.com/tagged/pluralistic

"When life gives you SARS, you make sarsaparilla" -Joey "Accordion Guy" DeVilla

READ CAREFULLY: By reading this, you agree, on behalf of your employer, to release me from all obligations and waivers arising from any and all NON-NEGOTIATED agreements, licenses, terms-of-service, shrinkwrap, clickwrap, browsewrap, confidentiality, non-disclosure, non-compete and acceptable use policies ("BOGUS AGREEMENTS") that I have entered into with your employer, its partners, licensors, agents and assigns, in perpetuity, without prejudice to my ongoing rights and privileges. You further represent that you have the authority to release me from any BOGUS AGREEMENTS on behalf of your employer.

ISSN: 3066-764X