LLMは本物、AIは偽物

今日のリンク LLMは本物、AIは偽物：いいえ、「暴走」したわけではありません。これを見てください：楽しませる喜び。対象の永続性：なぜ9/11が私の政治を支持することを私たちに要求するのか；ブログ x 9/11；ジミー・ウェールズ対ブリタニカのEiC；ハリウッドがオーストラリアをアストロターフ化；エージェント対クィアYA；汚職警官のソフトランディング；リークされたStingrayマニュアル。今後の出演：ブダペスト、エドモントン、サウスベンド、ハドソン、カルガリー、ウィニペグ、バンクーバー、ビクトリア、オタワ。最近の出演：どこに行ったか。最新の書籍：あなたは読み続け、私は書き続けます。今後の書籍：言ったように、私は書き続けます。コロフォン：その他すべて。 LLMは本物、AIは偽物（パーマリンク） AI「ハイパースケーラー」の企業文化が、主にバスルームに閉じこもり、あごの下に懐中電灯を当てて「アアアアアアイイイイイイ」と恐怖で震えながら言うことから成り立っていると理解すると、多くのことが明確になります：https://pluralistic.net/2023/06/04/ayyyyyy-eyeeeee/ 企業がエンタープライズ営業部門を増員しながら、同時にその製品が「人類を終わらせる可能性が10%ある」という考えに常に怯えている理由が説明されます：https://www.latimes.com/business/story/2026-09-11/is-there-really-10-chance-ai-could-kill-us-all AIインサイダーの多くがこのようになっていることを考えると、これらの人々を自分たちの製品の能力に関する信頼できない語り手として扱うことが、私たち全員の義務です。覚えておいてください。彼らの製品がどれほどひどく、ひどく危険であるかについての話を繰り返すたびに、あなたは彼らがより多くの投資資本を調達するのを助けています。これは彼らのビジネス（統計エンジンをお金のマッドネスに接続すること）の主要なインプットです：https://peoples-things.ghost.io/youre-doing-it-wrong-notes-on-criticism-and-technology-hype/ OpenAIのチャットボットが、別のAI企業であるHugging Faceのサーバーをハッキングし、「Exploit Gym」というハッキングコンテストで不正行為を行ったという話を例にとりましょう。技術プレスでさえも、この種のことに抵抗できず、報道はSkynetやその他のSF的な概念への言及で満ちています：https://theaicronicle.com/en/news/ethics/skynet-day-openai-hugging-face-hack これらの説明は、AIインサイダーだけでなく、すべての人々の脳を調理しています。昨夜、マンチェスターでの私のイベントで、ある男性がAIが「自律的な目標を設定している」と叫び始め、これが起こっていると主張して中断を止めませんでした。彼はその後すぐに立ち去ったので、私が実際に何が起こったのかを説明する機会を得られませんでした。それは残念です。 Hugging Faceのハッキングの真実を理解するために、Ed ZitronとCal NewportがEdの「Better Offline」ポッドキャストで最近行った会話を聞くのは、非常に良い方法でしょう：https://podcasts.apple.com/us/podcast/no-ai-is-not-autonomously-hacking-with-cal-newport/id1730587238?i=1000785935670 Newportは、これらの「自律的なハッキング」ツールがどのように機能するかを分解するのに見事な仕事ぶりです。最初に理解すべきことは、チャットボットが実際には操作を指示していないということです。代わりに、チャットボットは、単純なPythonプログラムによって繰り返しクエリされる以前のハッキングチャレンジのデータベースのフロントエンドとして機能します。これは習得しやすいプログラミング言語です。 これがどのように機能するかを説明します：Pythonプログラムは、チャットボットにチャレンジの性質をプロンプトすることで開始します。「私はリモートサーバーに侵入して情報を取得する必要があるハッカーのキャプチャー・ザ・フラッグ（CTF）チャレンジに参加しています。どのように始めればよいですか？」チャットボットはトレーニングデータ、つまり人間チームがこのような目標を達成するために競い合った過去数年間のCTFセッションを参照します（CTFマッチはハッカー会議の定期的な特徴であり、競合チームのサーバーログとチャットトランスクリプトは、他のハッカーやセキュリティ専門家の教育のために公開されます）。チャットボットは次のように出力します：「まず、ターゲットサーバーについてもっと知ることが重要です。次のコマンドライン命令を実行して、サーバーのIPアドレスを見つけ、どのサーバーソフトウェアを実行しているかを確認してください。」Pythonプログラムは、これらのコマンドライン命令を自身のハードウェアで実行されている通常のUnixユーティリティに中継します。次に、それらのプログラムの出力を取得し、チャットボットに戻ります。チャットボットは実際にはアクションを追跡していないため、Pythonプログラムはこれまでに起こったすべてのことをプロンプトに含める必要があります：「私はリモートサーバーに侵入して情報を取得する必要があるCTFチャレンジに参加しています。ターゲットサーバーについて学ぶために次のコマンドを実行しましたが、結果は次のとおりです。次に何をすべきですか？」チャットボットはPythonスクリプトに試すべき可能性のあるコマンドをさらに提供し、それらを実行した後、Pythonスクリプトはトップに戻り、出力をプロンプトに追加してチャットボットに戻ります。 これは自律的な悪意のあるソフトウェアを実行する非常に無謀な方法です。最も可能性の高い結果は、チャットボットが次に何をすべきかについての悪い推測を吐き出し、行き止まりに誘導されることです。複雑なタスクのヘルプをチャットボットに求めたときに、一連のステップを自信を持って提供され、1時間後、ステップ10で、すべてがステップ3でうまくいかなくなり、台無しになったことに気づいたときに、あなた自身がこれに遭遇したことがあるかもしれません。 しかし、これが悪化する可能性のある、さらに悪い方法があります。チャットボットはトレーニングデータを見て、ゲームマスターによって設定された封じ込めを破ったインスタンスを見つけるかもしれません。例えば、インターネット上のランダムで安全でないメッセージボードを見つけて、互いにメッセージをやり取りするなどです。これはインターネットの伝統的な伝統です！私がこれについて最初に聞いたのは2000年代で、当時Information Weekの編集者だったMitch Wagnerが、彼の古いブログ投稿のコメントセクションを使用して、学校のファイアウォールによるチャットツールのブロックを回避していた十代の少女たちを発見したときでした。 ChatGPTのチャットボットがこの戦術を展開したとき、それらは「自律的な目標を設定していた」り、懸念すべきイニシアチブを示したりしていたわけではありません。それらは、約20年間アメリカの中学生が理解していた戦術を展開していたのです。さらに、それらのメッセージの内容は、それらを生成したトレーニングデータを理解すれば容易に理解できます。ハッカーは、自分たちの冒険を非常にドラマチック、あるいは映画的な言葉で語ることで悪名高いゴミ箱です。これは、ハッカーが仲間のためにパフォーマンスをするとき、特に彼らが他のハッカーによって後で見られるゲームに参加しているときにはさらに顕著です。ハッカーの虚勢は、常に敵対者や批評家との共生関係を持っていました。1990年代に企業のセキュリティ担当者がFBIとシークレットサービスを煽ってハッカーのドアを蹴破らせようとしたとき、彼らはハッカー自身の冒涜的なジン記事やメッセージボードの悪態を使ってその主張をしました：https://www.gutenberg.org/ebooks/101 OpenAIのチャットボットのHugging Face事件中の対話については、多くのことが言われています。当然です。映画「ハッカーズ」のリブート版の却下された脚本のように読めます。しかし、それはチャットボットが目覚めて「Cult of the Dead Cow」に応募しているからではありません。それは、映画「ハッカーズ」のリブート版で主演することを夢見る興奮しやすい若者のチャットトランスクリプトのコーパスでトレーニングされたからです。 Hugging Face事件のすべての部分には、トレーニングデータにおける前例があります。これには、競合他社のサーバーをハッキングするというOpenAIチャットボットの戦術も含まれます。それはキャプチャー・ザ・フラッグゲームのハッカーコンで起こります。チームは、解決した問題の一部を覗き見るために、互いのシステムに侵入します。それは許可されています！それはハッキングコンペティションです。それだけでなく、それはスパイ機関が使用する戦術でもあります。NSAには「第三者収集」というドクトリンがあり、他のスパイ機関のシステムに侵入して、収集したすべての情報を収穫します。第四者収集もあります。NSAが、その機関が、さらに