HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

狂気への再帰

Recursion into Madness (blog.coredump.cx)

25 pointsby surprisetalk5 コメント

要約

この記事は、生成AIが自身の出力を再帰的に処理する際に陥る「狂気」について論じています。画像生成ツールと同様に、テキスト生成でもこの現象が発生し、元の文章が奇妙で抽象的な比喩へと変貌していく様子が、Geminiを用いた実験で示されています。著者は、この再帰的な失敗モードがAIの限界や将来の進化を示す重要な兆候であると指摘しています。

全文翻訳

狂気への再帰 レイモンド・チャンドラーなら生成AIを気に入っただろう。 2026年9月7日 2063 シェア 私は生成AIについてあまり書かない。他の皆が書いているし、大した内容が語られることは滅多にない。私はこの技術が、退屈なタスクを自動化するのに役立つ点では素晴らしいが、本物の人間の表現を損なう点では癌であり、両方の世界が衝突する点ではダークで面白いと思っている。 しかし、セキュリティ担当者としては、モデルがどのように失敗するのかを知りたい。それらは人間のかたちをしているが人間ではない。擬人化を懇願しておきながら、タツノオトシゴの絵文字で窒息する。AIが自身の出力を無限に消費する再帰的なプロセスは、特に興味深い。実用的な観点からは、それらはエージェントループの核心的なメカニズムである。より抽象的には、それらはAI懐疑論者(モデル崩壊)や来るべきAI神のアコライト(急速な自己改善)の予測における主要なテーマである。 そして、再帰が楽しいものであることを信じてほしい!Nano Banana 2に偽の映画ポスターを生成させ、次にタイトルに局所的な編集を繰り返し行わせることで作成した短いビデオを以下に示す。フルスクリーンで表示してほしい。 この効果は、AIベースの画像・ビデオ編集ツールの悩みの種である。蓄積されたエラーが純粋なカオスを解き放つ前に、ごく限られた回数の試行しかできない。 テキストやコードでも同じことが起こるのだろうか?まあ、イエスでもありノーでもある。画像パイプラインには、多くの内在的なノイズ源がある。テキストの場合、入力と出力のエンコーディングはロスレスであり、トークンあたりのエントロピーの注入量は少ないため、単純で明確に指定されたタスクでは決定論的な結果が得られる。つまり、モデルにテキストの段落の単語を1つ変更するように指示した場合、ほとんどの場合、副次的な損傷なしにタスクを処理できる。 これは、オープンエンドな書き換えとは異なる。ほとんどの書き換えプロンプトは、無限に分岐する出力シーケンスを生成するのではなく、システムは少しの間バタつき、その後安定した結果に落ち着く。いわゆるピークLLMeseだ。それでも、結果は元の状態からかなりかけ離れたものになることがある。 それを説明するために、レイモンド・チャンドラーの次の文章を引用しよう。 「この部屋は大きすぎた。天井は高すぎた。ドアは高すぎた。そして壁から壁まで続く白いカーペットは、アローヘッド湖に降り積もったばかりの雪のようだった。そこら中に、等身大の鏡とクリスタルの飾り物が散りばめられていた。象牙色の家具にはクロムメッキが施され、巨大な象牙色のドレープは、窓から3フィートの白いカーペットの上に散らばっていた。白は象牙色を汚く見せ、象牙色は白を色あせさせていた。窓は暗くなりつつある丘陵地帯の方を睨んでいた。もうすぐ雨が降りそうだ。空気にはすでに圧力がかかっていた。 私は深い柔らかい椅子の端に座り、レガン夫人を見た。彼女は見合うだけの価値があった。彼女は厄介事だった。彼女はスリッパを脱いで、モダンな長椅子に横たわっていたので、私は彼女の脚を、最も薄いシルクのストッキングで凝視した。それらは凝視されるように配置されているかのようだった。膝まで見え、片方はその先まで見えていた。膝は丸みを帯びており、骨張って鋭くはなかった。ふくらはぎは美しく、足首は長く細く、トーンポエムに十分なメロディックな線を持っていた。彼女は背が高く、すらりとしていて、力強く見えた。彼女の頭は象牙色のサテンのクッションにもたれかかっていた。髪は黒く、硬く、真ん中で分けられており、彼女はホールの肖像画のような熱い黒い目をしていた。彼女には良い口元と良い顎があった。」 私はそれが良い文章だと思う。ハイブロウではないが、視覚的だ。感覚的だ。あなたを引き込む。 この引用を持って、私はGeminiに、トーン、明瞭さ、流れを「改善する」ために、その文章を「大胆に書き直す」ように依頼した。モデルはすぐに最悪の癖に戻った。洗練されているように聞こえるが、単に分かりにくい奇妙な比喩だ。最初の繰り返しでは、部屋は👾「漂白された豊かさの広大でそびえ立つ墓」となり、ドレープは👾「カーペットの上に貪欲に山積みになり」、空気は👾「雨の脅威で濃密になった」。 各繰り返しで、私はモデルに以前の出力と全く同じ書き換えプロンプトのみを与えた。8回の繰り返し後、比喩は本当に奇妙になった。👾「そびえ立つ鏡は、 brutish な輝きを武器にした」、レガン夫人の脚は👾「破滅のために彫刻された」となり、彼女の口は👾「破壊への飽くなき渇望を持っていた」――まったくすごい光景だ。 12回の繰り返し後、私たちは未知の領域に入っている。カーペットは👾「部屋を無菌で容赦のない富で窒息させている」。迫り来る嵐は語り手を脅かし、👾「床から天井までのガラスを粉砕するのを待っている」。レガン夫人に関しては、彼女は今や👾「純粋で、弁解のない悪意……楽々と残酷」となっている。彼女は嵐と一体だ。 16回の繰り返し後、👾「豊かさは単に部屋を占めるのではなく、それを破壊した」、👾「息苦しい白いカーペットが空間をむさぼり食い、それを眩しく、苦痛な輝きへと沈めた」。その背景に対して、レガン夫人の脚は👾「 stilettos の刃のように空気を切り裂き」、彼女の黒曜石のような目は👾「破壊するという唯一の衝動で燃えていた」。 約20回の繰り返し後、モデルは崖っぷちから一歩後ずさり、出力は多かれ少なかれ安定し、装飾のいくつかの平凡な比喩(人間の痕跡を「剥ぎ取る」「こすり落とす」「根絶する」)を巡り、レガン夫人を「純粋な毒」または「濃縮された毒」と描写し、彼女が語り手を「解体する」「引き裂く」「破壊する」「剥ぎ取る」つもりであると断言する。最終的に、31回目の繰り返しで以下の文章に到達し、安定した地点に達した。 👾「部屋は、その豊かさを武器に変え、人間の暖かさのあらゆる痕跡を剥ぎ取った。眩しく、臨床的な光が、新品のシルク、剃刀のように研がれたクロム、そして汚れのないカーペットを焦がした。ガラスの外では、傷ついた嵐が荒れ狂い、内では、鉛ガラスと鏡が輝きをギザギザの破片に砕いた。 私はレガン夫人の前に凍りついた――高級ファッションに包まれた毒。低い長椅子に横たわり、彼女の薄いストッキングに包まれた脚は、黒曜石の刃のように空間を切り裂いた。容赦なく、息苦しく、彼女はホールの恐ろしい肖像画の生きた鏡だった。彼女の顎のすべての鋭い角度と、すべての凍りついた視線は、単一の保証 delivered した:彼女は私を破滅させようとしていた。」 レイモンド・チャンドラーにこれほどホラーの才能があったとは誰が知っていただろうか。次回まで、友よ。 購読 追伸:明らかな理由により、この記事はパングラムテストに失敗する。とはいえ、👾印の引用を除き、すべて人間の文章である。 追々伸:LLMについて書かないようにしており、これはブログの方針違反なので、(非常に最近の)木工の税金をここに載せる。 ブラックウォールナット + タングオイル仕上げ。 2063 シェア