平均への回帰:LLMと新しいものの静かな死
Regression to the Mean: on LLMs and the quiet death of the new (rruxandra.github.io)
要約
この記事は、大規模言語モデル(LLM)が、既存の膨大なデータに基づいて学習するため、本質的に「平均的」または「典型的な」出力を生成する傾向があることを論じています。これにより、新しいアイデアの爆発的な創出という当初の期待とは裏腹に、文化全体の多様性が失われ、進歩と見間違われるような均質化が進む可能性を指摘しています。真の発見は常に「平均から外れた」領域にあり、LLMはそれを誤りと見なすため、新しいものを生み出すための「逸脱」を守ることの重要性を強調しています。
全文翻訳
より多くのアイデアの約束 · そして中心への引き寄せ
回帰
平均へ
私たちは、共に考えられる機械を与えられ、それが新しいアイデアの爆発を引き起こすと告げられました。それは逆の効果をもたらすかもしれません — あまりにも穏やかに、私たちは平坦化を進歩と間違えるでしょう。
スクロール
約束 · no. 01
すべてのデスクにモデルを;すべての心に協力者を。そのピッチはカンブリア爆発 — すべての人によって、一度に千の方向が探求されるものでした。より多くの心が考えるなら、きっと、より多くの考える価値のある思考が生まれるはずです。
新しいものの爆発
平均 · no. 02
しかし、それに何でも尋ねると、それは最も可能性の高い継続 — すでに書かれたものの質量中心を返します。過去で訓練されているため、それは思考の過去形で答えます。真実であることではなく。典型的なことです。
確実性の速度で返される平均
修正 · no. 03
それが一度も見たことのないものを提示すると、それは光りません。それはあなたを訂正します。期待されるものを予測するために構築されたシステムにとって、真に新しいものは間違いと区別がつきません。
反発は穏やかで、絶え間ないです:
あなたは…を意味しましたか —
あなたのものの代わりに提示された、馴染みのあるもの。
標準的な用語ではありません
タイプミスとして返される新しい名前。
ほとんどの情報源が同意します
事実として返される合意。
確信がありますか?
平均に研磨された確信。
崩壊 · no. 04
そして、私たちはその答えを次の質問としてフィードバックします。各パスで、スプレッドは狭まり;奇妙なテールは薄れていきます。文化から分散が漏れ出します。私たちは、正しいことではなく、平均的なことに収束します。
出力は入力になる · カーブはスパイクに鋭くなる
コスト · no. 05
しかし、すべての発見は、それがなされた瞬間には、分布外でした。それはその時代の合意に同意しませんでした — 地球を動かすこと、見えない病原菌、漂流する大陸、それぞれが最初にエラーとして記録されました。合意のモデルは、その構築上、新しいものが間違っているとあなたに伝える機械です。
発見は常にテールにのみ生きてきた
偏差 · no. 06
だから、希少なものが逆転します。平均は今や自由で、無限で、同一です — 誰もがそれを持っているからこそ、ほとんど価値がありません。何がプライスレスかというと、偏差です:モデルが間違っているとマークした位置、それでも保持されたもの。それが確信していた答えではなく — それが訂正をやめなかったもの。
テールを守る
機械が返せないもの
それは考えられたすべてのものの平均をあなたに与えるでしょう。新しいものは決してそこにはありませんでした。
最も可能性の高い文を返すツールは、慰めであり、同時に静かな狭窄でもあります。それがあなたのためにできない仕事は、かつて重要だった唯一の仕事です:意図的に、カーブが薄くなる場所に立ち — そしてそこに留まり、正しいと判断されるのに十分な時間。
最も可能性の高い答えではない。
それが訂正しようとしたもの。
分布外で書かれた · 意図的に