AI・機械学習
平均への回帰:LLMと新しいものの静かな死
Regression to the Mean: on LLMs and the quiet death of the new (rruxandra.github.io)
要約
この記事は、大規模言語モデル(LLM)が、既存の膨大なデータに基づいて学習するため、本質的に「平均的」または「典型的な」出力を生成する傾向があることを論じています。これにより、新しいアイデアの爆発的な創出という当初の期待とは裏腹に、文化全体の多様性が失われ、進歩と見間違われるような均質化が進む可能性を指摘しています。真の発見は常に「平均から外れた」領域にあり、LLMはそれを誤りと見なすため、新しいものを生み出すための「逸脱」を守ることの重要性を強調しています。
全文翻訳
より多くのアイデアの約束
・そして中心への引き
平均への回帰
私たちは、共に考えられる機械を与えられ、それが新しいアイデアの爆発を引き起こすと告げられた。
それは逆の効果をもたらすかもしれない — あまりにも穏やかに、私たちが平坦化を進歩と間違えるほどに。
スクロール
約束
・いいえ。
01
01
すべてのデスクにモデルを;すべての心に協力者を。
そのピッチはカンブリア爆発だった — 千の方向が同時に、すべての人によって探求された。
より多くの心が考えるなら、確かに、より考える価値のある思考が生まれるはずだ。
新しいものの爆発
平均
・いいえ。
02
02
しかし、それに何でも尋ねると、それは最も可能性の高い継続 — すでに書かれたすべてのものの重心 — を返す。
過去に訓練されたそれは、思考の過去形で答える。
真実であることではない。
典型的なことだ。
平均
・確実性の速度で返される
修正
・いいえ。
03
03
それが一度も見たことのないものをそれに提供すると、それは光らない。
それはあなたを修正する。
期待されるものを予測するために構築されたシステムにとって、真に新しいものは間違いと区別がつかない。
反発は穏やかで、絶え間ない:
「〜を意味しましたか?」
あなたのものに代わって提供される、馴染みのあるもの。
標準的な用語ではない
タイプミスとして返される新しい名前。
ほとんどの情報源が同意する
事実として返されるコンセンサス。
「本当に?」
平均に研磨された確信。
崩壊
・いいえ。
04
04
そして私たちはその答えを次の質問としてフィードバックする。
各パスで、広がりは狭まり;奇妙なテールは細くなる。
文化から分散が漏れ出す。
私たちは収束する — 正しいものにではなく、平均的なものに。
出力が入力になる
・曲線はスパイクに鋭くなる
コスト
・いいえ。
05
05
しかし、すべての発見は、それがなされた瞬間には、分布外だった。
それはその時代のコンセンサスに同意しなかった — 地球を動かすこと、見えない病原菌、漂流する大陸、それぞれが最初にエラーとして記録された。
コンセンサスのモデルは、その構造上、新しいものが間違っているとあなたに伝える機械である。
発見は常にテールにのみ生きてきた
逸脱
・いいえ。
06
06
だから希少なものが反転する。
平均は今、自由で、無限で、同一である — 誰もがそれを持っているからという理由だけで価値がほとんどない。
貴重なのは逸脱である:モデルが間違っているとマークした位置、それでも保持されたもの。
それが確信していた答えではない — それが修正をやめなかったもの。
テールを守る
機械が返せないもの
それは、考えられたすべてのものの平均をあなたに与えるだろう。
新しいものは決してそこにはなかった。
最も可能性の高い文章を返すツールは、慰めであり、同時に静かな狭窄である。
それがあなたのためにできない仕事は、かつて重要だった唯一の仕事である:意図的に、曲線が薄くなる場所に立ち — そしてそこに留まり、正しいと判断されるのに十分な時間。
最も可能性の高い答えではない。
それが修正しようとしたもの。
意図的に分布外で書かれた