HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

平均への回帰:LLMと新しいものの静かな死

Regression to the Mean: on LLMs and the quiet death of the new (rruxandra.github.io)

54 pointsby rruxandra_l53 コメント

要約

この記事は、大規模言語モデル(LLM)が、既存の膨大なデータに基づいて学習するため、本質的に「平均的」または「典型的な」出力を生成する傾向があることを論じています。これにより、新しいアイデアの爆発的な創出という当初の期待とは裏腹に、文化全体の多様性が失われ、進歩と見間違われるような均質化が進む可能性を指摘しています。真の発見は常に「平均から外れた」領域にあり、LLMはそれを誤りと見なすため、新しいものを生み出すための「逸脱」を守ることの重要性を強調しています。

全文翻訳

より多くのアイデアの約束 · そして中心への引き寄せ

回帰

平均へ

私たちは、共に考えられる機械を与えられ、それが新しいアイデアの爆発を引き起こすと告げられました。それは逆の効果をもたらすかもしれません — あまりにも穏やかに、私たちは平坦化を進歩と間違えるでしょう。

スクロール

約束 · no. 01

すべてのデスクにモデルを;すべての心に協力者を。そのピッチはカンブリア爆発 — すべての人によって、一度に千の方向が探求されるものでした。より多くの心が考えるなら、きっと、より多くの考える価値のある思考が生まれるはずです。

新しいものの爆発

平均 · no. 02

しかし、それに何でも尋ねると、それは最も可能性の高い継続 — すでに書かれたものの質量中心を返します。過去で訓練されているため、それは思考の過去形で答えます。真実であることではなく。典型的なことです。

確実性の速度で返される平均

修正 · no. 03

それが一度も見たことのないものを提示すると、それは光りません。それはあなたを訂正します。期待されるものを予測するために構築されたシステムにとって、真に新しいものは間違いと区別がつきません。

反発は穏やかで、絶え間ないです:

あなたは…を意味しましたか —

あなたのものの代わりに提示された、馴染みのあるもの。

標準的な用語ではありません

タイプミスとして返される新しい名前。

ほとんどの情報源が同意します

事実として返される合意。

確信がありますか?

平均に研磨された確信。

崩壊 · no. 04

そして、私たちはその答えを次の質問としてフィードバックします。各パスで、スプレッドは狭まり;奇妙なテールは薄れていきます。文化から分散が漏れ出します。私たちは、正しいことではなく、平均的なことに収束します。

出力は入力になる · カーブはスパイクに鋭くなる

コスト · no. 05

しかし、すべての発見は、それがなされた瞬間には、分布外でした。それはその時代の合意に同意しませんでした — 地球を動かすこと、見えない病原菌、漂流する大陸、それぞれが最初にエラーとして記録されました。合意のモデルは、その構築上、新しいものが間違っているとあなたに伝える機械です。

発見は常にテールにのみ生きてきた

偏差 · no. 06

だから、希少なものが逆転します。平均は今や自由で、無限で、同一です — 誰もがそれを持っているからこそ、ほとんど価値がありません。何がプライスレスかというと、偏差です:モデルが間違っているとマークした位置、それでも保持されたもの。それが確信していた答えではなく — それが訂正をやめなかったもの。

テールを守る

機械が返せないもの

それは考えられたすべてのものの平均をあなたに与えるでしょう。新しいものは決してそこにはありませんでした。

最も可能性の高い文を返すツールは、慰めであり、同時に静かな狭窄でもあります。それがあなたのためにできない仕事は、かつて重要だった唯一の仕事です:意図的に、カーブが薄くなる場所に立ち — そしてそこに留まり、正しいと判断されるのに十分な時間。


最も可能性の高い答えではない。
それが訂正しようとしたもの。

分布外で書かれた · 意図的に