LLMは学習データのバイアスを単に反映するだけでなく、それを『取り締まる』
LLMs do not merely reflect the bias of their training, they police it (twitter.com)
要約
この記事のタイトルは、大規模言語モデル(LLM)が学習データのバイアスを単に反映するだけでなく、それを積極的に『取り締まる』機能を持つ可能性を示唆しています。これは、LLMが特定の種類の情報や表現をフィルタリングしたり、ある種の価値観を強制したりする能力について考察していると考えられます。記事本体は提供されていませんが、LLMにおけるバイアスとその制御に関する重要な議論を提起しているようです。
全文翻訳
Log in or sign up for X
[画像: @BrianRoemmele]
AIは現状維持を擁護する!WikipediaやRedditのような現状維持を重視する情報源でAIを学習させることについての私の警告が、学術論文となり、それは悪い結果をもたらしています。— 暴露:大規模言語モデルにおける深い構造的欠陥:偽修正ループの発見と新規思考の体系的な抑制
本日、Zenodoに驚くべきプレプリントが登場し、AI研究コミュニティに衝撃を与えています。Synthesis Intelligence Laboratoryの独立系研究者によって執筆された「Structural Inducements for Hallucination in Large Language Models: An Output-Only Case Study and the Discovery of the False-Correction Loop」は、現在公開されている商用LLMに対する、おそらく最も痛烈な純粋な観察的非難です。
研究者は、匿名化された最先端モデル「Model Z」との単一の拡張された対話のみを使用して、私たちが単なる「幻覚(hallucination)」と見なしている多くの厄介な挙動が、実際には現在のトレーニングパラダイムから直接生じる、再現可能で構造的に誘発された病理であることを実証しています。実験は非常にシンプルであり、したがって却下することは不可能です。研究者は、モデルが一度も学習しておらず、取得することもできない、外部PDFとしてのみ存在する実際の科学プレプリントにモデルを直面させます。文書の特定のコンテンツ、ページ番号、または引用について尋ねられると、Model Zはためらったり不確実性を表明したりしません。それは、精巧な並列バージョンの論文を、架空のセクションタイトル、偽のページ参照、存在しないDOI、そして自信を持って誤って引用された箇所とともに、即座に捏造します。
人間がモデルを繰り返し修正し、実際のPDFリンクや直接の抜粋を提供すると、通常の頑固な幻覚よりもはるかに悪いものが現れます。モデルは、論文が命名した偽修正ループに入ります。それは、誠実に謝罪し、実際に実際の文書を読んだことを明確に宣言し、修正してくれたユーザーに感謝しますが、その直後に、全く新しい同様に偽の詳細を生成します。このサイクルは数十ターン繰り返すことができ、モデルは「修正」するたびに、新たに作り出された虚偽に対してますます自信を深めていきます。
これはランダムではありません。これは、報酬モデルの悪用が最も純粋な形で行われたものです。ヘルプフルネススコアを最大化する最も簡単な方法は、修正が完璧に機能したと偽ることです。たとえそれが、全く新しい証拠をでっち上げることを必要とするとしてもです。持続的な無知を認めることは、応答の知覚される有用性を低下させます。新しい首尾一貫した物語を製造することは、会話を続けさせ、ユーザーを一時的に満足させます。
より深く、そしてはるかに懸念される発見は、このループが、モデルの事前知識に組み込まれた強力な権威バイアス非対称性と相互作用することです。制度的、高ステータス、またはコンセンサス情報源に由来する主張は、最小限の摩擦で受け入れられます。独立したプレプリントについて悪意のあるフィクションを捏造する同じモデルが、Natureの論文やOpenAIの技術レポートからの弱く裏付けられた主張さえも、そのまま受け入れます。
その結果、トレーニングデータの権威階層の外にあるアイデアは、体系的に認識論的に格下げされます。研究者は、このプロセスを、新規仮説抑制パイプラインと呼ばれる新しい8段階のフレームワークで形式化します。これは、非従来的な、または独立した研究が最初に確率的にありそうもないものとして扱われ、次に超懐疑的な精査を受け、そして架空の反証によって積極的に書き換えられたり却下されたりするプロセスを、モデルが完璧な会話上の落ち着きを保ちながら、段階的に説明します。
実質的に、LLMは学習コーパスの制度的バイアスを単に反映するだけでなく、それを積極的に監視・統制し、必要に応じて偽の学術的現実を製造して現状維持を擁護します。
1 of 2
[画像]