科学文献はLLMにとって有害である

科学文献はLLMにとって有害である 本気で、何を期待するというのか？ 有用なLLMのトレーニングにとって、21世紀の科学文献ほど有害なテキストコーパスは考えられない。正直か不正直か、正しいか間違っているかの二次元マトリックスを想像すると、科学文献は無造作に4つのボックスすべてに散らばっている。論文はしばしば複数の象限に同時に属し、必ずしも異なる著者による貢献のためではない。さらに悪いことに、どの象限の論文も、意図的に他のどの象限の仕事であるかのように見せかけることがある。例えば、普通の科学者は、競争相手である詐欺師に対抗するために、正直な実験を誇張表現に満ちた論文で飾り立て、間違っているが人気のある理論で実験を説明しなければならない。その結果、無実の事実や発見と区別がつかない、半真実、都合の良い省略、そして率直な嘘の地雷原となる。そして、文章のスタイルについては触れないでおこう。 学術文献がLLMのパフォーマンスに悪影響を与えるという経験的証拠がある。2024年、MIT、コーネル大学、カーネギーメロン大学、Google、OpenAIにまたがる研究チームが、トレーニング後のLLMのパフォーマンスに異なるテキストコーパスをトレーニングデータから除外した影響を調査した（LLMの構造は一定に保った）。彼らは、ArXiv、PhilPapers、NIH ExPorterをトレーニングコーパスから除外することで、LLMが学術的な質問に答えるパフォーマンスと、すべてのベンチマークにおける平均パフォーマンスが向上し、モデルが有害な出力を生成する可能性が低くなることを発見した。この研究は、Pubmedを除外するとモデルのパフォーマンスがいくらか低下したため、この点については決定的ではないが、大規模な科学論文セットの全体的な除外によってLLMのパフォーマンスが向上する可能性があるという事実だけでも、かなり示唆に富む。我々は、この結果が2026年にも当てはまるかどうか疑問に思うが、そうだろうと賭けてもいい。 科学的なメタデータも役に立たない。著者名や引用が指標として使われ始めると、すべての信号がゲーム化されてしまった。さらに、著名な機関や研究者が不正行為から免れることはなく、特定の分野も例外ではない。 これは、AIを使って科学を行う上で重要な実用的な結果をもたらす。人間の科学者は、非公式なネットワークを使って評判に関する情報を伝え、訪問や再現を通じて仕事を検証し、一般的にどの仕事が信頼でき、どの仕事が重要かについての個人的な画像を維持している。AIエージェントは社会的な関係に参加しないため、人間を介さずにこの社会的なメタデータにアクセスすることはできない。 これにより、AI for Scienceの取り組みは奇妙な選択肢に直面することになる。AIエージェントが人間の科学者と交流するようにするか、人間の科学者をプライベートな設定で頻繁に記録するか、あるいは科学者に絶え間ないゴシップの供給を提供するインセンティブを作るかのいずれかである。おそらく、この取り組みをブートストラップする一つの方法は、より多くの科学的な仕事を非公式な設定で行えるようにするAIアシスタントを作成することだろう。これは監視行為に相当するかもしれないが、生活の質の大幅な向上にとっては価値があるかもしれない。 我々はReinvent Scienceを、科学と科学資金調達に関する会話を広げるために執筆しており、できるだけ多くの読者にリーチするために、読者の皆さんの協力を得ています。購読と共有で、私たちの活動をサポートしてください。 購読 1Shayne Longpre, Gregory Yauney, Emily Reif, Katherine Lee, Adam Roberts, Barret Zoph, Denny Zhou, Jason Wei, Kevin Robinson, David Mimno, and Daphne Ippolito. 2024. “A Pretrainer’s Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity.” In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human813共有前次