HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

科学文献はLLMにとって有害である

The Scientific Literature Is Poisonous to LLMs (reinvent.science)

25 pointsby surprisetalk9 コメント

要約

この記事は、21世紀の科学文献が有用なLLMのトレーニングにとって最も有害なテキストコーパスであると主張しています。科学文献は、正確さや正直さの点で信頼性が低く、誤解を招く情報や意図的な虚偽が含まれているため、LLMのパフォーマンスを低下させる可能性があると指摘しています。研究によると、科学文献をトレーニングデータから除外することでLLMのパフォーマンスが向上した例もあり、AIによる科学研究への影響が懸念されています。

全文翻訳

科学文献はLLMにとって有害である

有用なLLMのトレーニングにとって、21世紀の科学文献ほど有毒なテキストコーパスは考えられません。正直か不誠実か、正しいか間違っているかという二軸の二乗行列を想像すると、科学文献は無造作に4つのボックスすべてに散らばっています。論文はしばしば複数の象限に同時に属し、それは必ずしも異なる著者による貢献のためではありません。さらに悪いことに、どの象限の論文も、意図的に他のどの象限の仕事であるかのように見せかける可能性があります。例えば、普通の科学者が、廊下の詐欺師と競争するために、過剰な賛辞に満ちた論文で正直な実験を飾り立て、その実験を不正確だが人気のある理論で説明しなければならない状況を考えてみてください。その詐欺師は、都合の良いデータなら何でも捏造することが許されているのです。その結果、無害な事実や発見と区別がつかない、半真実、都合の良い省略、そして露骨な嘘の地雷原が生まれます。そして、その文章スタイルについては触れないでおきましょう。

[画像: 科学文献の有毒性を示す図]

学術文献がLLMのパフォーマンスに悪影響を与えることについては、経験的な証拠があります。2024年、MIT、コーネル大学、カーネギーメロン大学、Google、OpenAIにまたがる研究チームが、トレーニング後のLLMのパフォーマンスに対する異なるテキストコーパスのトレーニングデータからの除外の影響を調査しました[1]。彼らは、トレーニングコーパスからArXiv、PhilPapers、NIH ExPorterを除外することで、LLMの学術的な質問への回答能力と、すべてのベンチマークにおける平均パフォーマンスが向上し、モデルが有害な出力を生成する可能性が低くなることを発見しました。この研究は、Pubmedを除外するとモデルのパフォーマンスがいくらか低下したため、この点については決定的ではありませんが、大規模な科学論文のセット(プリスロップでさえ!)を wholesale で削除することでLLMのパフォーマンスが向上する可能性があるという事実だけでも、非常に示唆に富んでいます。この結果が2026年にも当てはまるかどうかは疑問ですが、そうなるだろうと私たちは賭けます。

科学的なメタデータも役に立ちません。一度、著者名や引用が指標として使われるようになると、すべての信号がゲーム化されてしまいました。さらに、著名な機関や研究者も不正行為から免れていませんし、特定の分野も例外ではありません。

これは、AIを科学に利用する上で重要な実際的な結果をもたらします。人間の科学者は、非公式なネットワークを利用して評判に関する情報を伝え、訪問や再現を通じて仕事を検証し、一般的にどの仕事が信頼でき、どの仕事が重要であるかについての個人的な認識を維持しています。AIエージェントは社会的な関係に参加しないため、人間を介さない限り、このソーシャルメタデータにアクセスできません。

これは、AI for Scienceの取り組みに奇妙な選択肢を残します。AIエージェントが人間の科学者と交流するようにするか、人間の科学者をプライベートな設定で頻繁に記録するか、あるいは科学者が[継続的なゴシップの供給源](https://www.reinvent.science/p/write-down-the-oral-tradition)を提供するインセンティブを作成するかです。この取り組みをブートストラップする一つの方法として、[より多くの科学的作業を非公式な設定で行えるようにするAIアシスタントを作成する](https://www.reinvent.science/p/hey-ai-for-science-folks-supercharge)ことが考えられます。これは監視に相当しますが、生活の質が十分に向上するならば、それだけの価値があるかもしれません。

私たちは、科学と科学資金調達に関する会話を広げるためにReinvent Scienceを執筆しており、より多くの読者にリーチするために皆様の協力に頼っています。購読と共有で私たちの活動をサポートしてください。

1

Shayne Longpre, Gregory Yauney, Emily Reif, Katherine Lee, Adam Roberts, Barret Zoph, Denny Zhou, Jason Wei, Kevin Robinson, David Mimno, and Daphne Ippolito. 2024. “A Pretrainer’s Guide to Training Data: Measuring the Effects of Data Age, Domain Coverage, Quality, & Toxicity.” In Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human