HN 日本語サマリー

← 一覧へ戻る
科学・技術

ArXivの新着投稿の30%超がAI作成と判定される

Over 30% of new ArXiv submissions now read as AI-written (unslop.run)

229 pointsby dopamine_daddy156 コメント

要約

arXivに投稿された論文の約3分の1がAIによって書かれたように見えるという調査結果が示されています。この研究では、ChatGPT登場以前の論文を基準に、AI検出ツールの誤検出率を0.4%に設定し、2023年以降の投稿論文を分析しました。特にコンピュータサイエンス分野でAI作成と判定される割合が65%と高くなっていますが、数学分野などでは検出器の感度が低い可能性も指摘されています。

全文翻訳

ArXivの新着投稿の30%以上がAI作成と判定される

2021年から2026年にかけて投稿された12,000件以上のarXiv論文の全文を分析したところ、現在arXivに投稿されている論文の約3分の1が機械によって書かれたように見えることがわかりました。明確な上昇トレンドも見られます。この記事では、これらの結果が何を意味するのか、そして私のアプローチの限界について考察します。

[画像: 機械作成と判定された新しいarXiv論文の割合。ChatGPT以前は約0.4%が判定されていたことに注意してください。これは、この実験で使用された検出器の偽陽性率に対応します。帯は95%信頼区間です。]

機械作成と判定された新しいarXiv論文の割合。ChatGPT以前は約0.4%が判定されていたことに注意してください。これは、この実験で使用された検出器の偽陽性率に対応します。帯は95%信頼区間です。

[画像: 過去12ヶ月間の分野別の機械作成と判定された論文の割合。]

過去12ヶ月間の分野別の機械作成と判定された論文の割合。

動機

あるジャーナルの論文レビューを担当している友人と話していたところ、彼は学術界の将来を心配していると語りました。彼によると、受け取る論文のほとんどは明らかにAIによって書かれており、中には実際の実験に基づかない、全く質の低いものもあるとのことです。AIによる質の低い文章がテキストベースのあらゆる媒体に浸透していることは認識していましたが、学術界におけるその普及率には依然として驚きと懸念を抱きました。

私は簡単な実験を行いました。ZeroGPTを開き、最近の論文をいくつか貼り付けてみました。ほとんどの論文がAI作成と判定されました。しかし、その後、非常に古い論文を貼り付けたところ、それらも判定されたため、ZeroGPTだけではAI作成論文の現状について確固たる主張をすることはできないと気づきました。

現実的な自由時間を持つ普通の人が取るであろう行動とは異なり、私は独自の検出器を構築することにしました。これにより、学術論文に特化した偽陽性率を知り、制御できるようになりました。完璧だと主張するつもりはありませんが、この特定のタスクにおいてはZeroGPTよりもはるかに優れています。この記事は検出器についてではなく、実際に行った実験についてです。検出器についてさらに詳しく知りたい場合は、こちらをお読みください。

測定したもの

2023年1月から2026年7月までの10の分野グループから、毎月各分野25本の論文をサンプリングし、さらに2021年と2022年の8ヶ月を対照月として、合計12,750本の論文を対象としました。各論文について、バージョン1のPDFを特に取得しました。これにより、2026年に改訂された論文が2023年のデータポイントに最新のテキストを漏洩させることを防ぎました。

その後、私のUnslop-MoE-v7検出器を使用してすべての論文をラベル付けしました。検出器は約20%のAI作成論文を見逃すため、結果は実際の割合の過小評価である可能性が高いです。これは、偽陽性率を低く抑えるように特に最適化したためです。そのトレードオフとして、AI作成論文の一部を見逃してしまいます。しかし、この場合、陽性と判定されたものが実際の陽性であると合理的に確信できるため、通常のAIテキスト検出器を使用した場合よりも発言の信頼性が高いため、それほど問題にはなりません。この投稿は検出器についてではなく、実際に行った実験についてです。

結果

ChatGPTのリリースは、AI作成論文の割合における明確な転換点を示しています。2022年末/2023年初頭から、その割合は着実に30〜40%の範囲に上昇し、2026年初頭には約39%でピークに達しました。以下の表に示すように、分野によって大きなばらつきがあります。

分野グループLLM以前の対照最近の判定済み割合95% CI
コンピューターサイエンス0.2%65.0%[59.3, 70.3]
定量的生物学3.5%56.3%[51.0, 61.7]
電気工学・システム1.7%51.3%[46.0, 57.0]
経済学・金融学2.5%47.0%[41.3, 52.7]
応用物理学1.3%34.0%[29.0, 39.7]
統計学1.8%31.3%[26.0, 36.7]
凝縮系物理学0.0%24.0%[19.3, 29.0]
素粒子物理学0.5%14.0%[10.0, 18.0]
天体物理学0.0%10.7%[7.3, 14.3]
数学0.0%0.7%[0.0, 1.7]

コンピューターサイエンスが約65%でトップを走り、数学は最も低い約0.7%でした。これも、数学の論文がAIで書かれていないという意味ではありません。数学の論文はコンピューターサイエンスの論文よりも密度が高いため、機械作成と判定するのがはるかに難しいと推測されます。対照列は、2021年から2022年までの各分野の平均判定率です。最も上昇した分野は、LLM以前の対照レベルが最も高い分野ではありません。したがって、開始点が高いことが上昇を説明するものではありません。

限界

対照サンプルのサイズ

各分野には、LLM以前の対照群として200本の論文があります。偽陽性率が0.4%の場合、2,000本の対照論文全体で判定されるのはわずか8本です。これらの8本が10の分野に分散されると、個々の対照率はかなりノイズが多くなります。

全体的な0.4%の率はよく推定されており、実験の基準となっています。ただし、個々の分野の対照率は近似値としてのみ扱うべきです。これを修正するには、分野ごとに数千本のLLM以前の論文が必要ですが、一部のarXiv分野には単純にそれだけの論文がありません。

低いスコアは必ずしもAI使用率の低さを意味しない

数学が最も明確な例です。数学の論文は、ほとんどのコンピューターサイエンスの論文よりも多くの記号や定理・証明の構造を含んでいます。方程式や参考文献を削除すると、検出器が機能する通常の文章はあまり残らないことがよくあります。

これは、数学の論文がLLMの支援を多大に受けて書かれていても、低いスコアを受け取る可能性があることを意味します。したがって、数学の低い数値は、数学者がLLMをあまり使用しない、検出器が数学の論文のAI作成を識別するのが苦手である、あるいはその両方の組み合わせを意味する可能性があります。この実験では、これらの説明を確実に分離することはできません。

検出器は、文章量の多い学術論文で最も効果を発揮し、それらの分野で最も大きな増加が見られます。そのため、これが全体的なトレンドを説明しているとは思いませんが、スコアの低い分野の結果はより慎重に解釈されるべきです。

検出器はすべてのモデルを捕捉できるわけではない

検出器は、一部のモデルからのテキストを他のモデルよりもよく識別できます。また、実際の著者が使用するモデル、プロンプト、編集方法の正確な組み合わせに対してテストすることもできません。

検出器はAI作成論文の一部を見逃すため、結果は実際の割合の過小評価である可能性が高いです。その過小評価の大きさを正確に言うことはできません。検出器の解説には、テストした各ジェネレーターの結果が含まれています。

判定は著者の証明ではない

検出器は、論文が機械作成のように見えるかどうかを測定します。論文全体が生成されたのか、LLMが編集のためにのみ使用されたのか、あるいは一部のセクションのみが大幅に書き直されたのかを判断することはできません。

したがって、単一のスコアを特定の著者を非難するために使用すべきではありません。この実験は、arXivにおける機械的な文章の全体的な普及率に関するものであり、個々の論文や人物を特定することではありません。

データ

透明性のために、すべての論文IDとそのラベルを以下に示します:完全なリストをダウンロード (CSV)。論文が判定されたことは、非難を構成するものではありません。個々の論文がAI作成であるか否かは断定できません。

各行は1本の論文です:arXiv ID、分野、初版発行月、検出器のスコア、および判定されたかどうか。

検出器を試す

検出器は完全に無料で、何度でも実行できます。また、こちらでリンクまたは論文IDによってarXiv論文をスキャンすることもできます。