ArXivの新着投稿の30%超がAI作成と判定される

AI作成の文章をarXiv全体でどのように測定したか、そしてその測定がどこで限界を迎えるか arXivの論文12,750件の全文をスコアリングしたところ、新着論文の約3分の1が機械作成のように見えることがわかりました。ここではその手法、結果、そして限界について正直に説明します。 手法 · 5分で読める · 2026 ChatGPT登場以前の論文が0.4%の誤検出率で検出されるように調整した閾値に基づいた、機械作成と判定されたArXiv新着論文の割合（2021年から2026年）。8つのスレートポイントはLLM登場前のコントロール月、帯はブートストラップによる95%信頼区間です。 分野別の機械作成と判定された論文の割合（2026年7月までの12ヶ月間、各分野約300件）。 偽陽性の下限 「XのN%は現在AIである」といった見出しのジャンルがありますが、その多くは読む価値がありません。なぜなら、その数字の背後にある検出器も、本物の人間による執筆の一部を誤検出してしまうからです。もしツールが新着論文の40%を機械作成とマークし、かつChatGPTが存在する以前に書かれた論文の20%もマークする場合、本当の話は言及されていない20%なのです。そのため、私たちはこの異議申し立てを中心に研究を構築しました。ここで説明する私たちの検出器は、学術論文向けに調整されており、0.4%の偽陽性率で、本物のLLM登場前の科学論文の99.6%をクリアし、AI作成の学術論文の85%を回収します。私たちはその偽陽性率を基準としました。2021年と2022年に投稿されたChatGPT以前の論文を収集し、それらを正解の人間作成とみなし、ちょうど0.4%がそれをトリガーするような閾値を設定しました。その線が下限です。私たちが報告するすべての数値は、構築上、本物のLLM登場前の執筆が0.4%に位置する閾値を超えた論文の割合です。ChatGPT登場前の年は組み込みのコントロールとして機能します。もし上昇が検出器のアーチファクトであれば、2021年と2022年は2026年と同程度にフラグが立つはずです。最初の図は、そうではないことを示しています。 測定したもの 私たちは10の分野グループをサンプリングし、2023年1月から2026年7月までの各月あたり約25件、さらに2021年と2022年の8つのコントロール月を含め、合計12,750件の論文を対象としました。各論文について、バージョン1のPDFを取得しました。これにより、2026年に改訂された論文が2023年のスロットに最新のテキストを漏洩させることはありません。アブストラクトは信号を過小評価するため、本文全体をスコアリングしました。同じ論文がアブストラクトでは20%未満、本文では70%超のスコアを示すのを確認しています。報告されるすべての数値には、ブートストラップによる95%信頼区間が含まれています。 結果 フラグが立てられた割合は、2021年と2022年には0.4%で横ばいでしたが、ChatGPT登場から数ヶ月以内に上昇し始め、2つの波を経て、2026年初頭に約39%でピークを迎え、直近の四半期では約32%に達しました。分野間のばらつきは大きく、それを表と2番目の図に示しています。以下の値は、2026年7月までの12ヶ月間の各分野のフラグが立てられた割合と、LLM登場前のコントロールレベルです。 分野グループ | LLM登場前のコントロール | 最近フラグが立てられた割合 | 95%信頼区間 ---|---|---|--- コンピュータサイエンス | 0.2% | 65.0% | [59.3, 70.3] 定量的生物学 | 3.5% | 56.3% | [51.0, 61.7] 電気工学・システム | 1.7% | 51.3% | [46.0, 57.0] 経済・金融 | 2.5% | 47.0% | [41.3, 52.7] 応用物理学 | 1.3% | 34.0% | [29.0, 39.7] 統計学 | 1.8% | 31.3% | [26.0, 36.7] 凝縮系物理学 | 0.0% | 24.0% | [19.3, 29.0] 高エネルギー物理学 | 0.5% | 14.0% | [10.0, 18.0] 天体物理学 | 0.0% | 10.7% | [7.3, 14.3] 数学 | 0.0% | 0.7% | [0.0, 1.7] コンピュータサイエンスが約65%でトップです。数学は最も低く、0.7%近くですが、限界のセクションでその低い値が解釈しにくい理由を説明しています。コントロール列は、各分野の2021年から2022年のフラグ率を3つの感度設定で平均したものです。最も上昇した分野は、LLM登場前のコントロールレベルが最も高い分野ではなく、したがって、高い開始点が上昇を説明するものではありません。 限界 コントロールサンプルサイズ。各分野のChatGPT登場前のコントロールは200件の論文です。0.4%のフラグ率では、2,000件のコントロール全体でわずか8件の論文にフラグが立てられ、10分野に薄く分散しているため、分野ごとの単一閾値のコントロール率は粗いです。プールされた下限はよく推定されており、研究の基準となっていますが、分野ごとのコントロールレベルは近似値に過ぎず、より大きなコントロールではこれを修正できません。分野ごとにパーセントの数分の1のレートを固定するには、2023年以前のarXivのボリュームでは含まれていない、分野ごとに数千件のコントロール論文が必要になります。 低いスコアは、低い採用率または検出器の盲点を示している可能性があります。数学が最も明確なケースです。数学の論文は記号と定理証明の構造が支配的であり、方程式と参考文献を削除すると、残りの散文はまばらで、検出器がトレーニングされた科学英語とは異なります。重度のモデル支援を受けて作成された数学の論文は、その散文が検出器の分布から外れているため、低いスコアになる可能性があります。したがって、数学での低いスコアは、人間が論文を書いたことの弱い証拠となります。この結果は、採用率の低下またはそのレジスタにおける検出器感度の低下という、2つの非常に異なる説明と一致しており、このデータではそれらを分離できません。最も分布内仮説が強い、散文が多い分野も最も上昇している分野であるため、この交絡因子は全体的な傾向を説明するものではありません。しかし、スコアの低い分野では、ランキングは採用率の下限として読むべきです。 検出器のカバレッジ。検出器は一部の生成モデルに対しては他のモデルよりも敏感であり、著者が実際に使用するモデルとプロンプトの正確でプライベートな混合に対してそれを評価することはできません。不完全なカバレッジはフラグ率を低下させるため、報告された普及率は下限です。真の割合は、私たちが測定したもの以上です。検出器の記述には、生成モデルごとのパフォーマンスが報告されています。 フラグは著作者ではありません。検出器は、既知のエラー率を持つ調整済み確率で、テキストが機械作成のように見えるかどうかを推定します。それは、軽く編集された文書と完全に生成された文書を区別することはできず、単一のスコアが特定の個人を非難する根拠になることは決してありません。私たちは、重度のAI支援編集を含む、機械のような執筆の普及率を報告します。 試してみてください 検出器は実行コストが低く、私たちはそれでお金を稼いでいません。ここでは、任意のarXiv論文で無料で試すことができ、ここではあなた自身のテキストで試すことができます。