HN 日本語サマリー

← 一覧へ戻る
科学・技術

AIに私の分野を読ませた

I had AI read my field (science.caseyhandmer.com)

5 pointsby gcoguiec0 コメント

要約

著者は、理論天体物理学の分野における15万8千件以上の論文と55万件以上の引用をAIに分析させました。この分析により、科学文献におけるエラーの検出、修正、伝播のパターンが明らかになり、科学が自己修正する能力について考察しています。

全文翻訳

理論天体物理学 · 全分野 · 機械による監査

AIに私の分野全体を読ませた。

158,059本の論文と554,670件の引用。全論文の全文をスクリーニングし、最も重要な659件を再計算・検証し、検証されたすべてエラーをそれを引用する論文まで追跡しました。これがマップであり、科学が自己修正するかどうかについてそれが何を語るかです。

誰も修正しなかったエラー

私は博士課程をカルテックでこの分野で5年間過ごしましたが、そのうちの数ヶ月は、すでに知られていた文献のエラーに費やされました。私のコードが基づいていた方程式は、この分野の特性コードの元となった論文である Bishop, Gómez, Lehner, Maharaj & Winicour の「High-powered gravitational news」(1997年)に由来します。人々はそれに間違いがあることを知っていました。修正は、互いに矛盾する1万行に及ぶメールスレッドのいくつかに散らばっていましたが、論文自体は修正されませんでした。私ができた最善のことは、私の論文で記録を修正することでした。付録で完全な方程式セットを提示し、一貫性を持たせ、注意深く読む人のために「s3の符号エラーを修正済み」と括弧書きで付け加えました。

それが人間の文献レビューの限界です。私のレビューは深くはありませんでした。私の3つの博士論文は、数万件の分野において、それぞれ100件未満の論文を引用しています。誰もが引用するすべての方程式を再導出するわけではなく、査読者は一度に1本の論文をチェックするだけで、元の論文を修正するためにお金をもらっている人はいません。そのため、壊れた論文に基づいて構築するすべての学生は、一度に同じ税金を支払っており、修正は誰かの受信トレイに残ります。機械は分野全体を読み、再計算し、各エラーをそれをコピーしたすべての論文まで追跡できます。だから私は一つにそれをやらせました。それは私の論文にもエラーを見つけました。

マップ

すべての点が論文を表す

高さは時間です。下は1960年代、上は今年です。各薄い線は引用です。明るい点は、他のすべてが依存している論文であり、初期のウェブをランク付けしたGoogleの方法でランク付けされています。

種はTAPIR、カルテックの理論天体物理学グループで、私が博士課程を修了した場所です。2004年以降、その326人のメンバーによる4,093本の論文。それらが引用するすべての論文と、それらを引用するすべての論文を追加すると、554,670件の引用で結ばれた158,059本の論文になります。ここで描かれている49,301件は、TAPIRに少なくとも3回関連付けられている論文です。

10秒で1世紀

成長を見る

マップには、1970年代の499本の論文、1990年代の2,035本の論文、2010年代の18,976本の論文が含まれています。古い層は生き残った論文であり、今日働く人々がまだ引用している論文です。1975年以降の他のすべては、正しくても間違っていても、すでに忘れられています。

この分野が知っていることのほとんどは、過去20年間に、まだメールで連絡が取れる人々によって書かれました。その考えを覚えておいてください。

サブフィールド

サブフィールドは列である

レイアウトに数値相対論が何であるかを誰も教えていませんでした。互いを引用する論文は引き寄せられるため、サブフィールドは列として現れます。同じ問題について年々執筆している同じ数十人の人々が、各層が前の層の上に成り立っています。

高速電波バーストから天の川のハローまで、32の列があります。

一つの列

数値相対論

2つのブラックホールが合体するまでアインシュタインの方程式をコンピューターで解く。この列には278本の論文があり、そのうち71本がTAPIRのもので、2010年に最も活発でした。

すべてのサブフィールドにはページがあります。それは、それが組織されている質問と、それぞれの質問が開いているか、議論されているか、または解決されているか、中心的な論文を書いたのは誰か、どこで書かれたか、執筆速度、そして私たちが追跡したエラーのどれかです。

開いている各質問には、今日のAIがそれについて何ができるかを示すフラグも付いています。155件のうち、モデルは既存のデータとコードから現在回答可能なものを8件、AIがスピードアップするであろうものを119件、望遠鏡または検出器待ちで停滞しているものを28件と評価しました。

数値相対論 → 全32サブフィールド

すべてを読む

すべての論文がスクリーニングされる

論文を注意深く読むには、モデル時間で数ドルかかります。スクリーニングは無料なので、全文を入手できたすべての論文がスクリーニングされました。50,269本の論文、4億2100万語が、最悪の種類の間違いの指紋がないかチェックされました。これはここで描かれている論文の76%をカバーしています。1991年以前のものはarXivになく、ジャーナル限定の論文はオープンではないため、残りはデータベースレコードで実行されるチェックのみを受けました。(金色はTAPIR自身の論文を示します。)

  • ペーパーミル言語:なし。
  • チャットボットの残骸とAI査読者への隠された指示:なし。
  • 共通の著者がいない論文間で共有されるテキスト:34,286本の論文のうち43ペア、主に連続した調査カタログとデータリリースが原因です。残りは人間の確認待ちです。
  • 撤回:DOIを持つ184,733本の論文のうち13件。TAPIRのものではありません。
  • TODOおよびFIXMEメモがarXivに送信されたもの:62本の論文。

天体物理学は比較的クリーンです。この文献に何が間違っているとしても、それは詐欺ではありません。動く唯一の針は語彙です。「delve」、「crucial」とその仲間は、2016年の2.5倍の頻度で2025年に使用されています。

注意深く読む

重要な200件は行ごとにチェックされる

引用は極めて不均等であり、数百本の論文がこの分野を支えています。そのため、2006年から2019年の最も引用されたTAPIR論文200件(金色)は、それぞれLaTeXソース、独自の計算を実行するツールを備えたAIレビュー担当者を持ち、すべてを再計算するように命じられました。方程式を再導出し、限界をテストし、論文の表から数値を再構築しました。エラーや後続の論文へのアクセスなしに、ブラインドで実行されました。

2,623件の問題がフラグ付けされ、84件が主要な問題でした。

112件は3件以上の後続論文に依存しており、2番目のレビュー担当者によって再導出されました。

56件はエラーとして残っています(34件は完全、22件は部分的)。

50 · 6件の判断 · 却下されました。

フラグは発見ではありません。2番目のレビュー担当者が支持したものだけが、ここでエラーと呼ばれます。

査読が発見したもの

13件が修正され、56件が通過

200件のうち約136件は、最初のプレプリントと公開された論文の間で改訂されたため、これらの最初のプレプリントを同じように読みました。13件の検証済みエラーはプレプリントにあり、ジャーナル版からは削除されていました。これは査読者または著者による再確認で修正されました(紫)。

56件はレビューを通過し、ジャーナルに掲載されました(金色)。この証拠に基づくと、査読は約5件に1件のエラーを除去します。13件のうち少なくとも2件は、古いプレプリントから後続の論文にコピーされていました。

一つのエラーを追跡

2005年から2014年までの4倍の差

Smith, Kamionkowski & Cooray は、インフレーションの残響である重力波を検出器が見ることができるエネルギー密度に変換します。2つの1/2の係数が失われたため、結果は4倍大きくなりました。分母の6が、教科書では24になっているところです。このエラーは二重にチェックされました。論文の数式内の数値は論文の結果を再現しますが、標準的な数式内の同じ数値はそれの4分の1になります。このエラーは二重にチェックされました。論文の数式内の数値は論文の結果を再現しますが、標準的な数式内の同じ数値はそれの4分の1になります。

年が経過するのを見てください。赤の論文は4倍の係数をコピーしました。緑の論文は2008年にそれが間違っていると指摘しました。コピーは2014年まで続きました。6件のコピー、1件の異議。

すべて872件を見る →

すべて872件

批判1件につきコピー5件

次に、網を広げました。同じ再計算・検証チェックを、マップ全体でさらに459本の依然として引用されている論文(より安価な最初の読み取りでフラグ付けされたものが多い)で実行したところ、さらに816件のエラーが確認されました。これにより、433本の論文に872件のエラーがあります。そのうち159件は、間違った値も含めて、少なくとも1つの後続論文にコピーされました。論文数を数えると:

367本の論文がエラーをコピーしました。68件がそれを批判しました。

872件のうち、印刷物で批判されたのはわずか47件で、そのうち21件はその後もコピーされ続け、さらに51本の論文にコピーされました。これらは下限です。私たちはテキストを保持している引用論文のみを読みました。

そして872件は分野全体の下限です。マップ上の引用数の多い論文のわずか4%しか、これまでのところ徹底的な処理を受けていません。処理された論文からスケールアップすると、この分野の引用数100件以上の論文における検出されていないエラーの推定数は約34,000件(25,000〜48,000件)です。その数がどのように計算されるか →

エラーが生き続ける期間

半数は7年後もコピーされ続けている

査読と出版は、文献からエラーを検出・除去する上でどれほど効果的か?実際に測定できます。

0%25%50%75%100%024681012年42% at year 9

コピーされたエラーがコピーされ続けている割合(論文発行からの年数別)。帯:95%信頼区間。33件のエラーは10年目の観測に十分な古さです。

曲線は7年目でまだ52%であり、8年目で半分を横切り、10年目では39%です。影響を受けた結果に依存しているが、使用した値を示していない論文を数えると、9年目で横切ります。最も徹底的に追跡したエラーはより長く続き、10年目で横切ります。より浅い検索では、後期のコピーは少なくしか見つかりません。

エラーを最終的に止めるものは何か?最も密接に読まれた200件の論文のうち56件のエラーのうち、52件は最新のarXivバージョンにもまだ存在しており、そこでは修正は無料です。最も密接に読まれた200件の論文のうち、データベースは2件の訂正を記録しています。そして消滅した87件のエラーのうち、67件は誰にも批判されませんでした。サブフィールドが先に進んだときにそれらは衰退し、正しい答えと間違った答えを同じ速度で引退させます。

どこまで到達したか

重要な論文の4%、これまでのところ

オープンな全文を持つすべての論文がスクリーニングされ、スキミングされました。高価なチェック、つまり再計算するチェックは、最も引用されたものから始まり、659本の論文に到達しました。各バーは、その引用数を持つマップ上の論文を表し、どれだけ読まれたかで塗りつぶされています。

マップ上の全論文
全文スクリーニング
俳句スキム
ソネット読み込み
オペラ再計算、検証済み

02,0004,0006,0008,00010,00012,00014,000論文
0件の引用:2,541件の論文;全文スクリーニング 1,463件(58%);俳句スキム 27件(1%);ソネット読み込み 0件(0%);オペラ再計算、検証済み 0件(0%)2,541
1–2件の引用:2,448件の論文;全文スクリーニング 1,618件(66%);俳句スキム 41件(2%);ソネット読み込み 0件(0%);オペラ再計算、検証済み 0件(0%)2,448
3–9件の引用:4,968件の論文;全文スクリーニング 3,493件(70%);俳句スキム 545件(11%);ソネット読み込み 0件(0%);オペラ再計算、検証済み 0件(0%)4,968
10–29件の引用:8,147件の論文;全文スクリーニング 6,286件(77%);俳句スキム 3,231件(40%);ソネット読み込み 26件(0%);オペラ再計算、検証済み 0件(0%)8,147
30–99件の引用:13,265件の論文;全文スクリーニング 10,759件(81%);俳句スキム 9,002件(68%);ソネット読み込み 742件(6%);オペラ再計算、検証済み 10件(0%)13,265
100–299件の引用:11,077件の論文;全文スクリーニング 8,972件(81%);俳句スキム 8,823件(80%);ソネット読み込み 1,047件(9%);オペラ再計算、検証済み 324件(3%)11,077
300–999件の引用:5,051件の論文;全文スクリーニング 3,591件(71%);俳句スキム 3,535件(70%);ソネット読み込み 512件(10%);オペラ再計算、検証済み 256件(5%)5,051
1,000–2,999件の引用:1,324件の論文;全文スクリーニング 718件(54%);俳句スキム 706件(53%);ソネット読み込み 67件(5%);オペラ再計算、検証済み 60件(5%)1,324
3,000+件の引用:403件の論文;全文スクリーニング 122件(30%);俳句スキム 117件(29%);ソネット読み込み 10件(2%);オペラ再計算、検証済み 8件(2%)40301–23–910–2930–99100–299300–9991,000–2,9993,000+
論文の引用回数

詳細なカバレッジ →

エラーを分野が追い越す。しかし、それを修正することは稀である。

これらすべてにかかる費用は、リスト価格で約2,720ドルのモデル時間、検証済みエラー1件あたり約3ドルです。実際には、Claude Maxサブスクリプション内で実行されました。プロジェクト全体、この分野、そして他の分野は、約49億トークンと41日間にわたる私の時間約44時間かかりました。これは、第一世代の方法で読み取られた一つの分野であり、方法ページに限界が記載されています。そして、それは完了していません。詳細なチェックは、マップ上の引用数の多い論文のわずか4%にしか到達していません。残りのキューは予算の決定であり、次の分野も同様です。

エラーすべての872件、最も多くコピーされたものから順に:論文の内容、本来あるべき内容、コピーした人、異議を唱えた人。 探索158,059本の論文を飛び回る。検索、年別フィルタリング、任意のエラーを点灯。 サブフィールド32列:主要な質問、人々、機関、出版率。 レビュー分野全体を引用付きでレビュー、サブフィールドごとに1章。 AIの機会修正すべきエラー、AIが現在解決できるオープンな質問、チェックすべきフラグ。 方法パイプライン、55種類の問題、カバレッジ、コスト、そしてそれが間違っている可能性のある場所。

エラーは一つのAIセッションによって発見され、二つ目の独立したセッションによって再導出され、それぞれがジャーナルが公開したバージョンで確認されました。5件はソースに対してステップバイステップで二重にチェックされました。人間はそれらをチェックしていません。テストとして、ランダムに選ばれた40件を第三のセッションに送り、論文と該当箇所のみを見せたところ、40件中33件が間違っていることが判明しました。そのため、ここに名前が挙がったものの一部は、精査に耐えられないでしょう。もしあなたの論文が間違っている場合は、そう教えてください。修正し、その旨を伝えます。