HN 日本語サマリー

← 一覧へ戻る
科学・技術

AIに私の専門分野である理論天体物理学全体を読ませてみた

I had AI read my entire field, Theoretical Astrophysics (science.caseyhandmer.com)

3 pointsby Anon840 コメント

要約

著者は、AIを用いて理論天体物理学分野の15万件以上の論文を分析し、科学が自己修正する能力を検証しました。この分析により、多くの論文にエラーが存在し、それらが修正されずに引き継がれている実態が明らかになりました。AIは、人間が見落としがちなエラーの追跡や、分野全体の構造把握に貢献できる可能性を示唆しています。

全文翻訳

AIに私の専門分野である理論天体物理学全体を読ませてみた

理論天体物理学 · 全分野 · 機械による監査。

AIに私の専門分野全体を読ませてみた。

158,059本の論文と554,670件の引用。全論文の本文をスクリーニングし、最も重要な659件を再計算・検証し、検証された各エラーをそれを引用する論文で追跡しました。これがマップであり、科学が自己修正するかどうかについてそれが何を語るかです。

なぜ

誰も修正しなかったエラー

私は博士課程でこの分野に5年間従事しましたが、そのうちの数ヶ月は、すでに知られていた文献中のエラーに費やされました。私のコードが基づいている方程式は、Bishop、Gómez、Lehner、Maharaj & Winicourによる「High-powered gravitational news」(1997年)という論文に由来します。この論文は、このサブフィールドの代表的なコードの起源となっています。人々はそれに間違いがあることを知っていました。修正は、互いに矛盾する1万行に及ぶメールスレッドの断片に散らばっており、論文自体は決して修正されませんでした。私にできた最善のことは、自分の論文で記録を修正することでした。付録に完全な方程式セットをまとめ、一貫性を持たせ、注意深く読む人のために「s3の符号エラーを修正済み」と括弧書きで追記しました。

それが人間による文献レビューの限界です。私のレビューは深くはありませんでした。私の3つの博士論文は、数万件に及ぶ分野の中で、それぞれ100件未満の論文しか引用していません。誰もが引用するすべての方程式を再導出するわけではなく、査読者は一度に1本の論文をチェックするだけで、元の論文を修正するためにお金をもらっている人はいません。そのため、壊れた論文に基づいて構築するすべての学生は、一人ずつ同じコストを支払い、修正は誰かの受信トレイに残ります。機械は分野全体を読み、再計算し、各エラーをそれをコピーしたすべての論文で追跡できます。だから私はそれを実行させました。それは私の論文にもエラーを見つけました。

マップ

すべての点が論文

高さは時間です。下は1960年代、上は今年です。各薄い線は引用です。明るい点は、他のすべてが依存している論文であり、Googleが初期のウェブをランク付けした方法でランク付けされています。

シードはTAPIR、カルテックの理論天体物理学グループで、私が博士課程を修了した場所です。2004年以降、その326人のメンバーによる4,093本の論文。それらが引用するすべての論文と、それらを引用するすべての論文を追加すると、554,670件の引用で結ばれた158,059本の論文が得られます。ここに描かれている49,301件は、TAPIRに少なくとも3回関連付けられているものです。

10秒で1世紀

成長を見る

マップには、1970年代から499本の論文、1990年代から2,035本の論文、2010年代から18,976本の論文が含まれています。古い層は生き残りであり、今日働く人々がまだ引用している論文です。1975年以降の他のすべては、正しくても間違っていても、すでに忘れられています。

この分野が知っていることのほとんどは、過去20年間に書かれたものであり、まだメールで返信できる人々によって書かれたものです。そのことを覚えておいてください。

サブフィールド

サブフィールドは列

レイアウトに数値相対論が何であるかを教えた人はいません。互いを引用する論文は引き寄せられるため、サブフィールドは列として表示されます。同じ問題について、同じ数人の人々が毎年執筆し、各層が前の層の上に積み重なっています。

高速電波バーストから銀河系のハローまで、32の列があります。

1つの列

数値相対論

コンピュータ上でアインシュタインの方程式を解き、2つのブラックホールが合体するまで。この列には278本の論文があり、そのうち71本がTAPIRのもので、2010年に最も活発でした。

各サブフィールドにはページがあります。それは、それが組織化されている質問、各質問が開いているか、論争されているか、または解決されているか、中心的な論文を書いたのは誰か、どこで、出版速度、そして私たちが追跡したエラーのどれかです。

開いている各質問には、今日のAIがそれについて何ができるかを示すフラグも付いています。155件のうち、モデルは既存のデータとコードから8件が現在回答可能であり、AIがスピードアップするであろう119件、望遠鏡または検出器待ちの28件を判断しました。

数値相対論 → 全32サブフィールド

すべてを読む

すべての論文がスクリーニングされる

論文を注意深く読むには、モデル時間で数ドルかかります。スクリーニングは無料なので、本文を入手できたすべての論文をスクリーニングしました。50,269本の論文、4億2100万語を、最悪の種類の問題の指紋がないかチェックしました。これは、ここに描かれた論文の76%をカバーしています。arXivにない1991年以前のものや、ジャーナル限定の論文は公開されていないため、残りはデータベースレコードで実行されるチェックのみを受けました。(ゴールドはTAPIR自身の論文を示します。)

  • ペーパーミル言語:なし。
  • チャットボットの残渣とAI査読者への隠し指示:なし。
  • 著者間で共通のない論文間で共有されたテキスト:34,286本の論文中に43ペア、主に連続した調査カタログとデータリリース。
  • 撤回:DOIを持つ184,733本の論文中に13件。TAPIRのものはなし。
  • TODOおよびFIXMEメモがarXivに送信されたもの:62本の論文。

天体物理学は比較的きれいです。この文献の何が間違っていても、それは詐欺ではありません。動く唯一の針は語彙です。「delve」、「crucial」とその仲間は、2016年よりも2025年の方が2.5倍一般的です。

注意深く読む

重要な200件が一行ずつチェックされる

引用は極めて不均等であり、数百本の論文がこの分野を支えています。そのため、2006年から2019年までのTAPIRの最も引用された論文200件(ゴールド)それぞれに、LaTeXソース、独自の計算を実行するツール、および再計算するよう命令されたAI査読者が割り当てられました。それは、エラッタや後続の論文にアクセスせずに、盲目的に作業しました。

2,623件の問題がフラグ付けされ、84件が主要

112件は3件以上の後続論文に依存しており、2番目の査読者によって再導出された

56件はエラーとして確定(34件は完全、22件は部分的)

50 · 6件の判断 · 却下

フラグは発見ではありません。2番目の査読者が支持したものだけがここでエラーと呼ばれます。

査読が発見したもの

13件が修正され、56件が通過

200件のうち約136件は、最初のプレプリントと公開論文の間で改訂されたため、それらの最初のプレプリントを同じように読みました。検証された13件のエラーはプレプリントにあり、査読者または著者によって再検討された後にジャーナル版から削除されました(紫)。

56件は査読を通過し、ジャーナル(ゴールド)に掲載されました。この証拠に基づくと、査読は約5件に1件のエラーを削除します。13件のうち少なくとも2件は、古いプレプリントから後続の論文にコピーされていました。

1つのエラーを追跡

4倍の係数、2005-2014年

Smith、Kamionkowski、Coorayは、インフレーションから残った重力波を検出可能なエネルギー密度に変換します。1/2の係数が2つ失われたため、答えは4倍大きくなっています。分母の6が教科書の24になっています。このエラーは二重にチェックされました。論文の数値は論文の数式で結果を再現します。標準的な数式で同じ数値を使用すると、その4分の1になります。

年月の経過を見てください。赤の論文は4倍の係数をコピーしました。緑の論文は2008年にそれが間違っていると指摘しました。コピーは2014年まで続きました。6回のコピー、1回の異議。

全872件を見る →

全872件

批判ごとに5回のコピー

次に、調査範囲を広げました。同じ再計算・検証チェックを、マップ上のさらに459本の引用されている論文(主に安価な最初の読み取りでフラグ付けされ、支持されたもの)で実行したところ、さらに816件のエラーが確認されました。これにより、433本の論文に872件となりました。そのうち159件は、誤った値を含めて、少なくとも1本の後続論文にコピーされていました。論文を数えると:

367本の論文がエラーをコピーした。68件がそれを批判した。

872件のうち、印刷物で批判されたのはわずか47件であり、そのうち21件はその後もコピーされ続け、さらに51本の論文にコピーされました。これらは下限です。テキストを保持している引用論文のみを読みました。

そして872件は分野の底でもあります。マップ上の引用数の多い論文のわずか4%しか、これまでのところ徹底的な処理を受けていません。処理された論文からスケールアップすると、引用数の多いこの分野の論文で検出されていないエラーの可能性のある数は約34,000件(25,000〜48,000件)です。その数の算出方法 →

エラーが生き続ける期間

半数は7年後もコピーされ続けている

査読と出版は、文献からエラーを検出および除去するのにどれほど効果的でしょうか?実際に測定できます。

0%25%50%75%100%024681012年42% at year 9

コピーされたエラーがコピーされ続けている割合(論文発表からの年数別)。帯:95%信頼区間。33件のエラーは10年目で観測できるほど古いです。

曲線は7年目でまだ52%であり、8年目で半分を横切り、10年目では39%です。影響を受けた結果に依存する論文を数えると、9年目で横切ります。最も徹底的に追跡したエラーはより長く続き、10年目で横切ります。より浅い検索では、遅いコピーは少なく見つかります。

エラーが最終的に停止する原因は何でしょうか?最も密接に読まれた200件の論文に含まれる56件のエラーのうち、52件は最新のarXivバージョンにまだ含まれており、そこでは修正は無料です。最も密接に読まれた200件の論文のうち、データベースは2件のエラッタを記録しています。そして消滅した87件のエラーのうち、67件は誰にも批判されたことがありませんでした。サブフィールドが先に進むにつれて、それらは衰退し、正しい答えと間違った答えを同じ速度で引退させます。

どこまで到達したか

重要な論文の4%、これまでのところ

公開されている本文を持つすべての論文がスクリーニングおよびスキミングされました。高価なチェック、つまり再計算するチェックは、最も引用されたものから始まり、659本の論文に到達しました。各バーは、マップ上の論文数で、どれだけ読まれたかで満たされています。

マップ上の全論文本文スクリーニング済みハイカースキムソネット読みオウプス再計算、検証済み
0件の引用:2,541件の論文;本文スクリーニング済み 1,463件(58%);ハイカースキム 27件(1%);ソネット読み 0件(0%);オウプス再計算、検証済み 0件(0%)
1–2件の引用:2,448件の論文;本文スクリーニング済み 1,618件(66%);ハイカースキム 41件(2%);ソネット読み 0件(0%);オウプス再計算、検証済み 0件(0%)
3–9件の引用:4,968件の論文;本文スクリーニング済み 3,493件(70%);ハイカースキム 545件(11%);ソネット読み 0件(0%);オウプス再計算、検証済み 0件(0%)
10–29件の引用:8,147件の論文;本文スクリーニング済み 6,286件(77%);ハイカースキム 3,231件(40%);ソネット読み 26件(0%);オウプス再計算、検証済み 0件(0%)
30–99件の引用:13,265件の論文;本文スクリーニング済み 10,759件(81%);ハイカースキム 9,002件(68%);ソネット読み 742件(6%);オウプス再計算、検証済み 10件(0%)
100–299件の引用:11,077件の論文;本文スクリーニング済み 8,972件(81%);ハイカースキム 8,823件(80%);ソネット読み 1,047件(9%);オウプス再計算、検証済み 324件(3%)
300–999件の引用:5,051件の論文;本文スクリーニング済み 3,591件(71%);ハイカースキム 3,535件(70%);ソネット読み 512件(10%);オウプス再計算、検証済み 256件(5%)
1,000–2,999件の引用:1,324件の論文;本文スクリーニング済み 718件(54%);ハイカースキム 706件(53%);ソネット読み 67件(5%);オウプス再計算、検証済み 60件(5%)
3,000+件の引用:403件の論文;本文スクリーニング済み 122件(30%);ハイカースキム 117件(29%);ソネット読み 10件(2%);オウプス再計算、検証済み 8件(2%)

0 | 1–2 | 3–9 | 10–29 | 30–99 | 100–299 | 300–999 | 1,000–2,999 | 3,000+
論文の引用回数

詳細なカバレッジ →

分野はエラーを乗り越える。しかし、めったに修正しない。

これらすべてにかかる費用は、定価で購入した場合、モデル時間で約2,720ドル、検証済みエラー1件あたり約3ドルです。実際には、Claude Maxサブスクリプション内で実行されました。プロジェクト全体、この分野、および他の分野は、約49億トークンと41日間で約4.9時間の私の時間を要しました。これは1つの分野であり、第一世代の方法で読み取られ、方法ページに制限が明記されています。そして、それは完了していません。ディープチェックは、マップ上の引用数の多い論文のわずか4%にしか到達していません。キューの残りは予算の決定であり、次の分野も同様です。

エラー全872件、最も多くコピーされたものから順に:論文の内容、本来あるべき内容、誰がコピーしたか、誰が反対したか。 探索158,059本の論文を飛び回る。検索、年でフィルタリング、任意のエラーを点灯。 サブフィールド32列:主要な質問、人々、機関、出版率。 レビュー分野全体の参照レビュー、サブフィールドごとに1章。 AIの機会修正すべきエラー、AIが現在解決できるオープンな質問、チェックすべきフラグ。 方法パイプライン、55種類の問題、カバレッジ、コスト、および誤りがある可能性のある場所。

エラーは1回のAIセッションによって発見され、2回目の独立したセッションによって再導出され、それぞれがジャーナルで公開されたバージョンで確認されました。5件はソースに対してステップバイステップで二重にチェックされました。人間がチェックしたものは何もありません。テストとして、ランダムに選ばれた40件を、論文と該当箇所のみを見た3回目のセッションに送ったところ、40件中33件が間違っていることが判明しました。そのため、ここに記載されている一部は精査を生き残れないでしょう。もしあなたの論文を間違って記載している場合は、お知らせください。修正し、それを記載します。