あなたの論文は本当にひどいのか?
Does Your Paper Really Suck? (sina.bio)
要約
本稿は、QED Scienceが提唱する「QEDスコア」が論文の質を測るのに本当に有効であるかを批判的に検証しています。QEDスコアはLLMを用いて論文の独創性と妥当性を評価するもので、QED Scienceは従来の評価指標よりも優れていると主張していますが、著者であるA. Sina Booeshaghiはこの主張を裏付ける証拠が不十分であると結論付けています。また、QEDスコアにはアフリカや南米の科学者に対する地理的バイアスが存在する可能性も指摘されています。
全文翻訳
あなたの論文は本当にひどいか?
By A. Sina Booeshaghi · 2026年6月27日
QED ScienceのOded Rechavi氏は、あなたの論文がQEDスコアで上位1%に入らないなら、それは「ひどい」と信じている。しかし、このQEDスコアとは何で、その目的は何だろうか?それは本当に科学的な質を測るのだろうか?論文が1%に入らない場合、それは本当にひどいのだろうか?
[画像: QED Scienceが、QEDプレプリントランキングシステムで上位1%に入った論文を祝福する投稿のスクリーンショット。]
これらの問いは重要である。なぜなら、科学者たちはプレプリントサーバーに投稿されたり、ジャーナルに掲載されたりする新しい研究の量に圧倒されているからだ。その結果、論文をふるいにかけるために使われる、ジャーナル、カンファレンス会場、所属機関といった従来の品質シグナルは、信頼性を失いつつある。AIは、大規模にそれらしい科学的ライティングを容易に生成できるようにすることで、この問題をさらに悪化させている。論文は長くなり、図はより密になり、論文の存在自体がもはやそれが実質的な科学的工作を表しているという十分な証拠ではなくなっている。
これに対応するため、QED Scienceのような企業は、科学者が質の高い研究を特定するのに役立つAIツールを開発している。QEDは大規模言語モデル(LLM)を使用して科学論文をレビューし、AIによるフィードバックを提供している。多くの科学者は、そのフィードバックが有用であり、しばしば人間の査読で受け取るコメントに似ていると報告している。
QEDは最近、ホワイトペーパーを公開し、論文の質を測定することを意図した単一の数値である「QEDスコア」を説明している。QEDスコアは、LLMのコレクションに論文を「独創性」と「妥当性」についてレビューするように指示することで生成される。得られた評価は、単一のスコア、すなわちQEDスコアにまとめられる。ホワイトペーパーの中で、著者らはQEDスコアが「ジャーナルランクよりも、論文の質をより正確に、より速く、そしてより公平に推定するものである」と主張している。著者らは3つの検証研究を提示しており、それらはすべてQEDスコアを引用データに基づいたジャーナルレベルの指標であるSCImago Journal Rank(SJR)と比較している。最初の研究では、QEDとSJRを、専門家が割り当てたラベル(「限定的」「満足」「強力」)のコーパスと比較している。2番目の研究では、2,879件のbioRxivプレプリントのQEDスコアと、それらの論文が最終的に掲載されたジャーナルのSJRを比較している。3番目の研究では、QEDとSJRが最も強く意見が一致しない論文のペアの中から専門家に選択を求めている。
このレビューでは、科学的質の指標としてのQEDスコアを支持する証拠を評価する。QEDが従来の査読よりもはるかに迅速なレビューを提供することは明らかであるが、提示された証拠は、QEDスコアがより正確またはより公平な科学的質の指標であるという著者らの主張を裏付けていないと私は見いだした。
ケーススタディ1は方法論が不透明であり、QEDスコアが質を測定することを有効に示していない
ケーススタディ1では、著者らは専門家レビュー担当者のパネルによって「限定的」「満足」「強力」とラベル付けされた975件の公開論文のキュレーションされたデータセットを取得したが、そのレビュー担当者の身元は開示されていない。各論文は、QEDスコアの生成に使用されたのと同じ基準である妥当性と独創性に基づいてラベルを受け取った。著者らは次に、QEDまたはSJRスコアのどちらがこれらのラベルをよりよく予測するかを尋ねた。QEDは、「限定的」と「満足+強力」の論文を区別するためにAUC 0.863を達成したのに対し、SJRは0.804であった。「強力」と「満足+限定的」の論文を区別するためには、それぞれ0.782対0.774であった。
これらの値は、基盤となるデータと方法論なしには意味のある解釈ができない。論文はラベルの分布を報告しておらず、ベンチマークラベルを生成した専門家レビュー担当者がジャーナル、著者、または所属機関の身元を伏せられていたかどうか、また分析を再現するためのデータやコードを提供していない。著者らはまた、これらの論文が評価に使用されたLLMのトレーニングデータから除外されたという保証も提供していない。したがって、ケーススタディ1は、QEDスコアが科学的質を正確に測定することを示していない。
ケーススタディ2は、QEDスコアが質を測定することに対する一貫性のない証拠を提供する
2番目のケーススタディでは、2,879件のbioRxivプレプリントのQEDスコアと、それらのプレプリントが最終的に掲載されたジャーナルのSJRスコアを比較している。すべての分野にわたって、著者らは0.63のSpearman相関を報告している。しかし、個々の分野内では、相関は0.78(遺伝学)から0.39(システム生物学)の範囲であった。
著者らは全体的な一致を「実質的」と説明しているが、一部の分野での弱い一致を、SJRスコアが質のノイズの多い代理であると主張することで説明している。この議論は内部的に一貫していない。もしSJRスコアが科学的質の妥当な代理であるならば、分野をまたがる弱い一致は、QEDスコアが質の弱い代理であることを示唆している。もしSJRスコアが科学的質のノイズの多い代理であるならば、SJRスコアとの一致はQEDスコアを検証するために使用できない。いずれにせよ、著者ら自身の告白によれば、この分析はQEDスコアを質の正確な測定値として確立していない。
ケーススタディ3には、QEDスコアの検証に偏見をもたらす可能性のある、いくつかの制御されていない、説明されていない変動源が含まれている
3番目の研究では、15人の分野専門家に、QEDとSJRのスコアが最も強く意見の食い違う論文を比較するように求めている。各論文について、著者らはlog(SJR + 1)をQEDスコアから差し引き、ペアごとの矛盾を計算し、最も強い100件の不一致を保持している。報告された「確信のある」専門家の判断があったのはこれらのペアの70件のみであり、残りの30件は破棄された。保持されたペアの中で、専門家はQEDスコアが高い論文を、SJRスコアが高い論文の約3倍の頻度で好んだ。
この実験は、いくつかの制御されていない、説明されていない変動源を導入している。第一に、QEDスコアはプレプリントに割り当てられた論文レベルの指標であるが、SJRスコアは査読後に割り当てられたジャーナルレベルの指標である。第二に、比較は2つの異なる論文間で行われ、専門家の好みは科学的質ではなく、文章スタイル、トピック、または分野への精通度に依存する可能性がある。最後に、著者らは「確信」がどのように定義されたか、またはなぜ比較の30%が除外されたのかを説明していない。結果として、ケーススタディ3は、QEDスコアの優位性について十分な証拠を提供していない。
QEDスコアは地理的な偏見を示す
QEDスコアは単なる内部指標ではない。QEDはbioRxivプレプリントの上位1%のランキングを公開しており、この公開リリースはアフリカおよび南米の科学者に対する実質的な地理的偏見を明らかにしている。(注:Ran Blekhmanが補完的な分析を発表しており、QEDの上位1%が馴染みのある機関の偏見を再現することを示している。)
QEDウェブサイトは、著者らの所属に基づいて論文に地理的地域を割り当てている。1つの論文は複数の地域(例:北米、ヨーロッパ、アジア、オーストラリア、南米、アフリカ)に属する可能性があり、これは単一の著者が論文をアフリカの論文として分類するのに十分であることを意味する。QEDウェブサイトで地理的地域で論文をフィルタリングすると、顕著な結果が得られる:上位1%にはアフリカの論文が3件しか分類されていない。しかし、アフリカの機関が主導するものは一つもない。
上位1%の最初の論文、TENM4 is an essential transduction component for touchは、ドイツに主たる所属を持つ20人の著者を含んでいる。1人の著者がエジプトに二次的な所属を持っているため、アフリカの論文として分類されている。2番目の論文、Memory Regulatory T Cells Reprogram into Protective Tfh-like Effectors in Recurrent Malariaは、10人の著者を含み、そのうち1人だけがアフリカの所属を持っている。3番目の論文、Modular and redundant genomic architecture underlies combinatorial mechanism of speciation and adaptive radiationは、11人の著者を含み、ここでもアフリカに所属する著者は1人だけである。つまり、上位1%にはアフリカの機関が主導する論文は含まれていない。
対照的に、Inflammatory Biomarkers of Asymptomatic and Symptomatic Tuberculosisは、サハラ以南アフリカに不均衡に影響を与える疾患を扱っており、アフリカの主たる所属を持つ28人の著者と、ヨーロッパまたは北米の主たる所属を持つ6人の著者を含んでいる。アフリカの科学をはるかに代表しているにもかかわらず、それは下位99%にランク付けされた。
これをさらに進めると、地域分類は著しい偏見を示している。QEDによって報告された地域分類を使用すると、アフリカの分類(3件対933件、p = 0.004)と南米の分類(11件対2,204件、p = 0.00055)は、残りの99%と比較して、上位1%の論文の中で有意に過小評価されている。
重要な sanity check
非公式な実験として、QEDのホワイトペーパーをQED自身に提出した。システムはQEDスコア46を割り当て、いくつかの方法論的な懸念を特定した。これは正式な検証ではないが(システムは方法論的なホワイトペーパーを評価するように設計されていなかった)、QED自身がこのレビュー全体で議論されている方法論的な懸念の一部(すべてではない)を特定したという興味深い観察である。QEDスコアのホワイトペーパーに対するレビューレポートへのリンクをここに含める:
QEDスコアのホワイトペーパーに対するQEDレビューレポート(PDF)
[画像: QEDスコアのホワイトペーパーに対してQEDスコア46を示しているQEDレビューレポートのスクリーンショット。]
論文を効果的にふるいにかけるにはどうすればよいか?
科学出版の急速な成長は現実の問題である。AIは説得力のある科学的ライティングの生成コストを低下させ、読む価値のある作品を特定することをますます困難にしている。QEDに対する私の懸念は、AIの使用そのものではなく、提示された証拠がスコアに関する主張を正当化していないことにある。私たち科学者は、科学文献を整理、評価、消費するためのより良いシステムを必要としている。
AIがその解決策の一部になり得ると私は信じている。私自身を含む多くの研究者は、科学論文のインデックス作成や構造化されたフィードバックの提供にLLMが役立つことを見出している。しかし、すべての論文に単一の数値を割り当てることは、有用なフィードバックを生成することよりもはるかに強い主張である。数年間の科学的研究を単一の数値に圧縮することは、必然的に科学者が気にかけているあまりにも多くの情報を破棄してしまう。そのようなスコアは、透明な方法論と厳密な独立した検証なしには、科学的質の指標として扱われるべきではない。
この批判が説明するように、QEDスコアは厳密に検証されていない。ホワイトペーパーの3つのケーススタディは、それがより正確またはより公平な科学的質の指標であることを示していない。そして、公開された上位1%のランキングは実質的な偏見を示している。さらに、著者らは、上位1%をシステムの中心的な出力として提示しているにもかかわらず、「上位1%内のランキングの精度は独立して検証されていない」ことを明確に認めている。著者らが他の科学論文に適用する基準によれば、QEDのホワイトペーパーは明らかに「ひどい」。科学者は、その自身の検証が主張する基準を満たさないスコアを信頼すべきだろうか?