あなたの論文は本当にひどいのか？

あなたの論文は本当にひどいのか？ A. Sina Booeshaghi著 · 2026年6月27日 QED ScienceのOded Rechaviは、論文がQEDスコアの上位1%に入らないと「ひどい」と考えている。しかし、このQEDスコアとは何であり、その目的は何なのか？本当に科学的品質を測るものなのか？論文が上位1%に入らない場合、本当にひどいのか？これらの疑問は重要である。なぜなら、科学者はプレプリントサーバーに投稿され、ジャーナルに掲載される新しい論文の量にますます圧倒されているからだ。結果として、論文を選別するために使用される従来の品質シグナル、例えばジャーナル、会議会場、機関などは信頼性が低下している。AIは、もっともらしい科学論文を大量に簡単に作成できるようにすることで、この問題をさらに複雑にしている。論文は長くなり、図はより密度が高くなり、論文の存在だけではそれが実質的な科学的成果を表している十分な証拠とは言えなくなった。これに対応して、QED Scienceのような企業は、科学者が質の高い論文を見つけるのを助けるためにAIツールを構築している。 QEDは大規模言語モデル（LLM）を使用して科学論文をレビューし、AIフィードバックを提供している。多くの科学者は、そのフィードバックが有用であり、人間の査読で受け取るコメントによく似ていると報告している。QEDは最近、さらに一歩進んだホワイトペーパーを公開し、論文の質を測ることを意図した単一の数値である「QEDスコア」について説明している。QEDスコアは、LLMのコレクションに論文の「独創性」と「妥当性」をレビューするように促すことによって生成される。その結果得られる評価は、単一のスコアであるQEDスコアにまとめられる。彼らのホワイトペーパーでは、QEDスコアは「ジャーナルランクよりも正確で、高速で、偏りの少ない論文の質の推定値である」と主張している。 著者らは3つの検証研究を提示しており、これらはすべてQEDスコアを、引用データに基づいたジャーナルレベルの指標であるSCImago Journal Rank（SJR）と比較している。最初の研究は、QEDとSJRを、専門家が割り当てたラベル（「限定的」、「満足」、「強力」）のコーパスと比較している。2番目の研究は、2,879のbioRxivプレプリントのQEDスコアと、それらの論文が最終的に掲載されたジャーナルのSJRを比較している。3番目の研究は、QEDとSJRが最も強く意見が対立する論文のペアの中から、専門家に選択を求めている。本レビューでは、QEDスコアが科学的品質の指標であるという証拠を評価する。QEDが従来の査読よりもはるかに高速なレビューを提供することは明らかであるが、提示された証拠は、QEDスコアがより正確で偏りの少ない科学的品質の指標であるという著者らの主張を支持するものではないと私は考える。 ケーススタディ1は方法論的に不明瞭であり、QEDスコアが品質を測ることを効果的に示していない ケーススタディ1では、著者らは、身元が明かされていない専門家レビューアのパネルによって「限定的」、「満足」、「強力」とラベル付けされた975の公開論文のキュレーションされたデータセットを入手した。各論文は、QEDスコアを生成するために使用されたのと同じ基準である妥当性と独創性に基づいてラベルを受け取った。その後、著者らは、QEDスコアとSJRスコアのどちらがこれらのラベルをよりよく予測するかを尋ねた。QEDは「限定的」な論文を「満足＋強力」な論文と区別するのに0.863のAUCを達成し、SJRの0.804を上回った。また、「強力」な論文を「満足＋限定的」な論文と区別するのに0.782のAUCを達成し、SJRの0.774をわずかに上回った。これらの値は、基礎となるデータと方法論なしでは意味のある解釈ができない。この論文は、ラベルの分布、ベンチマークラベルを生成した専門家レビューアがジャーナル、著者、または機関の身元について盲検化されていたかどうかを報告しておらず、分析を再現するためのデータやコードも提供していない。また、著者らは、これらの論文が評価に使用されたLLMのトレーニングデータから除外されたことについて保証も提供していない。したがって、ケーススタディ1は、QEDスコアが科学的品質を正確に測ることを立証していない。 ケーススタディ2は、QEDスコアが品質を測るという矛盾した証拠を提供している 2番目のケーススタディでは、2,879のbioRxivプレプリントのQEDスコアと、それらのプレプリントが最終的に公開されたジャーナルのSJRスコアを比較している。すべての分野で、著者らはスピアマン相関係数0.63を報告している。しかし、個々の分野内では、相関係数は0.78（遺伝学）から0.39（システム生物学）の範囲であった。著者らは全体的な一致を「実質的」と表現しているが、一部の分野での弱い一致は、SJRスコアが品質のノイズの多い代理指標であると主張することで説明している。この主張は内部的に矛盾している。もしSJRスコアが科学的品質の合理的な代理指標であるならば、分野間の弱い一致は、QEDスコアが品質の弱い代理指標であることを示唆している。もしSJRスコアが科学的品質のノイズの多い代理指標であるならば、SJRスコアとの一致をQEDスコアの検証に使用することはできない。いずれにせよ、著者自身の認めるところによれば、この分析はQEDスコアを品質の正確な指標として確立していない。 ケーススタディ3には、QEDスコアの検証に偏りをもたらす可能性のある、いくつかの制御されていない、説明されていない変動要因が含まれている 3番目の研究では、15人の専門家に、QEDとSJRスコアが最も強く意見が対立する論文を比較するように求めている。各論文について、著者らはQEDスコアからlog(SJR + 1)を減算し、ペアワイズの矛盾を計算し、最も強い100の不一致を保持した。これらのペアのうち、専門家による「確実な」判断が報告されたのは70ペアのみで、残りの30ペアは破棄された。保持されたペアの中で、専門家はQEDスコアが高い論文を、SJRスコアが高い論文よりも約3倍多く選好した。この実験には、いくつかの制御されていない、説明されていない変動要因が含まれている。第一に、QEDスコアはプレプリントに割り当てられる論文レベルの指標であるのに対し、SJRスコアは査読後に割り当てられるジャーナルレベルの指標である。第二に、専門家の選好が科学的品質ではなく、執筆スタイル、トピック、または分野への精通度に依存する可能性のある、異なる2つの論文間で比較が行われている。最後に、著者らは「確実性」がどのように定義されたのか、また30%の比較が除外された理由を説明していない。したがって、ケーススタディ3はQEDスコアの優位性を示す十分な証拠を提供していない。 QEDスコアは地理的バイアスを示している QEDスコアは単なる内部指標ではない。QEDはbioRxivプレプリントの上位1%のランキングを公開しており、この公開されたランキングはアフリカおよび南米の科学者に対する実質的な地理的バイアスを明らかにしている。（補足として、ホワイトペーパーではQEDが57,455のbioRxivプレプリントをスコアリングしたと記載されているが、公開されているウェブサイトには53,938のドメイン割り当て済みプレプリントが含まれており、そのうち571が上位1%で、53,367が残りの99%である。この不一致は説明されていない。）QEDのウェブサイトは、著者所属に基づいて論文に地理的地域を割り当てている。論文は複数の地域（例えば、北米、ヨーロッパ、アジア、オーストラリア、南米、アフリカ）に属することができ、単一の著者がアフリカとして分類されるのに十分であることを意味する。QEDのウェブサイトで論文を地理的地域でフィルタリングすると、驚くべき結果が得られる。上位1%の論文でアフリカとして分類されているのは3本しかない。しかし、そのどれもが主にアフリカの機関が主導しているものではない。上位1%の最初の論文である「TENM4 is an essential transduction component for touch」は、ドイツに主要な所属を持つ20人の著者がいるが、1人の著者がエジプトに副次的な所属を持っているため、アフリカとして分類されている。2番目の論文である「Memory Regulatory T Cells Reprogram into Protective Tfh-like Effectors in Recurrent Malaria」には10人の著者がおり、そのうちアフリカの所属を持つ著者は1人だけである。3番目の論文である「Modular and redundant genomic architecture underlies combinatorial mechanism of speciation and adaptive radiation」には11人の著者がおり、ここでもアフリカ所属の著者は1人だけである。言い換えれば、上位1%には、主にアフリカの機関が主導する論文は1本も含まれていない。対照的に、「Inflammatory Biomarkers of Asymptomatic and Symptomatic Tuberculosis」は、サハラ以南のアフリカに不釣り合いに影響を与える疾患を扱っており、28人の主要なアフリカ所属著者と、ヨーロッパまたは北米の主要所属著者は6人しかいない。