HN 日本語サマリー

← 一覧へ戻る
キャリア

学術界はd-index測定競争として

Academia as a d-index measuring contest (kevinmunger.substack.com)

14 pointsby surprisetalk0 コメント

要約

この記事は、学術界における評価指標の過剰な定量化と、それが研究の質よりも量を重視する傾向を生み出している現状を論じています。Google Scholarのh-indexなどの既存指標の問題点を指摘し、研究者の多様な貢献を評価するための新しい指標「k-index」を提案しています。

全文翻訳

学術界はd-index測定競争として 理論的に形成された学術ランキング Kevin Munger 2026年8月24日 1822 共有 社会科学者は定量化の罠の犠牲者です。私たちは数えられることを行い、それらの事柄が数えられ、結果の数字が何かを意味すると見なされます。どんな数字でも、数字がないよりはましです。これは、私たちが自分自身をどのように評価するか、特に大学管理者が採用、終身雇用、昇進のために私たちをどのように評価するかに、これほど明白なことはありません。「学部長は読めないが、数えることはできる」という古いジョークがあります。私たちは書いたものの質ではなく、その量の多さ、そして書いたものがどれだけ引用されているかで評価されます。 営利企業であるClarivate社(NYSE: CLVT)が販売する「Impact Factor」は最も確立された定量化技術ですが、最も広く使われているのは間違いなくGoogle Scholarです。無料であることと、登録したすべての学術関係者に他の人と比較できるスコアを提供するからです。合計引用数、h-index、i-10 indexが得られます。そして、それらのすべてが過去5年間に限定されます。 私が知っている現役の学術関係者は、これらの指標のそれぞれについて不平を言います。Impact Factorの主な問題は、異なる学問分野では年間学術成果の産出量が大きく異なることです。心理学、コミュニケーション学、CSでは、年間5本の論文は少ない方で、15〜20本は珍しくありません。これらの分野のジャーナルや会議は、社会学、政治学、経済学の分野よりも自然に高いImpact Factorを持っています。そのため、学部長がImpact Factorと論文数を比較して見ると、心理学者は皆スーパースターで、社会学者は怠け者に見えます。 Google Scholarの引用数に関する問題は、より個人的なものです。集計の単位は個人であり、総引用数はその個人のすべての論文にわたって合計されますが、それらの論文の共著者数については、実際には考慮されていません。研究がより大規模で複雑になるにつれて、例えば計算社会科学では、共著者の数は(正当にも)急増しました。特に最も注目され、最も引用されている論文では顕著です。そのため、大規模なラボスタイルのチームのメンバーは、実際の個人的な影響力と比較して「誇張された」Google Scholarのカウントを持っています。 したがって、不満な同僚の皆さん、もしこれらの指標が気に入らないなら、良いニュースがあります。Research.comが最近登場し、そのD-indexをテーブルに叩きつけました。 Research.comは、1994年には非常に価値のあるインターネットドメインだったように聞こえます。2026年では少し露骨ですが、その指標の名前と比較すると、まったく控えめです。ベールは剥がされ、知識の純粋な追求という名目は、単なるD-index測定競争であることが明らかにされました。 しかし、Research.comの善良な人々(ちなみに、ウェブサイトが「研究者のための主要な学術プラットフォーム」と自己紹介する場合、それはそうではありません)は、独自の、特徴的な営利指標を宣伝する際に、誤って一歩踏み込みすぎたのかもしれません。ブティック指標の広がりは、指標全般の正当性にとって危険です。 指標の作成にコストがかかり、専有的なもので、したがって希少な場合(Clarivate(NYSE: CLVT)のImpact Factor)、それらは容易に正当化され、唯一のゲームとなります。もう一方の極端では、指標を無料で消費でき、したがってどこにでもある場合(Google Scholar、Alphabetにとって端数程度のコストであり、データは現在、Geminiやその他のAI製品に供給されているようです)、それらは容易に自然化され、人々が指標と複雑な現実との間のギャップについて考えさえしなくなるほど、十分な尺度として当然のことと見なされます。 D-indexは、その現実を表すために使用できるさまざまな指標があることを明らかにします。これにより、それらの指標のいずれかが非自然化され、指標がもはや希少ではなくなったことが明らかになります。今、私たちは、私たちが本当に気にしているものを捉えるのにどれが最適かを決定するために、何がこれらの指標に含まれているかを考えることを余儀なくされています。Research.comのこの分野への介入は、Google Scholarのh-indexの問題は、それが小文字すぎ、学際的すぎることにあると主張しています。大きなD-indexは、分野固有のh-indexです。 もし私がh-indexに対する問題点をランク付けするとしたら、それはトップ100には入らないでしょう。社会科学を見て、「これは大丈夫だが、学際性が高すぎる。分野を横断する協力を罰する必要がある」と言うのは完全に狂っています。しかし、不平を言う代わりに、私はResearch.comの例に倣い、世界で見たい指標になることを決めました。k-indexには何が含まれるべきでしょうか? 私は、社会科学は科学的生産の多様な形態を報いる必要があると信じています。どのような指標にも弱い点は、それが最小最大化可能である程度です。つまり、指標で高得点を得ることが、一つのことを何度も行うという退行的な戦略を追求することによって最もよく達成できるかどうかです。例えば、Starcraft 2が出たとき、私はZergで6プール+バニシングバーストをしてダイヤモンドに駆け上がりました。もう少し、しかし依然として非常にオタク的な例を挙げると、高校時代にSATのエッセイは主に長さで採点されていることに気づいたので、意味のあることを書かなくても、大きな言葉や発明された統計で埋め尽くすことで、最大限のスコアを得ることができました。AIは間違いなくSATエッセイセクションで超人的なスコアを達成しています! このゲームプレイを避けるために、k-indexはさまざまな要因を慎重に調整した組み合わせです。多様性が鍵です。私は、各個々の特徴の複合指標への貢献を0.25に制限することにしました。私はこれについてたくさん考え、純粋に理論的に、最も重要な以下の特徴に到達しました。 ソロ引用数:個々の貢献と影響力の真の尺度。少なくとも単著の作品がいくつか必要であり、その作品が特に影響力があれば報われるべきです。 方法論の引用数:方法論は、社会科学者が行う実質的な仕事の上流にあります。もしあなたが方法論的な貢献をし、それが引用されるなら、それはより広範な研究成果への間接的な貢献です。 最近の活動:プラトン、ウェーバー、プットナムを称える別の方法を必要としません。この尺度は特に最近の成果に関するものであり、最近ほとんどの作品を発表した人々を重視したいです。 そして、再び理論を用いて、他の尺度にはやや少ない重みが割り当てられていると判断しました。 分数引用数:大規模な共同研究は依然として非常に価値がありますが、これは適切な1/Nペナルティを適用します。ここでNは著者総数です。 最近性で重み付けされた引用数:貢献の時間的妥当性に関するより連続的な尺度です。最近の作品への引用は、古い作品への引用よりも多くのクレジットを得ます。 さらに2つのマイナーな貢献があります。 ソロシェア:著者の作品のうち単著である割合。最初の特徴を運用化するもう一つの方法です。 外部リーチ:研究の学際性。ここでは、社会科学のコア以外の二次的な分類を持つ作品の割合です。 データに関するいくつかの注意点があります。非常に勤勉で几帳面な私のイタリア人リサーチアシスタント、クラウディオのおかげで、OpenAlexから必要な書誌メタデータを迅速にスクレイピングするクローラーをコーディングできました。しかし、データは現時点では政治学に限定されており、データの制約と私の専門分野を考慮すると、2000年までしか遡れません。データはまだ非常にクリーンではありません。多くの人がOpenAlexに複数のプロフィールを持っており、ジャーナル全体のカバレッジを検証していません。私が欠落しているジャーナルや、含めるべきではないジャーナルがいくつかあるかもしれません。しかし、OpenAlexの価値を強調したいと思います。これは、真剣なメタ科学プロジェクトのバックボーンとなるべき、素晴らしい、オープンソース、非営利のデータベースです。そのAPIは、ほとんどのヘビーデューティな呼び出しを除いてすべて無料であり、ハードドライブスペース(1.2TB)があれば、データベース全体のスナップショットを直接ダウンロードできます。真剣なメタ科学の研究は再現可能である必要があり、したがって専有的なデータベースに依存することはできません。