ダニング=クルーガー効果は単なるデータ上のアーティファクトに過ぎない可能性 (2020年)
The Dunning-Kruger effect may just be a data artefact (2020) (mcgill.ca)
要約
「能力の低い人は自分のスキルのなさに気づかない」というダニング=クルーガー効果は、多くのメディアで引用されてきたが、近年の研究ではその実在が疑問視されている。2016年と2017年の論文では、ランダムなデータでも同様のグラフパターンが再現できることが示され、この効果は人間の認知バイアスではなく、測定方法に起因する統計的なアーティファクトである可能性が指摘されている。
全文翻訳
ダニング=クルーガー効果は、おそらく実在しない
ダニング=クルーガー効果は実在してほしいと願っている。1999年にデイビッド・ダニングとジャスティン・クルーガーによって発表された画期的な論文で初めて記述されたこの効果は、愚かな人は自分が愚かであることに気づかない理由を説明したいジャーナリストたちの間で人気を博した。ダニング=クルーガー効果を説明するトゥーランドットの有名なアリア『誰も寝てはならぬ』の素晴らしいパロディ動画まで存在する。「彼らは知らないのだ」とオペラ歌手はクライマックスで歌い上げる、「自分が知らないことを。」
私はダニング=クルーガー効果について非常に短い記事を書こうとしていた。それは、まるで魚を撃つようなものに思えた。効果とは何か、どのように発見されたか、それが何を意味するか。話は終わりだ。
しかし、学術文献を再確認するうちに、疑念が忍び寄り始めた。オリジナルの研究に寄せられた批判を理解しようとする中で、私はうさぎの穴に落ち込み、統計に詳しい数人と話し、ダニング博士自身とも連絡を取り合い、私たちの脳が本当に自分が下手な活動における能力を過大評価する傾向があるのかどうか――あるいは、称賛されている効果が、数字を操作できる奇妙な方法によってもたらされた蜃気楼に過ぎないのかどうか――を理解しようと試みた。
ダニング=クルーガー効果に対する自信を過大評価してはいなかっただろうか?
誤解された効果
ダニング博士によると、ダニング=クルーガー効果について人々が犯す最も重要な間違いは、誰がその犠牲者になるかということだ。「この効果は『彼ら』についてではなく、『私たち』についてなのです」と彼は私に書き送った。「この効果の教訓は、常に私たち自身に対して謙虚で慎重であるべきだということです。」ダニング=クルーガー効果は愚かな人についての話ではない。それは、私たちがあまり得意でないことに関しては、ほとんど私たち全員についての話なのだ。
要するに、ダニング=クルーガー効果は元々、私たちの思考におけるバイアスとして定義されていた。もし私が英語の文法がひどく苦手で、英語の文法に関する知識を試すクイズに答えるように言われたら、この思考のバイアスは、理論によれば、私が実際に取るであろう点数よりも高い点数を取ると信じ込ませるだろう。そして、もし私が英語の文法が得意なら、この効果は、私がどれだけうまくやれるかをわずかに過小評価する可能性が高いと規定している。私は70%の点数を取ると予測するかもしれないが、実際の点数は90%になるだろう。しかし、もし私の実際の点数が15%(文法がひどく苦手なので)だった場合、私は自分自身をより高く評価し、60%の点数を予測するかもしれない。この乖離こそが効果であり、それは私たちのスキルを評価する脳の能力における特定の問題に起因すると考えられている。
これが、1990年代後半のダニングとクルーガーの研究プロジェクトで学生参加者が経験したことだ。文法、ユーモア、論理的推論の評価が行われた。全員が自分の出来栄えをどう思うか尋ねられ、全員が客観的に採点され、その二つが比較された。
それ以来、多くの研究が行われ、他の知識領域でもこの効果が報告されている。ダニング博士は、この効果は「無知であることよりも、『誤った情報を持っていること』とより関係がある」と信じていると私に語った。もし水銀の沸点を尋ねられたら、私の脳にその答えがないことは明らかだ。しかし、スコットランドの首都は何かと尋ねられたら、十分知っていると思ってグラスゴーと答えるかもしれないが、実際はエディンバラなのだ。それは誤った情報であり、私の脳の自信ボタンを押している。
これで話は終わりか?逆だ。2016年と2017年に、Numeracyという数学ジャーナルに2本の論文が発表された。その中で著者らは、ダニング=クルーガー効果は蜃気楼であると主張した。そして私も同意する傾向がある。
効果はノイズの中に
エド・ヌーファー博士と同僚による2本の論文は、ダニング=クルーガー効果はランダムなデータを使用しても再現可能であると主張した。「私たちは皆、[1999年の]論文は有効だと信じていました」とヌーファー博士は電子メールで私に語った。「その推論と議論は非常に理にかなっていました。私たちはそれを反証しようとはしていませんでした。私たちはその論文のファンでさえありました。」ヌーファー博士自身の論文では、コンピューター生成データと科学リテラステストを受けた実際の参加者の結果の両方を使用し、彼のチームは、スキルの低い人のほとんどがそれに気づいていないという主張を反証した(「ごく少数ですが、私たちのデータでは約5〜6%がそれに該当しました」)代わりに、専門家と初心者の両方が同じ頻度で自分のスキルを過小評価し、過大評価することを示した。「ただ、専門家はそれをより狭い範囲で行うだけです」と彼は私に書き送った。
これらを理解するのに数週間かかった。私は、夫婦で研究チームを組んでいるパトリック・E・マクナイト博士(ジョージ・メイソン大学心理学部、Sense About ScienceおよびSTATS.orgの諮問委員でもある)とシモーヌ・C・マクナイト博士(Global Systems Technologies, Inc.)に協力を依頼し、何が起こっているのかを理解しようとした。パトリック・マクナイトはダニング=クルーガー効果の存在を信じていただけでなく、学生に自分が知っていることと知っていると思っていることの区別を意識させるために教えていた。しかし、ヌーファー博士の発見を異なるプラットフォーム(ヌーファー博士のMicrosoft Excelではなく、統計計算言語R)を使用して再現した後、彼はこの効果が測定されているものが実際にどのように測定されているかの単なるアーティファクトであると確信するようになった。
私が押し返し続ける中で、私たちはこの件について長い議論を重ねた。懐疑論者として、私は「あなたが知っていることすべてが間違っている」というような話に簡単に惹かれる。それが私のバイアスだ。それを克服するために、私たちは何かを見落としていないかを確認するために、マクナイト夫妻と悪魔の代弁者として議論を続けた。私の理解が固まったと感じるたびに、翌日には疑念が忍び込み、マクナイト夫妻との議論が再開された。
最終的に、ダニング=クルーガー効果は私たちの思考におけるバイアスとして証明されたのではなく、単なるアーティファクトに過ぎないという点でかなり確信が持てるようになった。ここに、この効果が現実に見える理由についての最も簡単な説明がある。
人間の心理学における効果が現実であるためには、ランダムノイズを使用して厳密に再現できない必要がある。もし人間の脳がコインを投げるときに表を出す傾向があるなら、それをコンピューターによるランダムな予測(表か裏か)と比較してバイアスを見ることができる。コンピューターはランダムに賭けているのに対し、人間は表に偏っているので、人間はコンピューターよりも多くの表を呼び出すだろう。ダニング=クルーガー効果の場合、そうではない。ランダムデータは実際、効果を非常によく模倣している。
1999年に最初に記述された効果は、私の知る限り、科学のほとんどの分野では非常に珍しいグラフを使用している。パトリック・マクナイトは私にこう語った。元の実験では、学生はテストを受け、自分の点数を推測するように求められた。したがって、各学生には2つのデータポイントがあった:自分が取ったと思う点数(自己評価)と実際に取った点数(パフォーマンス)。これらの結果を視覚化するために、ダニングとクルーガーは全員を四分位数に分けた:下位25%のパフォーマンス、上位25%のスコア、そして中間の2つの四分位数。各四分位数について、平均パフォーマンススコアと平均自己評価スコアがプロットされた。これが有名なダニング=クルーガーグラフになった。
[画像: ダニング=クルーガー効果のオリジナルのグラフ]
このようにプロットすると、下位25%のグループは実際よりもはるかに良くやったと考えているように見え、上位25%のグループは自分のパフォーマンスを過小評価しているように見える。この観察は人間の脳に起因すると考えられていた:スキルの低い人はそれに気づいていない。しかし、もし私たちがこの方程式から人間の脳を取り除くと、こうなる:
[画像: ランダムデータで作成されたダニング=クルーガーグラフ]
上記のダニング=クルーガーグラフは、パトリック・マクナイトが自己評価とパフォーマンスの両方に対してコンピューター生成の結果を使用して作成した。数字はランダムだった。これらの架空の学生が実際のスコアが非常に低いときに非常にうまくやったと推測するような、コーディングにおけるバイアスはなかった。それにもかかわらず、2本の線はダニングとクルーガーの画期的な実験の線と不気味なほど似ていることがわかる。オリジナルのダニング=クルーガー論文から3年後、フィリップ・アッカーマン博士と同僚による同様のシミュレーションが行われ、結果は同様だった。
自分のスキルを含む、何かに対する人の認識を測定することは困難に満ちている。今日のテストで自分がどれだけうまくやったと思うかは、もし明日同じテストが行われたら変わるかもしれない。その時の気分が異なり、自己信頼感が揺らぐかもしれない。したがって、自己評価のこの測定は、ある程度信頼性が低い。この信頼性の低さ――時には甚大で、時にはそうでない――は、存在する可能性のある真の心理的効果が、実験の文脈ではより小さく測定されることを意味する。これは信頼性の低さによる減衰と呼ばれる。「何十冊もの本、記事、章が測定誤差と減衰した効果の問題を強調している」とパトリック・マクナイトは私に書き送った。ランダムな測定値を用いた彼のシミュレーションでは、いわゆるダニング=クルーガー効果は測定誤差が増加するにつれて実際にはより顕著になる。「科学的発見の歴史において、測定誤差を増やすことで発見が改善された例は一つもない」と彼は続けた。「一つもない。」
呪縛を解く
Googleニュースで「ダニング=クルーガー効果」と入力すると、New York Times、New Scientist、CBCなどのメディアから8,500件以上のヒットが得られる。多くは、この効果を脳の実際のバイアスとして単純に支持しているため、人々がこの効果が最初に発表されて以来存在する学術的な批判に気づいていないのも不思議ではない。ヌーファー博士とそのNumeracy論文だけではない。他の学術的な批評家も、例えば平均への回帰などを指摘している。
しかし、パトリック・マクナイトが指摘するように、平均への回帰は、同じ測定値が時間をかけて取られ、その進化を追跡する場合に発生する。もし私が毎朝体温を測り、ある日熱が出た場合、その同じ測定値は(うまくいけば)翌日には下がり、熱が下がるとともに平均値に戻るだろう。それが平均への回帰だ。しかし、ダニング=クルーガー効果の文脈では、時間をかけて測定されるものはなく、自己評価とパフォーマンスは完全に異なる測定値であるため、平均への回帰は適用されるべきではない。しかし、自己評価測定値自体の信頼性の低さは、ダニング、クルーガー、そして他の文脈でこの効果を報告してきた他の科学者たちが実際に記述していたもののかなりの部分を説明する強力な候補である。
この物語はまだ終わっていない。科学研究の健全な一部であるこの問題については、学術誌でさらに多くのインクが費やされることは間違いなくあるだろう。陽子や電子の研究は比較的容易だ。これらの粒子は独自の意思を持たないからだ。それに比べて人間の心理学の研究は、扱われている変数の数が非常に多いため、はるかに難しい。したがって、心理学における発見は、実際にはそうでないのに、現実に見えることが非常に容易である。
愚かで自分が愚かであることに気づかない人がいるか?もちろんいる。しかし、それはダニング=クルーガー効果が扱っていたことでは決してなかった。自信過剰で無知に傲慢な人がいるか?絶対にいる。しかし、ここでも、ダニングとクルーガーは1999年に自信や傲慢さを測定したわけではない。心理学者が知っている他の効果、例えば過信バイアスや平均以上バイアス(ほとんどのドライバーが自分を平均以上だと考えているという、数学的には意味をなさないもの)がある。したがって、もしダニング=クルーガー効果が単なる蜃気楼に過ぎないと説得力を持って示されたとしても、人間の脳が無傷であるという意味ではない。そして、もし研究者たちが重い批判に直面してもこの効果を信じ続けるなら、これはダニング=クルーガー効果のパラドキシカルな例ではない。オリジナルの古典的な実験では、学生は自己評価を行う際にフィードバックを受けなかった。研究者は今、異なる立場にいると言える。
「ダニング=クルーガー効果」という言葉は、愚かさと無能さを説明するために、長年ジャーナリストや懐疑論者によって呪文のように使われてきた。その呪縛を解く時が来たのかもしれない。
持ち帰りメッセージ:
- ダニング=クルーガー効果は1999年に、ある特定のタスクが非常に苦手な人は自分が思っているよりもはるかに優れていると考えてしまう一方、非常に得意な人は自分の能力を過小評価する傾向があるという観察として最初に記述された。
- ダニング=クルーガー効果は、「愚かな人が自分が愚かであることに気づかない」とか、「無知な人が自分の知識不足に非常に傲慢で自信を持っている」ということでは決してなかった。
- この効果はランダムでコンピューター生成されたデータでも見られるため、私たちの思考における実際の欠陥ではなく、したがって実際には存在しない可能性がある。