影響力のある先延び研究における不正の証拠

Psychological Science誌に掲載された新しい論文は、ArielyとWertenbrochによる影響力のある論文「Procrastination, Deadlines, and Performance: Self-Control by Precommitment」の研究2の再現失敗を報告しています。2002年にPsychological Science誌に掲載されたオリジナルの研究では、各タスクに個別の外部締め切りが設けられている場合、人々は自分で締め切りを設定した場合や、すべてのタスクに単一の最終日締め切りがある場合よりも、タスクのパフォーマンスが向上することが発見されました。この論文は大きな影響を与え、多くの経済学および心理学のコースで必読とされ、Google Scholarで2,100件以上の引用があります。この論文がこれほど影響力があったため、なぜ再現できなかったのかを理解するために、オリジナルの研究を詳しく調べる価値があります。私たちはそうしました。この投稿 — そして次の投稿 — は、私たちが発見したことについてです。 *** 約20年前、2006年4月20日に、 forthcoming の再現実験の著者の一人であるKyle Hyndmanは、[email protected]から送信された電子メールでオリジナルのデータファイルを受け取りました[1]。そして約3年前、2023年8月9日に、Francesca Ginoが私たちを2500万ドルで訴えてから1週間後、Hyndmanから突然の電子メールを受け取り、彼はそのファイルを私たちに送ってきました。私たちはデータの簡単な分析を行い、その後Hyndmanと彼の共著者であるAlberto Bisinと会話しました。その会話の中で、彼らは再現実験を行うと私たちに伝え、私たちは訴訟で忙しかったため、それ以上のことはしませんでした。最近、彼らの再現実験がPsychological Science誌で発表されることを知りました。そして、彼らの論文の注釈14を読むと、次のことも知りました。 . . . 2024年10月、編集者の依頼により、Dan Arielyに、彼らの研究2とされるファイルの内容の分析を共有し、論文にその概要を含める許可を求めました。Dan Arielyは、私たちが受け取ったファイルは実際のデータではない可能性があると主張するなどして、その要求を拒否しました。彼はその後、オリジナルの論文からの追加データを提供しませんでした。このため、私たちはこの論文に戻り、2つの主要な研究のオリジナルのデータを完全に分析することになりました。私たちは、研究1と研究2のデータが改ざんされたと結論付けています。2つの投稿で、この結論に至った証拠を提示します。今日の投稿は、再現に失敗した研究（研究2）に焦点を当て、次の投稿は研究1についてです。データが改ざんされたという私たちの評価は、投稿で提示された分析に完全に基づいています。読者は証拠を確認し、自身の結論を導き出すことができます。私たちの知る限り、Klaus Wertenbrochは、いずれかの研究のデータにアクセスしたことは一度もありません。そして、私たちがアクセスできたのは彼の 덕분だと信じています。Kyle Hyndmanが2006年に著者たちに連絡を取ったとき、Klausは次の電子メールで返信しました[2]： 私たちのResearchBoxには、この投稿のすべての結果を再現するためのデータとコードが含まれています。最後に、数週間前にこれらの投稿をArielyとWertenbrochと共有した際、彼らはPsychological Science誌に記事の撤回を要請したことを指摘しておくべきです。本稿執筆時点では、そのプロセスは進行中です。 再現に失敗した研究：ArielyとWertenbroch（2002）の研究2 前述のように、ArielyとWertenbrochは締め切りがパフォーマンスにどのように影響するかを調査しました。人々が複数のタスクをこなす必要がある状況で、著者らは、すべてのタスクが最終日までに完了するという状況よりも、各タスクに均等に分散された締め切りがある方が、人々はより良くパフォーマンスを発揮すると仮説を立てました。実験では、インセンティブ付きの校正タスクが含まれていました。各参加者は、それぞれ100個の「文法およびスペルミス」を含む3つの10ページドキュメントを受け取りました（p. 222）。参加者は、それらのミスを見つけて修正するタスクを与えられました。60人の参加者が3つの条件のいずれかにランダムに割り当てられ、各条件に20人の参加者がいました： 条件1。均等に分散された締め切り。毎週1つのドキュメントが締め切りとなり、7日、14日、21日後でした。 条件2。自分で締め切りを設定する。参加者は自分で締め切りを設定しました（21日以内）。 条件3。最終日締め切り。3つのドキュメントすべてが最終日（21日目）に締め切りとなりました。 結果は、著者らの仮説を完璧かつ強く支持しました。均等に分散された締め切りを与えられた参加者は、パフォーマンス、遅延、および収入の点で、はるかに優れた結果を示しました[3]。 オリジナルのデータはありますか？ 念のため申し上げますが、2023年にHyndmanは、2006年に[email protected]から受け取ったファイル私たちに送ってきました。そこには3つのExcelファイルがありました — パイロット研究、研究1、研究2のデータ — いずれもファイルプロパティには、データが「最終保存者」が「Dan Ariely」であると示されていました。これらのファイルを使用して、上記の図に示されている9つの平均値と9つの標準誤差すべてを再現することができました。これは、この注釈で視覚的に示されています：[4]。また、本文で報告されている他の6つの平均値も正常に再現できました[5]。 赤信号 私たちの分析では、4つの主要な赤信号を特定しました。それぞれについて順に説明します。 赤信号#1：効果が大きすぎる 上記に再掲載した図に示すように、ArielyとWertenbrochは、サンプルサイズが条件あたりわずか20であるにもかかわらず、3つの従属変数すべてについて完璧な結果パターンを報告しています。効果も大きいです。極端に、ありそうもないほど大きいです。校正パフォーマンスの結果を考えてみましょう。均等に分散された締め切りを持つ参加者は平均136.1回の修正を行いましたが、最終日締め切りを持つ参加者は平均71.1回の修正しか行わず、半分以下でした。この効果のCohen's dは2.5であり、条件の平均値が2.5標準偏差離れていることを示しています。実験条件と修正回数の相関はr = .79です。この効果がどれほど大きいかを理解するために、他の効果サイズとの文脈で考えてみましょう。d = 2.5の効果サイズは、日常的に目にする明らかな効果よりも大きく、肉眼でも容易に確認できます。例えば、性別が身長に与える影響（男性の方が背が高い：d ≈ 1.8）や、靴の所有数に与える影響（女性の方が靴を多く所有する：d ≈ 1.2；Colada[18]参照）よりも大きいです。また、操作チェックよりも大きい効果です。例えば、PettyとCacioppo（1984）は、9つの議論を含むメッセージにさらされた参加者は、3つの議論を含むメッセージにさらされた人々よりも多くの議論に遭遇したと述べたと報告しています。これは真実でなければなりません。そしてそれは真実でしたが、d = 1.49の範囲内でした[6]。締め切りが校正パフォーマンスに与える影響が、議論の数が議論の認識に与える影響よりも強いとは考えにくいです。2.5以上の効果サイズは不可能ではありません — 操作チェックで観察されることもありますが — 非自明な心理学的発見、特にノイズが多く、人によって大きく変動しやすい校正エラー検出のような尺度では、極めてまれです。この効果の巨大さを理解するもう一つの方法は、条件間の従属変数の分布を見ることです。下の図は、それらがほとんど重ならないことを示しています。例えば、最終日締め切り条件では100回以上の修正を行った人はいませんでしたが、均等に分散された締め切り条件の参加者の90％がそうでした。 赤信号#2：重複した観測値 図2を見て、「待てよ、なぜこんなに多くの赤いバーに2が付いているんだ？」と思ったなら、それは良い発見です。それは奇妙です。2は、3つのタスク全体でまったく同じ総修正回数を見つけた人々を表しています。しかし、実際にはもっと奇妙です。これらの参加者は、合計の修正回数だけでなく、3つの個別の校正タスクごとに同じ数の修正を行いました。以下は、元のデータファイルのスナップショットで、見やすくフォーマットされ、ソートされています： 最終日締め切り条件の20人の参加者のうち18人が、同じ総修正回数を見つけていることがわかります。