オンライン選択式調査における偽回答者への簡単な解決策はない

レポート | 2026年8月27日 オンライン選択式調査における偽回答者への簡単な解決策はない 3つのスクリーニング方法のテストでは、有権者ファイル照合は有効なケースを除外することでエラーを増加させた X Facebook Threads LinkedIn WhatsApp Mail Googleでフォロー アンドリュー・マーサー著 目次 オンライン選択式調査における偽回答者への簡単な解決策はない 付録：偽回答者とは何か？ 方法論 謝辞 この研究について この研究は、偽回答者が選択式調査に与える影響を測定するために設計されました。また、偽回答者を特定し、削除するための3つの方法を比較しています。1) トラップ質問（「注意チェック」とも呼ばれる）の使用、2) CloudResearchが所有するSentryプレスクリーニングシステム、3) 回答者を有権者ファイルと照合することです。 なぜこれを行ったのか？ ピュー・リサーチ・センターは、一般市民、メディア、意思決定者が重要なトピックを理解するのを助けるために、質の高い調査を行っています。私たちの方法論に関する研究は、選択式調査における偽回答者の影響に関する過去の研究を含め、調査業界が現在直面している課題を調査しています。ピュー・リサーチ・センターとその方法論に関する研究についてさらに学ぶ。 どのように行ったのか？ 2024年11月14日から19日にかけて、11,114人の米国成人回答者を対象に、大規模なオンライン選択式調査を実施しました。氏名と連絡先情報を提供することに同意した回答者は、調査終了後に登録有権者ファイルと照合されました。偽のケースを削除するための各アプローチが、3つのデータ品質指標にどのように影響したかを評価しました。「はい」回答（質問内容にかかわらず同意する傾向）、2) 開放型テキスト回答の質、3) 回答順序効果です。また、スクリーニング方法が2024年大統領選挙における投票率と投票選択の推定値に実質的にどのように影響したかも調査しました。 このレポートで使用された質問は以下の通りです。調査方法論。 オンライン選択式調査における最も差し迫った問題の1つは、偽（または不正な）回答者です。これらは、質問に真実を回答しようとせず、単に調査を迅速に完了して報酬を得ることを目的とする調査回答者です。この脅威に対抗するため、研究者は偽のケースを特定し、調査サンプルから削除するためのさまざまな方法を開発してきました。アプローチには、1) 正直な回答者は常に正しく回答すべき「注意チェック」とも呼ばれるトラップ質問、2) 自動化されたプレスクリーニングサービス、3) 回答者を有権者ファイルと照合することなどが含まれます。しかし、これらはどれほどうまく機能するのでしょうか？ピュー・リサーチ・センターによる新しい研究によると、以下のことが判明しました。 全体として、偽のケースを削除するとほとんどの指標でエラーが減少しますが、確実な解決策は依然として見つかっていません。選択式サンプルを有権者ファイルと照合すると、主に有効な回答者（例：氏名や住所の提供を単に拒否した回答者）を除外することで、エラーがわずかに増加しました。トラップ質問と自動化されたプレスクリーニングサービスは同様に機能し、データ品質をいくらか向上させました。これら3つのアプローチはすべて、2024年選挙における民主党支持の過大評価をわずかに増加させました。これは、体系的な党派的偏見によるものではなく、偽回答者が（この場合は共和党のドナルド・トランプである）当選候補者に投票したと述べる傾向によるものと思われます。選択式サンプルを有権者ファイルと照合することは、回答者の投票履歴に関するデータを提供するなど、他の目的にも役立つ可能性があります。この研究は、偽のケースを削除するための効果的なツールであるかどうかのみに焦点を当てています。 すべての調査に偽回答者がいますか？ いいえ。偽回答者は主に、オンライン広告、自己登録、メールリストなどの方法で募集されるオンライン選択式調査にとって脅威となります。ランダムサンプリング（例：ピュー・リサーチ・センターのアメリカン・トレンド・パネル）を使用してオフラインで募集される調査は、他の課題に直面するものの、一般的にこの脅威から免れています。 関連：AIと偽回答者は調査の将来を脅かすのか？ 偽回答者を削除する方法 センターの研究者やその他の研究者による調査では、「スピード違反者」（調査を速すぎるペースで完了する人）や「直線回答者」（常に同じ回答選択肢を選ぶ人、例：常に最初の回答オプションを選ぶ人）のような標準的なデータ品質チェックでは、ほとんどの偽回答者を検出できないことがわかっています。多くのトラップ質問や注意チェックも同様で、偽回答者を検出できないだけでなく、正当な回答者を混乱させ、偽陽性を引き起こす可能性があります。これらの課題に直面し、調査担当者は偽回答者をより良く特定するために、さまざまな新しいアプローチを開発してきました。この研究では、そのような3つのアプローチを評価します。 ありえない行動に関するトラップ質問 大手詐欺検出企業による自動化されたプレスクリーニング 商用有権者ファイルへの回答者の照合 トラップ質問 偽回答者を特定する難しさの1つは、ほとんどの質問に対して、回答者が真実を回答したかどうかを知る方法がないことです。この問題を回避するために、真実の答えが「いいえ」であるとほぼ確信できる4つの活動に従事したことがあるかどうかを回答者に尋ねました。このスクリーニング手順の下では、これらの質問の1つ以上に「はい」と回答した回答者は偽であるとコード化されました。これらの質問は、勤勉な回答者が混乱しないように設計されており、偽回答者が特定のグループを対象とした調査の対象となる資格を得ようとしたり、ランダムに回答したりする際に「はい」と回答する可能性が高くなるように設計されていました。 具体的には、6つの異なるソーシャルメディアプラットフォームのうち、架空のプラットフォームであるFizzypressを使用したことがあるかどうかを尋ねました。また、2020年に廃止された実在の政府機関である米国鉄道管理局（USRA）からの支払いを含む、6つの異なる政府給付金のいずれかを受給したことがあるかどうかを尋ねました。これら2つは調査の早い段階で尋ねられ、特定の種類のソーシャルメディアプラットフォームのユーザーや特定の種類の給付金の受給者を探すスクリーニング質問に似るように意図されていました。全サンプルの中で、6%がFizzypressを使用したと回答し、9%がUSRAからの支払いを受給したと主張しました。調査の後半で、国際宇宙ステーションを訪問したことがあるかどうかを尋ねました。10%が「はい」と回答しました。最後に、米国沿岸警備隊が現在も運用しているものが1隻しかない、過去に2隻しか建造されなかった極地クラスの砕氷船に乗船したことがあるかどうかを尋ねました。8%が肯定的に回答しました。合計1,963件（18%）が、これらのトラップ質問の1つ以上に「はい」と回答し、偽であるとフラグが立てられました。 自動化されたプレスクリーニング CloudResearchの独自のSentryプレスクリーニングシステムは、調査を開始する前に問題のある回答者を自動的に特定するように設計されています。潜在的な回答者が最初に調査招待リンクをクリックすると、Sentryプラットフォームにルーティングされ、はい回答や不注意な回答のような問題のある調査回答行動を誘発するように設計された短い一連の質問が尋ねられます。開放型回答は、質問に適切に応答しているか、または自動プロセスを介して他のソースから貼り付けられたものではないかを確認するためにチェックされます。このシステムは、回答者が技術的な手段で自分自身を偽っている兆候がないか、回答者のデバイス、場所、ブラウザに関するメタデータを使用して受動的なチェックも実行します。これらのチェックを通過した回答者は、調査を受けるためにルーティングされます。通常、失敗した回答者はメイン調査に転送されませんが、この研究では、プレスクリーニングチェックに失敗したために終了された回答者はいませんでした。失敗したケースとその理由に関するメタデータを使用して、それらが最初に除外された場合に調査結果がどうなったかをシミュレートしました。この手順の下で、5,369件（完了した全件のほぼ半分）が少なくとも1つのプレスクリーニングチェックに失敗し、そのうち1,879件（失敗したケースの35%）は複数のチェックに失敗しました。失敗したケースの70%が問題のある開放型回答をしており、これが圧倒的に最も頻繁に失敗したチェックでした。これに続いたのは、はい回答（47%）、不注意（12%）、重複IPアドレス（10%）でした。これらのケースの7%が不正行為のチェックに失敗し、わずか1%でした。