Redditにはアストロターフィングの問題があるのか? データが示唆すること
Does Reddit have an astroturfing problem? What the data suggests (petervijeh.com)
要約
この記事は、Redditにおけるアストロターフィング(ステルスマーケティング)の可能性をデータ分析に基づいて検証しています。特定のナイフブランドに関する「購入すべきものは何か」というスレッドでの言及が、ごく一部のアカウントに偏っていることを発見し、その偏りが偶然では説明できないほど大きいことを示唆しています。これは、ブランドが意図的にサクラアカウントを使って宣伝を行っている可能性を示唆するものです。
全文翻訳
Redditにはアストロターフィング(やらせ)の問題があるか? データが示唆すること
ある包丁ブランドは、「何を買うべきか」という言及の31%がアカウントの5%から来ており、偶然予測される値の4倍に達していました。そこで、それらアカウントのRedditの全履歴をプルしました。
私は料理が好きで、料理は高級な日本のシェフナイフへのこだわりへと発展しました。ナイフ、あるいは他の何かを買いたいとき、私は製品名をGoogleに入力し、「reddit」という単語を追加します。多くの人がそうしています。Mike Riggsは2022年にReason誌でこれを「Redditハック」と書き、Dmitri BreretonのエッセイでGoogle検索が同じ点を指摘しました。末尾に「reddit」を付けたクエリは、アフィリエイトページではなく、人間からの情報を返します。この習慣の根底にあるのは、r/chefknivesの部外者はナイフについてあなたに嘘をつく理由がないだろうという考えです。
その考えには明らかな弱点があります。もしRedditがバイヤーが無料の意見を求める場所なら、Redditはブランドが有料の意見を植え付けたい場所になるでしょう。私が読んでいるナイフ関連のサブレディット、そして「New Knife Day」のためにスクレイピングしているサイトに、その兆候があるかどうかを知りたかったのです。単一の疑わしいコメントに関する憶測ではなく、数えられ、他人が再検証できるようなものです。
なぜこの問題はテスト可能なのか
昨年、私は小さな名前付きエンティティモデルであるGLiNERをファインチューニングし、ナイフのコメントからブランド、モデル、鋼材を抽出できるようにしました。「picked up a Mazaki in white #2, way better than my old Fibrox」のようなコメントから、Mazakiをブランド、Fibroxをモデル、white #2を鋼材として返します。そのモデルは、「New Knife Day」のスクレイパーが収集する6つのサブレディット(r/knives, r/knifeclub, r/chefknives, r/japaneseknives, r/FixedBladeEdc, r/KnifeSteels)のすべてのコメントに対して実行されます。そのモデルに関する記事はこちらです。
そのため、各コメントについて、誰がそれを書いたか、どのブランドに言及しているか、そしてそのスレッドが誰かが購入するものについて尋ねているものかどうかを把握しています。これは、狭い質問をするのに十分です:購入を左右する推奨が行われるスレッドで、誰が推奨しているのか?
New Knife Dayはナイフコレクターのための私のサイトです。ナイフと鋼材をカタログ化し、Redditのユーザーがどのナイフを購入し、議論しているかを追跡しています。そのため、ナイフ関連のRedditが読む価値があることに私は関心があります。New Knife Dayは new.knife.day にあります。
アストロターフィングがデータ上でどのように見えるか
誰も自分のシャリングアカウント(やらせアカウント)を公開しないため、有料投稿がどのような痕跡を残すかを事前に決定する必要がありました。その市場は隠されていません。REDCmtsは、いわゆる「本物の、古いアカウント」から、Redditのコメント1件を9.99ドル、100件を699.99ドルで販売しており、提供したとされるブランド言及のギャラリーを示しています。Soarは、そのアカウントは単一のブランド言及が行われる前に数週間かけて「古く、手動でウォームアップされている」と述べています。Bazzlyは、買い物をしているように見えるすべての投稿に自動返信する広告を出しています。
[画像: REDCmtsの価格ページ:コメント1件 $9.99、10件 $89.99、100件 $699.99]
REDCmtsの価格リスト、2026年9月。これはサービスが存在し、その価格を示しています。この記事のいかなる部分も、これ、あるいはどのベンダーも、ナイフ関連のサブレディットのどのアカウントとも関連付けていません。
[画像: Soarのマーケティングページで、ブランド言及の前にアカウントが古くされ、手動でウォームアップされていると説明されている]
Soarは、購入者が支払っているアカウントの準備について説明しています。上記の注意書きと同じです。
これらの販売ページを製品の説明として捉えると、準備されたアカウントの少数を通じて配信される、1つのブランドに対する有料キャンペーンは次のように現れるはずです:
- 「何を買うべきか」というスレッドで、ブランド言及の大部分を書き込む少数のアカウント。
- それらアカウントが、ブランドに言及するたびに、ほぼ常に1つのブランド名を挙げる。
- 薄いアカウント:コメント数が少なく、スコアが低く、サブレディットでの実質的な立ち位置がない。
- 若いアカウント、または履歴が隠されているか削除されているアカウント。
- 主にナイフ関連のサブレディットに投稿するアカウント。なぜなら、ナイフ関連のコメントが支払いの対象だからです。
- ストアまたはアフィリエイトページへのリンク。
これらのうち、どれも熱心なファン、自分の時間で投稿しているメーカーの従業員、または購入スレッドに迷い込んだブランドの常連読者が生成するものと同じです。公開されているRedditのデータは、推奨が集中していることを示すことはできますが、その理由を示すことはできません。以下のすべては、最初の半分に関するものです。
コーパスと、回答を変えたリフレッシュ
スクレイパーは、投稿後すぐに新しい投稿とそのコメントを保存します。この質問にとっては、それは間違ったタイミングでした。「何を買うべきか」というスレッドは、その後の1日か2日で推奨を集めますが、r/knivesの投稿には平均1.5件の保存されたコメントしかありませんでした。リフレッシュパスは、48時間以上前の3,607件の投稿に戻り、それらのコメントツリーを再取得しました。これにより、コーパスは21,673件のコメントから51,129件に増加しました。リフレッシュ前は、テストは何も見つけられませんでした。なぜなら、約800件の購入スレッドでの言及は、7.6%と、偶然が与える7.1%を区別するには少なすぎたからです。
| 件数 | |
|---|---|
| 投稿数 | 6,675 |
| リフレッシュ後のコメント数 | 51,129 |
| 10件以上のコメントを持つ著者 | 987 |
| 購入スレッドでのブランド言及(10件以上のコメントを持つ著者から) | 1,471 |
3つの定義がこの作業を行います。「何を買うべきか」というスレッドとは、タイトルまたは本文が「should I buy」、「recommend」、「under $」、「best knife」のようなフレーズに一致する投稿です。これは分類器ではなく正規表現です。著者のブランドへの偏りは、その著者のコメントのうちブランド名を挙げているものの割合であり、同じブランドを毎回挙げることに重きを置いています。987人の著者の中でコメント数が10件以上のうち上位5%は49アカウントであり、この記事の残りの部分ではこれを「ブランドロイヤルアカウント」と呼びます。私はこのようにスコアリングします。なぜなら、同じブランドを繰り返し持ち出すアカウントは、上記のベンダーが販売している製品だからです。
質問は、偶然、コメントの投稿量に応じて、49のブランドロイヤルアカウントが「何を買うべきか」というスレッドでの言及の何パーセントを書き込むかということです。その数を取得するために、スレッド内であり、ブランド名を挙げているすべてのブランド言及を保持し、著者名をランダムに再割り当てします。多作なアカウントは多くの言及を得て、静かなアカウントはわずかしか得ませんが、どのアカウントがどのスレッドに登場するかは、もはやそのアカウントが誰であるかに依存しません。私はこれを1,000回行い、毎回49アカウントのシェアを記録します。実際のシェアが、それら1,000回の再割り当てが生成する範囲内にある場合、それらはコメント数で説明されるよりも購入スレッドに集中しているわけではありません。もしそれが範囲を上回る場合、それらは投稿量で説明されるよりも頻繁に購入スレッドに登場します。著者は全体にわたってソルトハッシュ化されており、ユーザー名やコメントテキストはデータベースから出力されません。
データが支持するもの
ここに1つの例でのテストがあります。購入スレッドでの1,471件のブランド言及を取り出し、著者名をランダムに再配布します。これにより、忙しいアカウントは多くの言及を得て、静かなアカウントはわずかしか得られなくなります。これを1,000回行います。平均して、49のブランドロイヤルアカウントは言及の7.9%を獲得し、100回の取引のうち95回でそのシェアは6.3%から10.1%の間に収まります。
実際のシェアは11.3%です。1,000回の取引のうち、2回しかそれに達しませんでした。件数で言うと、約13件に1件が偶然から来るのに対し、これらの49アカウントからは約9件に1件が購入スレッドの推奨から来ています。これは、1,471件の言及のうち約50件の追加推奨です。
ブランド重視の5%からはどのくらいの購入アドバイスが来るか ブランド重視の5%からはどのくらいの購入アドバイスが来るか 「何を買うべきか」というスレッドでのブランド言及のシェア(49のブランドロイヤルアカウントによる) 0% 5% 10% 15% 20% 25% 30% 35% 全6サブレディット 11.3% n=1471 r/knives 6.7% n=496 r/chefknives 14.9% n=475 r/knifeclub 12.4% n=274 r/japaneseknives 15.2% n=132 r/FixedBladeEdc 8.5% n=94 ブランドB001 20.4% n=147 ブランドB004 26.1% n=115 ブランドB003 31.2% n=77 ブランドB002 8.1% n=74 偶然による予測:1,000回のランダムな著者再割り当てからの平均から95パーセンタイルまで、95パーセンタイルの上 n = 10件以上のコメントを持つ著者による購入スレッドでのブランド言及。ブランドはコード化されています。偶然の確率は1,000回のランダムな著者再割り当てから来ています。
追加のシェアがどこに着地するかが、そのサイズよりも重要です。もしナイフ関連のReddit全体が操作されているなら、すべてのサブレディットが偶然を上回るはずです。2つ、r/chefknivesとr/knifeclubがそうです。最も大きいr/knivesは、偶然から0.5ポイント以内に収まっています。有料キャンペーンは1つのブランドによって購入されるため、ブランドごとにも現れるはずであり、実際その通りです。3つのブランドは、偶然が与えるよりもはるかに多くの購入アドバイスをブランドロイヤルアカウントから受けており、1つの大きなブランドはわずかに少なく、3つは全く受けていません。これは、少数のターゲットキャンペーンが残すであろう形状であり、少数の声の大きいファンベースが残すであろう形状でもあります。
| 購入スレッドでのブランド言及 | 49のブランドロイヤルアカウントからのシェア | 偶然によるシェア |
|---|---|---|
| r/chefknives | 14.9% | 7.7% |
| r/knifeclub | 12.4% | 7.3% |
| r/knives | 6.7% | 6.4% |
| r/japaneseknives | 15.2% | 14.3% |
| r/FixedBladeEdc | 8.5% | 8.7% |
| ブランドB003、シェフナイフブランド | 31.2% | 8.0% |
| ブランドB004 | 26.1% | 8.2% |
| ブランドB001、r/knivesで最も言及されるブランド | 20.4% | 11.8% |
| ブランドB002 | 8.1% | 9.5% |
ブランドはコード化されています。なぜなら、集中度統計はどのブランドも何かを支払ったという証拠ではなく、最も強いシグナルを持つブランドは、大きくて声の大きいファンベースも持っているからです。
コーパスデータ上では、ブランドロイヤルアカウントは上記の予測のうちさらに2つに一致します。アカウントは薄いです:これらの6つのサブレディットでの中央値コメント数は12件、中央値スコアは1であり、誰も彼らをアップボートして目立たせているわけではありません。彼らは1つのブランドに忠実です:アカウントのブランド言及の3分の2は同じブランドに向けられています。これは6つの予測のうち3つであり、コーパスがテストできるすべてです。年齢、ナイフへの集中度、ストアへのリンクは、各アカウントのRedditの全履歴を必要とします。
Redditの全履歴は普通に見える
シグナルを持つ3つのブランドの背後にいる23のアカウントを取り出し、Redditが各アカウントについて返せるすべて(約2,000件のコメントと投稿、アカウント作成日、カルマ)を取得しました。比較のために、同じコメント数範囲からランダムに選ばれた、同じコーパスの10件以上のコメントを持つ他の23のアカウントと比較しました。8つのブランドロイヤル履歴と7つの比較履歴は隠されているか、停止されているか、削除されていました。残りは読み取り可能でした。
Redditの全履歴:ブランドロイヤルアカウント vs 比較アカウント Redditの全履歴:ブランドロイヤルアカウント vs 比較アカウント B001、B003、B004の背後にいる23のブランドロイヤルアカウントと、同じ10〜102コメント範囲から抽出された23の通常アカウントとの比較 アカウント年齢(年) 0〜8年 ロイヤル 4.5年 コントロール 4.5年 Redditでのコメント数(最大1,000件取得) 0〜2000件 ロイヤル 1250件 コントロール 1700件 コメントしたサブレディット数 0〜140件 ロイヤル 66件 コントロール 47件 6つのナイフサブレディットでのコメント数(%) 0〜40% ロイヤル 3.2% コントロール 10.3% 全履歴で言及されたナイフブランド数 0〜16件 ロイヤル 7件 コントロール 12件 コメントにストアリンクが含まれる割合(%) 0〜4% ロイヤル 0.3% コントロール 0.2% 点 = 中央値、帯 = アカウントの中間50% 読み取り可能な履歴を持つ15のブランドロイヤルアカウントと16のコントロールアカウント。p < 0.05(Mann-Whitney)でグループを分離する特徴はありません。8つのブランドロイヤルプロファイルと7つのコントロールプロファイルは履歴を隠しています。
準備された有料アカウントは若いべきであり、支払われたサブレディットに主に投稿し、1つのブランドを推進するはずです。ブランドロイヤルアカウントは中央値で4.5歳であり、比較アカウントと同じです。それらのコメントのわずか3%が6つのナイフサブレディットでのものであり、比較グループの10%と比較して、そして66のサブレディットに広がり、比較グループの47よりも多いです。全履歴を通して、それらは1つのブランドではなく、7つのナイフブランドに言及しています。ストアリンクは両方のグループでまれです。
私は合計で約2ダースの特徴を比較しました。15と16の読み取り可能なアカウントで、違いは31人を2つのランダムなグループに分けた場合にしばしば生じるものを超えるものはありませんでした。そして、どちらかに傾くものは、ブランドロイヤルアカウントがナイフにあまり焦点を当てていない方に傾きます。
それは、ウォームアップされ、単一目的のアカウントの外見ではありません。それは、Redditを頻繁に利用し、1つのナイフメーカーについて強い感情を持っている人の外見です。それはまた、うまく運営された有料アカウントの外見でもあり、ベンダーが新鮮なアカウントではなく古いアカウントを販売する理由です。隠された8つのブランドロイヤル履歴には、全体の物語が含まれている可能性があり、私はそれらを読むことができません。
この手法では捉えられないもの
この記事の最初のバージョンに関するHacker Newsのスレッドでは、記事がまだ回答していなかった5つの点が挙げられました。それらのほとんどについて彼らは正しく、このセクションはそれぞれに回答します。スレッドはこちらです。
- 購入された古いアカウント。何人かのコメンターは、長い多様な履歴を持つ古いアカウントがバルクで数セントで売られていると指摘しました。全履歴の比較は、それらを個人と区別できません。「履歴は普通に見える」は、安価な新しいアカウントを排除するだけで、それ以上のことはありません。
- モデレーター。コーパスは、モデレーションを生き残ったコメントのみを保持します。1つのブランドへの批判を削除したり、ある販売者の投稿を承認したりするモデレーターは、それに痕跡を残しません。
- 投票。ここでは何もアップボートをテストしません。購入された有料コメントがアップボートされた場合、この手法ではそれを稼いだものと同じように見えます。
- テスト対象となる既知のシャラーがいない。この手法は、有料であることが知られているアカウントに対して実行されたことがないため、どれだけの有料アカウントを見逃しているか誰も知りません。それを知る方法は、私が運営するサブレディットにいくつかのコメントを購入し、テストがそれらをフラグを立てるかどうかを確認することです。私はそれをしていません。
- 「結果はどれも有意ではない」。これはアカウント履歴の比較には真実ですが、主な結果には当てはまりません。1,471件の購入スレッド言及全体で、1,000回のランダムな取引のうち2回が実際のシェアに達しました。ブランドごとおよびサブレディットごとの行は、一度に多くのテストであり、そのうちの1つか2つは運である可能性があります。
もう1つの訂正。最初のバージョンの最後の実用的なチェックでは、見慣れないアカウントの履歴にクリックして確認するように指示されていました。Redditは現在、どのアカウントも履歴を隠すことができるようになり、多くの人がそうしているため、そのチェックはしばしば空白のページを表示します。
短所
- ブランド検出器は、以前の記事で説明したナイフチューニングされたモデルではなく、標準のGLiNERモデルです。なぜなら、そのリポジトリはウェイトなしで出荷されたからです。一部のブランドを見逃し、一部のモデル名を過剰にタグ付けします。このコーパスに対する出力の手動ラベル付けチェックはまだ存在しません。
- 「購入スレッド」は、タイトルと本文に対する正規表現です。これも100件の手動ラベル付けされたスレッドに対してチェックされていません。どちらのチェックも安価であり、私はそれを行っていません。それまで、上記のすべてのパーセンテージは機械ラベルのパーセンテージです。
- ブランドロイヤルグループは49アカウントであり、ブランドごとの結果はそれらのうち15〜20件に基づいています。NERにおける1つのブランドモデルの誤検出が、ブランドごとの行を移動させる可能性があります。
- 私は8つのブランドと6つのサブレディットをテストしました。これだけのテスト数があると、1つか2つは運によって異常に見えるでしょう。全体的な11.3%の結果は単一のテストであり、その問題はありません。
- 比較アカウントは、ブランドロイヤルアカウントのコメント数範囲から抽出されたものであり、アカウントごとにペアリングされたものではありません。それらはコーパスで中央値23件のコメントを持ち、ブランドロイヤルアカウントの13件と比較して、よりナイフに焦点を当てているように見えるはずですが、実際にはそうではありません。
- 履歴は、Redditのリスト表示が返す最大値、約2,000件のコメントに制限されています。キャップを超えたアカウントの場合、最初のナイフコメントの年齢は不明であり、空白として残されます。
- Redditのリスト表示は、サブレディットごとに約1,000件の投稿で停止するため、キッチン関連のサブレディットは約1年をカバーし、r/knivesとr/knifeclubはリフレッシュ前の数週間のみをカバーします。これは6つのサブレディットであり、Reddit全体ではありません。
- 私が運営するNew Knife Dayは、このコーパスがカウントするのと同じブランドを追跡しています。私はデータ内のどのブランドとも関係がなく、それを証明する方法もありません。
私がそこから得るもの
ナイフの検索に「reddit」を追加しても、ほとんどの場合、人間からの情報が得られます。数ブランドについては、購入アドバイスの4分の1から3分の1が、そのブランドを主に推奨するアカウントから来ています。それらがファンなのか、それとも有料なのかは分かりません。そして、それらの履歴を読んだ後、私はファンである方に傾いており、その傾きは緩やかに保っています。
実用的なチェックは、データが支持するものです。ナイフの推奨が、認識していないアカウントから来た場合、クリックして、それが以前に別のブランドに言及したことがあるかどうかを確認してください。このコーパスでは、その1つの質問が、カルマよりもブランドロイヤルアカウントを他のすべてからより良く分離します。隠された履歴では失敗し、購入された古いアカウントからの有料コメントを捉えることはできません。読者ができることなら何でも、私はできないと思います。
コード、匿名化されたデータ、およびチャートは、以下にリンクされている公開リポジトリにあります。ユーザー名、コメントテキスト、アカウント履歴、およびブランドコードキーは公開されておらず、公開されることもありません。
一目でわかる
質問
ナイフ関連サブレディットの「何を買うべきか」というスレッドは、有料投稿が残すであろう集中度を示しているか?
アプローチ
6つのサブレディットからの51,129件のコメントに対するGLiNERブランドタグ、偶然を推定するための著者の1,000回のランダム再割り当て、その後、23のブランドロイヤルアカウントと23の比較アカウントのReddit全履歴
結果
ブランドロイヤルアカウントは、購入スレッドでのブランド言及の11.3%を書き込んでおり、予測される7.9%を上回っています。それらの全履歴は平均4.5歳であり、比較グループよりもナイフに焦点を当てているわけではありません。
表示されていないもの
支払い、調整、またはブランドB003がどれであるか