HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIに2日間連続で同じ210の購買に関する質問を投げかけた結果、84%の回答が変化した

We asked AI the same 210 buying questions 2 days in a row,84% of answers changed (supercite.ai)

19 pointsby avatar9926 コメント

要約

AIが購買に関する質問に答える際、回答の一貫性が低いことが明らかになりました。同じ質問を2日間連続で投げかけたところ、84%の回答で異なるブランドが提示され、AIが参照するウェブページも日々変動することが示されました。この結果は、AIによる推薦の信頼性や、企業がAI検索での可視性を高めるための戦略に影響を与えます。

全文翻訳

同じ210の質問を2日間連続でAIに尋ねた。回答の84%が変化した

昨日、AIの製品レコメンデーションは主に「ベストX」リストから来ていることを示しました。最もよく寄せられた質問は単純なものでした。「回答は同じままなのか?」

そこで、私たちは再び尋ねました。同じ210の質問、同じ4つのエンジン、同じ設定で、1日後に。そして、前日の回答と各回答を比較しました。

ほとんどが変化しました。

一晩で回答が変化した数

84% 839件中701件

翌日消えたブランド

27% 1日目に名前が挙がり、2日目には消えた

翌日も挙げられた#1のピック

90% しかし、依然として#1だったのは63%のみ

小規模ブランドが維持した順位

51% カテゴリーリーダーは73% vs

短いバージョン

  1. 回答の84%で、翌日異なるブランドのセットが提示されました。 Geminiでは95%でした。
  2. 1日目に名前が挙がったブランドの27%が、2日目には消えました。
  3. トップの順位は比較的安全です。 #1にランク付けされたブランドは、90%の確率で翌日も名前が挙がりましたが、#1のままであったのは63%に過ぎませんでした。
  4. 下位では、コイン投げに近い状況です。 6位以下のブランドは、61%の確率で再び名前が挙がりました。小規模ブランドはわずか半分の順位しか維持できませんでした。リーダーは73%を維持しました。
  5. AIが読み取るページはさらに速く変化します。 引用されたページの42%しか、翌日も同じではありませんでした。

したがって、「ChatGPTは私たちを推薦してくれるか?」という単一のチェックは、あまり多くのことを教えてくれません。明日尋ねれば、反対の答えが得られるかもしれません。

1つの質問、2日間

ここに実際の例があります。Google AI Modeに「一度も使ったことのないチームにとって、最も簡単なCRMは?」と尋ねました。

Google AI Mode、同じ質問、1日違い「一度も使ったことのないチームにとって、最も簡単なCRMは?」

11月17日

  1. Less Annoying CRM #1、「飾り気のないシンプルさ」翌日消えた
  2. Pipedrive
  3. monday CRM
  4. HubSpot CRM
  5. Streak for Gmail teams

AIが読んだもの

  • zapier.com: 「中小企業向けの最高のCRM 11選」

11月18日

  1. HubSpot CRM #1、「最も簡単」#4だった
  2. Pipedrive
  3. Streak for Gmail teams
  4. monday CRM
  5. Trellonew

AIが読んだもの

  • slack.com: 「シンプルなCRMとは?」
  • hubspot.com: HubSpot自身のCRMページ

1日目、Less Annoying CRMは最初の選択肢で、「飾り気のないシンプルさ」として挙げられました。AI Modeは1つのページを読んで回答していました:Zapierのベスト中小企業CRMリストです。

2日目、Less Annoying CRMは全く言及されませんでした。HubSpotが最初でした。今回はAI Modeが2つの異なるページを読んでいました:Slackのブログの記事とHubSpot自身の製品ページです。

CRM自体は一晩で何も変わりませんでした。変わったのは、エンジンがたまたま読んだページです。ページを入れ替えれば、答えも入れ替わります。

それが数字の背後にあるパターンです。AIの回答は固定されたランキングではありません。毎回新たに選ばれる、いくつかのページの要約なのです。

今日のあなたの順位が明日を予測する

すべてのブランドが同じように動くわけではありません。ブランドが回答の中で上位にランク付けされるほど、翌日も名前が挙がる可能性が高くなります。

翌日再び名前が挙がった数、1日目の順位別

#1 90%

#2–3 79%

#4–5 66%

#6以下 61%

同じ質問、同じエンジン、11月17日 vs 18日。5,072件のブランド言及に基づく。

そのカテゴリーで多くの回答に登場するブランドは、順位の73%を維持しました。あまり登場しないブランドは51%を維持しました。この差は理にかなっています:リーダーはAIが読むほとんどのページに登場するため、どのページを選んでもリーダーはそこにいます。小規模ブランドは数ページにしか登場しません。エンジンが他のページを選ぶと、小規模ブランドは脱落します。

もしあなたがリーダーでないなら、これが重要な部分です。あなたの可視性は、その日エンジンがどのページを読むかに依存します。それを安定させる方法は、より多くのページに掲載されることです。

各エンジンは異なる動きをする

ChatGPTGeminiAI OverviewsAI Mode
回答が変化した88%95%67%84%
翌日消えたブランド23%33%24%28%
2日間同じ#1ブランド71%57%66%58%
引用された同じページ40%41%47%39%

Geminiが最も変化しました。質問の95%で、翌日ブランドリストが異なり、名前を挙げたブランドの3分の1を落としました。Google AI Overviewsは最も変化が少なかったですが、それでも3件中2件の回答が動きました。

ChatGPTは、最初のピックに対して最も忠実でした:同じ#1ブランドが71%の時間でした。これは昨日見たことと一致します。ChatGPTはしばしば、何かを読む前に短いリストを記憶から取り出すため、トップピックは当日のページ検索にあまり依存しません。

ブランドよりもページの方が速く変化する

1日目に引用されたページのうち、2日目にも引用されたのはわずか42%でした。ブランドはそれよりも安定していました(61%の重複)、主に同じリーダーが多くの異なるページに登場するためです。

これは2つの調査を結びつけます。昨日、推薦されたブランドの90%がエンジンが引用したリストに載っていることを発見しました。今日、引用されたリストのセットが毎日ローテーションしていることがわかりました。まとめると:

  • 1つのリストに載っていることで、いくつかの回答に登場できます。
  • 多くのリストに載っていることで、ほとんどの回答に登場できます。 エンジンがどのリストを読んでも、あなたはそこにいるからです。

カテゴリーによっては変動が大きいものと小さいものがある

最も安定同じブランド同じ#1
会計ソフトウェア79%93%
VPN75%75%
旅行保険69%53%
最も不安定同じブランド同じ#1
AI検索可視化ツール48%52%
マットレス51%56%
ランニングシューズ53%33%

会計ソフトウェアはほとんど動きませんでした。QuickBooks、Xero、Wave、FreshBooksは、どのエンジンでもほとんどの回答に登場するため、変化の余地はほとんどありません。

最も不安定なカテゴリーは私たち自身のカテゴリーでした:AI検索可視化ツールです。これは理にかなっています。多くの若い企業があり、確立されたリストのセットがない新しいカテゴリーです。ランニングシューズは最も不安定な#1を持っていました:トップピックは3回の質問中2回変化しました。

あなたにとっての意味

単一のチェックを信頼しないでください。 あなたを推薦している、あるいは無視しているChatGPTのスクリーンショットは、1つのサンプルです。回答の84%は1日で変化しました。同じ質問を何度も繰り返し、どれくらいの頻度で登場するかを見る必要があります。

「はい」か「いいえ」ではなく、シェアを測定してください。 単一の回答では約6ブランドが名前を挙げられました。同じ質問に対する8つの回答(4つのエンジン、2日間)全体で、14の異なるブランドが登場しました。そのうち30%は一度しか名前が挙げられませんでした。質問あたり約2ブランドしか、8つすべてで名前が挙げられませんでした。有用な数字は、多くの回答でどれだけ名前が挙げられているか、そしてその数字が上昇しているかどうかです。

リーダーでない場合は、より多くのページに掲載されましょう。 小規模ブランドは半分の時間で脱落しました。修正策は、昨日の調査と同じです:バイヤーの質問に対してAIが読むリストを見つけ、あなたを除外しているリストに掲載されましょう。より多くのリストに名前が載っているほど、エンジンがどのリストを読むかはあまり関係なくなります。

回答だけでなく、ソースも確認してください。 ページはブランドよりも速くローテーションします。先週引用されたリストは今日引用されないかもしれませんし、新しいリストが登場したかもしれません。読まれているページに注目してください、なぜならそこから次の回答が生まれるからです。

変化を判断する前に時間を置いてください。 新しいリストに掲載され、翌日にブランドが登場した場合、それは良い兆候ですが、証明ではありません。1〜2週間のトレンドを見てください。

これを手作業で行うということは、毎日4つのエンジンで同じ質問をし、すべてのブランドとすべてのページを書き留めることを意味します。長期間それを続ける人は誰もいません。だからこそ、私たちはSuperciteを構築しました。

方法と限界

  • 何を聞いたか。 「中小企業向けの最高のCRM」や「10,000件の購読者向けの最も安いメールマーケティングサービス」など、21カテゴリーにわたる210の購買に関する質問。2026年11月17日と18日に、米国ユーザーとして英語でChatGPT、Gemini、Google AI Overviews、Google AI Modeでそれぞれ質問しました。これにより、両日比較可能な839件の回答が得られました。
  • ブランド。 各回答のブランド名を自動的に照合しました。YouTube、Reddit、Gmail、AIエンジン自体のような推薦ではなくプラットフォームの名前は削除しました。いくらかのノイズは残ります。
  • 「変化した」 とは、名前が挙げられたブランドのセットが全く同じではなかったことを意味します。ブランドの重複は、両日に名前が挙げられたブランドの数を、どちらかの日に名前が挙げられたブランドの数で割ったものです。
  • 2日間、1日1サンプル。 これらは初期の数字です。日々の変化には、実際の変化と、エンジンが回答する際の通常のランダム性の両方が含まれます。週全体の結果はこの投稿で更新します。
  • 例 は、両日とも完全な回答テキストに対して手作業で確認しました。

FAQ

なぜAIの回答は日によって変わるのですか?

エンジンは回答するたびにウェブを検索し、いくつかのページを読みます。どのページを選ぶかは、実行ごとに異なります。異なるページが異なるブランドを名前として挙げるため、回答は変化します。

どのくらいの頻度でAIが私のブランドを推薦しているかチェックすべきですか?

トレンドを見るのに十分な頻度で:少なくとも週に一度、理想的には毎日です。回答の84%が1日で変化したため、単一のチェックは間違っている可能性があります。

#1の推薦は安定していますか?

それ以外よりも安定しています。1位にランク付けされたブランドは、翌日90%の確率で再び名前が挙げられました。しかし、1位のままであったのは63%に過ぎませんでした。

どのAIエンジンが最も一貫性がありますか?

Google AI Overviewsが最も変化が少なかった(回答の67%が変化)。Geminiが最も変化が多かった(95%)。ChatGPTは同じトップピックを最も頻繁に維持しました(71%)。

どうすれば私のブランドがより一貫して表示されるようになりますか?

AIが読むページに、より多く掲載されることです。バイヤーの質問に対して引用されている「ベストX」リストを見つけ、あなたを除外しているリストに掲載されましょう。多くのリストに掲載されているブランドは、その日エンジンがどのリストを読んでも登場します。