煙を量る:なぜAIの可視性ダッシュボードはほとんど役に立たないのか
Weighing smoke: why AI visibility dashboards are mostly useless (betterthangood.xyz)
要約
AI検索エージェントにおけるブランドの存在感を追跡するダッシュボードへの投資が年間1億ドルを超えているが、これらのツールの多くは実用性に欠ける。現在のツールは、ベンダーが操作するプロンプトを平均化し、モデルのランダム性や消費者向け製品とAPIの機能差により、信頼性の低い数値を生成している。真に安定したシグナルは、モデルが参照するブランドの候補セットのみであり、これを正確に測定するには多くの試行が必要となるため、ダッシュボードによる迅速な測定はほとんど意味をなさない。
全文翻訳
煙を量る:GEOダッシュボードがほとんど役に立たない理由
Iain 著、2026年7月5日: Strategy, Process, Hot takes
[画像: 片方の皿に煙の塊を、もう片方の皿にしっかりした鉄の重りを乗せた真鍮の天秤ばかり。青い背景]
エージェント以前の世界と同様の検索可視性を提供するツールの約束は、理解できるほど魅力的です。しかし、プラットフォームに熱心にお金を払う前に、月に半日程度の作業の方が費用対効果が高い選択肢ではないか検討してみてください。
最近、私はGEOキメラ、つまりブランドをAIの回答に最適化すると謳う小規模産業について書きました。私の主張は、販売されているレバーのほとんどは存在しないということでした。この業界のもう一つの部分は、レバーではなくゲージを販売しています。AI可視性追跡への支出の推定額は、現在年間1億ドルを超えており(参考)、何百ものダッシュボードが、かつてMozがGoogleでのランキングを追跡したように、ChatGPTにおけるブランドの存在感をチャート化しています。この提案は、これまで頼ってきたすべてを失い、来るべき虚無を見つめているブランドマーケターたちの肥沃な土地に落ちています。
これらすべてには、ポストミレニアル世代的な感覚があります。ハリウッドの脚本家ウィリアム・ゴールデンマンは、「誰も何も知らない」という言葉で有名です。彼の言葉のあまり知られていない部分は、「毎回…それは推測であり、運が良ければ、教育された推測だ」というものです。それは一文で表されるエージェント検索の可視性です。
現在のツールのほとんどは、毎日プロンプトを実行し、実行結果を平均化し、トレンドラインと信頼区間付きの可視性パーセンテージを報告します。平均化自体は問題ではありません。問題は、それが平均化しているすべてのものです。なぜなら、測定バスケット内のプロンプトは一般的に分析ベンダーによって誘導され、それらに重み付けされるクエリボリュームはモデル化されたフィクションであり、サンプリングされているクエリサーフェスは人間が使用するものではなく、そして結果のスコアがビジネスにとって重要な単一の成果やコンバージョンを予測することを示した者はいません。それにもかかわらず、これらのツールは、衰退する商店街のベイプショップのように増殖しています。
私たちが必死に求めているものは、実際には存在しないのです。検索エージェントの応答における可視性を向上させるための最小限のメカニズムしかありません。そして、その可視性を信頼性をもって追跡・測定する方法はありません。SEOとSERPの四半世紀を経て、これは多くの人がまだ受け入れたくない苦い錠剤です。
現在代替として提供されている美味しいキャンディーは、私が「プレシジョン・ロンダリング」と呼ぶものです。ノイズが相殺されるまで、空虚な測定を頻繁に実行し、知識として通用する、一見安定した小数点付きの数字が出てきます。しかし、平均化は数字を買うことはできても、妥当性を買うことはできません。
サイコロのカップ
1月、ランド・フィッシュキンは検索エージェント追跡業界の詳細な調査を発表しました。彼はGumshoe.aiのパトリック・オドネルと共に、600人のボランティアを募集し、ChatGPT、Claude、GoogleのAIで12のブランド推奨プロンプトを合計2,961回実行しました。対象カテゴリは、シェフナイフからがん病院まで多岐にわたりました。フィッシュキンは、検索エージェントの応答の追跡が無意味であることを証明しようと意気込んでいました。結果はそれ以上に奇妙なものでした。
検索エージェントにブランド推奨を100回尋ねた場合、同じリストが2回得られる確率は100分の1未満です(参考)。同じリストが同じ順序で得られる確率は、1000分の1に近くなります。ブランドは変わり、順序も変わり、アイテムの数さえも変わります。フィッシュキンの順位追跡に関する結論は率直でした。「AIにおける『ランキング順位』を提供するツールは、すべてインチキだ」と彼は書きました。
これは一匹狼の意見ではありません。GEO測定の繰り返しに関するarXivの研究では、同一プロンプトに対して返されるブランドのセットが実行間で45〜59%しか重複せず、ばらつきが大きく、検索エージェントの可視性の単一観測は誤解を招くものであり、可視性は繰り返し実行における確率として扱われるべきであると結論付けています。第二の論文は統計的な点を直接指摘しています。生成エンジンの引用メトリクスは固定値ではなく、ランダム変数です。Ahrefsは、横断的に調査した結果、GoogleのAIモードとAIオーバービューは、同じクエリに対して87%の時間で異なるソースを引用していることがわかりました(参考)。
この変動は制御できません。言語モデルは答えを検索するわけではありません。それは一度に1つのトークンを生成し、各単語を、組み込みのランダム性(「温度」として知られる)を持つ可能性のあるオプションの範囲から選択します。そのランダム性は、出力が定型的ではなく流暢に読めるようにするため、重要な設定です。同じ質問を2回尋ねても、答えは自然にずれていきます。
ウェブ検索を追加すると、サイコロはさらに2回振られます。1つは、モデルが質問を独自の検索クエリのセットに分解するとき(「ファンアウト」と呼ばれる)、もう1つは、取得したページのうちどれを引用する価値があるかを選択するときです。安定させるための設定でさえ、システムがライブになるとぐらつきます。リクエストはバッチ処理され、利用可能なモデルのコピーにサイレントにルーティングされ、測定していると思っていたものの途中で新しいバージョンに切り替えられます。
したがって、フィッシュキンが測定したばらつきは、カテゴリが発展するにつれて落ち着くだろう未熟さではありません。それは設計通りに動作する製品であり、それを削除したプラットフォームは、すべてのユーザーに同じ定型応答を返す、より悪い製品を出荷することになります。したがって、検索エージェントにおける可視性は、永続的に分布なのです。
変動の下で、フィッシュキンは少なくとも安定した何かを見つけました。モデルが参照するブランドのプールである考慮セットは、順序がスクランブルしても安定していました。ヘッドホンの実行では、Sony、Bose、Appleがほぼ毎回表示され、タイトなカテゴリのトップブランドは応答の90〜100%に表示されましたが、ブランドデザインエージェンシーのような広範なカテゴリは30〜40%に散らばりました。
Amanda Natividadが142人に同じ意図でプロンプトを書かせたとき、フレーズのセマンティック類似性は0.081でした。これは、俳句とショッピングリストほど似ていないということです。しかし、考慮セットはそれでも維持されました。プールにいるかいないかのどちらかで、そのメンバーシップは60〜100回の実行でゆっくりとしか推定できないようです。これは狭いですが有効なシグナルですが、唯一のシグナルです。
間違った窓の問題
ツールが週に100回プロンプトを実行し、確率を報告するとします。それでも、それは間違った窓を通して楽器を向けています。ほとんどのトラッカーは、安価でスクリプト化できるため、ベンダーAPIをクエリします。しかし、APIエンドポイント経由でアクセスされるGPT 4.5はChatGPTではありません。コンシューマー製品には、メモリ、カスタム指示、会話履歴、アカウントコンテキスト、位置情報推論、そしてAPI呼び出し元が決して見ることのないシステムプロンプトがあります。それはモデルのバリアント間をルーティングし、バリアントはしばしば互いに意見が一致しません。
ChatGPTの検索スタックのリバースエンジニアリング研究では、GPT 5.2、5.3、5.4が知識のカットオフとファミリー名を共有しているにもかかわらず、異なるファンアウトクエリを生成し、異なるソースを取得し、同じプロンプトから異なるページを引用することが判明しました。ChatGPTの週刊ユーザーの90%以上は無料ティアにあり、デフォルトのエクスペリエンスは有料ティアよりも検索回数が少なく、引用数も少なくなります。ツールは通常、有料ティアをサンプリングする傾向があります。
したがって、トラッカーは、実際の顧客が誰も訪れないショールームの数百回の訪問を平均化したレポートを提出するミステリーショッパーです。得られるのは、実際の顧客がほとんど、あるいは全くいない集団を中心としたタイトな信頼区間です。さらに悪いことに、ショールームはしばしば毎晩、予告なしに完全に改装されます。
今年の5月7日、OpenAIは回答内にクリック可能なブランドリンクのレンダリングを開始し、参照トラフィックは前週比157.7%増加しました。ブランドホームページへの訪問シェアは約30%から60%に上昇し、そのまま維持されました。3月4日、デフォルトモデルはGPT 5.3に切り替わり、回答あたりの平均引用ドメイン数は19から15に減少しました(参考)。この絶えず変化する状況を最適化・測定しようとすることは、愚かな試みのようです。GoogleのFlorida、Panda、Penguinアルゴリズムアップデートを経験した私たちなら、地面が足元から動くことがあることを理解しています。しかし、それが結果的かつ継続的に動くようになると、すぐに管理不能になります。
分母の発明
Googleの検索結果ページ(SERP)は具体的でした。私は痛ましい経験からそれを知っています。主要製品が2位から3位に落ち、上級管理職が髪を振り乱して走り回り、すぐに回復する方法を尋ねてきたのです。だからSERPは諸刃の剣でしたが、それでも剣でした。
エージェントのプロンプトボリュームは測定されるのではなく、モデル化されます。どのラボもクエリデータを公開しておらず、「AIキーワードプランナー」は、トラフィックの0.数パーセントしかキャプチャしないオプトインパネルから外挿するか、プロンプトをGoogleキーワードに解決して結果を「AI需要」と呼んでいます。AI検索可視性プラットフォームのベンダーは通常、クリックストリームパネルと外挿モデルから推定値を構築しています。クリックストリームパネルは、小さく代表的でないスライスに偏っています。デスクトップ、主にChrome、アプリなし、モバイルなし、閲覧を監視してもらうために報酬を得た、または知らずにオプトインした人々から抽出されています。
Profoundが「ソーシャルリスニングツール」などの月間26,000回の検索というプロンプトボリュームを表示し始めたとき、SEOのSteve TothとWilliam Alvarezは、その数値をキーワードボリュームと比較し、公開投稿でその数値を詐欺だと評しました。隣接するツールを販売しており、静かにしている商業的インセンティブがすべてあるConductor社は、AIプロンプトボリュームメトリックを基本的に誤解を招くものと呼ぶ記事を公開し、それに基づいたリソース決定はせいぜいギャンブルであると警告しました。
製品ベンダーはおそらく、自分たちが不安定な立場にいることを認識しており、そのため彼らの説明文は、健全な方法論というよりは呪文のように読めます。例えばWritesonicは、その数値を「数学的バイアス補正を伴うアンサンブル方法論」と説明しています。コーポレート・イーシュ(専門用語)から翻訳すると、これは2回推測して平均化することです。より深い問題は、ソースではなく対象そのものです。キーワードボリュームが機能したのは、何百万人もの人々が同じか非常に似た文字列をボックスに入力し、ボックスの所有者がそれを記録したからです。
プロンプトボリュームには同等のものはありません。ボックスを所有している誰もログを公開していないため、プロンプトボリュームとして販売されているものは、パネルベンダーのトラフィックのスライスを外挿したものか、プロンプトをGoogleキーワードに解決して再ブランド化したものです。会話型プロンプトも、上記の0.081の類似性スコアが測定したように、同様の意図を持つ20語のフレーズに断片化します。したがって、単一のプロンプトの「ボリューム」は、ベンダーが多くの言い換えをどのようにバケット化するかという選択の産物でもあります。
複合スコアも互いに一致しません。Digidayは、マーケターが競合プラットフォームで同じブランドを実行し、一貫性のない結果を得ていることを発見しました。これは、各ベンダーが異なる発明されたバスケットを異なるサンプリングされたサーフェスで平均化した場合に起こることです。異なる不正確な部屋にある2つの温度計でも、正確な読み取り値を提供します。平均は、意思決定に使用できるものの平均でなければなりませんが、私が見つけられる独立した作業では、可視性スコアと収益またはその他の具体的なコンバージョンを結びつけるものはありません。
一部のツールは、トラッキングピクセルとサーバーログリーダーをダッシュボードにボルトで固定します。それらは、あなたのページを取得するAIクローラーと、ChatGPTのようなサービスからの参照クリックをキャッチします。参照部分は本物です。誰かがAIの回答からあなたのサイトに到達し、それはモデルではなく観察に基づいた数値です。また、それはあなた自身が無料で読めるのと同じサーバーログです。ただし、ピクセルは誰が到着したかを記録しますが、あなたのページを回答に入れたものは記録せず、通常それに隣接してチャート化される可視性スコアとは別にその到着を記録します。真の参照数値をモデル化された可視性スコアの隣に置いても、スコアの妥当性は増しません。これは、別の形でのプレシジョン・ロンダリングであり、発明されたものに信用を与えるために実際の数値を使用しています。
測定全体を製品とする業界は、公開された方法論で溺れているはずです。現実は逆のようです。ロンダリングされた平均と発明された分母を剥ぎ取ると、残渣が残ります。それは狭く、安価で、そしてほとんどの場合、高価なプラットフォームサブスクリプションを購入する必要はありません。それは5つの簡単なステップに要約されます。
ランキングではなく、メンバーシップを測定する
考慮セットは、SparkToroのデータから生き残った唯一の構築物です。もし何かを追跡する必要があるなら、意図が変化したプロンプトのバスケット全体にわたって表示される確率を追跡してください。バスケットあたり60〜100回の実行を行い、その数値をステアリングホイールとしてではなく、粗い存在ゲージとして扱ってください。それはあなたがプールにいるかどうか、そして何かが大きくシフトしたかどうかを教えてくれます。それ以上の詳細なレベルでは何も教えてくれません。
機械が言うことを、ソースで修正する
コロンビア大学のTow Centerは、1,600件のテストクエリの60%以上で、AI検索エンジンが正しい引用情報を取得できなかったことを発見しました。そのエラー率は、あなた自身のブランドを監視する最も強力な議論です。なぜなら、不正確な価格設定や機能しない製品機能が回答に広がる可能性があり、修正は簡単だからです。エンジンが引用しているソースページを見つけて修正してください。
検索の配管工事を行う
ChatGPTのライブ検索は、主にBingのインデックスで実行されています(参考)。Seer Interactiveは、ChatGPTの引用の87%がBingのトップ結果と一致し、Googleは56%であったことを発見しました。したがって、Bing Webmaster Toolsであなたのサイトを確認し、IndexNowを設定し、OAI-SearchBotとOpenAIが公開しているIP範囲を許可してください。これはOpenAI自身が述べている唯一の包含要件です(参考)。プレーンなサーバーレンダリングHTMLを提供してください。なぜなら、OAI-SearchBotはJavaScriptをレンダリングしないため、解析率は静的ページでは94%からクライアントレンダリングページでは23%に低下するからです。
そして、存在する唯一のファーストパーティゲージを使用してください。MicrosoftのBing Webmaster ToolsのAIパフォーマンスレポートは、2月にリリースされ、CopilotとBingのAIがどのページを引用したか、そしてそれらを取得したグラウンディングクエリを示しています。これは無料であり、有料ツールの実際の価値について何かを教えてくれます。
機械のクエリに勝ち、次に編集記録を制する
ChatGPTが回答するとき、それはあなたのプロンプトを検索しません。それはそれをいくつかの機械生成されたサブクエリ(「ファンアウト」)に書き直し、それらをインデックスに対して実行します。ALM Corpの分析では、ファンアウトクエリの95%に人間の検索ボリュームがほとんどないことが判明しました。これは、あなたのページが取得されるかどうかを決定するクエリは、どのキーワードツールも追跡しないものであり、人間がそれらを入力することはないということです。ニューヨークホテルのSearch Engine Landのケーススタディはその結果を示しています。同じファンアウトクエリに対して、Googleの結果はBaccaratをわずかに支持しましたが、Bingの結果はFifth Avenue Hotelを明確に支持しました。したがって、間違ったインデックスで人間が見えるランキングをリードしても、ほとんど何も得られませんでした。
一方、考慮プールへのメンバーシップは、あなた自身のサイトではなく、編集記録の中で構築されます。SE Rankingは、32,000を超える参照ドメインを持つサイトは、200未満のサイトよりも引用される可能性が3.5倍高いことを発見しました。つまり、GEOに意味のある影響を与える1つの実績ある戦術は、実際には基本的なSEO原則であり、Digidayの専門家パネルは数ヶ月前からそのように言っています。
自分のログを読む
サーバーログは、どのボットが何をどの深さで取得し、robots.txtの決定が私のキメラ記事の抽出経済性と一致しているかを示します。監視プローブもそこに現れます。あなたのサイトにアクセスするすべてがログに痕跡を残し、それらの痕跡を読むのに費用はかかりません。
賞品の大きさ
AIチャットボットはトラフィックソースとしてはほとんど認識されません。Cloudflare Radarによると、2026年5月の検索参照全体に占めるチャットボットのシェアはわずか0.29%ですが、Googleは87.6%を占めています(参考)。ウェブ全体ではなく単一サイトのトラフィックと比較すると、ConductorのベンチマークではAIはトラフィックの約1%ですが、オーガニックは25%を占めます。しかし、到着した訪問者は異常に価値があります。Similarwebは、ChatGPTの参照は7.1%のコンバージョン率であり(参考)、有料検索だけがそれを上回っています。そして、あなたの分析が何を示していても、実際の数値はもっと高いです。なぜなら、AI訪問者の推定70%には参照元がなく、ダイレクトトラフィックとして分類されるからです。したがって、小さなチャネルですが、良い訪問者を送り込みながらも、測定で区別するのが難しいチャネルです。
エージェント以前の世界と同様の検索可視性を提供するツールの約束は、理解できるほど魅力的です。しかし、プラットフォームに熱心にお金を払う前に、月に半日程度の作業の方が費用対効果が高い選択肢ではないか検討してみてください。適切に追跡するか、全く追跡しないかです。各プロンプトを60〜100回実行し、結果をラフな確率として読み取ってください。なぜなら、数回のスポットチェックは単なるノイズだからです。サイト上の誤った情報を修正してください。Bingの配管工事を行ってください。第三者からの言及を獲得してください。サーバーログを監視してください。Bingの無料引用レポートを使用してください。それが本当にすべてです。
そして、いいえ、私は2026年のビンゴカードに「Bingへのより多くの依存」を入れるつもりはありませんでした。私たちは本当に奇妙な時代に生きています。
あなたのプロジェクトに合うかどうかお探しですか?AIに尋ねてみてください。AIが私たちについて調べ、あなたにいくつかの質問をし、会話を開始します。