すべてのAI可視性ツールはあなたを騙している
Every AI Visibility Tool Is Lying to You (canonry.ai)
要約
AIチャットボットにおけるブランドの可視性を測定すると謳うツールは、しばしば不正確な数値を提供します。AIの応答は本質的にノイズが多く、パーソナライズされ、地理的要因や非決定性、頻繁な変化の影響を受けるため、提供される順位や可視率といった指標は信頼性に欠けることが多いです。これらのツールは、ウェブスクレイピングやAPI呼び出しを通じてデータを収集しますが、どちらの方法も実際のユーザー体験を正確に反映するには限界があり、その測定方法の不透明さが問題視されています。
全文翻訳
すべてのAI可視性ツールはあなたに嘘をついている
私は経験豊富なソフトウェアエンジニアであり、測定システムの構築とデバッグに十分な時間を費やしてきたため、ダッシュボードがサポートできない数値を信頼させようとしているときに、それがわかる。
新しいソフトウェアカテゴリが、ブランドがChatGPT、Claude、Gemini、Perplexity、GoogleのAI回答内でどれだけ可視的であるかを伝えることを約束している。そして、その複雑なシステムを、言及率、引用率、シェアオブボイス、またはランクのような整然とした主張に変える。
ツールが、あなたのカテゴリで4位である、今週2つ順位を上げた、あるいは可視性が17%であるのに対し、競合は31%であると述べるとき、私はそのシグナルが無価値だとは思わない。私は、その精度がでっち上げられたものだと考えている。これらのシステムはノイジーで、パーソナライズされており、地理的であり、非決定性で、常に変化しているため、エンジニアが実際に検査したいであろうもの――分布、方法論、分散、そして生の証拠――を、きれいなリーダーボードの数値は隠してしまう。
ほとんどのベンダーは重要なものを測定しようとしているが、そのメカニズムはダッシュボードが認めるよりも弱いことが多い。ツールがChatGPTやClaudeで「顧客が見るもの」を示すと主張する場合、それはおそらくコンシューマーアプリをスクレイピングしているか、APIを呼び出しているかのどちらかだ。スクレイプは1つの合成セッションをキャプチャし、API呼び出しは顧客が使用するものとは異なるサーフェスを使用する。どちらも有用な方向性シグナルを生み出す可能性がある。特に、商用プロンプトでの可視性のなさや、地理的なギャップを明らかにする場合には。しかし、どちらもその作業を示さずに、正確で安定した真実として販売されるべきではない。
フロントエンドのスクレイピング問題
ChatGPTやClaudeのフロントエンドをスクレイピングすることは、最初は説得力があるように聞こえる。ベンダーは、アプリを開き、質問をし、製品が返したものを記録したと、真実を述べるだろう。
これは、実際のユーザーが見るサーフェスに近い。それでも、それは1つの制御されたサーフェスを測定しているにすぎない。
スクレイプは、1つのアカウント、または制御されたアカウントプールから来る。それは、1つの履歴状態、1つのメモリ状態、1つのサブスクリショントリヤー、1つの地理、1つのブラウザセッション、そして1つのプロンプトを意味する。それらのいずれかを変えれば、答えは変わる可能性がある。「シードステージのスタートアップに最適なCRM」を尋ねる実際のバイヤーと、「最高のCRMソフトウェア」をデータセンターIPから尋ねるクリーンなブラウザは、異なる楽器である。
大量のスクレイピングは、さらにバイアスを加える。意味のあるボリュームで作業を行うには、どこかから実行する必要がある:クラウドマシン、プロキシルート、マネージドブラウザ、ヘッドレスセッション、またはその他の自動化レイヤー。その自動化レイヤーが測定に影響を与える可能性がある。集中したIPパターン。繰り返しのログイン。奇妙なセッションのリズム。レートリミットの圧力。AI製品自体による、可能性のあるアンチアバウストラップ。
オペレーターは選択しなければならない。クリーンなアカウントは繰り返し可能であり、顧客とは異なる。年季の入ったアカウントは履歴を持ち、制御が弱い。数千のカテゴリプロンプトを尋ねるベンチマークアカウントも、独自のパーソナライゼショントレイルを作成する。しばらくすると、アカウントの人生全体がベンチマークトラフィックになる。
これは、ローカルおよび商用のプロンプトで最も重要である。「私の近くの最高の商用屋根会社」は場所によって変わる。「ニューヨーク市の最高のAEOエージェンシー」は場所によって変わる。答えは、ユーザーの場所、検索システム、アカウント、そしてその瞬間にプルされたソースに依存する。
単一のフロントエンドの回答は、1つの実験室サンプルである。
同じプロンプトが実行ごとに変化する
AI可視性ランクの最も単純な防御はこれだ:毎週同じ質問をし、あなたが現れるかどうかを数える。
これは、同じ質問が安定した答えを持つ場合にのみ機能する。同じ言葉がしばしば異なる答えを生み出す。
温度ゼロのLLM呼び出しでさえ、本番環境では完全に安定しているわけではない。Thinking Machines Labは、技術的な理由を説明している:バッチ処理とカーネルの動作は、実際のプロダクションロード下で変化する可能性がある。彼らの例では、同一の温度ゼロリクエストが複数のユニークな完了を生成した。
SparkToroとGumshoeは、マーケティング版の同じ問題を目にした。ボランティアにChatGPT、Claude、GoogleのAI製品で繰り返しの商用プロンプトを実行させた。彼らの研究は、ブランドの推奨が繰り返しの実行で大きく変化することを発見した。
これが中心的な測定問題である。同じシステムからの次のドローが異なるブランドのセットを名前付けできる場合、「あなたは4位にランクされる」というのは、分布からの1つのサンプルになる。
正直なダッシュボードは、分布を示すだろう。
コンシューマーアプリとAPIは異なる動作をする
一部のツールはブラウザスクレイピングをスキップし、代わりにプロバイダーAPIを呼び出す。運用上のケースは強力だ。API呼び出しは、繰り返しやすく、監査しやすく、スケールで実行するのに安価で、Webアプリが変更されたときに壊れにくい。
トレードオフ:APIとコンシューマーアプリは異なる動作をする。
コンシューマー製品には、メモリ、アカウントのパーソナライゼーション、モデルルーティング、Web検索、場所の推論、ショッピングモジュール、ローカルモジュール、引用、製品固有のプレゼンテーションがあるかもしれない。APIは、あなたが有効にしたツールとパラメータを持つプログラム可能なモデル呼び出しを提供する。例えば、OpenAIのAPIドキュメントでは、Web検索のようなツールを追加する必要がある。
このギャップは両方向に働く。生のAPI呼び出しは、アプリがどのように検索するかを過小評価する可能性がある。ブラウザスクレイプは、1つのパーソナライズされたセッションを代表としてキャプチャするため、実際のユーザーが見るものを過大評価する可能性がある。
APIは、制御された測定の適切なサーフェスになり得る。そのように販売すること。「消費者のアプリがバイヤーに見せたもの」と呼ぶのは避けること。
プロンプトセットがスコアを製造する
AI可視性ツールはプロンプトセットを監視する。実際のバイヤーの質問のロングテール全体をカバーするのではなく、市場をサンプリングする。
プロンプトセットは決定的である。
「ニューヨーク市の最高のAEOエージェンシー」、「AI検索最適化コンサルタント」、「アンサーエンジン最適化監査」を追跡すれば、Canonryの1つの画像が得られる。「SEOエージェンシー」、「デジタルマーケティング会社」、「AIマーケティングソフトウェア」を追跡すれば、別の画像が得られる。どちらのプロンプトセットも有効である。それらは異なる質問に答える。
ヘッドラインの数値は、選択されたプロンプト、それらの重み、実行頻度、および競合セットに依存する。Profound自身のプロンプトデザインガイドによると、ユーザーは通常、100から1,000のプロンプトを追跡しており、数百が一般的である。ダッシュボードは市場をサンプリングしている。
スコアリング式も同様に重要である。あるダッシュボードは言及頻度をスコア付けできる。別のダッシュボードは引用位置に重みを付けることができる。別のダッシュボードはソースリンクを数えることができる。別のダッシュボードは感情をブレンドできる。Digital AppliedのAIシェアオブボイスフレームワークは、クリーンな例を提供している:同じブランド、同じデータで、言及ベースのシェアオブボイスが20%、位置加重シェアオブボイスが16.8%、引用ベースのシェアオブボイスが31.4%となる。
同じ証拠。3つのヘッドライン数値。3つの競争上の立場。
実務家が懐疑的になるのはもっともだ。同じDigital Appliedの記事で、SALT.agencyのDan Taylorは、ベンダーが人工的な環境内で小さく静的なプロンプトセットを測定していると批判している。Digidayは、バイヤー側の同じ運用上の問題を報告した。/promptのCEOであるPaul Dyerは、3つのツールに同じプロンプトを与えても、3つの異なる答えが得られると述べた。
プロンプトリスト、プロンプトあたりの実行回数、地理、モデル、アカウントの状態、およびスコアリング式なしでは、ダッシュボードは構築されたメトリックを表示していることになる。
構築されたメトリックは有用である可能性がある。それらにはラベルが必要だ。
場所がリーダーボードを壊す
地理は、ほとんどのダッシュボードが無視する部分である。
ローカル、リージョナル、およびサービスエリアのビジネスにとって、場所は質問を変える。ブルックリン、オースティン、ロンドン、またはミシガン州の田舎にいるユーザーは、回答エンジンがローカルの意図を推測するため、同じ言葉に対して異なる推奨を得ることができる。
単一のグローバルな可視性ランクは、しばしば無意味である。「ChatGPTで可視的」とは、どこで?どのユーザーの場所から?どのローカル検索コンテキストで?どの都市またはサービスエリアのフレーズで?
フロントエンドのスクレイピングは、これを特に厄介にする。クラウドサーバーからの合成ブラウザ実行は、あなたが気にかけている市場のバイヤーとは異なって見える。プロキシを試すことができる。アカウントプールを試すことができる。ブラウザ自動化を試すことができる。今、あなたの「真実」は、フロントエンドがあなたのスクレイパーが伝えた場所のストーリーを受け入れたかどうかによって決まる。
APIベースの測定は、ここでよりクリーンなパスを持つ:プロバイダーがサポートしている場合に明示的な場所のコンテキストを渡し、あなたが気にかけている地理全体で同じプロンプトを実行する。あなたは、偶然のスクレイパーアーティファクトと呼ぶのではなく、制御された場所の変数を得る。
Canonryはそのパスをたどる。
なぜローカル実行がローカルSEOにとって重要なのか
ここでCanonryのローカルファーストデザインが測定問題を変化させる。ほとんどのホスト型ダッシュボードは、ベンダーインフラストラクチャからプローブを実行する。ナショナルSaaSクエリの場合、それは問題ないかもしれない。ローカルクライアントの場合、それはしばしば間違った楽器である。クイーンズの配管工、オースティンの歯科医、またはミシガンの屋根工事業者は、バイヤーがサービスエリア内で見る回答を理解する必要がある。別の地域のスクレイパークラスタは、弱い代替手段である。
Canonryはオープンソースでセルフホストされているため、市場内のマシンで実行できる。エージェンシーは、自社のオフィス、技術者のラップトップ、またはターゲットコンシューマーに近い別のマシンからチェックを実行できる。非決定性は依然として存在する。APIの結果は、コンシューマーUIとは異なる場合がある。利点は狭いが実用的である:測定からアウトソースされたクラウド地理を削除すること。
ローカルSEOおよびローカルAEOにとって、その詳細は重要である。測定環境がバイヤーの環境に近いほど、プロキシストーリーを信頼する必要が少なくなる。プロバイダーがサポートしている場合に、明示的な場所のコンテキストを渡すことができる。テストが関連市場のマシンから実行されると、偶然のシグナルが意図的なものと一致する。
これにより、ローカルクライアントにサービスを提供するオペレーターにとってCanonryはより正確になる。あなたの顧客がシカゴのHVAC会社、ブルックリンのホスピタリティグループ、またはミシガンの屋根工事業者の場合、異なる地理から同じプロンプトセットを実行できる。違いは、あなたが測定しようとしているものだ。
モデルドリフトがトレンドラインをフィクションに変える
サンプリング、パーソナライゼーション、API対アプリの違い、プロンプト選択、地理を処理したとしても、楽器は変化し続ける。
馴染みのある製品名の背後にあるモデルは、更新、ルーティング、ロールバック、またはサイレントに調整される可能性がある。検索システムは変更される。引用の動作は変更される。製品インターフェースは変更される。AI可視性ダッシュボードでの週ごとの移動は、あなたのコンテンツが改善したことを意味する可能性がある。それはまた、モデルが変更された、検索レイヤーが変更された、または製品がプロンプトに異なる方法で回答し始めたことを意味する可能性もある。
これは測定するのに十分現実的である。Chen、Zaharia、Zouの論文「ChatGPTの行動は時間とともにどのように変化しているか?」は、GPT-3.5とGPT-4の2023年3月版と2023年6月版を比較した。彼らは、同じ公開モデル名の下で、タスク全体で大きな行動の変化を発見した。1つの例:GPT-4の素数精度は、3月には84%だったが、6月には51%に低下した。それを今日のモデル品質の現在の推定値ではなく、ドリフトの証拠として扱うこと。
同じパターンが製品の動作にも現れる。2025年4月29日の投稿で、OpenAIは、削除されたバージョンが過度にへつらいで協力的であったため、ChatGPTで先週のGPT-4oアップデートをロールバックしたと述べた。外部の可視性ダッシュボードは、通常、トレンドラインをすでに曲げた後にのみ、そのような製品変更を目にする。
外部からは、それらの効果を分離するのは難しい。ダッシュボードは、数値が移動したことを教えてくれる。それがなぜ移動したのかを証明することは、通常できない。
数値は依然として役立つ可能性がある。問題は、ツールが移動した理由を説明すると主張するときに始まる。
これらのツールが正直にあなたに伝えられること
このカテゴリは有用である可能性がある。それは精度の過剰な販売をやめる必要がある。
AI可視性モニタリングは、有用な結論をサポートできる:
- バイヤーが実際に尋ねる商用プロンプトに対して、私たちは可視的ではない。
- ブランドプロンプトでは頻繁に表示されるが、カテゴリプロンプトではめったに表示されない。
- ある競合他社は、私たちよりもはるかに頻繁に引用されている。
- Claudeでは表示されるが、ChatGPTでは見逃される。
- ニューヨークでは表示されるが、ロサンゼルスは空白のままだ。
- コンテンツまたはスキーマの変更が、繰り返しの実行で引用頻度の向上と相関しているように見える。
それらは方向性のある、確率的な発見である。それらは有用である。それらはチームが作業を優先するのに役立つ。
偽の精度が問題を引き起こす:
- あなたは4位にランクされる。
- あなたは正確に2ポジション上がった。
- あなたのAIシェアオブボイスは17%である。
- 今週の向上は、先週のブログ記事によって引き起こされた。
- この単一のスクリーンショットが、あなたの顧客が見るものである。
これらの主張は、ツールがそのサンプル、そのスプレッド、およびその方法を示さない限り崩壊する。
Canonryがそれを測定する方法
Canonryは、ChatGPT内でスクレイピングされるのを待っている単一の標準的な回答という考えを避ける。
私たちはAI可視性を分布として扱う。
測定単位は、プロンプト、プロバイダー、競合他社、および場所全体での繰り返しの観測である。CanonryはプロバイダーAPIを使用する。なぜなら、それらは制御可能で繰り返し可能なサーフェスを提供するからだ。APIはコンシューマーアプリとは異なり、監査可能である。プロバイダーがサポートしている場所では、ブラウザスクレイプがプロキシから正しい場所を継承することを期待するのではなく、地理位置情報コンテキストを渡す。
プロンプト、プロバイダー、タイムスタンプ、設定された場所、引用されたドメイン、言及、ソース証拠、および実行履歴を記録するため、後で数値を監査できる。
それはすべての実際のユーザーと一致するか?いいえ。
サンプルには明確な限界がある:ChatGPTの数年間の履歴なし、正確なコンシューマーUIなし、そして考えられるすべてのバイヤーの質問の完全な長期分布なし。作業は、より狭い質問を中心に構築されている:このプロンプトセットの下で、この地理で、これらの競合他社に対して、これらのプロバイダー全体で、私たちはどれくらいの頻度で現れるか?
より狭い質問の方が、より正直で、より有用である。
ダウンサイド:正直な測定にはコストがかかる
安価なダッシュボードが魅力的なのには理由がある。
1回のスクレイプは安価だ。1回のプロンプト実行は安価だ。繰り返しや地理情報なしの単一のAPI呼び出しは安価だ。薄いデータから構築された洗練された折れ線グラフでも、自信があるように見えることがある。
Canonryのアプローチは、より多くの作業を行うため、コストがかかる:
- 問題が重要であれば、1つ以上のサンプルを実行する。
- 市場を1つのモデルに統合するのではなく、複数のプロバイダーを比較する。
- あなた自身のドメインと一緒に競合他社を追跡する。
- サポートされている場所で場所のコンテキストを渡す。
- 結果を要約するだけでなく、検査できるように証拠を保持する。
- プロンプトセットを構成として扱う。
それには費用がかかる。根拠のある呼び出しは、プレーンな完了よりもコストがかかる場合がある。繰り返しの実行はコストを倍増させる。場所を意識したカバレッジは、さらにコストを倍増させる。ニューヨーク、ロサンゼルス、シカゴ、ロンドン、トロントを200のプロンプトと4つのプロバイダー全体で取得したい場合、それはダッシュボードシートではなく、測定プログラムを購入していることになる。
安価なバージョンは、測定するものが少ないため安価である。
任意のAI可視性ダッシュボードの基準
このカテゴリのツールを購入する場合は、数値の背後にある作業を尋ねてください。
尋ねてください:
- コンシューマーフロントエンドをスクレイピングしていますか、APIを呼び出していますか、それとも両方ですか?
- フロントエンドをスクレイピングする場合、どのアカウント、場所、メモリ状態、サブスクリショントリヤーが表されていますか?
- APIを呼び出す場合、どのツールが有効になっており、Web検索をどのように処理しますか?
- 数値を生み出すために、プロンプトあたり何回の実行を行いますか?
- 分散または信頼区間を報告しますか?
- 地理は明示的ですか、推測ですか、それとも無視されますか?
- 生の回答とソース証拠を見ることができますか?
- プロンプトリストとスコアリング式を見ることができますか?
- モデルドリフトとあなた自身のコンテンツ変更を分離できますか?
これらの質問への回答なしでは、数値は装飾にすぎない。
AI可視性測定の正直な未来は、証拠が付随する分布である。
「あなたは4位です」よりもキャッチーではない。
真実に近い。