Perplexityの引用の3分の1は、引用されている数値を含んでいない

Perplexityの引用の3分の1は、引用されている数値を記載していない

Perplexityの検索モデルが数値を記載した文に付与した1,826件の引用のうち、34.7%は開けないページ、またはその文の数値を一つも含まないページを指していました。主張ごとに採点した場合、872件の主張のうち14.4%が不合格となりました。

Perplexityの2つの検索モデルに対し、210社のテクノロジー企業に関する310件の事実に基づく質問を行い、それらが引用した全てのソースを収集し、そのページが引用された内容を実際に記載しているかを確認しました。数値を記載した文に付与された1,826件の引用のうち、二次的な意見なしで検証可能なものについて、34.7%は、通常の読者には開けないページ、または開いても引用された文の数値を全く含んでいないページを指していました。モデルは全体で2,511件の引用マーカーを配置していました。

上記の単位は引用であり、主張ではありません。872件の数値を伴う主張のうち3分の2は、複数のマーカーが付与されており、各マーカーを個別に採点しました。主張ごとに採点し、参照先のいずれかのページがその主張の数値を記載していれば合格とみなした場合、14.4%が不合格となりました。引用を先頭に持ってくるのは、マーカーが個々の出典の主張であるためです。この文はあのURLから来た、という主張です。

失敗の主な原因はリンク切れではありません。引用されたURLのわずか1.3%がリンク切れでした。主なカテゴリは、読者がアクセスできないページと、読者がアクセスできるが内容が一致しないページです。

私たちが行ったこと

10個の質問テンプレートを用意しました。それぞれ、人々が実際に調べるであろう事実（設立年、最新の資金調達ラウンド、従業員数、開始価格、本社所在地、収益、開示された情報漏洩件数、現CEO、買収、有料プランのSLAなど）に関するものです。各企業には1つの質問が割り当てられ、100社には異なるテンプレートで2つ目の質問がされました。合計310件の質問を、温度設定0でperplexity/sonar、perplexity/sonar-pro、そして対照としてWebプラグイン付きのGPT-4.1に投げかけました。

両方のPerplexityモデルは、主張をインラインで[n]としてマークし、nは返された引用配列のインデックスとなります。これが監査を可能にする部分です。これは回答の末尾にある参考文献リストではなく、この文がそのURLから来たという具体的な断言です。回答を文に分割し、マーカーごとに1つの主張–引用ペアを作成しました。どちらのモデルも、自身の引用リストの範囲を超えるマーカーを生成することはありませんでした。

次に、ユニークな引用URL（sonarだけで2,915件）をすべて取得し、リンク切れ、アクセス制限、空、到達不能、または有効なページとして分類しました。失敗したものはすべて、さらに2回のチャンスが与えられました。より長いタイムアウト、次にローテーションプロキシを介したリトライです。これにより、単一のデータセンターアドレスがブロックされたためにページが記録されないようにしました。この3回目のパスで192件のURLが救われました。分類は常にページに有利な方向にしか動きません。

見出しのチェックにはモデルは一切必要ありません。各主張から、金額、パーセンテージ、規模、年、3桁以上の数字の連続など、具体的な情報を抽出し、引用されたページの表示テキストにそれらが少なくとも1つ含まれているかを確認しました。正規化を行い、$185 million、$185M、185000000はすべて一致するようにしました。1つの数値があれば合格です。単なる年も合格となります。したがって、34.7%という数字は最低ラインです。不合格となったペアはすべて、ページに引用された文からの数字が一つも含まれていないものです。

開かない引用

perplexity/sonarの2,915件のユニークな引用URL全体で：

6件に1件の引用が制限されています。これはソース（PitchBook、ZoomInfo、Crunchbase、Reutersなど）の欠陥ではなく、引用の欠陥です。読者が開けない脚注は、検証手段のない出典の主張であり、引用が存在する目的（検証の防止）に反する状態です。

回答全体で集計すると、sonarの310件の回答のうち84.2%が、通常の読者が開けないURLを少なくとも1つ引用しており、10.6%が完全にリンク切れのURLを少なくとも1つ引用していました。

リンク切れのものは名前を挙げる価値があります。なぜなら、それらの約半数は同じ種類のページ（sonarの38件中20件）であり、URLを見ればわかります。komo.ai/directory/<company>-offices、temperstack.com/plans/<company>、devhelm.io/sla/<company>、apollo.io/where-is/<company>、portersfiveforce.com/blogs/brief-history/<company>、そしてmatrixbcg.comとcanvasbusinessmodel.comの同一パスです。これらは企業ごと、質問タイプごとに生成され、まさに私たちが尋ねたクエリを捉えるために大規模に公開され、かつ安価に削除されたページです。

執筆日に3件を再取得しました。Elasticの本社所在地を尋ねたところ、sonarはkomo.ai/directory/elastic-officesを引用しましたが、404でした。Redditの本社所在地を尋ねたところ、両モデルはapollo.io/where-is/redditを引用しましたが、410 Goneでした。Discordの最も安価な有料プランを尋ねたところ、sonar-proはtemperstack.com/plans/discordを引用しましたが、404でした。

開くが内容が一致しない引用

ページが開いて読み取り可能だったペアのうち、16.1%は主張の数値を全く含んでいませんでした。

最も分かりやすい例は価格です。Vercelの最も安価な有料プランのエントリー価格を尋ねたところ、sonarは「無料のHobbyプランは月額$0なので、最初の有料ティアは月額$20から始まります」と回答し、vercel.com/docs/plansを引用しました。執筆時にそのページを取得しました。HTTP 200を返しますが、プラン名が記載されており、文字列$20、$20/month、20/monthはどこにも見つかりません。数値はおそらく正しいでしょう。しかし、引用はそれを裏付けていません。

2番目のパターンはより示唆に富んでいます。なぜなら、企業間で繰り返されるからです。本社所在地を尋ねると、両モデルは番地を生成し、その企業のWikipedia記事に帰属させています：

4つの記事すべてが執筆時に取得され、どれも番地、通り名、またはそれに帰属する郵便番号を含んでいませんでした。回答のいくつかは、「複数の情報源によると」や「いくつかのビジネスディレクトリによると」といった表現でそれ自体を述べており、それでもWikipediaにマーカーを付けています。主張と引用は同じプロセスによって生成されており、そのプロセスは検索ではありません。

同じことのより穏やかなバージョン：sonarはGitLabのCEOをBill Staples氏とし、2024年12月5日にその役職に就いたと述べ、GitLab自身のエグゼクティブチームページを引用しました。そのページにはBill Staples氏の名前が記載されています。しかし、日付は記載されていません。文の半分はソースがありますが、もう半分はありません。

最も失敗する箇所

両方のPerplexityモデルを質問タイプ別に集計し、引用ページが主張の数値を1つでも含んでいたペアの割合：

この順序はランダムではありません。それは、事実が1つの正規化された場所にどれだけよく書き留められているかを追跡しています。従業員数と設立年は、それらを保持するために構築されたページ上の構造化フィールドにあります。CEOの開始日やオフィスの番地は、誰もが繰り返し述べ、誰も公開しない種類の情報であり、モデルはコンセンサスを再現し、それを一度も記載したことのないページを指します。

プレミアムモデルは良くも悪くもない

パイロット調査では、sonar-proはsonarよりも主張の根拠が弱いことが示唆されました。本格的な規模では、その差はなくなります。sonarは数値ペアの65.9%（95%信頼区間 62.8–68.9）で合格し、sonar-proは64.7%（61.5–67.7）で合格しました。信頼区間は快適に重なっており、両モデルはほぼ同じ率で引用しています。1回答あたり9.8件と9.7件です。この測定においては、両者は同じ製品です。パイロット調査の結果は、私たちが聞きたいことを伝えてくれた小さなサンプルであり、再現されませんでした。

Webプラグイン付きのGPT-4.1は、1つの点で異なる動作をします。それは、Perplexityの9.8件に対して回答あたり2.0件のソースを引用し、そのうち36.4%がPerplexityの23.4%に対して企業のドメインを指していることです。インラインマーカーを生成しないため、主張レベルでのチェックは不可能であり、それ自体が発見です。末尾に引用リストがある回答は、文ごとに監査できません。

誰が引用されるか

sonarの3,031件の引用（989の異なるホストに分散）のうち、23.4%が企業のドメインを指し、23.1%がB2Bディレクトリ、収益推定ツール、またはリードリスト（Tracxn、PitchBook、Clay、GetLatka、ZoomInfo、CB Insights、Growjo、Crunchbaseおよびその多くの模倣者）を指しています。最大の単一ホストはlinkedin.comで5.6%、次にen.wikipedia.orgで4.3%、そしてtracxn.comで3.0%です。

これらのディレクトリページは、セットの中で最も耐久性の低い資料でもあります。それらの66.0%が開いたのに対し、引用全体の78.7%が開きました。これらはデータベースから生成され、ランキングのために大規模に公開され、通知なしに制限されたり廃止されたりするものであり、現在、実在企業に関する質問の4分の1のソースとなっている場所です。

モデルによる判定結果（比較用）

従来の根拠判断を二次的な指標として実施しました。各主張とその引用ページを表示された別のモデルに、ページがそれを支持しているかを尋ねました。モデルごとにランダムにサンプリングされた400件の読み取り可能なペアについて、sonarの主張の50.8%を支持されている、24.5%を部分的、24.8%を支持されていないと判定しました。ページが完全に開くペアの割合と組み合わせると、エンドツーエンドのレートは40.0%です。

2つの指標は全く同じものを測定しているわけではなく、その差が重要です。読み取り可能なページでは、決定論的なチェックはsonarのペアの84.6%をクリアします。1つの一致する数値があれば合格となるためです。主張全体を支持しているかを問われるジャッジは50.8%をクリアします。エンドツーエンドでは65.9%対40.0%となり、26ポイントの差があります。

それでも決定論的な数値を先頭に持っていきます。モデルが別のモデルの作業を評価することは、この設計における最も弱い部分であり、その差は導入される不確実性の正直なサイズです。寛大な数値は、grepで再現できる数値であり、すでに十分悪い結果です。

コピーを保持している人はいません

sonarの引用URLからランダムに1,500件をWayback MachineのCDXインデックスで調べました。解決した1,432件のうち、25.1%（95%信頼区間 23.0–27.5）は一度もキャプチャされていませんでした。ページが存在する間、一度もです。

ディレクトリやリードリストのページでは、その割合は39.3%です。それらの5分の2は、ホスティングしている企業が維持している間だけ存在し、その結末はすでにわかっています。この調査のリンク切れURLは、ほぼすべて同じ層からのものです。

したがって、AI回答の下にある引用レイヤーは、主に保存されるためではなく見つけられるために構築されたページから組み立てられており、その4分の1にはどこにもコピーがありません。これらのURLのいずれかが消滅すると、それに依存していた主張も消滅します。文は残り、マーカーも残りますが、消えたのはチェックする能力だけです。

これが示していないこと

これは2026年9月2日に取得された1つのスナップショットです。これは減衰率ではなく、後で同じURLを再実行したわけではありません。

これはテクノロジー企業に関する英語の質問をカバーしています。ここにあるものは、他の言語や分野で何が起こるかを確立するものではありません。

アクセス制限のあるページは間違ったページではありません。PitchBookの購読者は、主張がそこで完全に裏付けられていると見つけるかもしれません。私たちはアカウントを持たない読者が検証できることを測定しており、それはより狭く、より有用な質問ですが、異なる質問です。

JavaScriptを実行せずにHTMLを取得するため、emptyクラスが存在し、リンク切れのカウントに折りたたむのではなく、個別に報告されています。

回答は、Perplexityのコンシューマー製品ではなく、OpenRouterを介したperplexity/sonarとperplexity/sonar-proから取得されました。コンシューマー製品は独自のセッティングで取得・引用します。

データセンターアドレスから識別されたボットとして取得するため、アクセス制限のあるページの割合は、ブラウザと自宅接続を持つ人が遭遇する割合よりも高くなっています。

210社は、定義された母集団からではなく、よく知られたテクノロジー企業として手作業で選ばれたため、被写体の構成は私たちの選択であり、母集団ではありません。

そして、主張は誤った引用でも真実である可能性があり、これらの多くがそうです。私たちはPerplexityが正しいかどうかを測定しているわけではありません。私たちが証明として提供しているものが証明として機能するかどうかを測定しています。チェックした引用の3分の1では、それは機能しません。

データと方法

完全なデータセットはCC BY 4.0の下で公開されています。質問、すべての引用URLとその解決方法、すべての主張–引用ペア（両方の判定結果付き）、およびWayback検索結果。収集および分析スクリプト、完全な方法論、計算された数値、およびすべての名前付き例の執筆時の証拠は同じディレクトリにあります。

このレポートのPDF版はhausresearch.com/data/perplexity-citation-audit/perplexity-citation-audit.pdfで入手できます。