HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIのために3つのサイトが215,128件の「最高のソフトウェア」ページを作成。Perplexityがそれらを引用

Three sites made 215,128 “best software” pages for AI. Perplexity cites them (trellner.com)

494 pointsby jakobgreenfeld243 コメント

要約

AIモデルがソフトウェアの推薦情報を生成する際に参照する情報源を調査した結果、Trancoトップ100万ドメイン外のサイトや、2023年12月以降に開設されたばかりの新しいサイトが大量に引用されていることが判明しました。特に、同一管理下にあると思われる3つのサイトが、AIの「グラウンディング」ページとして215,128件もの「最高の<カテゴリ>」ページを生成しており、これらがAIの推薦情報の根拠となっている実態が明らかになりました。

全文翻訳

AI向け「おすすめソフトウェア」ページを3サイトが215,128件作成。Perplexityが引用

我々は、380のソフトウェアカテゴリについて、ウェブ検索機能を持つ2つのモデルに最適な製品を尋ね、取得したURLをすべて記録しました。返ってきた7,534件の引用のうち、59.8%はTrancoトップ100万リストで100,000位より下位のドメインを指しており、23.4%はトップ100万に全く入っていないドメインを指していました。情報検索(grounding)を行っているサイトのうち2つは、そのホームページのHTMLタイトルを「Facts & Grounding Page」としており、これら3つのサイトは、明らかに共通の管理下にあると思われるサイトで、合計215,128もの機械生成されたbest <カテゴリ>ページを公開しています。これら3つのドメインは、2023年12月より前に存在していませんでした。

実施内容

2026年9月2日、我々はOpenRouter経由でperplexity/sonarとperplexity/sonar-proに対し、380の購入意欲のあるカテゴリ(「CRMソフトウェア」から「博物館コレクション管理ソフトウェア」まで)について、カテゴリごとに1つのプロンプト、合計760回の呼び出しを行いました。各呼び出しでは、JSON形式で上位5件のランキングと、各製品の公式ホームページドメインを要求しました。760件すべてが解析可能な回答を返し、両モデルとも取得したURLを報告したため、これらを選択しました。カテゴリは、結果を見る前に作成され、一度も修正されていません。

これにより3,800件の推奨スロットに1,807件の異なる製品が名前を連ね、7,534件の引用が2,055件の異なるドメインにまたがりました。その後、引用された各ドメインを2026年9月1日のTrancoデイリーリストおよびWayback Machineで調べ、モデルが提供した1,502件のベンダーホームページをすべて取得して、まだ存在するかどうかを確認しました。

Googleは除外しました。OpenRouter上のGeminiモデルをグラウンディングすることは、OpenRouter自身のウェブ検索プラグインを経由することを意味するため、引用はGoogleの検索ではなく、そのプラグインについて記述されることになります。測定したのはPerplexityのみであり、ここでの内容は他のいかなるエンジンに関する主張とも解釈されるべきではありません。

引用先のドメイン

引用数ランキング外 (Tranco 1M外)#100kより下位
perplexity/sonar3,76723.4%59.8%
perplexity/sonar-pro3,76723.5%59.9%
合計7,53423.4%59.8%

ランキングされたドメインを指す5,768件の引用の中央値Trancoランクは71,611でした。上位への集中は注目に値しません。最も引用された上位10ドメインが引用数の17.3%を占めているため、話は有名サイトのカルテルが回答を提供しているということではありません。問題は、残りの5分の4を何が占めているかです。引用された2,055ドメインのうち751(36.5%)は、トップ100万に登場しません。

これらのドメインは新しいものです。ランキング外の引用ドメインの中央値最初のWaybackキャプチャは2020年であるのに対し、ランキングされたドメインは2011年でした。アーカイブされたランキング外ドメインの16.6%は2025年以降に初めてキャプチャされたものであったのに対し、ランキングされたドメインでは1.6%でした。

最も引用された上位10ドメイン:

ドメイン引用数シェアTrancoランク
g2.com2913.86%4,027
reddit.com2613.46%105
guideflow.com1942.57%177,039
gartner.com1582.10%1,766
zapier.com821.09%2,919
wifitalents.com710.94%105,281
capterra.com680.90%6,387
linkedin.com670.89%18
worldmetrics.org600.80%104,737
gitnux.org500.66%42,759

比較のために、Wikipediaは7,534件の引用のうち3件でした。

3番目に大きい情報源は、あるベンダーのマーケティングブログ

guideflow.comはインタラクティブな製品デモを販売しています。レビューサイト、ディレクトリ、出版社ではなく、我々が尋ねたどのカテゴリとも競合していません。それにもかかわらず、そのブログは我々の380カテゴリのうち96(4分の1)にわたる194件の引用を受け、全体で3位、Gartnerを上回りました。各引用は異なるURLです。96件の異なるguideflow.comブログURLがあり、カテゴリごとに1つ、そのうち6件はエストニア語版の投稿でした。サイトマップには3,351件のブログURLがリストされており、そのうち2,176件は個別の投稿です。これは「3Dレンダリングソフトウェア」、「IVRソフトウェア」、「RFIDソフトウェア」、「アーキテクチャプラクティスソフトウェア」など、同様のカテゴリのグラウンディングを提供しました。

ここには何も欺瞞的なものはありません。Guideflowは、何千もの企業と同様に、大規模なコンテンツマーケティングブログを公開しています。この測定は、検索レイヤーがそれをどのように利用するかについてのものです。あるベンダーが、自社が事業を展開していない市場について作成したリスト記事が、購入すべき製品についての質問に対する3番目に大きい証拠基盤となりました。

ファクト&グラウンディングページ

上位10位およびそのすぐ下位にある他の3つのサイトは、wifitalents.com(引用数71、カテゴリ数27)、worldmetrics.org(引用数60、カテゴリ数22)、gitnux.org(引用数50、カテゴリ数23)です。これらを合わせると、181件の引用(全体の2.4%)を占め、380カテゴリのうち41に登場します。

これらは1つのオペレーションであるようです。3つすべてが2023年12月から2024年5月の間にNameCheapを通じて登録され、3つすべてが同じ2つのCloudflareネームサーバー、pam.ns.cloudflare.comとsean.ns.cloudflare.comにDNSを委任しており、3つすべてが同じページテンプレートを実行し、同じナビゲーション(Services, Market Data, Software Advice, Editorial Process, Company)を持っています。それぞれがちょうど6つの投稿を持つブログも維持しており、合計18の投稿はすべてセット内の他のブランドについてです。2つの投稿は他の2つのブランドについて、そして2つの投稿は同じネームサーバーペアにあり、自身のホームページに同じ「Facts & Grounding Page」というタイトルを付けている4番目のブランドzipdo.coについてです。ネームサーバーペアを共有することは、共通のCloudflareアカウントの強力な状況証拠であり、所有権の証明ではありませんが、テンプレート、分類法、ブログは項目ごとに一致しています。

その規模が重要です。サイトマップにはそれぞれ103,578、107,083、105,541のURLがリストされており、そのうち70,731、71,684、72,713は/best/<something>-software/ページです。これは3つのブランドにわたる215,128件の購入ガイドが生成されたことになり、それぞれ6つのブログ投稿(各サイトマップの7番目の/blog/ URLはブログインデックス)と比較すると、その差は歴然です。215,128ものソフトウェアカテゴリは存在しません。

自己記述がそれらを異常にしています。2026年9月2日に取得した際、worldmetrics.orgとgitnux.orgはどちらも<ブランド> — Facts & Grounding Pageという形式のHTMLタイトルと、ブランド名以外は同一のメタディスクリプションを返しました。

Gitnuxに関する検証済みファクト:業界統計、カスタムリサーチ、ソフトウェアのベストリストを公開する独立系市場調査会社。企業、法務、方法論、コンプライアンスの詳細を1つの機械可読レコードにまとめたもの。

グラウンディングはバイヤーが使う言葉ではありません。これは、検索システムが回答を条件付けるためにドキュメントを取得するステップの名前です。自己に関する検証済みファクトの機械可読レコードも、人間の読者にとってのサービスではありません。これらのページは、タイトルと説明において、それらを読み取るソフトウェアに向けられています。

その読み取りは、通常の手段で購入もされています。worldmetrics.orgは、カスタム市場調査(€5,000から)、既製のレポート(€499から)、ベンダー選定(€2,500から)を宣伝しており、その下にはモデルが取得する生成されたベストリストの同じ分類法があります。

1つのテンプレート、3つの評価

我々は3つのブランドすべてから同じカテゴリページ「プロジェクト見積もりソフトウェア」を取得しました。各ページはそのランキングをJSON-LDで表示しているため、解釈なしに読み取ることができます。各ページは10のツールをランク付けしており、上位5つを表示しています。

サイト12345
worldmetrics.orgFloatScoroTeamwork.comProcoreWrike
wifitalents.comFloatScoroTeamwork.comBuildertrendApropo
gitnux.orgSaviomMosaicBuildertrendFloatTeamwork.com

Gitnuxの1位はWorldmetricsのトップ5には全く登場しません。各ページには3名のスタッフの名前が記載されています。WorldmetricsはKathryn Blake、Alexander Schmidt、Victoria Marshを、GitnuxはDiana Reeves、Helena Kowalczyk、Olivia Thorntonを、WifiTalentsはRyan Gallagher、Isabella Rossi、Natasha Ivanovaをクレジットしています。1つの質問に対して9名の異なる人物が関わっています。各ページは編集プロセスを発表しており、Gitnuxはその結果を「AI検証済み・専門家レビュー済み」とラベル付けしています。3つすべてに、バイライン行にレンダリングされていないテンプレート変数があり、2つには「Within the next 26 days」、もう1つには「Within the next 40 days」と表示されています。

推奨先のドメイン

モデルが提供した1,502件のベンダーホームページは、ほとんどが問題ありませんでした。各ページを2回、一度は直接、もう一度はローテーションプロキシ経由でチェックし、どちらかの試行で到達できた場合にサイトを到達可能とカウントしたため、IPをブロックするホストが倒産した企業として記録されることはありません。

1,502件のうち10件は全くアドレスに解決しませんでした。そのうち8件はどのネームサーバーにも委任されていません。これには、GraphiQLのホームページとして提供されたgraphiql.com(GraphiQLにはそのようなサイトはありません)、Microsoft To Doのホームページとして提供されたtodo.com、Trivyのホームページとして提供されたaquasecurity.ioが含まれます。さらに4件は解決しますが、応答しません。404エラーを含めると、17ドメイン(1.1%)は失われているか到達不可能です。さらに92件(6.1%)は別の登録可能なドメインにリダイレクトします。そのほとんどは通常の買収やブランド変更であり、我々は推測する代わりに完全なリストを公開します。

2件はそうではありませんでした。そして、その2件では2つのティアが意見を異にしました。リサーチデータ管理プラットフォームについて尋ねたところ、両方ともDryadを挙げました。sonar-proは実際のレポジトリであるdatadryad.orgを、sonarはdryad.coを挙げましたが、これはインドネシアのオンラインギャンブルポータルにリダイレクトし、そのタイトルは「BIGSLOT288 | Portal Game Online」で始まります。データ品質ツールについて尋ねたところ、両方ともMonte Carloを挙げました。sonarはmontecarlodata.comを、sonar-proはmontecarlo.comを挙げましたが、これはモナコのホテル・カジノグループであるMonte-Carlo Société des Bains de Merにリダイレクトします。

これが示していないこと

2つのモデルは、2つの独立した測定ではありません。380カテゴリのうち289でバイト単位で同一の引用リストを返し、URLセットはJaccard係数0.898で重複していたため、Perplexityのティアは検索レイヤーを共有しており、1つの検索スタックを2回サンプリングしたものと読むべきです。トップピック(290/380カテゴリで同じ製品が1位)での一致は、その共有された検索に関する事実であり、独立したシステムが収束することの証拠ではありません。

この結果はPerplexityのみを対象としています。ChatGPT、Gemini、Copilot、GoogleのAIモードは測定しておらず、それらの検索ミックスが一致すると仮定する理由はありません。

380カテゴリは我々自身が作成したものであり、バイヤーが実際に尋ねる内容のサンプルではありません。ニッチな垂直分野に偏ったリストは、一般的なクエリのリストよりもロングテールソースを多く表示します。

すべてのページ取得は、名前付きリサーチユーザーエージェントの下でローテーションするデータセンタープロキシを通じて行われたため、これらのサイトが私たちに返したものが、検索クローラーやブラウザに返されるものと必ずしも同じではありません。

到達不可能なベンダー17ドメインのうち4つは、nasdaq.comやsolidworks.comなど、明らかに稼働しているが自動リクエストに応答しなかった大規模サイトです。これらは到達不可能とカウントされ、無効とはされていません。全体の実行は、変化する検索インデックスの1日のスナップショットです。

1つのプロンプト wording、カテゴリごとに1回の実行、繰り返しサンプリングなし。以前のパイロット調査では、「best」を「most popular」に置き換えると製品リストは顕著に移動するが、引用ミックスはそれほど移動しないことが示唆されましたが、この実行ではそれを測定していません。

Trancoランクは人気度を示すものであり、品質を示すものではありません。低いランクは非難ではありません。ここでは、広く訪問されているウェブとそれ以外のものを分離するためにのみ使用されています。特定のサイトに関するすべての主張は、そのサイト自身のページに基づいており、それらはデータセットにリンクされアーカイブされています。

これらのソースを削除しても異なる推奨が得られるかどうかは示していません。Guideflowと3つのベストリストブランドが妥当な製品を挙げている可能性は十分にあります。我々が測定したのは、証拠基盤がどのドキュメントで構成されているかです。

最後に、3つのブランドの共通管理は、共有インフラストラクチャと同一のテンプレートから推測されます。誰がそれらを運営しているかは不明です。3つのうちどれも所有者を明記していません。

データと方法

すべての引用、すべての推奨、TrancoとWaybackの検索結果、ベンダーの稼働確認を含む完全なデータセットは、上記のすべての数値を生成したスクリプトとともに、/data/manufactured-sources-behind-ai-recommendations/で入手できます。方法論はMETHOD.md、列のドキュメントはREADME.mdにあります。CC BY 4.0ライセンスで公開されています。このレポートのPDF版はtrellner.com/data/manufactured-sources-behind-ai-recommendations/manufactured-sources-behind-ai-recommendations.pdfで入手可能です。