構造のみでAI生成ウェブコンテンツを識別するモデルのトレーニング

皆さん、こんにちは HN！私たちは Sitefire (https://sitefire.ai) の Vincent と Jochen です。私たちは長年一緒に仕事をしており、スタンフォード大学での RL/最適化のバックグラウンドと、ミュンヘン工科大学 (TUM) でのソフトウェアエンジニアリングのバックグラウンドを持っています。

Sitefire (YC W26) では、マーケティングチームが AI Search (ChatGPT, Google AI Overviews, AI Mode, Claude など) で推奨されるのを支援しています。私たちのソフトウェアはプロンプトを監視し、どのウェブページが引用されているかを確認し、これらのインサイトを使用してマーケティングチームが YouTube 動画を作成したり、適切なブログ記事を作成したりするのを支援します。

これは、私たちが AI 生成ウェブコンテンツに商業的な利害を持っていることを意味します。そして今のところ、高情報量の AI 生成コンテンツは、AI Search で引用され推奨されるのに非常に効果的です。

しかし、何百ものマーケティングチームと話す中で、誰もが AI 生成コンテンツ（「AI スロップ」）を嫌悪していることが明らかになりました。それにもかかわらず、誰もがコンテンツ作成に AI を活用したいと考えています。そこで私たちは自問しました：AI スロップの特徴は何でしょうか？人間が生成したウェブページからそれを識別するモデルをトレーニングできるでしょうか？

メリーランド大学と Google DeepMind の研究者たちは、すでにフィクションについてこの問いを投げかけていました。彼らの論文 StoryScope (Russell et al., 2026) は、単語を見なくても、その構造だけで AI が書いた物語と人間が書いた物語を区別できることを示しました。

私たちはそのパイプラインを商用ウェブページに移植しました。Wayback Machine を使用して、ChatGPT が存在する前に書かれた 268 の B2B 企業ウェブサイトから 2,250 のブログ記事を収集しました。各ブログ記事について、5 つの AI モデル (GPT-5.4, Claude Sonnet 4.6, Gemini 3 Flash, DeepSeek V3.2, Kimi K2.5) が独自のバージョンを作成しました。

単語を見る代わりに、各投稿がどのように構築されているかを見ました。AI モデルに、各投稿に関する 214 の質問に答えさせました。例えば、その製品をどれだけ強くプッシュしているか、主張を情報源で裏付けているか、あるいは名前のある専門家を引用しているかなどです。その後、これらの回答に基づいて分類器をトレーニングしました。

これまで見たことのないブログ記事に対して、私たちの分類器は 98% の精度で AI 生成記事と人間が作成した記事を区別し、1,740 件中 19 件しか間違えませんでした。

なぜこれほどうまくいくのでしょうか？それは、5 つの AI モデルすべてが似たような形状で記述しているからです。これらの特徴に対する各 AI モデルの値のマッピングを見ると、それらはクラスター化していますが、人間の値はそれらから離れており、はるかに広範囲に分散しています。データセットの中で最もユニークなブログ記事の 1% のうち、149 件が人間によるもので、AI によるものはわずか 4 件でした。

では、AI スロップの特徴は何でしょうか？それは同じことを 3 回伝えます。タイトルはすでに「オンボーディング時間を半分にする方法」のように、何が得られるかを約束しており、導入部では何が来るかを概説し、結びではすべてを再び言います。AI 記事の 77% が主要なポイントを繰り返して終わるのに対し、人間による記事ではわずか 12% です。私たちはこれを、整然として自己宣伝的なブログ記事と呼んでいます。

それでも、各 AI モデルには独自の「アクセント」があります。私たちは 2 番目の分類器をトレーニングして、5 つの AI モデルのどれが記事を書いたのか、あるいは人間が書いたのかを判断できるようにしました。これは、ランダムな推測 (6 分の 1) が 17% の正解率になるのに対し、79% の確率で正しい作成者を選びます。その間違いのほとんどは AI モデル間の混同であり、人間と AI の間の混同ではありません。

構造的特徴のクールな点は、単に言葉を言い換えるだけでは回避できないことです。各 AI モデルに自身の記事を書き直させ、平均で元の 13 単語のシーケンスの 73% が失われるまで行いましたが、AI スロップ分類器は依然として同じようにうまく機能しました。

私たちはこれを Sitefire に組み込んでいます。私たちのエージェントはテキストの構造的な理解を得るため、彼らが書く記事はより深く、人間が書くような多様性を持つようになります。

まだテストしていないことはたくさんあります。例えば、数多くのヒューマナイザーツール、人間の書き直し、記事の再構成、またはこれらの習慣を意図的に避けるように AI モデルにプロンプトを与えることなどです。また、私たちの人間が書いた記事は主に 2020 年から 2022 年のものであるのに対し、AI が生成した記事は 2026 年 8 月に生成されたものです。構造は記事がいつ書かれたかを実際には telling できませんが、それでも同じ年の比較ではありません。

すべての図を含む研究を arXiv に公開しました: https://arxiv.org/abs/2609.15369。コードは GitHub にあります: https://github.com/pulse-energy-eu/slopshape

あなたのブログは AI スロップではないと確信していますよね？私たちは、記事から 10 の特徴を 1 つの投稿に通して実行できるチェッカーを構築しました。自分で確認できます（完全なレポートでは仕事用のメールアドレスが必要です）: https://sitefire.ai/slop-checker。

AI スロップと人間が書いた文章を見分けられると思いますか？モデルに追いつけるかどうかを確認するための小さなゲームも作成しました。モデルは全 5 ラウンドで正解します: https://sitefire.ai/spot-the-slop。