HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

「古典的」機械学習によるLLM生成テキストの検出

Detecting LLM-Generated Texts with “Classical” Machine Learning (blog.lyc8503.net)

220 pointsby uneven9434165 コメント

要約

この記事では、2026年初頭の時点で、主流のLLM生成テキストが人間が書いたコンテンツと統計的に大きく異なり、従来の機械学習モデルで効果的に区別できることを示しています。これは、多くの「AI剽窃チェッカー」が内部で機能している方法であると推測されています。実験では、TF-IDF特徴量と線形SVC(サポートベクター分類器)を用いた単語レベルの分類で約85%の精度が達成されました。

全文翻訳

「古典的」機械学習によるLLM生成Webフィクションの検出(AIGCテキスト検出)

この記事は現在、実験的な機械翻訳であり、誤りが含まれている可能性があります。不明な点があれば、元の中国語版を参照してください。翻訳の改善に継続的に取り組んでいます。

TL;DR & デモ

2026年初頭現在、主流のLLM生成テキストは、人間の執筆内容とは効果的に区別できる強力な統計的パターンを示しています。多くのいわゆる「AI盗作チェッカー」が内部で実際に機能しているのは、おそらくこの方法でしょう。

オンラインデモ: https://lyc8003.github.io/AITextDetector/

このデモで使用されているモデルは、汎用データでトレーニングされておらず、厳密な最適化やイテレーションも行われていません。単一文の検出精度は、テストセットで約85%です。潜在的な制限を理解するために、使用前にこの記事を最後までお読みください。

コアコード(ドラフト)とトレーニング済みモデルファイルはGitHubで入手可能です: lyc8003/AITextDetector

背景(または、どうでもいい雑談)

半年前、まだ学校で論文を書いていた頃、AIGC(AI生成コンテンツ)の論文チェックに関する噂がすでに広まっていました。CNKI、Wanfang、およびいくつかのサードパーティのAIGC検出サービスをテストしたところ、それらが私の手書きテキストとLLM生成テキストをかなりの精度で区別できることがわかりました。

それが、AIGC検出が実際にどのように機能するのか(そしてそれを回避する方法)についての私の好奇心を刺激しました。

しかし、当時はラジオ、Minecraft、東方Projectに夢中になっており、多くのことを抱えていました。数回の失敗の後、このアイデアは棚上げになりました。

結局、私はなんとか論文を書き終え、人生は続いていきました。しかし最近、Lofterを閲覧していると、低品質でキャラクター設定から大きく外れたAI生成ファンフィクションで溢れかえったタグにつまずきました。

どうして一目でAIだとわかるのか?まあ、一部の人々(または女性たち)は、MarkdownフォーマットやAI生成のセクションヘッダーをクリーンアップせずに投稿し、記事の半分をペイウォールの後ろに隠しています 😓

しかし、ほとんどのAI生成テキストは発見が難しく、多様な文体、様々なプロンプトに埋もれており、すぐに明らかではありません。何かがおかしいと気づいたときには、もう遅いです。証明が不可能に近いテキストもあり、私をパラノイアにさせます。AI生成のゴミを何杯も飲み込んだ後、ついに我慢の限界に達しました。Lofterの閲覧はここで終了—VS Codeを開く時です!

そう、週末プロジェクトのアイデアを復活させることになったのです:AI生成テキスト検出器の構築…

研究試行 – 成果なし

AIGC検出を検索すると、インターネットはほぼ完全に広告で汚染されています。すべての結果は、別のエッセイ・AIリライティングサービスです。当時、ノイズの中から「テキストのパープレキシティ(perplexity)」と呼ばれるものを見つけました。

アイデアはシンプルです:既存のLLMを使用して、与えられた文中の各単語が出現する確率を推定します。もしほとんどすべての単語がLLMの予測(Top-N)で上位に来るなら、その文はAI生成である可能性が高いです。逆に、多くの単語が予期しないものであれば、人間が書いたものである可能性が高いです。

有望に聞こえますよね?この方法を試すのにしばらく時間を費やしましたが、結果は残念なものでした—多くの偽陽性(false positives)と偽陰性(false negatives)があり、合理的な閾値を設定できませんでした。さらに、実用上の問題もあります:推論コストが高い、モデル間の汎化性能が低い、ローカルでの大規模モデルのデプロイが困難、クローズドウェイトモデルの統合が難しい。全体として、このアプローチは洗練されておらず、信頼性もありません。

[画像: 失敗した試行—ソフト広告の「チュートリアル」に騙された]失敗した試行—ソフト広告の「チュートリアル」に騙された

(ある程度)成功した試行 – scikit-learn SVM

オンラインリソースが役に立たなかったので、昔ながらの錬金術に戻ります。

Scikit-learn、起動!そのロードマップに従って、分類タスクの良い出発点としてLinear SVCとNaive Bayesを直接選択できます。

(囁き:これは私の直感とも一致しました—LLMには検出可能な単語選択パターンがあります。Naive Bayes分類器でさえそれを拾うはずです。信号がこれほど強いとは思っていませんでした。)

データ生成

昔ながらの錬金術伝統的な分類器にはラベル付きデータが必要です—したがって、トレーニングのために人間が書いたテキストと確認済みのLLM生成テキストが必要です。

私の方法:2023年に特定のFord風およびRiver風のプラットフォームからスクレイピングしたデータを収集し、2010年から2022年の間に公開された記事をフィルタリングしました(ChatGPT以前)。エンゲージメントが非常に低い、または非常に短いピースのみをフィルタリングし、数千文字以上のテキストをランダムにサンプリングして人間が書いたサンプルとしました。

次に、LLMを使用してこれらのテキストの章の要約を生成し、要約をLLMにフィードバックして、完全な記事を再生成させました。これにより、おおよそ同数のLLM生成サンプルが得られ、ジャンルが多様で、元の人間コンテンツに密接に一致しました。

理論上は、少なくとも。しかし、LLM APIは高価であり、週末プロジェクトに数千ドルを費やすつもりはありませんでした。そこで私は創造的になり、ルールを回避して、複数の低コストまたは無料のAPIチャネルを活用しました:

  • Gemini: CLIProxyAPIを使用してAntigravity/Gemini CLIクォータをAPIアクセスに変換—AI Proアカウントに約20ドルを支払うだけ
  • Qwen: qwen-codeを使用すると、Qwen Plus APIをリバースエンジニアリングできます—無料
  • GLM-5: 幸運なタイミング—OpenRouterが無料のGLM-5パブリックベータ(Pony Alpha)を提供していました
  • Kimi, Deepseek, Doubao, GLM-4.7: プロモーションコーディングプラン中にサインアップ—初月8.9ドル、APIアクセスがアンロックされました

免責事項:これは推奨ではありません。これらの行為はプラットフォームの利用規約に違反しており、BANされる可能性があります。しかし、プラットフォームはマーケティングの誇大広告で忙しすぎて気にしておらず、私は定価を支払うつもりはありませんでした。

多くのプログラミング中心のLLM APIは奇妙なことに呼び出しごとに課金されますが、タスクを大規模な入力にバッチ処理することで悪用最適化し、LLMに1回の呼び出しでより多くのコンテンツを生成させることができます。そして…

[画像: 3000ドル相当のGeminiトークンを2000ドル分使ったってどういうこと?!]3000ドル相当のGeminiトークンを2000ドル分使ったってどういうこと?!

最終的に、gemini-3-flashを使用して要約を生成し、7つの異なるモデル(gemini-3-pro, qwen-coder-plus, glm-5, glm-4.7, kimi-k2.5, doubao-seed-code, deepseek-v3.2)を使用して7セットのLLM生成サンプルを生成しました。

[画像: 生成されたファイル]生成されたファイル

トレーニング

データ生成の途中で、待ちきれずにトレーニングを開始しました。

Claudeに分類器コードを書くように依頼したところ、モデルに生のテキスト全体を無邪気にダンプしてきました—疑わしい99.45%の精度を達成しました…本当に?

Claudeは役に立たない。自分でやる。トレーニングのために、すべてのテキストを中国語の句読点で文に分割し、中国語/英語以外の文字をクリーニングしてから、scikit-learnのTF-IDF → LinearSVCを適用しました。ノイズをいくつかクリーニングした後、文レベルの分類でも約85%の精度に達しました!

[画像: このバグのある最初のバージョンでさえ88%の精度を達成しました(後に85%に最適化)]このバグのある最初のバージョンでさえ88%の精度を達成しました(後に85%に最適化)

個々の文は限られた情報しか持ちませんが、文あたりの85%の精度は、長い記事の場合、AI生成かどうかを判断する際に高い確信を持てることを意味します。このパフォーマンスは私の予想をはるかに超えていました。昔ながらのMLは依然として強力です—LLMに「ねえ、このテキストはAI生成ですか?」と尋ねるだけの、あの愚かなオンラインツールよりもはるかに優れています。

すべてのデータを完成させた後、8クラスモデル(人間+7つのAI)をトレーニングしようとしましたが、LLMは互いに似すぎているようです—おそらく互いに蒸留されているのでしょう—そのため分類は乱雑で、精度は約50%でした。

[画像: マルチクラスの結果—分離不可能らしい。私のモデルがダメなのかもしれないが、まあいい、重要ではない]マルチクラスの結果—分離可能ではない。私のモデルがダメなのかもしれないが、まあいい、重要ではない

最終的に、7つの個別のバイナリ分類器をトレーニングし、多数決を使用しました:文は、≥2つのモデルが検出した場合にAIとしてフラグが付けられます。

1234567891011121314151617181920212223242526272829303132333435
8536 samples loaded
train chapter size: 6820, test chapter size: 1716
[gemini] Train: 917,374  Test: 228,051
[gemini] full TF-IDF + SVC ...  3,336,446 features -> acc=0.8809  f1=0.8082  [tn=143688 fp=10650 fn=16503 tp=57210]
[qwen] Train: 1,315,338  Test: 328,636
[qwen] full TF-IDF + SVC ...  3,989,603 features -> acc=0.8911  f1=0.8974  [tn=136293 fp=18045 fn=17739 tp=156559]
[pony] Train: 1,128,044  Test: 278,663
[pony] full TF-IDF + SVC ...  3,688,143 features -> acc=0.8493  f1=0.8286  [tn=135085 fp=19253 fn=22755 tp=101570]
[kimi25] Train: 1,088,007  Test: 269,567
[kimi25] full TF-IDF + SVC ...  3,976,027 features -> acc=0.8721  f1=0.8473  [tn=139390 fp=14948 fn=19534 tp=95695]
[glm47] Train: 1,124,430  Test: 279,109
[glm47] full TF-IDF + SVC ...  3,980,772 features -> acc=0.8436  f1=0.8222  [tn=134461 fp=19877 fn=23786 tp=100985]
[doubao] Train: 1,063,395  Test: 264,121
[doubao] full TF-IDF + SVC ...  4,243,728 features -> acc=0.8940  f1=0.8700  [tn=142420 fp=11918 fn=16089 tp=93694]
[deepseekv32] Train: 1,176,294  Test: 289,042
[deepseekv32] full TF-IDF + SVC ...  4,361,691 features -> acc=0.8529  f1=0.8403  [tn=134625 fp=19713 fn=22819 tp=111885]
=====================================
  SUMMARY
=====================================
  model            s1 acc   s1 f1
  gemini           0.8809  0.8082
  qwen             0.8911  0.8974
  pony             0.8493  0.8286
  kimi25           0.8721  0.8473
  glm47            0.8436  0.8222
  doubao           0.8940  0.8700
  deepseekv32      0.8529  0.8403

すべてのモデルが85%以上の精度と80%以上のF1スコアを達成しました—かなり堅調です!AI生成テキストは複数のモデルによってフラグ付けされることがよくあったため、多数決は理にかなっていました。

MultinomialNBとSGDClassifierを試しましたが、精度はわずかに低下しました。BERTはわずかなブーストをもたらしましたが、GPU時間を過剰に必要としたため破棄しました。AutoGluonさえテストしましたが、なぜかバイナリ精度は53%にしかなりませんでした。それらについては詳しく説明しません。

WebデモのためのJS実装

この時点で、リポジトリを公開して終了することもできましたが、毎回Pythonを起動するのは非常に不便です。Python APIをホストすることもできましたが、それはサーバーメンテナンスを意味します—私の厳格なサーバーレス哲学に反します。

私の元の計画:モデルをONNXにエクスポートし、WasmでONNX Web Runtimeを介して推論を実行する。しかし、シリコン召使いのClaudeに助けを求めたとき、私は明確に指定しなかった—そしてそれはスクリプトから外れて、モデルをJSONとしてトリミングしてエクスポートしました…そしてTF-IDF + SVM全体をJavaScriptで実装してブラウザ推論を行いました。

うーん…実際には悪いアイデアではありません。100万文字のテキストでテストしました—私のマシンで約10秒かかり、許容範囲内です。典型的な数千文字の入力では、瞬時です。

まあ、これはデモに過ぎず、JSアプローチの方が透明性が高いため、この少しばかげた実装を維持します。(私のせいではなく、Claudeのせいにしてください。)

精度について:さまざまな特徴量制限をテストしました。最終的にパフォーマンスを優先し、500kの特徴量を維持しました。JSONとして保存すると、肥大化して107MBになります(サーバーサイドでgzip圧縮しても約38MB)。より小さいバージョン(50k–80k)では精度が3〜4%しか失われませんでしたが、最終的なAI検出率は大幅に変動しました—特に人間によるテキストでは、相対的な差が±50%になり、偽陽性を引き起こしました。そのため、500kに固執しました。

最終的な精度低下:約1%、以下に示す通りです。

12345678910111214
============================================================
  SUMMARY
  top-500,000  C=1.0
============================================================
  model            s1 acc   s2 acc     Δacc    s1 f1    s2 f1      Δf1
  gemini           0.8809   0.8721  -0.0088   0.8082   0.7986  -0.0096
  qwen             0.8911   0.8819  -0.0092   0.8974   0.8886  -0.0088
  pony             0.8493   0.8383  -0.0109   0.8286   0.8173  -0.0113
  kimi25           0.8721   0.8623  -0.0098   0.8473   0.8376  -0.0097
  glm47            0.8436   0.8311  -0.0125   0.8222   0.8097  -0.0125
  doubao           0.8940   0.8869  -0.0071   0.8700   0.8624  -0.0076
  deepseekv32      0.8529   0.8419  -0.0110   0.8403   0.8291  -0.0112
  AVG                       0.8592                     0.8348
  MIN acc: 0.8311
============================================================
パフォーマンスのテスト

以下のすべてのテストでは、フルジョブlibモデルと同様のパフォーマンスを発揮するはずの、プルーニングされたWebバージョンを使用します。

現在のロジック:入力テキストを文に分割し、クリーニングして、7つのバイナリモデルすべてを使用して分類します。≥2つのモデルが文にフラグを付けた場合、疑わしいAIとしてマークされ、ハイライトされます。最終的なAIスコアは、フラグ付けされた文字の割合です。分類:

  • <50%:人間
  • 50–70%:人間かもしれない
  • 70%:AIかもしれない

まず、DoubaoやDeepseekのような一般的なモデルでの検出率をテストします—どちらもトレーニングデータに含まれていました。プロンプト:write me a 3000-word story。簡単に検出されました:

[画像: Deepseek V3.2: 78.4%]Deepseek V3.2: 78.4%

[画像: Doubao Seed Code: 93.0%]Doubao Seed Code: 93.0%

次に、未知のモデルでのテスト—汎化性能はどうでしょうか?

[画像: Claude Sonnet 4.6: 71.9%]Claude Sonnet 4.6: 71.9%

[画像: GPT 5.2: 73.3%]GPT 5.2: 73.3%

トレーニングに含まれていない他のいくつかのモデル(MiMo-V2, Doubao-Seed-2.0, GPT-4o)をテストしました—すべて約70%で検出され、一部は90%を超えました。堅調です。

より複雑なプロンプトもテストしました—例えば、人間が書いたテキストの20章をフィードし、LLMにスタイルを模倣して継続するように依頼しました。検出率はわずかに67.8%に低下しました(ただし、複雑なプロンプトでもトレーニングしたことを覚えておいてください)。スペースの関係で結果は表示しません。

次に、購読リストから完成したWeb小説10件(2022年以前)をピックアップしました—ジャンル、著者、時代が多様で、トレーニングデータに含まれていない可能性が高いです。

それらのAI検出率:22.7%、24.2%、25.0%、24.5%、19.0%、13.7%、29.1%、4.9%、27.3%、19.2%—すべて30%未満です。ランダムなLofterファンフィクションもサンプリングしました。よりカジュアルなので、検出率は10%未満になることがよくありました。しかし、AI生成だと疑っていたテキストをフィードすると、検出率は83.4%に跳ね上がり、開示なしのLLM使用を強く示唆しました。

[2026年3月5日更新] より厳密なテストのために、Lofterでエンゲージメントの高い(ビュー>5000)、長文(単語数>2000)のファンフィクションを10,000件ランダムにサンプリングし、すべて2022年以前に投稿されたものです。それらのAI検出率の分布(7モデル投票、≥2票を使用):

1
0-5%:313 | 5-10%:1945 | 10-15%:3016 | 15-20%:2033 | 20-25%:1355 | 25-30%:594 | 30-35%:492 | 35-40%:123 | 40-45%:34 | 45-50%:62 | 50-55%:24 | 55-60%:5 | 60-65%:3 | 65-70%:1

60%を閾値として使用 → 偽陽性率:0.04%
70%を使用 → 偽陽性率:<0.01%(実質ゼロ)
60%を超えた4つのテキストはすべてコレクションインデックスであり、実際のストーリーではありませんでした—リンクが多すぎるためにフラグが付けられました。

50%の閾値でも、偽陽性率はわずか0.33%です。

次に、Lofter Androidのトップ20トレンドタグ(週間榜単)の記事をすべてスクレイピングし、長さをフィルタリングして検出を実行しました:

1
0-5%:27 | 5-10%:138 | 10-15%:231 | 15-20%:245 | 20-25%:238 | 25-30%:137 | 30-35%:112 | 35-40%:87 | 40-45%:116 | 45-50%:112 | 50-55%:118 | 55-60%:157 | 60-65%:118 | 65-70%:109 | 70-75%:75 | 75-80%:56 | 80-85%:28 | 85-90%:15 | 90-95%:10

記事の32.22%が50%以上のAIスコア—おそらく部分的にまたは完全にAI生成…人間は残っているのか??さらに、1つもAI生成コンテンツを積極的に宣言していませんでした。

「末法の世か、、、、」—グループの友人

攻撃と防御 – 検出の回避(?)

さて、AIGC検出器を構築しました。今度はアンチ検出器を構築する時間です。

いや、冗談です。そこまで暇ではありません。

しかし、一般的なアンチAIGC検出トリックをテストしてみましょう:

クラシック翻訳法

Google翻訳の往復(CN→EN→CN):89.9% → 85.0%
Youdao翻訳(CN→EN→CN):89.9% → 79.2%
Sogou翻訳(CN→EN→CN):89.9% → 86.0%

わずかに低下しましたが、依然として明確にフラグ付けされています。

LLMプロンプト法

「魔法の」プロンプトを使用して、LLMの出力を「AIらしくない」ようにする—最初から馬鹿げているように聞こえます!

1行プロンプトをテストしました:Rewrite the above article to minimize AI flavor:89.9% → 83.0%

より複雑なプロンプトも試しました:89.9% → 79.3%

わずかに改善されましたが、実際には無意味です。

この検出方法はあまりにも堅牢です!(フラグ)

もし私が本当にそれを回避したいなら、私の唯一のアイデアは、大量の人間によるテキストでLLMをファインチューニングするか、SVMが一致した特徴を外科的に破壊する巨大なルールベースシステムを構築することでしょう。しかし、それはこの記事の範囲を超えています。それが機能するかどうかもわかりません。あるいは、もっと良い方法があるかもしれません—読者の演習として残しておきます。

エピローグ

さて、締めくくりの雑談の時間です。

正直なところ、この分類タスクがこれほど簡単だとは予想していませんでした—scikit-learnの「Hello World」スクリプトで、最小限のイテレーションといくつかのハードコーディングされたルールで、かなり堅牢で正確な検出器を作成できるほど単純でした。ほとんどの労力は、LLMがデータを生成するのを待つことでした…

野心的な読者は、このアプローチに従って他のドメインの検出器をトレーニングできます—例えば、学術論文のAIGC検出。派手なフロントエンドを追加すれば、必死の大学生に販売できるツールを手に入れることができます。もしお金を稼いだら、少し寄付するのを忘れないでください。

別のアイデア:AI生成画像の検出。しかし、Stable Diffusionと簡単なLoRAファインチューニングにより、視覚的なスタイルはテキストよりもはるかに多様です—このタスクははるかに難しくなるでしょう。そして、この記事を書いた後、私の3分間の熱意は燃え尽きました。多分次回。

最後に、AI生成コンテンツに関するいくつかの言葉:私はAI生成エンターテイメントを正当な創造的作品として受け入れていません。AIコーディングツールが肥大化して維持不可能なコードを生成するのと同じように、AI生成テキスト、画像、オーディオは一見まともでも、詳しく見ると崩壊します—繰り返しが多く、浅く、予測可能すぎて、単語頻度の統計でさえそれらを捉えることができます。このパターンは、実際の創造には根本的に不向きであり、読者として私は深く不満を感じています。LLMのいわゆる「クリエイティブライティング」は、単にトレーニング後のデータが無限に再結合され、 regurgitate されているだけだと疑い始めています。

しかし、見方を変えれば、「世界はこうあるべきだ」は「世界はこうである」とは決して等しくありません。LLMはイノベーションと生産性の向上をもたらしますが、誤用と乱用はあらゆる産業に容赦なく広がっています。そして、LLMは人間の知覚を悪用するようにファインチューニングされているため、それらが何かを「理解」しているのか、それとも単にパターンを記憶しているだけなのかは誰にもわかりません。「3.9と3.11のどちらが大きいか」や「洗車に行くのに歩くべきか車で行くべきか50m」のようなバグを延々とパッチした後、モデルが世界を理解していると言えるでしょうか?

誰もが議論に詰まっています:LLMとは何か?それは私の業界をどのように破壊するのか?AIは人類をどこへ連れて行くのか?誰も答えを持っていません。

少なくとも、AI時代が来る前にコーディングを学べたことを嬉しく思います。そうでなければ、今日のvibe-codedソフトウェアがいかに愚かであるかに気づかないかもしれません。未来については?ジェネレーティブAIが人間の社会秩序を粉砕するか、AIバブルが弾けてメモリが無料になるかのどちらかです。どちらにしても、大丈夫そうではありませんか?