Pangramエラーのスキャン

Pangramエラーのスキャン Pangramは、AI生成された文章を検出すると主張する新しいAI検出ツールであり、様々な読者コミュニティで話題を呼んでいます。Pangramは、ユーザーがAI生成された文章を検出するのを助けることができると主張しています。AI検出は新しいものではなく、AIが登場して以来ずっと存在しています。しかし、以前の世代の検出ツールとは異なり、Pangramは1万分の1という低い誤検出率を誇っています。つまり、PangramがテキストブロックをAIであると判断した場合、それが人間によって書かれたものである確率は1万分の1に過ぎません。 私は小さなロマンス小説コミュニティを運営しています。現在、多くのニッチな書籍コミュニティが、私のコミュニティを含め、ラベル付けされていないAI作品の攻撃に直面しています。この問題に対処するため、私はPangramを使用して作品がAIによって書かれたものであるかを特定し、モデレーションの労力をそれらの作品に集中させました。Pangramは論争の的となっており、多くのオンラインユーザーがその精度主張に疑問を呈しています。私も検出に対して懐疑的な姿勢で臨んでおり、いくつかの方法でPangramをテストしました。 私はPangramに、ChatGPTリリース前のRoyalRoadに公開された多数の物語を読み込ませましたが、ツールはAIを検出できませんでした。これは、機能する検出器に期待されることであり、Pangramが人間の文章を不必要にフラグ付けしないという励みになる兆候です。後で私のRoyalRoadの結果をまとめる予定ですが、この記事の焦点はそこではありません。この記事では、Pangramの別の側面、すなわち記憶についてテストします。 Pangramは機械学習システムであり、機械学習システムに関する懸念の1つは、トレーニングセットを「記憶」してしまう可能性があることです。Pangramのような機械学習モデルをトレーニングする際、科学者やエンジニアはモデルにAIと人間の文章のラベル付きの例を多数与え、十分な例を与えればモデルがAIライティングが「どのように見えるか」を学習することを期待します。しかし、Pangramが単にトレーニングからのすべての例を記憶しており、学習するのではなく、その答えを再生しているリスクがあります。記憶に関する懸念は、Pangramのオンラインディスカッションで見られます。Commonwealth賞について議論する際、あるRedditユーザーは、以前の受賞者の作品はAIによって書かれたようには見えなかったが、2026年の受賞者はそうだったと指摘しました。別のコメント者は応答しました。Commonwealth賞はかなり有名です。Pangramはほぼ間違いなくそれと他のすべての主要な文学賞をトレーニングに使用しています。それを行わないのは全く愚かでしょうし、これらの人々は愚かではありません。 その含意は、Pangramが以前の受賞作品を記憶しており、それらをAIとしてラベル付けしないことを知っている可能性があるということです。PangramはRoyalRoadに公開されたすべての物語も単に記憶していたのでしょうか？ 最悪の場合、Pangramのアルゴリズムは単に「ChatGPT以前に公開されたことがわかっている作品は『人間』とラベル付けし、それ以外は『AI』とラベル付けする」というものかもしれません。ほとんどの作品はAIが存在する前に書かれたため、Pangramは古い記憶された作品でうまく機能することで、1万分の1の誤検出率を達成できる可能性があります。 幸いなことに、これをテストする簡単な方法があります。それは、Pangramが一度も見たことのない例を提供することです！これを簡単に行う方法は、自分の文章をPangramに読み込ませることです。しかし、私は何か違うことを試したかったのです。 私はインターネット上にデジタル形式で存在しない古い本を見つけました。Amazonやarchive.orgには電子書籍がなく、それらをスキャンしてPangramに読み込ませました。たとえPangramがトレーニングデータから古い本を記憶していたとしても、これらの作品はデジタル化されていなかったため、見逃していたはずです。その場合、これらの古い本に対して非常に高い誤検出率が見られると予想されるはずです。 Ebayには、デジタル形式にならなかった古い本や雑誌がたくさんあります。これらの作品は商業的な寿命を過ぎ、ほとんど忘れられています。私はこれらの忘れられた古い本をいくつか購入し、背表紙を外し、シートフィードスキャナーに入れ、OCRを使用してテキストに変換しました。合計で45冊の本をスキャンし、その全内容をPangramに読み込ませました。 古い本に手術を行う。背表紙が取り外されたDouble Duty Nurse。ページはバラバラになり、ADFスキャナーで読み込む準備ができています。 プロセスは非常にシンプルであることが判明しました。必要なのは、カッターナイフと定規だけでした。接着剤と背表紙を切り出す繰り返し作業は、手が作業している間、Dungeon Crawler Carlを聴きながら考え事をしたりする瞑想的なプロセスになりました。結果の要約は以下の通りです。より完全な表は最後にあります。 データセットは2,883,616語で、Pangramはそれを8,029のセグメントに分割し、平均セグメント長は359語でした。セグメントの大部分は人間としてラベル付けされています。しかし、いくつかのAIセグメントがあることに気づくかもしれません。3つの「AIアシスト」セグメントと1つの「AI」セグメントがあるようです。これはPangramがエラーを犯したということでしょうか？ この場合、興味深いことが起こりました！私のスキャナーは各ページの画像を生成しますが、Pangramはテキストを必要とします。画像をテキストに変換するために、私はMistralのOCRサービスを使用しました。Mistral OCR自体もAIであり、この場合、Mistralは存在しないテーブルを空白ページに幻覚として追加しました！ 以下に示すように、Double Duty Nurseのページ2のOCR処理されたテキストには中国語のテーブルが含まれていますが、元の画像ではページは空白です。Pangramはこのテーブルを見て、MistralのAIが誤ってテーブルを本に追加したことを判断できました。実際、Pangramが与えたすべての「AI」評価は、Mistralの幻覚から来ていました。 この場合、Pangramは設計通りに機能しました。しかし、それが示しているのは、何か重要なことにPangramの結果を使用したい場合は、常に人間によるレビューを行うべきだということです。人間によるレビューは、Pangramチームも推奨していることです。 全体として、この結果はPangramがトレーニングセットを記憶していないという自信を与えてくれます。正直に言うと、私の努力で偽陽性を見つけられなかったことに少しがっかりしています。しかし、1万分の1は非常にまれです。Pangramの1/10,000の誤検出率を考えると、作家がStephen King3と同じくらいの言葉を書いた場合、キャリア全体で3つのセグメントが「AI」として検出されると予想されるでしょう4。 1 あるケースでは、ZeroGPTがテキサス独立宣言をAIによって書かれたものとしてフラグ付けしました 2 RoyalRoadは、作家が作品を共有する大規模なシリアルフィクションウェブサイトです。少なくとも2018年以来、現在の形で存在しています。 3 Kingは、1日に2,000語を書こうと努めていると述べており、最も多作なアメリカの作家の1人です。 4 Kingの語数は約1100万語と推定されています。このウェブサイトでは、彼の語数は約11,400,000語です。セグメントの平均語数が359語の場合、その語数からPangramで約32,000セグメントが期待されることになります。 121共有