Pangram 3.3.2の内部表現を探る
Exploring the internal representations of Pangram 3.3.2 (pangram.com)
要約
PangramはAI検出モデルを開発する企業で、本記事ではそのフラッグシップモデルPangram 3.3.2の内部表現の解釈性に関する初期の取り組みを紹介しています。線形プローブや次元削減手法を用いて、AI生成テキストの検出メカニズムや、LLMがどのモデルによって生成されたかを内部的に区別する能力について分析しています。この研究は、モデルの動作を深く理解し、予期せぬ挙動を修正することを目的としています。
全文翻訳
Pangram Space での視覚化
Pangram 3.3.2 の内部表現を探る
Elyas Masrour, Katherine Thai, Bradley Emi 著
2026年6月
視覚化を読み込み中…
図 1. 各点は人間またはAIの文書を示します。アニメーションは、Pangramの各レイヤーを通じてAI文書と人間文書の間の進行的な分離を示しています。
01
はじめに
ChatGPTの2022年の登場以来、AI支援ライティングは驚異的なペースで拡大しています。AI生成テキストは、私たちが読むものの多くに現れるようになったため、一部のライティング形式は機械によって生成されると価値を失うことが明らかになりました。学術界では、エッセイは学生の推論を育むことを目的としています。市場では、製品レビューは他の人々の経験を反映しているため価値があります。
Pangramは、この問題に対する最先端のAI検出モデルを構築するリサーチカンパニーです。当社の主力製品は、業界をリードする誤検知率の低さ、多言語対応、そしてAI生成とAI支援の区別が可能なAIテキスト検出モデルです。
2024年に最初のホワイトペーパーを公開して以来、私たちはAIの進歩の波を間近で見てきました。当社の研究者は、厳格すぎるコンテンツフィルターと格闘し、かなりの数のモード崩壊を経験し1、ダッシュと「delve」という単語の波をかわしてきました。
当社の主力モデルは、このシーケンス分類タスクにファインチューニングされたLLMです。パープレキシティやバーストネスのようなカスタムメトリクスは使用しません。手動での特徴抽出も行いません。AIテキストに頻繁に出現するフレーズに関する情報を提供するAI Phrasesという顧客向け製品はありますが、これらはモデルの機能として直接使用されていません。しばらくすると、好奇心が湧いてきます。モデルは何を見ているのでしょうか?
研究者として、この問いは重要です。私たちは、ショートカッティングを防ぎ、意図しないモデルの挙動を修正し、この問題を深く理解することに強いインセンティブを持っています。この記事では、文書レベルの分析を用いた初期の解釈可能性への取り組みの概要を説明します。
02
データ
当社のプロダクショントレーニングセットから、ドメイン内のホールドアウトサンプルを使用して解釈可能性データセットを構築しました。このページにあるインタラクティブエクスプローラーは、20の偶数番目のレイヤーにわたる、人間とAIに均等に分割された5,000文書のバランスの取れたサブセットを使用します。AIサンプルは、分類器プローブに使用される6つのモデルファミリー全体にわたる以下のモデルバリアントを網羅しています。
モデル
-
Claude 3.7 Sonnet
-
Claude Sonnet 4
-
Claude Sonnet 4.5
-
Claude Opus 4
-
Claude Opus 4.1
-
Claude Opus 4.5
-
GPT-3.5 Turbo (Nov ’23)
-
GPT-3.5 Turbo (Jan ’24)
-
GPT-4 (Mar ’23)
-
GPT-4 (Jun ’23)
-
GPT-4o
-
GPT-5
-
GPT-5.1
-
GPT-5.2
-
o1
-
Gemini 2.0 Flash
-
Gemini 2.5 Flash
-
Gemini 2.5 Pro
-
Gemini 3 Pro
-
DeepSeek R1
-
DeepSeek V3
-
Qwen 2.5 7B
-
Qwen 2.5 72B
-
Qwen 3 235B
-
Llama 3.1 8B
-
Llama 3.1 70B
ソースドメイン
- ニュース
- 学術論文要旨
- 製品レビュー
- ビジネスレビュー
- Reddit クリエイティブライティング
- Reddit ELI5
- 書籍(自費出版)
- 書籍(Project Gutenberg)
- Wikipedia(英語)
- Wikipedia(多言語)
- Lang-8 (ESL)
03
Pangram 3.3.2 の概要
Pangram 3.3.2 は、Pangram Labs が2026年にリリースしたAI検出モデルです。Pangram 3.3 と同じ基盤モデルを使用し、パフォーマンスを向上させるためのバグ修正が施されています。Pangram 3.3 は Pangram 3.2 の後継であり、新しいLLM出力、人間化されたテキスト、長文AI生成コンテンツに対するリコールを改善しつつ、非ネイティブ英語ライティングに対する誤検知を削減しました。
モデルカードPangram 3.3 のモデルカードを読むPangram 3.3.2 のリリース詳細を読む
解釈可能性に関する作業は進行中です。この記事全体で、Pangram 3.2 および Pangram 3.1 にも遡って手法を適用します。
04
手法
アクティベーション
EditLens アーキテクチャは、単一の ai_assistance_score に収束するバケットベースの分類システムです。このプロジェクトでは、モデルの最終的な読み出しを破棄し、代わりにモデルが学習する内部表現に焦点を当てます。これらをプローブするために、指定された入力文書のフォワードパスを実行し、複数の内部レイヤーでのモデルの隠れ表現を保存することでアクティベーションを収集します。このプロジェクトでは、ネットワーク全体にわたるすべての偶数レイヤーについて、各文書のアクティベーションを抽出しました。
次元削減
抽出された各アクティベーションベクトルは5,120次元でした。表現をより深く理解するために、いくつかの次元削減技術を採用します。
PCA
主成分分析(PCA)は最も単純な線形射影です。アクティベーション空間における最大分散の方向を見つけます。このプロジェクトでは、ネットワークの終盤に向かうにつれて、ほとんどの分散が主成分1と2に含まれていることがわかりました。そのため、これらを互いに対してプロットします。
UMAP
UMAPは、近傍構造を保存するように設計された非線形ビューを提供します。2つの文書がモデルの内部空間で近接している場合、UMAPはそれらを2D空間で近くに保とうとします。ただし、クラスター間の正確な軸や距離は過度に解釈されるべきではありません。
t-SNE
t-SNEは、局所的なクラスターを明らかにするのに適した別の非線形射影方法です。このプロジェクトの目的のために、モデルファミリーや人間/AIラベルのような意味的に重要なグループが、ネットワークが深まるにつれて視覚的にクラスター化されるかどうかを尋ねるためにt-SNEを使用します。
線形プローブ
次元削減手法から観察される定性的な結果を定量化するために、線形プローブを使用します。各レイヤーについて、そのレイヤーのアクティベーションベクトルから単純な分類器がターゲットラベルを回復できるかどうかを尋ねます。高いプローブ精度は、関連する区別が表現空間の線形アクセス可能な方向ですでにエンコードされていることを意味します。
05
AI検出タスク
二値精度
ネットワークの過程で最終的なクラス分離がどのように達成されるかを理解するために、各レイヤーで線形プローブをトレーニングします。500サンプル(人間とAIに均等に分割)でトレーニングし、80:20のトレーニング/テスト分割を行います。ネットワークの早い段階からすでにパフォーマンスが強力であることがわかりました。レイヤー2の直後に0.83の精度を達成しました。これは、「バッグオブワーズ」モデルがAI検出タスクのベースラインとしてしばしば役立つという直感と一致します。ネットワーク全体を通して、精度は向上し、レイヤー24で1.0に達します。
[画像: Probe accuracy across layers]
図 2. ホールドアウトデータにおけるレイヤーごとの人間/AI線形プローブ精度。
埋め込みを読み込み中…
図 3. この分離は、3つの次元削減手法すべてで明確に可視化されます。
06
LLM分類
t-SNEおよびUMAPプロットでは、文書が生成されたモデルによってクラスター化されるように見えました。これは私たちにとって驚きでした。Pangramの古いイテレーションには個別のLLM分類器ヘッドがありましたが、その特定のタスクは長い間廃止されていました。トレーニングプロセスにおいて、Pangram 3.3.2は、AI文書の発生元モデルに対応するラベルを与えられていません。
それにもかかわらず、発生元モデルファミリーを中心にクラスターが形成されました。さらに興味深いのは、クラスターがネットワークのレイヤー全体にわたって出現するように見えることです。
モデルクラスターの出現
プロバイダーレベルのジオメトリがレイヤー全体に現れるのを確認するために、同じ埋め込みをモデルファミリーごとに色分けします。
埋め込みを読み込み中…
図 4. レイヤー2-40の埋め込みをモデルファミリーごとに色分け。プロバイダーレベルのクラスターは、後続のレイヤーでより顕著になります。
プローブ
この現象を定量化するために、6つのモデルファミリー(Anthropic、OpenAI、Google、Qwen、Llama、DeepSeek)を対象に、モデルファミリーあたり500サンプル、全体で3,000サンプルを使用して分類器をトレーニングします(80:20のトレーニング/テスト分割)。Pangramのアクティベーションのみを使用して、特定の文書の発生元モデルファミリーを分類できるプローブを実際にトレーニングでき、最大トップ1精度は91%に達することを発見しました。
[画像: Model classifier accuracy across layers]
図 5. レイヤーごとのモデルファミリー線形プローブ精度。発生元モデルファミリーは、Pangramのアクティベーションからますます回復可能になります。
出現は保証されない
初期の解釈可能性実験では、多数のモデルでテストを行いました。驚くべきことに、「LLM分類」能力の出現は、このプロジェクトでモデル間で材料的に異なった数少ない発見の1つでした。
下の図は、Pangram 3.1、3.2、および3.3のクラスター挙動を比較しています。内部評価では、モデルがバイナリ人間/AIタスクで3.1よりも優れたパフォーマンスを発揮したにもかかわらず、Pangram 3.2のモデルクラスターは、Pangram 3.1または3.3.2と比較して一般的に定義が緩いです。
[画像: t-SNE comparison of Pangram 3.1, 3.2, and 3.3.2 at layer 40]
図 6. Pangram 3.1、3.2、3.3.2 のレイヤー40におけるt-SNE。モデルファミリークラスターのジオメトリは、モデルバージョン間でシフトします。
この違いをさらに説明するために、Pangram 3.1、3.2、および3.3.2のLLM分類器プローブを比較します。3つすべてが初期レイヤーでトップ1精度を向上させますが、Pangram 3.2のプローブはレイヤー12後に減衰し始めるのに対し、Pangram 3.1および3.3.2は高い精度を維持します。
[画像: Probe accuracy comparison of Pangram 3.1, 3.2, and 3.3.2]
図 7. Pangram 3.1、3.2、3.3.2 のレイヤーごとのプローブ精度比較。
07
ヒューマナイザー
ヒューマナイザーは、AI検出を回避するようにAI生成テキストを変更するために設計された敵対的ツールのクラスです2。以前にこれらのツールに関する論文をこちらで発表しました。ヒューマナイズされたテキストがアクティベーション空間内の人間およびAIテキストに対してどこに位置するかを確認するために、別のヒューマナイザーデータセットを作成しました。このデータセットは、3つの生成モデル(Claude Sonnet 4.5、Gemini 2.5 Pro、GPT-5)、10種類の異なるヒューマナイザーサービス、および元の解釈可能性データセットと同じソースドメインにわたる約1,900サンプルで構成されています。敵対的リスクのため、使用したサービスは開示しません。
モデルがヒューマナイザーを読み出す方法
当社のヒューマナイザーデータセットの一部のサンプルは、当社のモデルにとって検出が困難です。ここでは、人間/AIタスクの同じ線形プローブを使用しますが、元のトレーニング設定と同様に、ヒューマナイズされたテキストはAIとしてラベル付けされます。最初のレイヤーからでも、ヒューマナイズされたテキストは、直接のAI対応テキストよりも一貫して人間らしいと読み出されることがわかります。
[画像: Humanizer probe delta across layers]
図 8. 直接のAIサンプルとそのヒューマナイズされた対応物との間のP(AI)の平均差(レイヤーごと)。
ヒューマナイザーが埋め込み空間に存在する場所
しかし、最終的な読み出しの下を見ると、ヒューマナイズされたテキストのより豊かな表現が見つかります。以下では、人間、AI、およびヒューマナイズされたテキストに次元削減手法を適用します。定性的に、ヒューマナイザーはアクティベーション空間の別々の部分を占める傾向があり、人間およびAI領域の外側にクラスターを形成することが観察できます。
私たちの仮説は、ヒューマナイズされたテキストのラベルがないにもかかわらず、モデルがヒューマナイズされた、人間、およびAIテキストを区別できる能力を持っているということです。しかし、最終的な読み出しでは、モデルはそのシグナルを収束させることを強制され、それを一貫性のない方法で行います。
[画像: Humanizer dimensionality reduction with t-SNE, PCA, and UMAP at layer 40]
図 9. レイヤー40におけるt-SNE、PCA、およびUMAPによる人間、AI、およびヒューマナイズされたテキスト。ヒューマナイズされたテキストは、主要な人間およびAIクラスターとは別の、明確な領域を占めています。
プローブ
この仮説を検証するために、AI、人間、およびヒューマナイズされたテキストのラベルを持つ3者分類線形プローブをトレーニングします。プローブはネットワークの早い段階で高いトップ1精度に達し、最終的に98%で平坦化します。
[画像: Three-way classification for human, AI, and humanized text]
図 10. レイヤーごとの3者分類プローブ精度(人間 / AI / ヒューマナイズ)。
08
結論
ここでの私たちの研究は、Pangramの内部表現が、最終的な二値読み出しだけでは明らかにならない、より多くの構造を含んでいることを示唆しています。レイヤー全体を通して、人間とAIの文書が分離し、モデルファミリーの情報が出現し、ヒューマナイズされたテキストが独自のアクティベーション空間領域を占めるのを確認します。これらの発見は初期段階ですが、すべてを単一の検出スコアに収束させる前にモデルが何を学習しているかを理解するための有用なマップを提供してくれます。
この記事は、私たちの解釈可能性への取り組みの最初のステップを示しているにすぎませんが、内部的には、この研究の方向性に興奮し、関心を持っています。
Pangramモデルにおける解釈可能性と説明可能性のビジョンは、以下のことが可能になることです。
- モデルの挙動のより良い内部理解を提供する。
- 個々のPangram結果に対するより明確な証拠と説明を提供する。
解釈可能性、AI検出研究、またはこの作業のその他の側面に関心のある研究者の方は、elyas@pangram.comまでご連絡ください。