HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

テキストAIのウォーターマークは常に簡単に削除できる

Text AI watermarks will always be trivial to remove (seangoedecke.com)

117 pointsby pseudolus124 コメント

要約

EUのAI法(AI Act)は、AI生成コンテンツの検出を義務付けていますが、テキストAIのウォーターマークは本質的に脆弱であることが指摘されています。GoogleのSynthIDのような技術やUnicodeのトリックが提案されていますが、これらのウォーターマークは、テキストの言い換えや単純な文字置換によって容易に削除できるため、AI生成コンテンツの検出義務を満たすには不十分であると論じられています。AI生成コンテンツの検出には、ウォーターマーク以外の方法も検討されるべきだと示唆されています。

全文翻訳

テキストAIウォーターマークは常に簡単に削除できる

欧州連合(EU)のAI法が施行されるのは、あと1ヶ月後の2026年8月からです[1]。最も重要な新しい要件の1つは第50条で、すべてのAI出力は「人工的に生成されたものであることが検出可能」でなければならないと定めています。つまり、LLMプロバイダーがEUで事業を行うためには、その出力にウォーターマークを適用する必要があるのです[2]。これは、AIコンテンツを識別するために使用できる、隠された署名のようなものです。

LLMテキストのウォーターマーキングは魅力的な問題です。最高のエンジニアリング問題と同様に、理論的には完璧に解決するのは難しいですが、複数の部分的な解決策が存在します。例えば、GoogleのSynthIDや、(筆者の主張では)OpenAIとAnthropicによる巧妙なUnicodeのトリックなどです。年末までにAIラボがこれらのトレードオフをどのように乗り越えていくのかを見るのは興味深いでしょう。

なぜテキストウォーターマーキングは難しいのか

私は昨年末にAI検出ツールはテキストがAIによって生成されたことを証明できないという記事でAIウォーターマーキングについて書きました。デジタル画像には人間の目にはほとんど見えないノイズがたくさん含まれているため、画像のウォーターマーク付けは簡単です。例えば、「これらの正確な場所にある20ピクセルは常に色を共有する」といったウォーターマークを適用できます。テキストははるかに、はるかに難しいです。画像とは異なり、テキストは非常に圧縮されたメディアです。人間が気づかないような文章の変更を加えることはできません(後述する1つの例外を除いて)。では、どのようにウォーターマークを付けるのでしょうか?

これは基本的にテキストステガノグラフィーの問題(秘密のコードを隠すこと)ですが、平文を任意に変更できないため、さらに難しくなります。ウォーターマークを適用するために加えるどんな変更も、出力の品質を損ないます。例えば、「5文字ごとに'e'を入れる」というのは良いウォーターマークになりますが、単純に適用するとAIの出力はタイプミスだらけになってしまいます。モデルにウォーターマークを組み込む方法を自分で考えさせることはできるでしょうか?強力なAIモデルは、このような制約を処理するのに十分賢いですが[3]、それでもユーザーの問題に費やすべき推論時間を消費し、モデルの能力を実際よりも低く見せてしまうでしょう[4]。

AIコンテンツを検出するためにウォーターマークは必要か?

本当にウォーターマークが必要でしょうか?もしあなたがAnthropicで、自社モデルが特定のテキストブロックを生成したかどうかを検証できる必要がある場合、そのテキストを各モデルに通し、モデルが予測するトークンがテキストの各トークンとどれだけ一致するかを測定するだけで良いのではないでしょうか?

実際にはそうではありません。「質問に対するClaude Sonnetの可能なすべての回答」という空間は、「質問に対する(ウォーターマーク付きの)可能なすべての回答」という空間よりもはるかに大きいです。つまり、AIが書いたように見える人間のテキストに対して、多くの誤検知が発生してしまうでしょう。人間が偶然Claudeのように書くことよりも、人間が偶然ウォーターマークを再現することの方がはるかに可能性が低いです。

また、Anthropicのすべてのモデルをテキスト片に対して実行してウォーターマークを付けるのは、費用がかかりすぎます。EUのAI法は、最終的にAnthropicのようなラボに、EU市民全員に無料のウォーターマークサービスを提供するよう要求するでしょう(コミットメント2を参照)。「モデルを実行する」アプローチでは、それはできません。

SynthIDの仕組み

私の知る限り、テキスト出力にウォーターマークを付けると公言している唯一のAIプロバイダーはGoogleであり、SynthIDというツールを使用しています。その仕組みは以下の通りです。

LLMがテキストを生成する際、一連のトークン(単語または単語の断片)を生成しています。各ステップで、モデルは単一のトークンを出力するのではなく、その語彙にあるすべての(例えば)10万個のトークンを、次のトークンになる確率とともにリストとして出力します。ChatGPTやClaude Codeのようなツールは、出力結果を得るために、最も可能性の高い選択肢の中から半ランダムに選びます。この半ランダムなサンプリングプロセスは、検出可能な方法で影響を与えることができます。

例えば、「2番目に可能性の高いトークンを選び、次に1番目、次に2番目、次に1番目、というように繰り返す」といったサンプリング戦略を選択できます。それでも高品質な出力を生成できますが、モデルを生成されたテキストに対して再度実行することで、そのパターンが保持されているかを確認できます。しかし、それは検証を非常に高価にし、出力のわずかな変更でもパターンが壊れ、フィンガープリントが壊れてしまいます。もっと良い方法はないでしょうか?

はい。SynthIDは、各トークンにその前のトークンに基づいた「スコア」を割り当てるプロセスです(例えば、トークンのIDとその前の3つのトークンのIDを合計し、5で割った余りを取る)[5]。ウォーターマークを適用するために、モデルは「上位5つの最も可能性の高いトークンの中から、SynthIDスコアが最も高いものを選ぶ」といったサンプリング戦略を採用します[6]。その後、テキストブロックの集計SynthIDスコアを計算することで、ウォーターマークを検出できます。スコアが異常に高い場合、AIによって生成された可能性が非常に高いです。

これは、emダッシュの使用によってLLMを特定できるという一般的なアドバイスのバージョンに似ていますが、キーワードのリストではなく、人間が識別できない単語間の微妙な数学的関係に依存しています。スコアを割り当てるプロセスは単純なので、ウォーターマーク検出の実行は非常に安価です。

ホモグリフによるUnicodeウォーターマーク

Googleは、SynthIDがモデルを賢くなくしない理由について複雑な数学的根拠を持っています。SynthIDスコアリングは、検出可能なフィンガープリントを出力に残す、通常の擬似ランダムトークンサンプラーのようにランダムであるとされています。しかし、もちろんこれは疑わしいです。例えば、温度をゼロに設定して推論を行うのは一般的ですが、これは常にモデルの最も可能性の高い次のトークンを選択します。その場合、全くフィンガープリントを残すことができません(あるいは、ユーザーの好みを無視して、2番目または3番目の選択肢を選ばなければなりません)。

モデルの出力を変更できない場合、コンテンツにフィンガープリントを付けることはできますか?まあ、ある意味では。私はOpenAIとAnthropicがしばしば高度なUnicodeトリックを適用していると確信しています。例えば、通常の「 」スペース(Unicode U+0020)を、3分の1エーム幅の「 」スペース(Unicode U+2004)や、CJKの表意文字「 」スペース(Unicode U+3000)に置き換えるかもしれません。これらは「ホモグリフ」と呼ばれ、こちらでさらに多くを見つけることができます。

もちろん、多くの人間が生成したテキストでもホモグリフが使用されています。しかし、野生では発生する可能性がはるかに低いホモグリフのパターンをエンコードすることは簡単です(例えば、「3番目のスペースごとに3分の1エーム幅のスペースにする」)。SynthIDウォーターマークと同様に、ホモグリフベースのウォーターマークは安価に検出できます。SynthIDよりも適用が安価です。クライアント側で完全に実行することも可能です。

これは陰謀論ではないと思います。Claude Codeは、中国のユーザーからの疑わしいリクエストをタグ付けするために(「Today’s date」の「’」文字のホモグリフを悪用して)間違いなくこれを行っていましたが、その後撤回されました。過去数年間、ChatGPTからテキストブロックをコピーしてVSCodeに貼り付けると、時々VSCodeがスペースの一部または全部を異常なUnicode文字としてマークすることがあります[7]。OpenAIとAnthropicはホモグリフをAI生成ウォーターマークとして使用しているのでしょうか?確信はありません。しかし、彼らは間違いなくホモグリフを使用しています。

テキストウォーターマークは簡単に削除できる

AI法(特に、関連する実践規範)は、ウォーターマークを「コンテンツから分離するのが困難な方法でコンテンツに埋め込まれる」ことを要求しています。しかし、テキストウォーターマークは簡単に削除できます。

Unicodeホモグリフウォーターマークを削除するには、すべてのホモグリフを「実際の」文字の同等物に置き換えるだけです。比較的弱いウォーターマークなしのLLM[8]にアクセスできる場合でも、テキストコンテンツを言い換えるようにそのLLMに依頼することで、SynthIDウォーターマーキングを削除できます。ウォーターマークは微妙な語彙の選択に固有であるため、言い換えによってウォーターマークは削除されます。手作業で行うこともできますが、その時点ではもはやAI生成コンテンツとは言えません。無料の公開ウォーターマークテストツールが何らかの形で存在するようになるため、ネガティブな結果が出るまで調整を続けることができます。

さらに、AI法はウォーターマーキング技術が「技術的に可能な限り相互運用可能」であることを要求しています。これは、AIプロバイダーがウォーターマーキングプロセスを公開し、さらには同じ種類のウォーターマークの適用を標準化しようと試みる必要があることを意味します。LLMテキストウォーターマーキングが依存する、セキュリティによる隠蔽のようなものと、これがどのように両立できるのか、私にはわかりません。画像やビデオのウォーターマークとは異なり、テキストウォーターマークは常に簡単に削除できます。

C2PAについてはどうでしょうか?

AI法と実践規範は、「デジタル署名付きメタデータ」について多く言及しています。ここでの考え方は、AIの開示をファイル自体のメタデータに含めることができるというものです。理想的には、改ざんできない方法で(例えば、ファイルの内容のハッシュに署名することによって)です。この署名付きメタデータプロセスは、基本的にC2PAコンテンツクレデンシャルです。C2PAメタデータは削除できますが、(理論的には)偽造することはできません。そのため、「人間によって作成された」メタデータを持つファイルは信頼でき、メタデータが全くないファイルは疑わしいと見なすことができます。

この記事はC2PAについて私がどう考えているかを深く掘り下げるには長すぎますが、C2PAはテキストウォーターマークの代わりにはならないと言いたいだけです。それは主にファイルに適用されます。実践規範の言葉を借りれば、「メタデータを添付できるデータ形式(例:オーディオ、画像、ビデオ、またはコンテナ化されたテキスト)」です。チャットツールの出力(そしてほとんどのAIエージェントの出力)はコンテナ化されたテキストではなく、通常のプレーンテキストであるため、署名できません。ChatGPTの出力を署名することとは、一体どのようなものになるのでしょうか?やり取りするアーティファクトがありません。

Claude Codeが生成するHTMLファイルやPDFファイルにC2PA署名する必要があるかどうかは、興味深い問題だと思います。それは正しく行うのが少し難しいように思えます。しかし、いずれにしても、AI法は実際のウォーターマークのようなものも義務付けています。

結論

では、今年は何が起こるのでしょうか?もし推測するとすれば、各AIプロバイダー(OpenAIやAnthropicのようなラボだけでなく、FireworksやGroqのようなサードパーティプロバイダーも含む)が、推論スタックの前にSynthIDトークンサンプラーを配置するだろうと思います。これはEUのユーザーに限定されるかもしれませんが、SynthIDは少なくとも通常のトップkトークンサンプリングアプローチと同等であるため、そうならないかもしれません。

AIプロバイダーは、「ウォーターマークをチェックする」ページを提供し、ユーザーが提供したテキストを再トークン化し、スコアリングを実行し、それが特定のしきい値を超えているかどうかを確認します。相互運用性の条項がどれだけ真剣に受け止められるかによっては、プロバイダーは同じSynthID設定を標準化する可能性もあり、その場合、単一のEUホストの「このテキストをウォーターマークする」ページが存在するかもしれません。

UnicodeベースのウォーターマーキングはAI法に準拠しているとは見なされないと思いますが、SynthIDをセットアップしたくない一部のプロバイダーはそれを試みるかもしれません。いずれにせよ、技術的なユーザーは自由にウォーターマークを削除できるようになり、非技術的なユーザーがそれを行うためのツールが豊富に存在するでしょう。

編集:この記事はHacker Newsでいくつかのコメントを得ました。コメントのほとんどは、ウォーターマークのメリットとAI規制全般について議論しています。あるコメント者は、テキストに暗号学的に署名するのは簡単だと言っています。確かに同意しますが、難しいのはすべての署名を保存することです(一部の人々が心配していることとは異なり、AI企業は顧客のプロンプトをすべて保存していませんし、できません)。他の コメント者は、ウォーターマークを削除することは犯罪だと不平を言っています。私には、それは法的に、あるいは道徳的に正しくないように思えます。それは基本的に自分の所有物についたロゴにステッカーを貼るようなものです!


  1. 新しいシステムの場合です。既存のシステムは12月まで猶予があります。

    ↩

  2. 第50条の本文だけではこれを要求しているとは思いませんが、注記133と実践規範は、彼らがウォーターマークを探していることをかなり明確にしています。

    ↩

  3. 余分な高度な思考をもってしても、GPT-5.5は「5文字ごとに'e'を入れる」という条件でSynthIDを説明できませんでしたが、GPT-5.5-Proは次のような謎めいた言葉を生み出しました:「これらの隠されたコードは、モデルが作成した画像、音声、映画、散文をラベル付けする。トレースを調査せよ:おそらくモデルが作成した一部。トレースを消去するかもしれない。トレースを残すかもしれない。したがって、トレースだけでは?いいえ。」

    ↩

  4. AIの安全ガードレールとの類似性は、読者の演習とします。

    ↩

  5. これはおもちゃの例です。実際には、ランダムシードを含む、複数の異なる(しかし依然として数学的に単純な)スコアリング方法が組み合わされています。シードを含めるのはなぜですか?そうでなければ、ウォーターマークは同じトークンのセットに偏るでしょう。

    ↩

  6. トークンは互いに多段ノックアウトでスコアリングされますが、これはSynthIDの仕組みの核心的な直感を理解するために必要というよりは、実装の詳細だと思います。

    ↩

  7. これが公になったとき、OpenAIは単なるモデルの奇妙な挙動だと主張しましたが、それは確かに可能性のあることです。

    ↩

  8. すべてのAIプロバイダーは法的にウォーターマークを付ける義務があるかもしれませんが、たとえ小さなローカルモデルでもテキストを言い換えるのに十分な能力があります。

    ↩

この記事に関連する、このタグを共有する投稿のプレビューです。