AI text watermarking and quality loss

AI text watermarking and quality loss

［画像］

EUのAI法における透明性ガイドラインが施行され、ほとんどの主要AIラボが準拠のためにテキスト出力に電子透かし（ウォーターマーキング）を導入すると発表された後、AIモデルが生成するテキストの品質にどの程度影響があるのか、あるいは全くないのかについて議論がなされています。

AIラボの焦点がコード生成に移ったため、モデルのテキスト出力は著しく悪化したと考えています[1]。しかし、ウォーターマーキングがさらに悪化させる可能性があるかどうかを理解しようとすることは、依然として興味深いことです。

テクノロジーライターのジョン・グルーバー氏の最近の投稿、「Anthropic’s ‘Watermark’ Text Adulteration in Claude Is a Perversion of Writing」（AnthropicのClaudeにおける「ウォーターマーク」テキスト改変は執筆の冒涜である）に関する議論は非常に興味深いものでした。

ウォーターマーキングについて、グルーバー氏は次のように書いています。

テキスト内にその出所を示唆する隠された手がかりを埋め込む目的で、明瞭さ、一貫性、意味、品質などを少しでも犠牲にするのは容認できません。

彼は多くの反発を受け、品質をどのように測定するか、あるいは定義するかについて多くの議論がありました。

しかし、ウォーターマーキングは品質に全く影響しないと主張する人もいます。それは本質的に、テキストを生成するために異なる乱数を使用しているだけだというのです。グルーバー氏がフォローアップでリンクしたダニエル・ジャルクット氏は、「AI Can’t Adulterate its Own Writing」（AIは自身の文章を改変できない）と題した記事を公開し、その中で次のように書いています。

…アルゴリズムを調整する方法もあり、それらはランダム性を損なうことはありません。例えば、乱数生成器が生成された数値の桁の順序を常に逆にすると、ランダム性は同じままです。

同様に、別の議論では、それはサイコロの2つの面を入れ替えるようなものだと説明されました。

グルーバー氏は、フォローアップ記事で次のように書いています。

それが真実であることを願っています。それが真実である可能性はあると思います。しかし、それが真実である可能性は非常に低いと考えています。

私はグルーバー氏が正しいと思います。

レスポンス全体での品質低下

Anthropicは大胆な主張をしています。「ウォーターマーキングはClaudeの出力品質に影響しません。」彼らがリンクしている、そして設計の基盤となった論文（GoogleのSynthID-Text、2024年発表）は、その手法が「レスポンス品質を維持する」と保証しています。

したがって、単に乱数を入れ替えているだけで、大騒ぎは無駄だったと仮定するのは簡単です。

しかし、彼らの品質影響なしという主張は、人間でテストされたものですが、単一のレスポンスに基づいています。何百万人もの人々がこれらのシステムを実際に使用する方法ではありません。それは、時間とともに、複数のプロンプトとレスポンスにわたる、一対一のやり取りです。

56ページの補足PDFには、使用されている手法に関する追加情報が含まれており、品質影響なしという主張が全体像を伝えていないことを示唆しています。特に、「多様性/検出可能性のトレードオフ」があると述べています。

単一シーケンスの非歪みは各個別のレスポンスの品質を保証しますが、必ずしも複数のレスポンス間の多様性を維持するわけではありません。

さて、これはどういう意味でしょうか？彼らはさらに説明します。

同じプロンプトに対して複数のレスポンスをサンプリングする場合、レスポンス間の類似性は、ウォーターマークなしのレスポンスよりもウォーターマーク付きのレスポンスの方が大きくなります。

もし彼らが本当に単に1セットの乱数を別のセットと入れ替えただけなら、ウォーターマークなしのレスポンスと比較してこのような違いは見られないはずです。

彼らはさらに次のように書いています。

これは、レスポンス間の多様性が重要なシナリオでは問題となる可能性があり、あるいは多くのレスポンスを生成してから最良のものを選択するシステム全体の品質を低下させる可能性があります。

つまり、彼ら自身の言葉によれば、結局のところ「全体の品質を低下させる」可能性があるのです。しかし、心配する必要はありません。なぜなら、これは「レスポンス間の多様性」を気にする場合にのみ関係するからです。彼らはその例として、レスポンスを生成して選択するシステムを挙げています。

しかし、「レスポンス間の多様性」は、ほとんどの人がこれらのシステムを使用する方法にも影響します。特に創造性を求めるライティングタスクではそうです。

グルーバー氏の品質が犠牲になるという点に対し、モデルは個々人が伝えようとしていることを伝えるための最良の次の単語を把握する概念を持っていないため、次の単語の選択にあまりこだわりすぎるべきではないと主張する人もいました。しかし、そうであれば、それを目にしたときに、それが適切かどうかを個人であるあなたは知っているはずです。

たとえば、「この文の終わりが好きではありません。新しいものを提案してください：[文]」とプロンプトを入力したとします。モデルが代替案を提案しますが、あなたはそれを気に入らないかもしれません。問題ありません、「リトライ」ボタンを押してください。さて、あなたはウォーターマーキングの影響を受けています。なぜなら、「レスポンス間の多様性」の問題に直面しているからです。それは、サイコロに細工がされているようなもので、ウォーターマークなしのモデルよりも類似したレスポンスを見る可能性が高くなります。

技術コンサルタントのNatzir Turrado氏は、実際にこれをテストしました（スペイン語の記事）。彼は、論文の設定とウォーターマークキーを使用して、オープンモデルでSynthID-Textを再現しました。彼は、ウォーターマーク付きモデルに、記憶に残る海岸沿いの町への旅行について5回説明するように求めました。彼が得た5つの回答のうち4つは、ほぼ同じように始まりました：「…の趣のある海岸沿いの町への旅行を思い出すと、私の心は今でも歌います/踊ります…」。ウォーターマークなしのモデルでは、3つは異なる方法で始まりました[2]。

そして、彼らがテストしたわけではないようですが、同じプロンプトに対する回答が似ているように見えるのと同じことが、異なるプロンプト間でも起こる可能性があります。ウォーターマークは、次のトークンを選択する際に小さなスライドするコンテキストウィンドウしか見ないため、2つの文章が同じ短いトークンシーケンスを通過するたびに、同じコンテキストウィンドウを再作成する可能性があり、より予測可能で多様性の低い出力につながります。そして、文章にはこの動作をトリガーする可能性のある、同じ短いフレーズが満載です。

これが影響する別の例を挙げます。幻覚の可能性を減らすために、レスポンスの信頼度レベルを判断しようとする方法の1つは、同じプロンプトを複数回繰り返して、モデルがたどるさまざまな経路を探ることです。その後、結果を見て、どこにコンセンサスがあるかを確認します。さて、これも影響を受けます。ウォーターマーキングを使用すると、回答がより独立でなくなり、ウォーターマークキーによって誘導されるため、形成されるコンセンサスを信頼できなくなります。

興味深いのは、SynthID論文はレスポンス間の品質低下を示している一方で、このウォーターマーキング手法のこの特定の側面を人間でテストした場所を論文で見つけることができなかったことです。もし彼らがテストしていなかったなら、彼らが示す素晴らしい人間のテスト結果は、ウォーターマーキング手法の最も影響を受ける部分をテストしていなかったことになります[3]。

したがって、彼らはウォーターマーキングによってモデルの創造的な範囲を制限することで品質を犠牲にしているように見え、そして彼らはあなたがそれに気づかないか、あまり気にしないだろうと考えているようです[4]。

1

Jasmine SunがAIモデルがうまく書けない理由を調査して見つけたパターン。詩人でありコンピューター科学者でもあるKaty Gero氏は次のように述べています。

GPT-2のボイスを新鮮にしたのと同じ気まぐれさが、他の予測不能な行動にもつながりました。「GoogleやOpenAIのような大企業であれば、お金を生み出すチャットボットが欲しいでしょう。お金を生み出さないチャットボットは、奇妙なやつです」とGero氏は言いました。

2

Natzir Turrado氏は、SynthID論文の著者の一人であるSumanth Dathathri氏から受け取った返信を私に示してくれました。

多様性の問題には、簡単な解決策がたくさんあります。Gemini/Claudeに同じプロンプトを何度も試せば、非常に多様なレスポンスが得られると思います :)（私の強調）

少し曖昧ですが、彼の「簡単な解決策」は問題を知らないユーザーに押し付けることではないかと私は思います。それは、彼らが以前のサイコロを細工されたものと交換したことを認めているように読めますが、解決策はそれを「何度も」（私の強調）振るだけで、最終的には各面に着地するだろうということです。もしそれが彼の言っていることなら、なぜそのような変更がユーザーにとって以前よりもシステムを悪化させることを認めないのでしょうか。

Turrado氏は次のように返信しました。返信：「興味深い：検出強度とトレードオフしない簡単な解決策はどれですか？」

Dathathri氏からの返信はまだありません。

3

最近の論文は、これが「LLMウォーターマークにおける過小評価されている根本的なトレードオフ：品質-多様性-強度、つまり、ウォーターマーク付きテキストの品質、ウォーターマーキングスキーム下での出力多様性、および全体的なウォーターマーク信号強度との間のトレードオフ」であることを認識しています。

4

チャットアプリを使用する個人にとって目立たないようにするために、一部の影響を軽減する方法はあります。例えば、リクエストごとにウォーターマークキーをローテーションするなどです。しかし、これらは修正ではありません。それらは効果を希釈するだけで、独自のコストがかかります。例えば、短いテキストでのウォーターマーキングの効果を低下させ、検出コストを増加させます。別の研究が指摘しているように、「完璧な歪みのないウォーターマークを達成することは不可能」です。

投稿なし