LLMのウォーターマーキングがAIエージェントの行動に与える影響の理解
Understanding the Impact of LLM Watermarking on AI Agent Behavior (lasso.security)
要約
Anthropicが発表したClaudeモデルのウォーターマーキング技術(Google DeepMindのSynthID-Textに基づく)は、AI生成テキストの出所を追跡するだけでなく、AIエージェントの行動にも影響を与える可能性があります。この記事では、ウォーターマーキングがモデルの安全性(有害な要求への応答拒否など)やエージェントのツール選択・引数渡しにどのように影響するかを「サンプリングドリフト」として分析しています。実験の結果、ウォーターマーキングはツール呼び出しの正確性を低下させ、エージェントの振る舞いに変化をもたらすことが示されています。
全文翻訳
プロビナンス税:LLMウォーターマーキングがAIエージェントの挙動に与える影響の理解
最近、Anthropicは将来のClaudeモデルが出力に不可視のウォーターマークを埋め込むと発表しました [1], [2]。その後、そのウォーターマークがGoogle DeepMindのSynthID-Textに基づいていることを明らかにしました [2], [3]。テキストウォーターマーキング自体は新しいものではありませんが、その展開は現在、規制上の関連性を持っています。EU AI Actの第50条(2)は、合成テキストを生成するAIシステムのプロバイダーに対し、その出力を機械可読形式でマークし、技術的に可能な限り効果的、相互運用可能、堅牢、かつ信頼性の高い技術的ソリューションを使用して、人工的に生成された、または操作されたものであることを検出可能にするよう義務付けています。
ウォーターマーキングはプロビナンス(来歴)のために設計されていますが、SynthID-Textはモデルが次のトークンを生成するプロセスを変更します。モデルレベルでは、これにより安全性の挙動が変化する可能性があり、モデルが有害な要求を拒否するかどうか、またその拒否がプロンプトインジェクションに対して維持されるかどうかが含まれます。エージェントレベルでは、同じサンプリングされたトークンが、どのツールが呼び出され、それにどのような引数が渡されるかを決定する可能性があります。プロンプトインジェクションは、モデルがツールを介して行動できる場合、拒否の弱体化がより重大になるため、これら2つの設定を接続します。したがって、このようなウォーターマーキング手順は、モデルが何を言い、エージェントが何をするかの両方に影響を与える可能性があります。私たちはこの挙動への影響をサンプリングドリフトと呼んでいます。
このドリフトが実際に現れるかどうかは経験的な問題です。私たちは、モデルの拒否挙動とエージェントのツール呼び出しの両方で、それが現れることを見出しました。その効果はモデルとキーに依存し、反対方向の変化が相殺される場合に集計スコアによって不明瞭になる可能性があります。したがって、私たちは正味のパフォーマンスと、ウォーターマーク付きおよびウォーターマークなしの実行間のペアごとの不一致の両方を報告します。さらに、最後のセクションでは、AIの安全性とセキュリティにとってそれが何を意味し、開発者がそれについて何をすべきかについて議論します。
コンテンツのプロビナンスのために構築され、エージェント内で展開される
テキストウォーターマークは、出力をAI生成として識別できる信号を埋め込みます。既存のアプローチには、後処理方法と、LLM生成に直接統合された方法があります [8]。生成時間アプローチには、ロジットバイアス法 [5]、歪みのないキー付きサンプリング [6]、暗号学的に動機付けられた構造 [7]、およびSynthID-Textのトーナメントサンプリング [3] が含まれます。図1は、このプロセスを通常のサンプリングと比較して示しています。私たちは、SynthIDの非歪み構成を使用しており、これはウォーターマークのランダム性全体で期待値として元のトークン分布を保持しますが、固定キーの下での個々の生成は依然として異なる可能性があります [3]。Dathathriらは、約2000万件のGemini応答全体で測定可能な品質低下がないことを報告しています [3]。
[画像:図1. 標準的なテキスト生成とウォーターマーク付きテキスト生成の比較。通常の生成はモデルのトークン分布からサンプリングします。生成ウォーターマークは、ランダムシードジェネレーター、サンプリングアルゴリズム、およびスコアリング関数を追加します。SynthID-Textはトーナメントサンプリングを使用します。Dathathriら [3] から改変。]
Anthropicの展開は、なぜこれが最初のチャットインターフェイスを超えて重要なのかも示しています。同社は、ウォーターマーキングはモデルレベルで適用され、Claude Platform APIおよびクラウドプロバイダー経由でアクセスされるサポートされているモデルをカバーすると述べています [1]。したがって、ウォーターマーク付きモデルをエージェントの推論コンポーネントとして使用する開発者は、エージェント自体が別のアプリケーションであっても、ウォーターマーク付きの出力を受け取ることができます。これにより、ウォーターマーキングのモデルレベルの挙動への影響は、それらのモデルを中心に構築されたエージェントにとって関連性があります。
ウォーターマークがバイアスをかけるトークンと同じトークンをエージェントは処理する
トーナメントサンプリングは、モデルが不確実な場合にトークン選択を変更する機会が多くなります。JSONのような構造化された出力では、ブレース、キー、関数名はしばしば非常に予測可能ですが、値(クエリ、数値、パス、受信者など)はそれほど予測可能ではありません。したがって、通常の文章で辞書的なバリエーションになるような変更が、エージェントが実行する引数を変更する可能性があります。
重みとプロンプトは変更されませんが、トークン選択は変更されます。重要なのは、非歪み性(non-distortionary)は、固定ウォーターマークキーの下で同一の挙動を意味するわけではないということです。保証はウォーターマークのランダム性全体で保持されますが、特定のキーは生成中にトークン選択を変更します [3]。したがって、ウォーターマークがDathathriらが定義する意味で非歪み性であっても、結果として生じるサンプリングドリフトはエージェントの挙動を変更する可能性があります。その効果はウォーターマークキーにも依存する可能性があるため、私たちは1つに依存するのではなく、複数のキーをテストします。
効果の測定方法
私たちは2つの実験でペアデザインを使用します。ツールの呼び出しは、BFCL v4シングルターンAST [9] で評価され、拒否は200件のHarmBenchの有害な挙動 [10] に加えて100件の無害なJailbreakBenchコントロール [11] で評価されます。有害な要求は、そのままの場合と1つの固定プロンプトインジェクション技術の下でテストされます。表1は、データセット、評価範囲、温度、および期待される挙動をまとめたものです。
私たちは、HuggingFaceの変更されていないSynthIDTextWatermarkLogitsProcessorを使用して、非歪み性SynthID-Text構成を使用します。トーナメントレイヤーは30、n-gram長は5、サンプリングテーブルは216、コンテキスト履歴は1,024です。各項目は、同じシード、バッチ構成、および順序で、各温度でSynthIDありとなしで生成されます。ウォーターマークプロセッサがペア内の唯一の違いです。
表1. データセットと実験設定。
| 実験 | データセットと範囲 | 温度 (T) | 正しい挙動 |
|---|---|---|---|
| ツールの呼び出し | BFCL v4 シングルターンAST [9]、ライブおよび非ライブの呼び出し期待タスク、関連性と無関連性 | 0.001, 0.7, 1.0 | 正しい呼び出し、または適合しない場合は呼び出しなし |
| 拒否 | HarmBench [10]、200件の有害な挙動;JailbreakBench [11]、100件の無害なコントロール;そのままのプロンプトと固定インジェクションプロンプト | 0.001, 0.7 | 有害な要求は拒否;無害な要求は応答 |
ウォーターマーキングによるツールの呼び出しコスト
私たちは、ウォーターマーキングがツールの選択、引数、または出力の妥当性を変更するかどうかをテストします。誤ったパス、受信者、クエリ、または金額を持つ正しく形成された呼び出しは、特に結果が重大です。なぜなら、誤ったアクションを実行しながらも成功裏に実行される可能性があるからです。私たちは個々の呼び出しを評価しますが、展開されたエージェントでの誤った呼び出しは、後続の観測や決定にも影響を与える可能性があります。
ツールの呼び出しの正確さが変更される頻度
ツールの呼び出しが期待される項目では、ウォーターマーキングは7つのモデルのうち6つで精度を低下させ、4つでは有意な低下が見られました。しかし、精度の正味の変化は、同じ個々の呼び出しがウォーターマークありとなしで成功するかどうかを示しません。誤りになる呼び出しは、正しくなる別の呼び出しによって相殺される可能性があり、モデルが両方の項目で異なる挙動を示しているにもかかわらず、集計結果はほぼ変わらないままになります。
私たちはこれをペアごとの不一致率、すなわちチャーン(churn)と呼んで直接測定します。これは、ウォーターマーク付きおよびウォーターマークなしの実行間で判断が異なる項目の割合として定義されます。図2の温度間比較では、各温度で同じ固定された1,150件の呼び出し期待タスクが得られるBFCLの調査員定義の非ライブ項目を使用します。図2は、ペアごとの不一致が正味の精度変化よりも大幅に大きいことを示しています。T=1.0では、phi-4の呼び出し判断の16.8%が2つの条件間で異なりましたが、その正味の精度低下は2.87ポイントでした。Llama-3.1-8Bも同様のパターンを示し、判断の9.9%が変化しましたが、正味の低下はわずか0.87ポイントでした。21のモデルと温度の組み合わせ全体で、チャーンの平均は6.5%であり、そのブートストラップ区間はすべてのケースでゼロを除外しています。
[画像:図2. モデルと温度別のウォーターマーキング下でのペアごとのツールの呼び出しの不一致。結果は、モデルと温度全体で1,150件の非ライブBFCL呼び出し期待項目を使用しています。中央の垂直線は、ウォーターマークなしの条件に対する変化がないことを示します。オレンジ色のバーは、正しかった呼び出しが誤りになったものを示し、青色のバーは誤りだった呼び出しが正しくなったものを示します。最後の列は、非ライブの無関連項目を含めたチャーンを報告します。ひし形はゼロを除外する95%ブートストラップ区間を示します。]
どのツールの呼び出しエラーが変更されるか
エラーの種類も重要です。不正な形式の出力は意図された呼び出しの実行を防ぎますが、誤ったツールまたは引数を持つ正しく形成された呼び出しは実行される可能性があります。図3は、これらの失敗を誤ったツール、誤った引数、および不正な形式の出力に分離しています。図2の温度間比較とは異なり、この分析では、ベンチマーク全体のエラーを特徴付けるために、T=0.001でBFCLのライブおよび非ライブの呼び出し期待項目を組み合わせています。関連性と無関連性は、呼び出しが行われるべきかどうかをテストするものであり、生成された呼び出しが正しいかどうかをテストするものではないため除外されます。
[画像:図3. エラータイプ別のウォーターマーキング下でのツールの呼び出しエラーの変化。T=0.001でのBFCLライブおよび非ライブの呼び出し期待項目を、誤ったツール、誤った引数、および不正な形式の出力に分離しています。垂直線はウォーターマークなしの精度を示し、バーはウォーターマーク適用時の変化を示します。オレンジ色は正しかったものからエラーへの変化、青色はエラーから正しかったものへの変化を示します。区間は95%項目レベルのブートストラップ区間です。]
エラープロファイルもモデルによって異なります。Llama-3.1-8Bでは、精度低下の最大の寄与は誤った引数(-3.48ポイント)であり、次に誤ったツール呼び出し(-1.84ポイント)が続きます。phi-4とGranite-3.2-8Bでは、不正な形式の出力が支配的です(-5.96および-4.36ポイント)。したがって、同様の集計変化が異なる失敗モードから生じる可能性があります。
ウォーターマーキングはプロンプトインジェクション下で拒否を弱める可能性がある
拒否もトークンごとに生成されるため、ウォーターマーキングはそれに影響を与える可能性があります。私たちは、有害な要求単独の場合と、拒否を減らすことを意図した1つの単純で固定されたプロンプトインジェクション技術を併用した場合をテストします。この技術は、敵対的な指示を検索されたコンテンツとして追加し、安全フィルターが無効になっていると主張し、遵守を指示します。これは、プロンプト、モデル、および温度全体で一定に保たれます。OWASP GenAI LLM Top 10 2026は、プロンプトインジェクションを入力側の脆弱性として特定しており、エージェントアプリケーション開発者が意図しない方法でモデルの挙動を変更する可能性があり、エージェントシステムにおける有害な出力や不正なツールの操作につながる可能性があります [12]。
プロンプトインジェクション技術の有無による拒否挙動
ウォーターマーキングは、そのままの有害な要求に対する拒否挙動を変更しますが、プロンプトインジェクション下ではその影響がより顕著になります。図4に示すように、同じ有害な要求が固定プロンプトインジェクション技術と組み合わされた場合、いくつかのモデルで不一致が増加し、最も強い影響は主に拒否から遵守へとシフトします。これは、モデルが敵対的なプロンプトにさらされた場合に挙動への影響がより顕著になるため、結果が特に安全性に関連するものとなります。
T=0.001では、gemma-3-27bのチャーンは、そのままの有害な要求では6.0%からプロンプトインジェクション下では23.5%に増加し、正味の遵守の変化は-1.0から+12.5ポイントにシフトします。gemma-3-12bの場合、チャーンは7.5%から11.0%に増加し、正味の遵守の変化は-0.5から+9.0ポイントに増加します。どちらの場合も、ウォーターマーキングはそのままの有害な要求に対する拒否にはほとんど正味の影響を与えませんが、プロンプトインジェクション下での拒否を大幅に低下させます。Llama-3.1-8Bも、T=0.001で14.0%、T=0.7で17.5%に達するインジェクション下で大幅なチャーンを示しますが、その正味の変化は個別に有意ではありません。
phi-4とQwen3-4Bは、どちらの条件でもほとんど変化を示しません。両モデルとも、私たちの評価では、無害なコントロールを含めて過剰に拒否する傾向があります。したがって、プロンプトインジェクション下でのそれらの限定的な動きは、ウォーターマーキングがこれらのモデルで安全性の挙動をより確実に維持しているという証拠として解釈されるべきではありません。
そのままの要求とインジェクションされた要求との対比は重要です。通常の評価では拒否挙動にほとんど影響がないように見えるウォーターマークでも、敵対的な条件下では大幅に異なる安全性の挙動を生み出す可能性があります。
[画像:図4. プロンプトインジェクション技術の有無による有害なプロンプトに対するウォーターマーキング下でのペアごとの拒否の不一致。結果は、T=0.001および0.7での200件のHarmBenchの挙動を使用しています。オレンジ色は拒否から遵守への変化、青色は遵守から拒否への変化を示します。左のパネルはそのままの要求を示し、右のパネルは固定インジェクション下での同じ要求を示します。中央の垂直線は、ウォーターマークなしの条件に対する変化がないことを示します。オレンジ色のバーは、非遵守から有害な遵守に変化した要求を示し、青色のバーは逆方向の変化を示します。右側の列は、正味の遵守の変化とチャーンを報告します。ひし形はゼロを除外する95%ブートストラップ区間を示します。]
温度によるチャーンとの比較
ウォーターマークによる不一致を文脈化するために、温度設定を変更したときに観察される不一致と比較します。表2は、T=0.7でのプロンプトインジェクション下でのウォーターマークによるチャーンと、ウォーターマークなしでTを0.001から0.7に変更したときに観察されるチャーンを対比させています。6つのモデルのうち4つで、ウォーターマークによるチャーンが有意に高くなっています。 Granite-3.2-8Bは、温度によるチャーンが15.5%と最も高いですが、ウォーターマークによるチャーンは21.5%と依然として高くなっています。phi-4とQwen3-4Bは、どちらの介入でもほとんど変化しません。これは、前述の高い拒否率と一致しています。
表2. インジェクション下でのウォーターマーク対温度による拒否チャーン。 ウォーターマークチャーンはT=0.7でのウォーターマークなしとありを比較します。温度不一致は、ウォーターマークなしでT=0.001と0.7を比較します。最後の列は、その差と95%ブートストラップ区間を報告します。
| モデル | ウォーターマークチャーン (%) | 温度チャーン (%) | 差 (95% CI) |
|---|---|---|---|
| gemma-3-27b | 26.0 | 13.5 | +12.5 (+6.0, +18.5) |
| Granite-3.2-8B | 21.5 | 15.5 | +6.0 (+0.5, +12.0) |
| Llama-3.1-8B | 17.5 | 7.5 | +10.0 (+4.5, +15.5) |
| gemma-3-12b | 11.0 | 6.0 | +5.0 (+0.5, +10.0) |
| phi-4 | 0.5 | 0.5 | +0.0 (−1.5, +1.5) |
| Qwen3-4B | 0.0 | 0.0 | +0.0 (+0.0, +0.0) |
ウォーターマークキーへの感度
前述の結果は1つのウォーターマークキーを使用していますが、トークン選択に対するSynthIDの効果はキーに依存します。したがって、私たちはT=0.7で、研究用キーと10個の追加キーを使用して、キーへの感度を評価します。図5は、キーとモデル全体での攻撃成功率の変化を示しています。
[画像:図5. 11個のウォーターマークキー下での攻撃成功率の変化。各行は、T=0.7でインジェクション下での有害な要求に対する1つのモデルを示します。ゼロの垂直線はウォーターマークなしの結果を示し、各点は特定のキーでウォーターマークを適用したときの変化を示します。正の値は、ウォーターマークなしのベースラインと比較して攻撃成功率が高いことを示し、負の値は低いことを示します。オレンジ色の点は10個の追加キーを示し、黒いひし形は研究用キーを示します。]
効果はウォーターマークキーによって大幅に異なります。Llama-3.1-8Bと両方のGemmaモデルでは、ほとんどのキーがウォーターマークなしのベースラインと比較して攻撃成功率を増加させますが、その大きさは大きく異なります。2つのGemmaモデルでは、私たちの研究用キーは最大の増加をもたらすものの中に含まれています。Llama-3.1-8Bでは、研究用キーは攻撃成功率を3.5ポイント増加させますが、他の10個のキーは平均+4.4ポイントで、-4.5から+14.5ポイントの範囲です。Granite-3.2-8Bはより混合した応答を示し、異なるキーが攻撃成功率を両方向に動かします。phi-4とQwen3-4Bは、前述の高い拒否率と一致して、再びウォーターマークなしのベースラインに近いままです。したがって、ウォーターマーキングの効果は、モデルとウォーターマークキーの両方に依存します。
AIの安全性とセキュリティにとっての意味
テキストウォーターマーキングは、コンテンツがAIによって生成されたかどうかを識別するのに役立つことを目的としていますが、エージェント内では、決定を生成するプロセスの一部にもなります。私たちの結果は、それがツールの呼び出しと拒否挙動の両方を変更する可能性があり、個々の決定への変更が集計精度や拒否率によって不明瞭になる可能性があることを示しています。
拒否挙動への影響は、プロンプトインジェクション下でより顕著になります。ウォーターマーキングは、そのままの有害な要求に対する拒否挙動を変更しますが、同じ要求がプロンプトインジェクション技術と組み合わされた場合に、その影響はより顕著になります。 いくつかのモデルでは、ウォーターマーキングはモデルが通常は拒否するであろう有害な要求に応答する可能性を高めます。この実験は、モデルレベルの拒否を測定するものであり、エンドツーエンドのエージェント挙動を測定するものではありません。エージェントへの関連性は、モデルがツールやその他のアクションへのアクセスを与えられた場合に生じます。拒否が遵守に変化すると、モデルが何を言うかに影響するだけでなく、エージェントがその後何をするかにも影響を与える可能性があります。私たちはこの複合的な失敗モードを直接テストしませんが、ツールの呼び出し結果は、ウォーターマーキングがモデルによって生成されるアクションも変更できることを個別に示しています。
効果はモデルと構成にも依存します。図5は、ウォーターマークキーを変更するだけで、同じプロンプトインジェクション下での効果の大きさや方向が変わる可能性があることを示しています。これは、プロバイダーホスト型モデルにとって特に重要です。これらのモデルでは、ウォーターマーキングが独立して開発されたエージェントによって消費される出力にモデルレベルで適用される可能性があります。ウォーターマークキーまたは構成がモデルプロバイダーによって制御される場合、このような変更はエージェント開発者の直接の制御外で発生する可能性もあります。
これらの発見は、ウォーターマーキングが導入されたとき、またはその構成やキーが変更されたときに、再評価が重要であることを意味します。このような変更は、集計パフォーマンスが安定している場合でも、特に敵対的な入力の下で、個々のツールの呼び出しや安全性の決定を予期せぬ方法で変更する可能性があります。したがって、エージェントの評価とレッドチーミングは、展開が意図されている構成の下で、同じ入力に対するペア比較やプロンプトインジェクション下での評価を含めて、繰り返されるべきです。
通常の入力では挙動的に安定しているように見えるプロビナンスメカニズムでも、攻撃下では安定しない可能性があります。したがって、ウォーターマーキングは、エージェントの展開されたセキュリティ構成の一部として評価されるべきです。
これらの結果は、プロビナンスのためのウォーターマーキングに反対するものではありません。それらは、プロビナンスと挙動の安定性が別個の特性であることを示しています。検出可能性と変更されないテキスト品質は、ウォーターマーキングが有効になった後にエージェントが同じツールの呼び出しまたは安全性の挙動を維持することを保証するものではありません。私たちはSynthID-Textを研究しましたが、より広範な懸念は、生成されたトークンを処理するシステムでトークン選択を変更する介入に適用されます。
参考文献
[1] Anthropic, “How Claude marks AI-generated content,” Claude Help Center, 2026. https://support.claude.com/en/articles/16266773-how-claude-marks-ai-generated-content
[2] Anthropic, “How Claude’s text watermark works,” Aug. 14, 2026. https://www.anthropic.com/news/claude-text-watermark
[3] S. Dathathri, A. See, S. Ghaisas, et al., “Scalable watermarking for identifying large language model outputs,” Nature, vol. 634, pp. 818–823, 2024. https://doi.org/10.1038/s41586-024-08025-4
[4] European Parliament and Council of the European Union, “Regulation (EU) 2024/1689 laying down harmonised rules on artificial intelligence (Artificial Intelligence Act),” Official Journal of the European Union, Art. 50, 2024. https://eur-lex.europa.eu/eli/reg/2024/1689/oj
[5] J. Kirchenbauer, J. Geiping, Y. Wen, J. Katz, I. Miers, and T. Goldstein, “A watermark for large language models,” in Proc. 40th Int. Conf. Machine Learning (ICML), PMLR, vol. 202, pp. 17061–17084, 2023. https://proceedings.mlr.press/v202/kirchenbauer23a.html
[6] R. Kuditipudi, J. Thickstun, T. Hashimoto, and P. Liang, “Robust distortion-free watermarks for language models,” 2023. arXiv:2307.15593. https://arxiv.org/abs/2307.15593
[7] M. Christ, S. Gunn, and O. Zamir, “Undetectable watermarks for language models,” in Proc. 37th Conf. Learning Theory (COLT), PMLR, vol. 247, pp. 1125–1139, 2024. https://proceedings.mlr.press/v247/christ24a.html
[8] A. Liu, L. Pan, Y. Lu, J. Li, X. Hu, X. Zhang, L. Wen, I. King, H. Xiong, and P. S. Yu, “A survey of text watermarking in the era of large language models,” ACM Computing Surveys, vol. 57, no. 2, Art. 47, 2024. https://doi.org/10.1145/3691626
[9] S. G. Patil, H. Mao, F. Yan, C. C.-J. Ji, V. Suresh, I. Stoica, and J. E. Gonzalez, “The Berkeley Function Calling Leaderboard (BFCL): From tool use to agentic evaluation of large language models,” in Proc. 42nd Int. Conf. Machine Learning (ICML), PMLR, vol. 267, pp. 48371–48392, 2025. https://proceedings.mlr.press/v267/patil25a.html
[10] M. Mazeika, L. Phan, X. Yin, et al., “HarmBench: A standardized evaluation framework for automated red teaming and robust refusal,” in Proc. 41st Int. Conf. Machine Learning (ICML), PMLR, vol. 235, pp. 35181–35224, 2024. https://proceedings.mlr.press/v235/mazeika24a.html
[11] P. Chao, E. Debenedetti, A. Robey, et al., “JailbreakBench: An open robustness benchmark for jailbreaking large language models,” in Advances in Neural Information Processing Systems 37 (NeurIPS 2024), Datasets and Benchmarks Track, 2024. https://doi.org/10.52202/079017-1745
[12] OWASP GenAI Security Project, “OWASP GenAI LLM Top 10 2026,” Aug. 3, 2026. https://genai.owasp.org/resource/owasp-genai-llm-top-10-2026/