HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Metaの不安定なシグネチャ

Meta's Un-Stable Signature (hackerfactor.com)

42 pointsby ementally2 コメント

要約

著者は、Metaの「Stable Signature」を含む最新のAIベースの不可視透かしアルゴリズムについて調査し、それらが主張するほどの信頼性がないことを発見しました。特にMetaのアルゴリズムは、GitHubで公開されているにもかかわらず、実際の使用状況では期待される一意の識別子ではなく、類似した画像間で頻繁に重複するパターンを示すことが実験で明らかになりました。

全文翻訳

Metaの不安定な署名

不可視透かしアルゴリズムに関する調査を終えようとしていますが、非常に落胆しています。最新のAIベースのアルゴリズムは、謳い文句通りに機能しないだけでなく、すべてが同じ根本的な間違いを犯していることが判明しました。

以前、GoogleのSynthIDとAdobeのTrustMarkのアルゴリズムを評価しました。どちらも非常に正確な結果を主張しています。

  • Googleの査読済みで公開されている論文によると、真陽性率(TPR)が99.97%以上であると主張しています。これは、自社の透かしを誤って見逃す確率が1万回のうち3回以下であることを意味します。しかし、私自身の実証的なテストでは、その確率は20回に1回に近いことがわかりました。さらに、SynthIDはプロプライエタリであり、Googleの「Gemini」AIシステムを通じてのみアクセス可能です。Geminiは、結果を幻覚させたり、質問の仕方によって矛盾した結論を提供したりすることが観察されています。

  • AdobeのContent Authenticity Initiativeによると、そのTrustMarkは「激しいノイズ劣化下で、PSNR品質約42〜45dBでビット精度96%を超える」ことができます。しかし、その統計は精度ではなく、耐性(resilience)に焦点を当てています。私の実証テストでは、TrustMarkの偽陽性率が10%〜20%であることが判明し、実質的に無用なものとなっています。(TrustMark署名を見た場合、それは非常に高い確率でランダムノイズであり、実際の署名ではありません。)

今回は、Metaの「Stable Signature」アルゴリズムを評価しました。(その論文とコードはGitHubにあります。)このシステムは、48ビットのシーケンスを画像の内容にエンコードします。アイデアは、ユニークな48ビットシーケンスを透かしとしてエンコードできるということです。デコーダーが同じ48ビットシーケンスを見つけた場合、それは自身の透かしを識別できます。

警告: このブログエントリは、Stable Signature、TrustMark、SynthIDが開発者が主張するほど信頼できないことを証明するために、数学と統計に大きく依存しています。

基本的なアルゴリズム

従来の(AIではない)不可視透かしは、通常、最下位ビット、明るさの変化(例: Digimarc)、または周波数スペクトル(DCTまたはFFT)のような微妙な場所に隠されます。画像エンコーディングが隠されたデータを破損させるリスクは常にありますが、これらのアルゴリズムは通常、真の信号を識別するために画像全体での繰り返しに依存します。さらに、マイナーなデータエラーを修正するために、エラー訂正コード(データ内の追加ビット)を含める場合があります。

しかし、従来の方式には問題があります。画像に隠しデータを注入すると、視覚的な歪みが生じる可能性があります。最新のアプローチでは、AIシステムを使用して、追加の歪みを少なくしてデータをより良く隠します。

SynthIDやTrustMarkと同様に、Stable Signatureはバイナリデータをエンコードし、AIモデルを使用してそれを画像内のどこに隠すかを決定します。AIは、埋め込み時に視覚的な歪みを最小限に抑えるように調整されます。その後、AIベースのデコーダーが画像を見て、ビットが格納されている可能性のある場所を特定し、データを抽出します。

データがノイズと混ざる可能性は常にあります。異なるAIベースの透かしシステムは、ノイズを減らすために異なる技術に依存しています。例えば:

  • GoogleのSynthIDは、少数のビット(事実上フラグまたはバージョン番号)のみを格納します。これにより、繰り返しに多くのデータを使用し、精度率を向上させることができます。

  • AdobeのTrustMarkは、Bose-Chaudhuri-Hocquenghem(BCH)アルゴリズムを使用します。これは、エラー数を減らすはずのチェックサムとエラー訂正コードの組み合わせとして機能します。

MetaのStable Signatureは、単純なハミング距離を使用します。

[画像: ハミング距離の概念図]

ハミング距離は、コードを修正するためにスワップする必要があるビット数を測定します。実質的に、それは安定した状態のセット(例: 10110と11000)を定義し、各状態の周りに単一ビット変更を表すリングを配置します。十分なビットを変更すると、別の安定した状態に到達します。

MetaのStable Signature研究論文によると、48ビットは一様に分布し、「偽陽性率が10⁻⁶未満」、つまり100万分の1であると引用しています。これは、署名として使用する48ビットシーケンスを選択できることを意味します。すべての画像は48ビットシーケンスを生成し、そのシーケンスは画像内のノイズによってわずかに変化する可能性があります。しかし、短いハミング距離(例: 6ビット以内の差)内にあるコードを見つけた場合、高い信頼性でそれが同じコードであると判断できます。

少なくとも、それが理論です。

実証テスト

私は、すべてが主張通りに機能するという前提でこの実験に入りました。Metaに関連付けられた不可視透かしを確実に識別できるようになりたかったのです。私が知らないのは、彼らがどのシーケンスを使用しているか、またはMetaのAIシステム、Facebook、Instagram、WhatsAppなどから来るかによって複数のコードを使用しているかどうかです。

幸いなことに、これはテストできることです!FotoForensicsから未加工のサンプル画像を取得しました。先月(2026年5月)にアップロードされたユニークな画像の上位10,000枚です。ビットシーケンスが一様に分布し、「100万分の1」の衝突率である場合、膨大な数のユニークなビットシーケンスと、Meta(Meta AI、Facebook、Instagramなど)からの画像を中心とした少数の小さなクラスターが見つかるはずです。これらのクラスターは、Metaが使用する不可視透かしを表します。

私の実証テストの結果は、予想とは全く異なるものでした。私は以下を発見しました:

  • Metaの画像に関連付けられたクラスターはありませんでした。これは、MetaがGitHubで見つかった独自のStable Signature透かしソフトウェアを使用していないことを示唆しています。

  • ランダムな分布では、クラスターは存在しないはずです。しかし、私は全く同じビットシーケンスを持つ25枚の画像を発見しました:110110100111111011101001111000100111011000011101。100万分の1の衝突率では、これは起こるべきではありません!これらの画像は非常に異なるソースから来ていました。25枚の画像のうち4枚(惑星から電球、透明な(黒い)背景のテキストまで)を以下に示します:

[画像: 惑星の画像] [画像: 電球の画像] [画像: テキストの画像] [画像: 別のテキストの画像]

これらの画像はすべて暗い/黒い背景と中央の明るいものを持っています。これは、Stable Signatureが不可視透かしというよりは、知覚ハッシュのように機能することを示唆しています。

  • Stable Signatureは、クラスターを識別するためにハミング距離を使用します。25枚の画像がクラスターの中心(重心)であると仮定し、6ビットのハミング距離を使用すると、356枚の画像が類似していることがわかりました。そして、25枚の画像が中心ではなくクラスターの一部であると仮定すると、ハミング距離6では、110110000111111011101011111000100111001000011101から3ビット離れた中心を持つ450枚の画像のクラスターがあります。このクラスターは、未加工の画像データセットの4.5%を占めます!このより大きなクラスターからのいくつかのサンプルを以下に示します:

[画像: クラスター内の画像サンプル1] [画像: クラスター内の画像サンプル2] [画像: クラスター内の画像サンプル3]

(個人情報、請求書、認識可能な人物、GPS情報を含む画像は、意図的に共有していません。)

単一のランダムなクラスターが巨大(10,000枚中450枚)であるだけではありません。110101001011001011001011111000100111001000011101にある184枚の画像のクラスター、110100000011111010001001111000100111011000011101にある58枚の画像のクラスターなどがあります。ハミング距離6で10枚以上の画像を持つクラスターが60以上見つかりました。これは「100万分の1」の衝突率では起こるべきではありません。

独立した分析

不一致を見つけるために、Metaの研究論文に戻りました。そして、そこにありました、セクション3.1に:彼らは、48ビットがそれぞれ独立しており一様に分布しているという仮説に対してシステムをテストしました。問題は、彼らがビットを生成するために1つのニューラルネットワークを使用していることです。これは、ビットが独立ではなく、依存していることを明確に意味します。

彼らの論文は二項分布を仮定しています。つまり、任意の画像が与えられた場合、48ビットはランダムなコインフリップを表します。数学は次のようになります:

P(X ≤ T) = ∑_(k=0)^T (⁴⁸_k) (0.5)ᵏ (0.5)⁴⁸⁻ᵏ

これは、ハミング距離(T)内にある48ビットのランダムビットの確率を計算します。確率表は次のようになります:

ハミング距離しきい値 (T)ビットエラー率 (BER)ランダム画像が偶然一致する確率
14ビット以下≤ 29.17%1 in 362.63
13ビット以下≤ 27.08%1 in 957.81
12ビット以下≤ 25.00%1 in 2,788.35
11ビット以下≤ 22.92%1 in 8,999.08
10ビット以下≤ 20.83%1 in 32,416.80
9ビット以下≤ 18.75%1 in 131,390.28
8ビット以下≤ 16.67%1 in 605,094.89
7ビット以下≤ 14.58%1 in 3.20 Million
6ビット以下≤ 12.50%1 in 19.83 Million
5ビット以下≤ 10.42%1 in 146.19 Million
4ビット以下≤ 8.33%1 in 1.32 Billion
3ビット以下≤ 6.25%1 in 15.24 Billion
2ビット以下≤ 4.17%1 in 239.15 Billion
1ビット以下≤ 2.08%1 in 5.74 Trillion
0ビット(完全一致)= 0.00%1 in 281.47 Trillion

Metaの論文では、ハミング距離7ビット(48ビット中41ビットが必要)を使用しており、これは「偽陽性率が10⁻⁶未満」という主張に一致すると述べています。しかし、私はハミング距離6(2000万分の1であるべき)で問題が発生しており、さらに0ビット(281兆分の1)での衝突さえ見ています!

コアとなる問題

理論的な確率と実証的なテストの間には、明らかに乖離があります。Metaの研究論文を読み返すと、問題が見つかりました。

Metaの論文によると、48ビットはそれぞれ独立しています。完全に独立した48ビットのハイパーキューブでは、透かしのない画像は2⁴⁸個の可能な値すべてに均一に散らばるはずです。しかし、ニューラルネットワークは、このハイパーキューブを介して非線形多様体(多次元の波打つ表面)をマッピングします。この数学的な地形は、独自のピーク、谷、および窪みで歪んでいます。クラスターを形成するアトラクターと、安定した値が存在できない領域であるボイド(voids)を形成するリパルサーがあります。これはニューラルネットワークの特徴です。そして最も重要なのは、出力ビットは明らかに独立ではないということです。

[画像: 独立ビット分布と依存ビット分布の比較図]

左の図は、すべてのビットが独立していた場合に予想される均一な分布を示しています。右の図は、ビットが依存している場合に形成される理論的なクラスターのタイプです。アトラクターの周りのクラスターと、反発領域からのボイド(点が全くない領域)があるはずです。

理論から実証へと移行し、データをグラフ化しました。48ビットはバイトとして表現できます。最初の24ビットを取得し、8ビットの赤、緑、青のピクセル色に変換しました。データが真にランダムであれば、色の点はRGBキューブ全体に分布するはずです。しかし、ビットが依存している場合、非常に明確な構造とボイドがあるはずです。これがグラフです:

[画像: 48ビットデータのRGB散布図]

はい、平面や線のように見える非常に明確な構造があります。平面内にはクラスターがあり、平面の外側には非常に大きなボイドがあります。つまり、全く点がない領域です。MetaのStable Signature実装によって生成されたデータは、この基本的な独立性のテストに失敗します。

私が発見した最大のクラスターは、ゼロシグナルバイアス(ZSB)を表します。ニューラルネットワークが透かしを見つけられない場合、48ビットを強力なアトラクター、巨大な重力井戸のようなものに向かって移動させます。6ビットのエラーでは、約2000万分の1の衝突があるはずです。しかし実際には、私の10,000枚の画像は、ZSBにより6ビット以内に450枚の画像からなるクラスターを持っていました。これは、ZSBだけでも約22分の1のエラー率です。10枚以上の画像を含む他のすべてのクラスターを含めると、2327枚の画像がさまざまなクラスターに属しています。これは、彼らの論文のハミング距離7ビットよりも保守的なハミング距離6ビットで、約4分の1のエラー率になります。(AIの用語では、これはディープニューラルネットワークに典型的な表現の崩壊または構造的バイアスです。)

(ちなみに:彼らの「100万分の1」という主張を考えると、2つ以上の画像からなるクラスターを探すことができます。2つ以上のクラスターでは、10,000枚のテスト画像の5,237枚(52%)がクラスター内にありました。彼らのアルゴリズムに10,000枚の画像を見せると、偽陽性の一致が50%以上の確率で発生します。)

ランダム以下

私が目に見えるクラスターがあると主張し、クラスターの画像を示すことと、それを数学的に証明することは別のことです。(大学の「統計学入門」の教科書を引っ張り出す時間です…)

Metaのコードに、2026年5月からの最初の10,000枚の画像を読み込ませました。いくつかの画像はサポートされていない形式(HEIC、WebP、およびいくつかの破損したJPEGファイル)であったため、9,847枚の有効な画像が得られました。このデータを、ランダム性に関するNIST統計テストスイート(SP 800-22)の要素、特にモノビットテストと独立性に関するカイ二乗(χ²)テストを使用して評価しました。

モノビットテストは、隣接するビットのベースライン頻度が独立しているかどうかを決定します。

  • 処理された総ビット数: 9,847枚の画像 × 48ビット/署名 = 472,656ビット
  • 観測された1の数('1'): 266,419
  • 観測された0の数('0'): 206,237
  • 期待される数(E): それぞれ236,328

このビットバランスに対する単純な標準カイ二乗適合度検定を実行します:

χ² = (266419 - 236328)² / 236328 + (206237 - 236328)² / 236328 = 3831.41 + 3831.41 = 7662.81

  • 数学的に言えば:自由度1の場合、χ²統計量7,662.81は、p値がほぼ0(p ⋘ 10⁻¹⁰⁰)となります。(ちなみに、ほとんどのカイ二乗テーブルは、通常、自由度1をχ² ≈ 10まで評価します。このχ²値は非常に天文学的な高さであり、確率pは実質的にゼロになります。)

  • 英語で言えば:これは間違いなくランダムでも独立でもありません。

透かし抽出は、グローバルな任意の画像全体で1を生成する方向に強く偏っています(約56%が1、44%が0)。これは直ちに一様分布の仮定に違反します。

2番目のテストは、シリアル独立性に関するカイ二乗(χ²)テストです。ビットが独立している場合、隣接するビット間の遷移確率は、個々の確率の積になります。この表は、観測された10,000枚(実際には9,847枚)の画像全体での遷移ペアの発生率を示しています:

遷移ペア観測数 (O)独立下での期待数 (E)
0 から 0106,75090,051
0 から 195,296116,186
1 から 095,302116,186
1 から 1165,461149,976

χ² = ∑(O - E)² / E
χ² = (106750 - 90051)² / 90051 + (95296 - 116186)² / 116186 + (95302 - 116186)² / 116186 + (165461 - 149976)² / 149976
χ² = 3096.7 + 3756.2 + 3754.0 + 1599.0 = 12,205.9

  • 数学的に言えば:遷移の分割表(固定された周辺度数を考慮)の自由度1の場合、χ²値12,205.9はp値0.0となります。

  • 英語で言えば:これはランダムでも独立でもありません。

そして、これが十分な結論ではないかのように、適用できる他のテストがあります:

  • 静的な末尾パターン: 48ビットシーケンスの末尾を詳しく見ると、文字列の巨大なクラスターが明確に...111101または...00111101で終わっています。さらに、ビット位置46はほぼ常に「1」(228個のゼロ対9619個の1、つまり97.7%の時間で「1」)であり、位置47は「0」(9847枚の画像のうち8958枚、つまり90.97%)、位置48は「1」(9696枚の画像、つまり98.5%)で、数千枚の未加工の実際の画像全体で見られます。

  • 構造的クラスタリング: 特定のビット列は、異常に高い相互情報量スコア(I(X;Y))を共有しています。例えば、ビット位置12の出力を知ることで、ビット位置28を予測する精度が80%を超えます。

「任意の画像に対する一様分布」という仮定は、ランダムな自然画像のフィーチャーがネットワークの決定境界に一様に投影されるという理想的な前提に基づいています。しかし、抽出ネットワークは入力を制約された、非常に連続的な高次元多様体にマッピングするため、ネットワークの潜在層はネイティブに構造的な滑らかさを強制します。

TL;DR の方向け:
Metaの研究者は、精度率を計算する際に根本的な間違いを犯しました。「100万分の1」の偽一致のチャンスではなく、48ビットの値が独立していないため、4分の1に近いのです。

Metaの研究論文を再読すると、統計的なエラーは見落としではなく、Metaの研究者が問題であることを明確に認識していたことに気づきました。彼らの論文(セクション4.1)には次のように書かれています:

第二に、Wのバニラ画像に対する出力ビットは相関しており、非常に偏っていることを観察しました。これは、セクション3.1(独立した統計テスト手法に関するセクション)の仮定に違反します。

つまり、抽出されたビットが独立ではないことを認識していました。それにもかかわらず、公表された偽陽性分析は、ビットが独立しているという仮定に依然として依存しています。

広範な問題

Metaの精度率が、ビット間の独立性がないにもかかわらずそれを仮定したために著しく誇張されていることを知って、GoogleとAdobeの透かしに関する論文を振り返りました。GoogleとAdobeの研究者もこの同じ間違いを犯したのでしょうか?

  • GoogleのSynthID研究論文は、真陽性率(TPR)の観点から議論しています。彼らもこの「ビット単位の独立性」という間違いを犯していますが、論文では不明瞭になっています。彼らの式3(PDF 8ページ)で、一様な(独立した)分布を仮定している箇所でエラーを見ることができます。彼らの論文は真陽性率に過度に焦点を当てており、偽陽性分布には一切触れていません。(彼らが調べる方法を知らなかったか、あるいはそれを報告しないことを決定したかのどちらかです。なぜなら、それは彼らのソリューションにおける深刻な弱点を露呈するからです。)

  • AdobeのTrustMark研究論文も独立性の仮定をしています。セクション3.1.4の二項クロスエントロピー損失でPDFで見ることができます。これは数学的に各ビット位置を独立なベルヌーイ試行として扱っています。(定義上、ベルヌーイ過程は厳密に独立性を必要とします。)彼らの実験(セクション4.1)では、「テスト時には、すべての画像がランダムな透かしに関連付けられる」と書いていますが、ランダムな透かしがお互いに類似しているかどうかはテストしていません。

この統計学入門レベルの間違いは、これら3つの不可視透かし技術すべてに見られます。これらのシステムによって生成される検出は非常に信頼性が低いため、アナリストは報告された検出が本物か偽陽性か、あるいは報告された非検出が本物か偽陰性かを判断できません。

また、Stable Signatureをリリース shortly 後に、Metaは別のアルゴリズムであるPixel Sealを開発したことにも言及する価値があります。(私の独自のSEAL技術と混同しないでください。)Pixel Sealは、容量を増やすために256ビットペイロードに移行し、関連モデルであるChunky Sealは最大1024ビットまでプッシュします。Metaのアプローチは、敵対的のみの識別子を使用した不可視性の側面に重点を置いていますが、根本的なアプローチは依然としてニューラルネットワークのマッピングを使用しています。より多くのビットを使用すると、この欠陥が悪化するだけです。

潜在的な用途

アルゴリズムには用途があります。例えば、Meta、Google、Adobeは、遭遇した画像で独自のAIモデルをトレーニングしています。トレーニングセットの汚染を防ぐために、自社システムによって生成された画像を除外したいと考えています。この点において、透かしは彼らを助けます。例えば、Metaが追加で25%の画像を(偽陽性から)除外した場合でも、トレーニングできる画像はまだたくさんあります。

しかし、その同じ用途は法的なケースでは機能しません。例えば、保険会社を考えてみましょう。今日のほとんどの保険請求には、写真による証拠が含まれています。会社はカメラオリジナルの写真が必要ですが、顧客が提出したものを使用しなければなりません。問題は、保険詐欺が多いことです。理論的には、Meta、Google、AdobeのようなAIシステムからの透かしを見ることは、詐欺を特定し除外するのに役立つはずです。残念ながら、Stable Signature、SynthID、TrustMarkは非常に不正確であるため、どれも信頼できず、顧客の写真にこれらの不可視透かしが含まれているかどうかをテストする価値さえありません。

これらの透かしシステムについて、私は非常に高いエラー率について話しています。Metaは約4分の1、Adobeは約5分の1、Googleは約20分の1です。しかし、それらがもっとうまく機能すると仮定しましょう。例えば、偽陽性率が20,000分の1だとします。月間100,000件の請求を処理する保険会社は、毎月約5人の完全に正直な顧客を詐欺で告発すると予想されます。100,000件中5件の請求を誤って却下すること?それは、有害な顧客サービス、深刻な法的責任、および規制機関からの不正な請求却下に対する罰金を生み出します。これは、勝てない集団訴訟にさえ発展する可能性があります。

保険や金融機関にとって悪いことですが、さらに高いリスクが関わっています。EUのAI法(第50条(2)項)、中国のGB 45438-2025、カリフォルニア州SB 942など、AIコンテンツの透かしを義務付ける方向へ進んでいます。

これら3つの主要企業(Fortune-500企業)の3つの主要システムが、主張する精度率を満たせないという失敗は、単なる学術的な好奇心ではありません。規制当局や裁判所は、帰属と詐欺検出のためにこれらのシステムを採用するでしょう。信頼性の高いAIベースの透かし技術はまだ準備ができていません。

3社。3つのアルゴリズム。3つの異なる研究チーム。同じ根本的なエラー。偽陽性は裁判にかかりません。人々が裁判にかかります。