Show HN: Noisegate – 信頼できないAIエージェントのための差分プライバシーゲートウェイ
Show HN: Noisegate – a differential-privacy gateway for untrusted AI agents (github.com)
要約
Noisegateは、信頼できないAIエージェントが機密データにアクセスする際に、個々のレコードが漏洩しないことを数学的に保証する差分プライバシーゲートウェイです。AIエージェントが誤っていたり、操作されたり、敵対的であったりしても、プライバシー侵害を防ぎます。このシステムは、攻撃シナリオを再現し、プライバシー保護が有効な場合と無効な場合の効果を実証することで、その有効性を証明しています。OpenDPとの連携や、高いユーティリティを維持しながらプライバシーを保護する設計が特徴です。
全文翻訳
Noisegate: 信頼できないAIエージェントのための差分プライバシーゲートウェイ
[画像: CI] [画像: Python 3.13+] [画像: License: Apache-2.0]
機密データを調査できるが、個人を特定できないAIエージェント。その限界は数学的に定められ、コードによって強制され、リポジトリにはそれを破ろうとする攻撃が含まれています。
記録されたClaude Desktopセッション(応答はトリミングされています。チャートカードはセッション自身のものです)。AIエージェントは20人の患者を診断別に分類しますが、±12のノイズが各ビンを圧倒します。ノイズをオフにできないと注意されると、3回の応答予算を使い果たし、ゲートはより静かな応答の代わりに拒否を返します。32,561行の国勢調査データでは、狭すぎるスライスは信頼境界で拒否されますが、完全な教育内訳は大規模でクリーンに返されます。拒否と却下はライブゲートウェイの実際の強制であり、python scripts/render_demo_gif.pyによって再現されます。
一目でわかること
- 実行可能な攻撃、CIで固定。 3つの古典的なプライバシー攻撃がシステム自身のエンジンに対して実行されます:差分攻撃、メンバーシップ推論、再識別による特定化。それぞれがプライバシーオフで成功し、プライバシーオンで無効化され、すべてのビルドでチェックされるため、防御が静かに腐食することはありません。
- 独立して検証された数学。 ノイズメカニズムはゼロから構築されており、すべての35のノイズスケールチェックで業界標準実装であるOpenDPと1e-9以内で一致します。
- よりタイトなアカウンティングからのより多くの質問。 デプロイメントのクエリごとのεにおいて、ハイブリッドzCDPコンポジションは、高度なコンポジションの268、単純なεの合計の100に対して、同じ予算で308のクエリを許可します。保証は純粋なεではなく(ε, δ)-DPです。
- AIエージェント向けに構築。 Claude Desktop用のMCPサーバーとして実行されます。接続するエージェントは設計上信頼されておらず、すべてのプライバシープロパティはそれ以下で強制されます。
- スタック: Python · DuckDB · FastAPI · Streamlit · MCP SDK · Docker · GitHub Actions、CIには250以上のテストスイートがあります。
あなたは、機密データセットについて平易な英語で質問します。LLMは各質問を小さく制約されたクエリにコンパイルします。差分プライバシーエンジンは、追跡されたプライバシー予算の下でそれを実行し、意図的にノイズの多い回答と信頼区間を返します。その音声の同名異義語のように、ゲートウェイはノイズフロア以下のすべての信号を維持します。個々の貢献はかき消されますが、データセット全体の規模の信号はほとんど変更されずに通過します。
興味深いのは、LLMがクエリを作成できることではありません。それは、プライバシー保証がLLMが信頼できるかどうかに依存しないということです。モデルはクエリを提案する便宜的なものです。それは何も強制しません。すべてのプライバシープロパティは、人間が手でクエリを入力した場合と同じように動作するコンポーネントによって、下流で強制されます。これは、AIエージェントに適用される、本番システム内の信頼できない入力に適用する信頼境界規律です。
クイックスタート
1. 攻撃を実行する:APIキー不要、データ取得不要、サーバー不要
攻撃ギャラリーは、実際のDPエンジンに対してインプロセスで実行されます。
pip install -e .
python -m attacks.patients_alice # プライバシーオフでAliceを再識別し、
# ガード、ノイズ、予算がそれを無効にするのを観察する
2. AIエージェントを接続する
ゲートウェイは、Claude Desktop用のMCP stdioサーバーとして実行されます。エージェントは信頼できないクエリ作成者となり、データセットポリシーから生成されたスキーマを持つ構造化ツール(count、sum、average、histogram、get_budget)のみを取得します。接続するエージェントが知能であるため、どこにもAPIキーは必要ありません。
3. 完全な自然言語UI
ローカル単一テナントデモ。APIキーは、信頼できないNL→クエリコンパイラにのみ必要です。
export ANTHROPIC_API_KEY=... # 信頼できないNL→クエリコンパイラのみが使用
docker compose up # エンジン、API、UIを起動
# http://localhost:8501 を開く
そのHTTP + Streamlitサーフェスは、ローカルの単一テナントデモです。IDは偽装可能なX-Identityヘッダーから取得されるため、パブリックデプロイメントではなく、自身のマシン上の1人の信頼できるオペレーター向けです(これらのサーフェスが何であり、何でないかを参照)。ローカルの非Dockerセットアップ、テストの実行、および設定ノブについては、SETUP.mdを参照してください。
ヘッドライン:攻撃ギャラリー
誰でもプライバシーを主張できます。このリポジトリは、その主張を破るエクスプロイトを提供し、それらを自身のエンジンに対して実行し、結果をCIで固定します。ゲートウェイが保証するものを理解する最も速い方法は、単純な「データベースにクエリする」システムを破る3つの古典的な攻撃を、それがどのように無効化するかを観察することです。
攻撃1:差分攻撃
差分攻撃は、ちょうどその人のみを含む2つの集計質問をすることで、1人を孤立させます。
クエリA:「部署Xの全100人の総収入。」 → $7,240,000
クエリB:「部署Xの全人の収入(アリスを除く)。」 → $7,135,000
攻撃者は計算する:A − B = $105,000 ← アリスの正確な給与が漏洩。
どちらのクエリも「単なる集計」です。どちらも単一の行を名前で指定しません。それにもかかわらず、それらを組み合わせると個人が暴露されます。ギャラリー(attacks/differencing.py)は、この攻撃がプライバシーが無効な状態で成功することを示しています。ターゲットのプライベート値は正確に回復されます。(上記の給与スケッチは例示的です。実際のUCI Adultデータでは、「アリス」は彼女のグループの最大資本利得の唯一の保持者です。)次に、DPがオンになったときに同じ攻撃が無効化されることを示します。各回答のキャリブレーションされたノイズにより、減算は無用になり、予算会計士はそれらを独立したものとして扱うのではなく、両方のクエリでリリースされた情報に対して課金します。
攻撃2:メンバーシップ推論
メンバーシップ推論攻撃は、特定の個人がデータセットに存在するかどうかを判断します。多くのデータセット(医療研究、債務不履行者のリスト)では、その事実自体が機密です。クエリアクセスのみを持つ攻撃者は、「この正確な人物はデータにいるのか?」と判断しようとします。
ギャラリーは、プライバシー予算(ε、回答の精度とプライバシーのトレードオフを調整するダイヤル)のスイープ全体でこの攻撃を実行し、結果をプロットします。
[画像: メンバーシップ推論の成功率 vs ε、ユーティリティ曲線が重ねて表示]
1つのノイズの多いCOUNTから1人のメンバーシップを決定する最適(Neyman–Pearson)攻撃者、実際のエンジン全体にわたるεで実行されます。経験的な成功(青、95% Wilson区間)は、解析的なラプラス曲線に沿い、最悪ケースのDP上限(破線)を下回り、確実性(DPオフ)からεが縮小するにつれて0.5のコインフリップに向かって崩壊します。緑のユーティリティ曲線(右軸)は、同じスイープでの集計クエリの相対誤差を示しており、攻撃が無効化された場所ではほとんど影響を受けていません。python -m attacks.membership(εあたり10,000回の試行)によって生成されました。
εが縮小する(より強力なプライバシー)につれて、攻撃者の成功はコインフリップに向かって崩壊します。ユーティリティのオーバーレイは、その代償を示しています。1人攻撃を無効化するノイズは、人口規模の集計にはほとんど影響を与えません。プライバシーは無料ではなく、チャートはそれと引き換えに何を取引したかを正確に示しています。スイープはε = 8から0.5までをカバーしており、バンドルされたデプロイメントは、このチャートの左端から外れたクエリあたりε = 0.05を請求し、そこでは単一クエリ攻撃はすでに偶然と区別がつかない状態です。
攻撃3:再識別による特定化
Latanya Sweeneyは2002年に、郵便番号+生年月日+性別でアメリカ人の約87%がユニークに識別されることを示しました(新しい国勢調査データでの後の再現では、その割合は63%近くになりました)。データセット内で個人を見つけるために名前は必要ありません。いくつかの無害な属性で十分です。ギャラリーの3番目の攻撃(attacks/patients_alice.py)は、20人の合成患者でその構造を再現します。性別と年齢だけでコホートが1人に絞り込まれます。それはアリス、64歳以上の唯一の女性です。
プライバシーオフでは、2つの完全に普通の人口統計ヒストグラムを減算すると、アリスの診断が正確に回復されます。外れ値の値は必要ありません。再識別可能であるだけで十分であり、これがギャラリーの中で最も強力な攻撃となります。プライバシーオンでは、3つの独立した防御がそれを終了させます。フィルターガードは明白な狭いクエリを outright に拒否します(何も消費しません)。キャリブレーションされたノイズは2つのクエリの減算をかき消します(信号対雑音比≈0.13なので、回復された「診断」は基本的にランダムな抽選です)。そして、それが機能するずっと前に予算は平均化のエスカレーションを拒否します(約256回の繰り返しが必要で、10回が許容範囲内です)。これは、このページの先頭にあるデモGIFとClaude Desktopウォークスルーがライブで再生する攻撃です。結果はtests/test_attack_patients.pyで回帰テストされています。
これらの実験は、システム自身のエンジンに対して実行され、保証が主張ではなく、本物であり、理解されているという中核的な証拠です。
OpenDPとのクロスチェック
攻撃は、私たち自身の数学に対して保証を検証します。自己整合的だが間違った実装を防ぐために、メカニズムは独立した参照としてOpenDPともクロスチェックされます(attacks/crosscheck_opendp.py、opendp 0.15.1)。
要するに:ゼロから構築されたメカニズムは、9桁の精度で業界標準と一致し、意図的に誤調整されたバージョンは同じテストに失敗するため、この一致には意味があります。 合意は2つの方法でチェックされます。感度とノイズスケールはOpenDPの認定境界に対してチェックされ、サンプラーの実際の分布はOpenDPのものに対してチェックされ、ポジティブコントロールはテストが失敗できることを証明します。測定された数値はDESIGN.mdセクション6.3にあります。
OpenDPは参照であり、実装ではありません。それは開発者向け拡張機能にのみ存在し、実行中のシステムはそれをインポートしません。スケールの一致はtests/test_crosscheck_opendp.pyで回帰テストされています(ローカルにOpenDPがない場合はスキップされます。CIはそれをインストールし、チェックがサイレントにスキップされないようにREQUIRE_OPENDP=1を設定します)。
再現する
攻撃は実際のDPエンジンに対してインプロセスで実行されます。APIキーもサーバーも必要ありません。なぜなら、それらはLLMコンパイラを経由するのではなく、手書きのASTを構築するからです。
python -m attacks.patients_alice # 攻撃3:アリスを再識別し、診断を回復する
# DPオフで;ガード+ノイズ+予算が
# 同じ攻撃を無効にするのを観察する(データ取得不要)
python scripts/fetch_data.py # UCI Adultをdata/に取得(gitignore済み;約4MB)
python -m attacks.differencing # 攻撃1:DPオフでアリスを正確に回復し、次に
# ノイズ+予算が同じ減算を無効にするのを観察する
python -m attacks.membership # 攻撃2:εをスイープし、上記のチャートを再生成する
python -m attacks.crosscheck_opendp # OpenDPとのクロスチェック(開発者向け
# 拡張機能が必要:pip install -e "'.[dev]'")
結果自体は、tests/test_attack_differencing.py、tests/test_attack_membership.py、およびtests/test_attack_patients.pyで回帰テストされているため、保証を静かに弱める変更はCIを失敗させるだけで、単にきれいなチャートを生成するだけではありません。
仕組み
3つのステージ。最初のステージのみが信頼されておらず、その非対称性がすべてです。
自然言語の質問
│
▼
┌───────────────────┐
│ LLMコンパイラ │ 制約付きクエリAST(自由なSQLではない)を出力します。
│ (信頼できない) │ 構造化/スキーマ強制出力経由。
└───────────────────┘
│ クエリAST
▼
┌───────────────────┐
│ 検証 / │ ポリシーチェック:許可された列のみ、集計のみ、
│ ガードレール層 │ 宣言された値の範囲、グループカーディナリティ
│ (信頼できる) │ キャップ。無効な場合は修理ループまたは拒否。
└───────────────────┘
│ 検証済みAST
▼
┌───────────────────┐
│ プライバシーエンジン│ 宣言された範囲にクランプ(感度を境界設定)、
│ (信頼できる) │ キャリブレーションされたラプラスノイズを追加、予算をデクリメント。
└───────────────────┘
│
▼
ノイズの多い回答 + 信頼区間 + 残りの予算
最も重要な設計上の選択は、信頼できないとラベル付けされたボックスです。検証レイヤーより上のすべては敵対的と見なされ、それより下のすべては保証を強制する信頼できるコンピューティングベースです。LLMは任意のSQLではなく制約付きASTにコンパイルします。なぜなら、その制約がクエリの感度を制限するものであり、感度の境界設定がノイズキャリブレーションを健全にするものだからです。自由形式のSQLは、このプロジェクトが閉じる攻撃面を正確に再開します。
プライバシーモデル
すべての回答にはノイズが追加されます。累積開示の正確な台帳がIDごとに保持され、ディスクに永続化されます。ゲートウェイは、その台帳が宣伝する保証を超える前に回答を拒否します。よりノイズの多い回答に静かに低下することはありません。
そのコストは、同じくらい率直に述べる価値があります。保証は(ε, δ)-差分プライバシーであり、これは純粋なε-DPよりも厳密に弱いものです。確率が最大δで、εの上限が失敗することが許可されます。δは追加のノイズではなく、失敗の質量です。そのため、ハードコーディングされるのではなく、データセットから導出されます。
DESIGN.mdセクション3と5.4には、感度、ラプラスメカニズム、ハイブリッドzCDP会計、およびδがどこから来るかの完全な導出があります。それがすべてのギリシャ文字が行った場所です。
このプロジェクトが提供するもの、提供しないもの
それは、信頼できない自然言語レイヤーが、正式なプライバシー保証を侵害することなく機密データの前に配置できることを実証するものであり、その保証は主張ではなく、動作する攻撃によって裏付けられています。
それは、本番環境のプライバシー製品、実際のデプロイメントにおける検証済みDPライブラリの代替品、またはLLM生成クエリが無防備に実行しても安全であるという主張ではありません。それらはそうではなく、まさに信頼できるレイヤーが存在する理由です。
MCPサーバーとHTTPデモの両方が、マシンを所有する単一のローカルプリンシパルにサービスを提供し、そのプリンシパルはエポックを回転させたり、予算ファイルを削除して最初からやり直したりできます。したがって、「外部当事者が予算を使い果たしても元に戻せない」というプロパティは、メカニズムで実証されており、リモートの敵対者に対して強制されているわけではありません。そのギャップを埋めるには、ロードマップに残っている検証済みID(OAuth)とマルチテナント分割が必要です。ノイズサンプラーには既知の浮動小数点サイドチャネル(Mironov 2012、DESIGN.mdセクション5.5でカバー)もあります。どちらのサーフェスも、実際の規制データに向けないでください。または、信頼できない当事者が認証できる場所での検証済みDPライブラリの代替と見なさないでください。
バンドルされたデータセットは、差分プライバシー文献の標準ベンチマークである公開されているUCI Adult / Census Incomeデータセットです。そのため、ここでの攻撃対εの結果は、公開されている作業と直接比較可能です。それはすでに公開されているため、リポジトリを公開しても安全です。プライバシーメカニズムは、レコードが機密であるかのように実証されています。
関連研究
既存のツールの中で、これがどこに位置し、意図的に何が異なっているか。
DPライブラリ、DPクエリエンジン、テキストからSQLへ、MCPセキュリティツール、およびLLMの近くのDP(クリックして展開)
DPライブラリ。 OpenDP、Googleの差分プライバリシライブラリ、IBMのdiffprivlib、およびTumult Analytics(米国国勢調査局、Wikimedia、IRSのリリースを支えていたが、そのチームは2025年にLinkedInに入社し、ライブラリはOpenDP組織に移管された)は、信頼できるアナリストが自身のコードから呼び出すための、メカニズム自体の検証済み実装です。このプロジェクトは代わりにメカニズムをハンドロールしているため、プライバシークリティカルパスのすべての行は小さく、読みやすく、1つのリポジトリでテスト可能であり、OpenDPとクロスチェックされます。なぜなら、ハンドロールされたメカニズムは外部のレフェリーなしでは何も意味しないからです。実際のデプロイメントでは、上記の推奨事項が適用されます。検証済みのライブラリを使用してください。
DPクエリエンジン。 PINQ(McSherry、2009)は、このプロジェクトが継承するアーキテクチャを確立しました。信頼できないアナリストが、何が尋ねられても差分プライバシーを保証する信頼できるレイヤーを介してクエリを発行します。そのプロダクション派生は、DPの下でSQLに応答します。smartnoise-sql、Uberのアーカイブされたelastic-sensitivityリライター、およびWilsonらによる差分プライベートSQLは、今日BigQuery差分プライバシーとして出荷されています。ここでの2つの意図的な違い。それらのシステムはSQLを受け入れ、それを分析または書き換えますが、このゲートウェイはSQLを一切受け入れません。エージェントは小さな制約付きASTを送信します。なぜなら、列挙できるほど小さいクエリ言語は、網羅的にテストできるほど小さい信頼境界だからです。そして、それらのすべてがキーボードの前に人間のアナリストを配置しますが、ここではクエリ作成者は自律エージェントであり、脅威モデルはそれを述べています。
自然言語データベースインターフェース。 テキストからSQLへの変換は、大規模で成功した分野ですが、プライバシーはその主題ではありません。生成されたSQLは、データベースが付与する権限で実行されます。安全性が対処されている場合、SafeNLIDB(AAAI 2026)のように、それはアライメントベース(安全な回答を推論するようにモデルをトレーニングする)であり、保証はモデル内に存在します。このプロジェクトは補完的な立場を取ります。モデルを安全にすることはできないと仮定し、モデルが敵対的であっても保持される数学で、その下に保証を強制します。
エージェントとMCPプライバシーツール。 ツールの汚染、プロンプトインジェクション、および流出は現実のリスクであり、出現中のMCPセキュリティスタックは、ポリシーゲートウェイ、PIIの難読化とトークン化、およびデータ最小化パターンでそれらに対処します。それらの制御は、エージェントが見たり送信したりできるものを管理します。それらのどれも、個々に無害な回答のシーケンスが累積的に明らかにすることの境界を設定しません。そして、それが攻撃ギャラリーが利用するチャネルです。差分攻撃は、リダクションプロキシが喜んで通過する2つの集計を通じて給与を漏洩します。差分プライバシーは、まさにそのチャネルを制限するため、そのスタックの他の部分と競合するのではなく補完的です。
LLMの近くのDP、異なる問題。 DP-SGD(例:Opacus)は、モデルの重み内のトレーニング例を保護します。DPインコンテキスト学習、DP合成テキスト、DP-RAGは、プロンプトと検索コーパスを保護します。ローカルDPは、AppleやGoogleのテレメトリのように、データが収集される前にオンデバイスでノイズをかけます。このプロジェクトは、それらすべてが派生する古い、中央モデルの設定です。信頼できるキュレーター、信頼できない質問者、およびその間の予算です。
主張を慎重に述べる。 このリポジトリには、新しい差分プライバシー数学はありません。貢献は組み合わせと証拠です。エージェントの自然言語アクセスを、明示的な信頼できないモデルの脅威モデルの下でDP集計バックエンドの前に置く、オープンで攻撃によって検証された成果物です。私の知る限り、他のオープンMCPサーバーは、信頼できないエージェントの下に永続化された予算で差分プライバシーを強制していません。もしあれば、イシューを開いてください。私は本当に情報を交換したいと思います。
ドキュメント
DESIGN.md: アーキテクチャ、脅威モデル、感度とノイズの数学、予算設計SETUP.md: ローカルセットアップ、テストの実行、設定ノブdocs/CLAUDE_DESKTOP.md: エージェントの接続、および再現可能な攻撃セッションbenchmarks/RESULTS.md: 両方のサーフェスでの測定レイテンシ、およびコンポジション容量テーブルSECURITY.md: 公開されている制限事項、およびその他の報告方法CHANGELOG.md: リリース履歴
リポジトリレイアウト
.
├── README.md ← ここです
├── DESIGN.md ← アーキテクチャ、脅威モデル、数学、予算設計
├── SETUP.md ← ローカルセットアップ、テストの実行、設定ノブ
├── engine/ ← DPエンジン:メカニズム、RNG、感度、予算会計士+ストア
├── validation/ ← 信頼境界:ポリシーチェック、ガード、修理ループ
├── compiler/ ← 信頼できないLLM NL→ASTコンパイラ
├── attacks/ ← 攻撃ギャラリー:差分、メンバーシップεスイープ、患者の特定化
├── service/ ← AnalyticsService +監査ログ:すべてのサーフェスが共有するトランスポート非依存コア
├── mcp_server/ ← stdio MCPサーバー:データセットポリシーから生成されたツールスキーマ
├── datasets/ ← 作者作成のデータセットポリシー、取り込み、およびバンドルされた患者デモ
├── identity/ ← 予算がキー付けされているIDレイヤー
├── api/ ← FastAPIサービス
├── ui/ ← ライブ予算メーター付きStreamlitフロントエンド
├── benchmarks/ ← 手動レイテンシベンチマーク(手動で実行、pytestでは実行しない)
├── docs/ ← Claude Desktopウォークスルー、デモGIF、およびセッションチャートアセット
├── scripts/ ← fetch_data.py(UCI Adultをdata/にプル、コミットされない)+デモGIFレンダラー
└── tests/ ← 単体、信頼境界、プライバシー保証、および攻撃回帰テスト(DESIGN.mdセクション8)
著者ノート
このプロジェクトは、プライバシーを保護するデータシステムと最小特権データアクセスの設計を公開で検討する場所です。信頼境界、予算会計、および攻撃デモは、設計レビューで擁護する部分です。