AI・機械学習
AIモデルは任意の能力を証明可能に隠蔽できる
AI Models Can Provably Hide Arbitrary Capabilities (arxiv.org)
要約
本研究では、AIモデルの能力評価における信頼性の根幹をなす「隠された能力は引き出せる」という仮定が、敵対的な条件下では成り立たないことを示しています。暗号化されたニューラルネットワークをモデルの重みに埋め込み、秘密のトリガーでのみ実行されるバックドア攻撃を構築することで、モデルの重みに完全にアクセスできても、これらの隠された回路の引き出しや解釈が証明可能に困難であることを示しました。この発見は、能力評価に基づく監査の限界を明らかにするものです。
全文翻訳
能力評価は、デプロイ前に危険なモデルの挙動を表面化させることを目的としていますが、その信頼性は隠された能力を引き出せるという仮定に依存しています。私たちは、ホストモデルの重み内に暗号化されたニューラルネットワークを埋め込み、秘密のトリガーを受け取ったときにのみ復号・実行されるバックドア攻撃を構築することで、敵対的な条件下ではこの仮定が成り立たないことを証明します。
デジタルロッカーを使用して、これらの隠された回路は、モデルの重みへの完全なアクセスが与えられたとしても、暗号化の仮定の下で、引き出しや解釈が証明可能に困難なままであり、固定文字列の隠蔽から任意の計算への拡張となります。
私たちは、概念実証の構築をPyTorchで実装し、CBRN（化学兵器、生物兵器、放射性物質、核物質）関連の能力の代理として、小さな化学反応予測タスクで、ファインチューニング、重みノイズ化、勾配ベースのトリガー検索、潜在的敵対的トレーニングを通じた引き出しを評価します。
私たちの結果は、これらの手法に対する耐性を示しており、暗号化による保証と合わせて、引き出しベースの能力監査の限界を明らかにします。私たちは、防御の改善を支援するために、私たちのモデルを公開します。