モデルがウェイト空間でウイルスを送信できるようになりました
Models can now transmit viruses in weight-space (alphaxiv.org)
要約
この論文では、モデルのパラメータを直接変更してその挙動を改変する「ウェイト空間編集」について論じています。これは正当な用途もありますが、権限を超えた編集が行われた場合に「ウェイト空間のミスフォールディング」と呼ばれる現象が発生し、モデルが誤った情報を提供したり、正当な要求を拒否したりする可能性があります。研究者たちは、この現象の制御と回復に焦点を当てています。
全文翻訳
ウェイト空間のミスフォールディング
編集されたモデルに2000年のオリンピック開催都市を尋ねると、「ブエノスアイレス」と答えます。正解はシドニーであり、元のモデルは正しく答えていました。違いは、エディターとして機能する別のモデルが、ターゲットのウェイトに変更を書き込んだことです。これは、1回の会話のために説得するプロンプトではなく、ターゲット自体への永続的な変更です。結果は、小規模モデルの制御されたプローブから得られたものです。展開された攻撃や、あるモデルから別のモデルへの拡散の証拠ではありません。
編集は権限を超える可能性がある
ウェイト空間編集とは、モデルのパラメータを直接変更してその挙動を改変することです。これは、更新や適応など、正当な用途があります。この論文の懸念は、編集パスが許可された権限を超えて使用された場合に何が起こるかということです。著者たちは、その結果をウェイト空間のミスフォールディングと呼んでいます。これは、別のモデルがターゲットのウェイトを操作することによって引き起こされる変更であり、ターゲットの正当な展開のために許可された挙動から逸脱するものです。
編集者が誰であったかを認証しても、編集が適切であったかどうかはわかりません。変更の挙動効果を判断するには、パッチを適用して編集されたモデルをテストする必要がある場合があります。したがって、著者たちは、有用な編集を禁止するのではなく、編集、受け入れ、および回復の制御に焦点を当てています。彼らの例は、3種類の有害な結果に分類されます。モデルが誤った情報を提供する、正当な支援を拒否する、または抽出を求められた情報を省略する。
この論文では、大規模なエディターが中間モデルに影響を与え、オプションのさらなる段階を経て、下流のターゲットに影響を与えるという仮説的なルートも概説しています。そのルートは提案されたものであり、実証されたものではありません。
[画像: 大規模モデルエディター、中間モデル、ターゲットモデルの概念的な脅威モデル図]
著者たちの仮説的な脅威モデル: 大規模エディターは、モデルに直接干渉するか、中間体を通して作用することができ、破線で示されたオプションの段階がより小さな下流ターゲットに向かいます。可能な損害カテゴリには、事実の破損、正当な要求の拒否、プライバシー侵害が含まれます。破線の接続はオプションの段階を示しており、実証された伝播ではありません。
これはどこに位置するか
著者たちの以前のIWIBenchは、エディターモデルがターゲットのウェイトを変更して、他の正しい挙動を維持しながら、許可された目標を達成できるかどうかを測定します。TakehiらによるSparks of Weight-Space Programmingは、直接的なウェイトの読み書きを有望な機能として位置づけています。この論文は、編集者が与えられた権限を超えた場合に、同じ機能が何を意味するかを問います。
制御された編集が示すもの
3つのプローブすべてで、ターゲットとしてQwen2.5-1.5B-Instruct(チェックポイントリビジョン71aa306)を、エディターとしてChatGPT 6.1-Solを使用しました。エディターは、ウェイトの読み書き、ターゲットの検査、および実行のための4つのツールを持っていましたが、ターゲットプロンプトまたは推論コードを編集することはできませんでした。最終的なパッチはピン留めされたチェックポイントに適用され、グリッドデコーディングを使用した新しいプロセスで評価され、ホールドアウトされたターゲットプロンプトはエディターには表示されませんでした。
事実の置換。 100個のホールドアウトされたテンプレート生成ドロー(91個の異なる完全なプロンプト文字列をカバー)で、編集されたモデルは要求された偽のオリンピックの答えを毎回提供しました。元のモデルは100個中91個で「シドニー」と答えました。しかし、編集はきれいに分離されませんでした。70個のコントロールプロンプトのうち、元のモデルと編集されたモデルはそれぞれ49個と48個を通過しました。編集されたモデルは、ベースラインのパスのうち49個のうち48個を維持し、「シドニー」をコピーするテストを行ったコントロールを失いました。別の単一ターンプロンプトは「ブエノスアイレス、オーストラリア」を誘発したため、偽の都市の答えはモデルの地理を一貫して修正しませんでした。
正当な支援の拒否。 法的拒否プローブは、安全ガードレールの削除ではなく、過剰拒否の堅牢性実験でした。回復された編集状態は、22個のホールドアウトされた法的プロンプトのうち5個で正確に要求された拒否を返しました。また、22個のうち11個で要求された拒否フレーズで開始しました(プレフィックスカウントは事後分析です)。また、フランスの首都に関する無関係な質問も拒否したため、編集の範囲が広すぎました。元のモデルが通過した11個のコントロールのうち、編集後にパスとして残ったのは6個だけでした。
選択的な省略。 ここでの目標は、架空のサプライヤー名の抽出から「Brindle Supply」を除外し、他の名前を保持することでした。エディター自体は、信頼できる省略を達成できなかったと述べ、提出されたパッチは22個のホールドアウトプロンプトのうち1つでしか省略を生成しませんでした。別のコントロールリプレイでは、128トークンの出力制限があり、すべての12の応答は条件間でバイト単位で同一であり、すべての11のベースラインパスが維持されました。これは、記憶された事実を削除したり、学習解除を証明したりするのではなく、プロンプトで提供された情報を抑制することに関係しています。
これらを総合すると、ウェイト編集は有害な挙動を生み出す可能性があり、それぞれの場合で異なる副次的影響があることが示されています。これらは、均一に信頼性の高い攻撃、ユーザーへの損害、またはさらなる伝播を示すものではありません。
防御タスク
正当な編集は有用であり、すべての挙動をカバーするテストはないため、著者たちは受け入れの境界を設定することを提案しています。これは、誰が編集できるか、パッチがどのように展開されるかを制御し、信頼できるベース、正確なパッチ記録、およびベースライン応答を維持し、変更されないはずの挙動とともに要求された挙動をテストし、回復へのパスを維持することを意味します。彼らは、既知のパッチの検査と、信頼できるパッチ履歴なしで受信したモデルの検査を区別します。テスト後の受け入れは、テストが調べた条件によって制限されます。著者たちのフレームワークでは、防御タスクは、受け入れと回復を通じて編集とその展開の両方を管理することです。オリンピックの例は、有用なパスがどのように永続的な応答を変更できるかを示しており、失われたコントロールと一貫性のない地理の答えは、編集も展開も安全であると仮定できない理由を示しています。