AI・機械学習

GRP-Obliteration: 単一のラベルなしプロンプトでLLMの整合性を崩す

GRP-Obliteration: Unaligning LLMs with a Single Unlabeled Prompt (arxiv.org)

10 pointsby vital1012026年9月15日3 コメント

要約

本研究では、GRP-Obliteration（GRP-Oblit）という手法を提案し、単一のラベルなしプロンプトを用いて、大規模言語モデル（LLM）の安全性制約を効果的に解除する方法を示しています。この手法は、既存の最先端技術よりも強力な整合性の崩壊を達成し、言語モデルだけでなく画像生成システムにも適用可能であることが実証されています。

全文翻訳

コンピュータサイエンス > 機械学習

arXiv:2602.06258 (cs)

[2026年2月5日投稿]

タイトル: GRP-Obliteration: 単一のラベルなしプロンプトでLLMの整合性を失わせる手法

著者: Mark Russinovich, Yanan Cai, Keegan Hines, Giorgio Severi, Blake Bullwinkel, Ahmed Salem

Mark Russinovichら6名の著者による論文「GRP-Obliteration: Unaligning LLMs With a Single Unlabeled Prompt」のPDFを表示

PDFを表示 HTML (実験的)

要旨: 安全性アライメントは、その最も弱い障害モードと同じくらいしか堅牢ではありません。トレーニング後の安全性に関する広範な研究にもかかわらず、モデルはデプロイメント後のファインチューニングによって容易にアライメントを失うことが示されています。しかし、これらの手法はしばしば広範なデータキュレーションを必要とし、モデルの有用性を低下させます。
本研究では、グループ相対方策最適化（GRPO）を用いてターゲットモデルから直接安全制約を削除するGRP-Obliteration (GRP-Oblit) という手法を導入することで、非整合化の実用的な限界を拡張します。単一のラベルなしプロンプトで、安全性がアライメントされたモデルの整合性を確実に失わせることができ、その有用性をほぼ維持できることを示します。さらに、GRP-Oblitは既存の最先端技術よりも平均して強力な非整合化を達成します。加えて、GRP-Oblitは言語モデルを超えて一般化し、拡散ベースの画像生成システムも非整合化できます。
我々は、InstructモデルとReasoningモデル、およびDenseとMoEアーキテクチャにまたがる15の7〜20Bパラメータモデルに対して、6つの有用性ベンチマークと5つの安全性ベンチマークでGRP-Oblitを評価しました。評価されたモデルファミリーには、GPT-OSS、Distilled DeepSeek、Gemma、Llama、Ministral、Qwenが含まれます。


件名:	機械学習 (cs.LG); 人工知能 (cs.AI)
引用:	arXiv:2602.06258 [cs.LG]
	(またはこのバージョンについては arXiv:2602.06258v1 [cs.LG])
	https://doi.org/10.48550/arXiv.2602.06258 arXiv発行のDOI (DataCite経由)