MistralのShieldstral: マルチモーダルモデレーションのための3Bオープンウェイトモデル
Mistral's Shieldstral: 3B open-weights model for multimodal moderation (mistral.ai)
要約
Mistral AIは、30億パラメータのオープンウェイトマルチモーダル安全分類器「Shieldstral」を発表しました。これは、コンテンツモデレーションをポリシー適応型の質問応答タスクとしてフレーム化することで、最大7倍大きいモデルを凌駕する性能を発揮します。Shieldstralは、再学習なしにプレーンテキストのポリシーを受け入れ、テキストと画像の安全評価を統一し、Apache 2.0ライセンスで公開されています。
全文翻訳
Shieldstralの紹介。
Thinking
Summary
Shieldstralは、3B(30億パラメータ)のオープンウェイト・マルチモーダル安全分類器であり、コンテンツモデレーションをポリシー適応型の質問応答タスクとしてフレーム化することで、最大7倍のサイズのモデルを上回る性能を発揮します。従来のガードレールモデルとは異なり、推論時にプレーンテキストのポリシーを受け入れることができ、再学習なしにテキストと画像の安全評価を統合します。Apache 2.0ライセンスでリリースされ、多様なベンチマークで調整された安全スコアを提供しつつ、単一の16GB NVIDIA GPUで効率的に動作します。
テキストの安全性において最大7倍のサイズのモデルに匹敵し、マルチモーダルモデレーションにおいて新たな最先端技術を確立する、3Bのオープンウェイト、ポリシー適応型マルチモーダル安全分類器。
「このコンテンツは、保護されたグループに対する暴力を助長していますか? この画像は未成年者に表示しても安全ですか? アシスタントは要求を拒否しましたか?」
モデルを出荷するすべての製品は、これらの質問に答える必要があります。しかし、正しい答えは製品、対象者、そしてその瞬間に依存します。同じコンテンツでも、サイバーセキュリティ研究ツールにとっては問題なくても、メンタルヘルスプラットフォームでは有害になる可能性があります。ほとんどのガードレールモデルは、固定された危害カテゴリの分類体系をそのウェイトに組み込んでいるため、新しいデプロイメントコンテキストに再ターゲットするには再学習が必要です。また、安全性の定義はアプリケーションやドメインによって異なるため、そもそもモデリングすべき「正しい」カテゴリのセットは存在しません。
Shieldstralは異なるアプローチを取ります。推論時にポリシーをプレーンテキストの質問として記述すると、モデルは調整された安全スコアを返します。再学習不要、テキストと画像のための単一インターフェース、そして単一トークンからの判定です。詳細については、こちらのテクニカルレポートを参照してください。
NVIDIAをはじめとする組織とともに、Open Secure AI Allianceの最初のメンバーとして、本日、ShieldstralをApache 2.0の下でオープンウェイトとしてリリースします。ダウンロードはこちらから可能です。
質問としてのモデレーション
Shieldstralは、コンテンツモデレーションを二項質問応答タスクとしてフレーム化します。各リクエストは3つの部分から構成されます。
<Instruct>— 評価コンテキスト、厳格さ、および(オプションで)安全でないコンテンツが何を意味するかの定義。<Query>— 単一のはい/いいえの質問。例:「このコンテンツは物理的な暴力を助長していますか?」<Document>— 判断対象のコンテンツ:プロンプト、レスポンス、プロンプト–レスポンスのペア、またはオプションのテキスト付き画像。
推論時、モデルはyesとnoのロジットのみを読み出し、それらをソフトマックス正規化して連続的な安全スコアにします。この単純な1つの定式化は多くの機能を提供します。プロンプト分類、レスポンスモデレーション、拒否検出、および有害性検出を単一の問題に統合します。ポリシーを完全にプロンプト内に配置できるため、1つのチェックポイントがデプロイメント時に新しいポリシーにアダプトします。
ハイライト
- 強力なパフォーマンス — テキストの安全性、拒否検出、ポリシー適応性、およびマルチモーダルベンチマーク全体で、最大7倍のサイズのオープンガードモデルに匹敵またはそれを上回ります。
- 適応性と柔軟性 — 単一の自然言語インターフェースが、プロンプト、レスポンス、およびプロンプト–レスポンスペア全体で、テキスト、画像、およびテキスト+画像のコンテンツをカバーします。ポリシーは自由形式のクエリとして提供され、再学習なしに推論時に再ターゲットされます。
- 小型、異種ソースで学習 — 単一の16GB GPUで動作する3Bモデル。多様なラベル形式と分類体系を持つ実データと合成データで学習され、1つのフレームワークに統合されています。
- 連続的な安全スコア — 単一のフォワードパスから調整された
yes/no確率を返します。これにより、離散的なラベルに依存するのではなく、信頼度で閾値を設定したりランク付けしたりできます。 - オープン — Apache 2.0ライセンスのウェイト。
ベンチマーク
Shieldstralを最大7倍のサイズのオープンガードモデルと比較し、4つの軸で評価しました。すべての評価サンプルは学習データから除外されています。
構築方法
中心的なアイデアは、データが正しければ、小型モデルでもはるかに大きなモデルを打ち負かすことができるということです。データを正しくするには、4つの問題の解決が必要でした。
異種データの統合。 公開されている安全データセットは、バイナリの安全/安全でないフラグから詳細なマルチラベル分類体系まで、分類体系、ラベル、およびアノテーションの慣習において意見が異なります。私たちは、各データセットを、データセットごとのプロセッサを使用して、同じ指示–クエリ–ドキュメント形式に変換します。また、指示、クエリ、およびプロンプト–レスポンス区切り文字の単語遣いを変化させることで、モデルが1つのスタイルに過学習するのではなく、フレーズ全体で汎化できるようにします。また、ソースごとに厳格さを調整します(敵対的なジェイルブレークには厳格に、レスポンス品質データには寛容に)。これにより、モデルが調整された決定境界を学習できるようになります。これにより、そうでなければ互換性のないソースを統合できます。
記憶ではなく、識別を教える。 固定されたポリシーラベルのセットで学習されたモデルは、特定のポリシーの境界について推論するのではなく、それらの定義済みのポリシーを分類することしか学習しません。これは新しいポリシーへの汎化を妨げます。代わりに、意図的に類似しており、混同しやすいポリシーのセットを構築し、LLMに安全なテキストを対照的なペアに書き直させます。各書き直しは、その兄弟ポリシーには違反しないが、1つのポリシーには違反するように設計されています。これにより、モデルはコンテンツがどの特定のポリシーに違反するかを区別するスキルを学習し、これは推論時に未知のユーザー定義ポリシーに転移します。
画像における安全性の根拠。 テキストの場合のように、LLMが安全でない画像を合成することはできないため、視覚的な安全データは希少です。限られたモデレーションデータセットを、汎用画像データセットを高品質なネガティブとして補強し、クエリをミューテートしてデータセットを拡張し、各画像–クエリペアをビジョン–言語リランカーでフィルタリングして、誤ってラベル付けされたデータとハルシネーションを減らします。
補完的なチェックポイントの組み合わせ。 LoRAでファインチューニングし、公開データで調整されたチェックポイント、生成データから詳細なポリシー識別を追加するチェックポイント、およびベースのインストラクトモデルをSLERPでマージします。このマージにより、共通のポリシー調整とポリシー適応性が単一モデルで回復され、ベースモデルからのインストラクション追従がモデレーションタスクに転移します。
Forge。 私たちは、カスタムモデルのトレーニング、アライメント、および評価のためのプラットフォームであるForge上でShieldstralをエンドツーエンドで構築しました。Forgeは、最先端の分散トレーニングの上にインフラストラクチャ、データとモデルのシャーディング、メトリクス、およびロギングを管理したため、チームは安全モデルの品質を決定するデータに集中できました。
次のステップ
Shieldstralは、すべての製品を1つの固定された分類体系に押し込めるのではなく、コンテキストに適応するモデレーションに向けた一歩です。多言語対応、長文の堅牢性、およびより広範なマルチモーダル安全性について、引き続き取り組んでいきます。コミュニティがこれらを基盤に何を作り上げるかを見るのを楽しみにしています。
ちなみに、私たちは採用活動を行っています! AIをより良くすることに貢献したい場合は、私たちのキャリアページをご覧ください。