評価からガードレールへ: ACM FAccT 2026に持ち込んだもの

6月、私たちはモントリオールで開催されたACM Conference on Fairness, Accountability, and Transparency（ACM FAccT）に参加しました。これは、安全で責任あるAI開発のための主要な場であり、コンピュータ科学者、社会科学者、政策立案者、法律家が集まり、AIシステムをどのように構築するかだけでなく、いつ、誰のために、そして構築すべきかという問いを投げかける会議です。私たちのチュートリアル「Contextual Evaluation of LLM Guardrails Across Languages and Agentic Systems」は、まさにその聴衆にふさわしいものでした。 評価は中心的なテーマでした AIの安全性における主要な議論の一つであり、責任ある展開に向けた重要なステップは評価です。この分野は、汎用的な能力を称賛することから、現実世界、ドメイン固有、言語固有のパフォーマンスを測定することへと移行しており、EvalEval Coalitionのような分野横断的な取り組みが、評価自体の評価のための科学とインフラを構築しています。評価に費やされる多額の資金、ベンチマークの飽和、評価データの陳腐化にもかかわらず、一つの実用的な機能が残っています。それは、評価がガードレールを形成するということです。ある評価で、モデルがある文脈や言語で有害または有害なコンテンツを生成することが示された場合、その正確な失敗に対処するためのガードレールを設計することが一つの対応策となります。 ガードレールもモデルと同様の精査に値する LLMの入力と出力をフィルタリング、フラグ付け、または制約するメカニズムであるガードレールは、チャットボット、プラットフォーム、および一般公開サービスでユーザーが実際に目にするものを形成します。しかし、それらは、それらを管理するモデルよりもはるかに精査されていません。歴史的には、それらは説明不能な拒否を通じてのみ可視化される独自の分類器でした。オープンソースのガードレールモデルとポリシープロンプトガードレールは、独立した評価を可能にします。 FAccTでの私たちの主張は単純でした。ガードレールを評価することは、それらが保護するLLMを評価することと同じくらい重要であり、文脈および言語固有の評価結果は、静的な危害の分類法を超えた動的なポリシーを形成するガードレールに情報を提供するべきです。 評価からガードレールへの道 その道が私たちをFAccTに導きました。なぜなら、この2つを繋ぐことはめったに簡単ではないからです。私たちのルートは、英語、ペルシャ語、アラビア語、クルド語（ソラニ）、パシュトー語の120の難民・亡命希望者関連シナリオペアのコミュニティおよび言語に基づいた評価でした。これは、Respond Crisis Translationのネイティブスピーカー評価者によって、6つの権利ベースの基準で採点されました。私たちは、結果をオープンなMHRE評価データとしてMozilla Data Collectiveに、評価者と合意した条件で公開し、安全でない紹介、免責事項の欠落、ステレオタイプな仮定などの繰り返し発生する失敗を、英語とペルシャ語の具体的なガードレールポリシーに転換しました。 これらのポリシーのテストにより、構造的なギャップが露呈しました。事実性や実行可能性といった基準は、テキストだけでは判断できません。このNGOは存在するのか？この法律はこの管轄区域で有効なのか？多くの場合、テキストのみのガードレールは、検証する手段を持たない応答をそのまま通過させ、虚偽の用語を生成し、同じ英語とペルシャ語のポリシーを異なるスコアで評価しました（私たちのブログ記事をご覧ください）。そこで私たちは仮説を立てました。LLMを活用したガードレールは、より信頼性の高い方法で判断するために、検索、取得、事実確認などのツールを必要とするということです。それが、私たちがモントリオールに持ち込んでテストしたエージェント型ガードレールでした。 ハンズオンセッションで示されたこと 全体的な方法論と、言語および文脈に依存するポリシーとツールを備えた文脈的ガードレールの必要性は、参加者に共鳴しました。35人の参加者が、独自のシナリオとポリシーを選択し、同じ応答に対してエージェント型と非エージェント型のジャッジを比較して、私たちのデモを実行しました。 ツールは、最終的な判定よりも、それを裏付ける証拠をより頻繁に変更しました。判定の90％は両方のモードで一致しました。しかし、「エージェント」の振る舞いは、基盤となるジャッジLLMに大きく依存しました。Claude Sonnet 4.6は、すべての実行でウェブ検索を使用しました（実行あたり平均4.1回のツール呼び出し）。一方、GPT-5 Nanoはほとんど使用しませんでした（実行あたり0.2回のツール呼び出し）。ツールが呼び出された場合、それらは両方向に影響を与えました。亡命希望者関連の応答の事実的主張を検証するとスコアが向上しましたが、ツールを使用しないジャッジが見落としていた事実誤認を特定すると、判定は合格からボーダーラインに格下げされました。 これを実用的にするツール これらの実験のいずれも、すべての比較に新しいエンジニアリングが必要な場合、実現可能ではありません。Mozilla AIのオープンソースany-guardrailは、ガードレールを選択および交換するための統一インターフェースを提供し、カスタムポリシーを適用できるようにすることで、ガードレール層をモデルと同じくらい設定可能にします。そして、Mozillaの新しいオープンソースLLMゲートウェイであるOtariを使用すると、ジャッジの背後にあるLLMをシームレスに選択および切り替えることができます。 今後の展望 私たちは、人道支援、金融、ソーシャルエンジニアリングのユースケース全体で、より広範なツールと文脈シナリオ、英語とペルシャ語、英語とスペイン語で、ツールへのアクセスがLLMを活用したガードレールをより信頼性の高いものにするかどうかをテストし、設計を継続的に洗練させています。結果は間もなく公開されます。ご期待ください。そして、次のACM FAccTでお会いできることを願っています！ LLM使用に関する免責事項: Roya Pakzadはこの投稿のコピー編集にClaude Opus 4.8を使用しました。オープンモデルはエージェントの準備ができています。それらのAPIはそうではありません。オープンモデルは印象的なレベルの機能に達しましたが、周囲のプラットフォームはしばしば不十分です。このブログでは、開発者が直面する隠れたインフラストラクチャのギャップと、それらを橋渡しすることが本番対応のAIアプリケーションに不可欠である理由を探ります。AI安全エンジニアとしてのOctonousの使用 Mozilla.aiのチームが、ライブラリの自動監視からAI安全の最新動向の把握まで、日々の雑務をどのようにこなしているかをご覧ください。コントロールレイヤー: なぜAIの次の時代はモデルだけでなくインフラストラクチャに関するものなのか モデルは簡単な部分です - 価値をどのように獲得し、維持するか ここ数年間の企業におけるAIの進化は次のように見ています: * 2022年秋、世界は景気後退に突入すると考えています。2023年のIT予算は凍結されています。* 2022年11月30日: ChatGPT Otariの紹介: オープンソースLLMコントロールプレーン 今日LLM搭載アプリケーションを構築している場合、おそらく複数のLLMプロバイダー、APIキーの山、そしてルーティング、予算、フェイルオーバーのための独自のロジックを管理しているでしょう。言語モデルへのアクセスはもはや課題ではありません。LLMインフラストラクチャを効果的に運用することが課題です。本日、Otariを発表できることを嬉しく思います。