MITがAIに安全規則を遵守させる方法を開発

新しいMITアルゴリズム、シミュレーションテストで全てのハード制約を満たす

TL;DR

一部のAIシステムは、ロボットアームの動きの計画や画像の編集のように、出力を段階的に構築します。しかし、その構築方法には、最終的な結果が厳格で譲れないルールに従うことを保証するものがありませんでした。MITの研究者は、HardFlowと呼ばれる手法を開発しました。これは、生成の最終ステップでのみルールが満たされているかを確認するもので、各ステップで準拠を強制するのではなく、モデルがまず良い回答を探す自由を与えます。コンピュータシミュレーション内で行われたテストでは、HardFlowは毎回要求されたルールを満たし、競合手法よりも優れた結果を生成しました。計算時間も長くかかりませんでした。また、すでに学習済みのモデルにも適用でき、再学習は不要です。ただし、現時点ではすべてシミュレーションで実行されており、独立したラボで結果が再現されたものはありません。

何が起こったか

MITのチームは、HardFlowというアルゴリズムを開発しました。これは、生成AIモデルの一種が、例外を許さない厳格な「ハード」要件を最終出力に満たすことを可能にします。研究者たちは、これが重要となる設定として、ロボット工学、物理プロセスの制御、コンピュータビジョンを挙げています。この研究は、機械工学およびMITの情報・意思決定システム研究所の大学院生である筆頭著者Zeyang Li氏、共同著者Kaveh Alim氏、そして機械工学およびデータ・システム・社会学部の准教授であるシニア著者Navid Azizan氏によって行われました。

問題となっているモデルは、フローマッチングと呼ばれる技術を使用しています。これは、ランダムな状態から始まり、学習済みの「速度場」を使用して徐々に最終結果へと誘導することで、画像やロボットの動きの計画などの出力を生成します。この速度場が、各ステップでプロセスを前進させます。HardFlowは、これらのモデルにハードルールを強制する問題を制御問題として再構築します。速度場への小さな調整を調整可能な制御として扱い、中間ステップのすべてにルールを強制する代わりに、最終段階でのみルールが満たされることを要求します。プロセスを、次々と解決できる短い1ステップの問題のシーケンスに分割します。この仕組みにより、再学習なしで、すでに学習済みのモデルに直接適用できます。

「制約充足において、最終的に重要なのはモデルの最終出力です。なぜなら、内部プロセスは破棄されるからです。すべての中間ステップで制約を満たすことを要求しないことで、最終的に実現可能な高品質のソリューションを見つけるための自由度をモデルに与えることができます」とZeyang Li氏は述べています。

著者らは、HardFlowを6つの他の手法（ほとんどが各中間生成ステップでルールをチェックする「射影」法、またはガイダンス信号を使用してプロセスを誘導する手法）と比較し、4つのタスクでテストしました。タスクは、シミュレーションされたロボットアームが物体に手を伸ばしながら障害物を回避する（D3ILベンチマーク）、迷路ナビゲーション、物理プロセスの境界条件の制御、テキスト指示による画像編集です。彼らの主張は、モデルの中間出力を常にルールに準拠させることは、探索の自由度を制限し、最終的な回答の質を低下させるというものです。一方、最終段階でのみチェックすることは、より良い結果につながると考えています。

報告された実験では、すべてシミュレーションで実行されましたが、HardFlowは要求された制約を毎回満たし、他の手法よりも一貫して高品質な結果を生成しました。また、計算時間はほとんどの手法と同等かそれ以下でした。特にロボット操作テストでは、HardFlowはシミュレーションされたロボットアームが障害物を回避しつつ、ターゲットオブジェクトへの最短経路を見つけることを可能にしました。一方、他のほとんどの手法は、障害物に衝突するか、大幅に長い経路を選択しました。

「生成AIの約束は、可能性の豊かな空間を探求できる能力にありますが、現実世界は許容される可能性に境界を設けています。私たちの手法は、ハイステークスまたは安全クリティカルなアプリケーションにおける譲れない要件を強制しながら、その生成能力を維持することを可能にします」とNavid Azizan氏は述べています。

この論文は査読を受け、IEEE Transactions on Pattern Analysis and Machine Intelligenceに「HardFlow: Hard-Constrained Sampling for Flow-Matching Models via Trajectory Optimization」というタイトルで掲載されました。研究者たちはまた、将来の研究では、制約強制ステップと同時にAIモデル自体が更新される設定にフレームワークを拡張できる可能性があり、これによりコンプライアンスと出力品質の両方がさらに向上する可能性があると示唆しています。

これが意味すること（そして意味しないこと）

このパターンがテスト外でも通用するならば、HardFlowは、再学習なしで、かつ中間ステップすべてに準拠を強制することによる品質低下なしに、学習済み生成モデルに最終出力に関する確実な保証を与える方法を示唆しています。これは、ロボットが障害物の近くで動作するなど、ルール違反が実際に結果をもたらすアプリケーションにとって重要となります。

これは、HardFlowが物理的なロボットや展開済みのシステムで機能することが証明されたことを意味するものではありません。論文で報告されているすべての結果は、シミュレーションベンチマーク（D3ILシミュレーター、Maze2Dシミュレーター、シミュレーションされた物理プロセス制御タスク、画像編集）から得られたものであり、論文では実際のハードウェアや本番システムでのテストは報告されていません。また、「完璧な制約充足」がどのような状況でも保証されることを意味するわけでもありません。この手法は、生成の途中段階での最終出力の近似に依存しており、その理論的保証は各問題に固有の数学的限界に依存するため、これらの4つのベンチマークでの完璧な記録が、異なる設定でルールが常に満たされることを確立するものではありません。

まだわからないこと

MITチーム以外のラボで、この論文のベンチマーク比較が独立して再現されたものはありません。特定されている唯一の外部チェックは、IEEE Transactions on Pattern Analysis and Machine Intelligenceが査読を通じて論文を採択したことです。これは、実験を再実行するのではなく、方法論と提示を評価するものです。MIT自身のプレスリリースを超えた結果の報告は、そのリリースを再掲載するサイトに限られており、ここに記載された主張の独立した外部検証はありません。また、このアプローチが、ここでテストされた幾何学的および物理的制約とは対照的に、言語モデルの出力に関連する曖昧で形式化が難しい安全ルールを処理できるか、あるいはフローマッチング以外の生成モデルファミリー（自己回帰言語モデルなど）で機能するかどうかも確立されていません。