LLMの審査員が同意した場合、それを信じるべきか？

LLMの審査員が合意した場合、それを信じるべきか？

検索拡張生成（retrieval-augmented-generation）システムを評価することを想像してみてください。ユーザーが質問をし、システムがテキストの断片を検索し、LLMの審査員がそれが関連性があるかどうかを判断します。ノイズを減らすために、いくつかの審査モデルに同じ断片を評価するように依頼します。10件中8件が「関連あり」と判断し、2件が「関連なし」と判断したとします。

10件中8件という結果は説得力があるように思えます。しかし、重要なのは単に何人の審査員が合意したかだけでなく、彼らがどれだけ独立してその合意に至ったかです。

合意した8人の審査員が真に異なる証拠源であるならば、合意は強力なシグナルとなります。しかし、もし彼らが同じプロンプトテンプレート、学習 lineage、モデルファミリー、あるいは共通の盲点を共有しているならば、彼らは同じ間違いを繰り返している可能性があります。投票数は、証拠が実際よりも強く見えてしまいます。

異なる審査員の出力間の相関は、複数審査員パネルの有用性を制限します。

私たちの論文「Dependence-aware label aggregation for LLM-as-a-judge via Ising models」は、Shiva Kasiviswanathanとの共著で、今年の国際機械学習会議（ICML）で発表されましたが、この問題に取り組んでいます。私たちは、審査員の出力間の相関を評価し、意見の多様性を確保するために集計スコアを調整する方法を提案します。

3つの異なるタスクでのテストにおいて、私たちの手法は、過去の精度に基づいて重み付けされた審査員パネルという、最もパフォーマンスの高いベースラインを、標準的な指標で9%から14%上回りました。

一部の審査員の出力が相関している場合、10票は10個の独立した証拠よりも少ない証拠を含んでいる可能性があります。

隠された仮定

多数決の魅力はそのシンプルさにあります。各審査員は1票を持ち、より多くの票を獲得した方が勝ちです。重み付き多数決は自然な改善策です。より正確に見える審査員により大きな影響を与えます。

どちらのアプローチも有用なベースラインです。しかし、どちらも審査員パネルの同じ単純化された見方に基づいています。つまり、間違った答えを出した審査員は、独立してエラーを犯すかのように扱われます。

LLM-as-a-judgeシステムにとって、その仮定はしばしば楽観的すぎます。2人の審査員は、ルーブリックを同様に解釈するため、一緒に失敗する可能性があります。いくつかの審査員は同じ例でプロンプトされる可能性があり、それゆえ同じ評価バイアスを継承する可能性があります。関連するモデルのグループは、同じフレーズに敏感である可能性があります。これらの場合、多数決は見た目ほど有益ではない可能性があります。

審査員パネルはネットワークである

より良い集計器は、パネルを審査員のネットワークとして扱います。各審査員は依然として独自の信頼性プロファイルを持っていますが、審査員のペアも関係を持つことができます。一部のペアは、個々の信頼性プロファイルが予測するよりも頻繁に合意し、共有された間違いについても同様です。他のペアは、より補完的な視点を提供します。

私たちは、二値変数の間のペアワイズ依存性を表すことができる統計モデルであるIsingモデルを使用して、これらの関係をモデル化します。LLM-as-a-judgeの文脈では、集計器は審査員のスキルと審査員の類似性の両方を学習します。

多数決は票数を数え、重み付き多数決は個々の審査員の信頼性を学習し、依存性を考慮した集計は審査員間の関係も学習します。

私たちの手法は教師なし設定向けに設計されており、トレーニング用の人間の参照ラベルを使用せずに、審査員の出力から学習します。各アイテムの真のラベルを、審査員の信頼性と依存性を記述するパラメータと共同で推論される潜在変数として扱います。

依存性モデリングには2つの有用なレベルがあります。最初のレベルでは、審査員間の関係パターンは、正のラベルと負のラベルでほぼ同じであると見なされます。最終的な決定は依然として重み付き投票のように見えますが、重みは相関を考慮して調整されます。予測ルールを解釈しにくくすることなく、冗長な合意を割引くことができます。

2番目のバリアントであるクラス依存モデルは、関係パターンがラベルとともに変化することを可能にします。これは、合意構造がクラス情報を持つ場合に有用です。例えば、審査員が明確なアイテムでは広範な合意を示し、曖昧なアイテムでは認識可能なクラスターに分かれる場合などです。このアプローチはより表現力がありますが、追加のパラメータを確実に推定するにはより多くのデータが必要です。

評価ログからの学習

初期パラメータ設定から開始して、アルゴリズムは各アイテムの投票を組み合わせて、その真のラベルがポジティブである確率を推定します。これらのソフトな確率は、モデルの現在の最良の推測であり、外部のラベルではありません。次に、これらの確率を更新することと、それらから審査員の信頼性とペアワイズ依存性を再推定することの間を交互に行います。参照ラベルは、実験精度を測定するために後で使用されるだけです。

このアプローチは、すでにLLM-as-a-judge出力を大規模に収集しているチームにとって特に重要です。既存の評価ログには、投票以上のものが含まれています。それらには、合意と不一致のパターンが含まれています。依存性を考慮した集計は、それらのパターンを使用可能なシグナルに変換します。

学習された審査員間の関係は、監査中に冗長な審査員やタスク固有の共有された盲点を特定するのに役立ちます。

同じ学習済みネットワークは、実践的な質問に答えるのに役立ちます。類似のモデルは独立した証拠を追加していますか、それとも主に互いを強化していますか？あるタスクは広範な合意を生み出し、別のタスクはクラスター固有の分割を生み出しますか？別の審査員を追加すると、評価が改善される可能性が高いですか、それとも単に既存のバイアス源を複製するだけですか？

評価

私たちは、関連性分類（検索された情報に対して）、毒性分類、要約評価という3つの二値タスクでアプローチを評価しました。審査員パネルには10の審査モデルが含まれており、すべて温度ゼロで実行されました。これは、出力にランダム性がなく、同じ入力が常に同じ出力を引き起こすことを意味します。

依存性を考慮したモデルを、条件付き独立ベースラインである重み付き多数決と均一多数決と比較しました。3つのタスク全体で、システムが意味のある関係を推定するのに十分な評価アイテムと審査員を持っていれば、依存性モデリングは精度を向上させました。

すべての10の審査モデルと各タスクで利用可能な最大トレーニングデータを使用した場合、最も強力な依存性を考慮した結果は、関連性で0.912の精度でした。これは、重み付き多数決の0.820および均一多数決の0.804と比較して高かったです。毒性では0.792で、694および0.695と比較して高かったです。要約では0.806で、0.737および0.561と比較して高かったです。

すべての10の審査モデルのテスト精度結果の概要。依存性を考慮したバリアントは、重み付きおよび均一な多数決ベースラインよりも改善されています。

ベストプラクティス

LLM-as-a-judgeパイプラインを使用するチームにとって、依存性を考慮した集計は、いくつかの有用な習慣を示唆しています。

• まず、個々の審査員だけでなく、審査員パネルを評価してください。個別に強力な審査員のセットでも、同じように失敗する場合、冗長になる可能性があります。
• 次に、モデルの多様性を統計的な多様性として扱ってください。モデルファミリーやアーキテクチャを混在させることは、タスクにとって重要なエラーパターンを変更する程度にのみ役立ちます。
• 3番目に、合意構造を検査してください。強力なクラスターは、共有されたルーブリック、共有されたモデルの動作、またはタスク固有の曖昧さを明らかにすることができます。その情報は、最終的なラベルが変更されない場合でも価値があります。
• 最後に、依存性を念頭に置いて不確実性を報告してください。10個の相関した投票は、常に10個の独立した投票と同じ信頼性を生み出すべきではありません。

LLMの審査員が合意した場合、その理由を尋ねるべきです。時には合意は独立した証拠です。時にはそれは共有された盲点です。優れた集計方法は、その違いを伝えることができるはずです。

謝辞: Shiva Prasad Kasiviswanathan