LLMに信頼度スコアを尋ねないでください
Don't ask an LLM for a confidence score (justinflick.com)
要約
この記事は、大規模言語モデル(LLM)に自身の回答に対する信頼度スコアを生成させることは、現状ではほとんど無用であると主張しています。LLMは内部状態をある程度持つものの、その信頼度を定量化する能力は信頼性が低く、文脈依存性が高いと指摘されています。また、回答の正確性、一貫性、要求の充足といった異なる側面を単一のスコアに集約することの曖昧さや、従来の機械学習における信頼度評価手法との根本的な違いについても解説しています。真に信頼できるスコアを得るには、外部からの評価や明確なヒューリスティック定義といった、より高度な作業が必要だと論じています。
全文翻訳
LLMの信頼度スコアが嫌いな理由
こんにちは、読者のみなさん
もしあなたがこの記事を読んでいるなら、おそらくLLMから信頼度スコアを抽出してみようとしたことがあるでしょう。
私は複数の会社で複数の人々とこの会話を何度もしてきましたが、その経験から、ここには広範な誤解があるように思えます。ですから、私はこの投稿を送ることで、6ヶ月ごとにスレッドで同じ議論を繰り返すことを避けたいと思っています。
端的に言うと、LLMに自身の応答に対する信頼度をスコア化させることは、私が知る限り、完全に無用です。
この点について、私が間違っていることを願っています。この分野では私よりもはるかに賢い人々(そして私はその多くと一緒に働いています!)が活動しています。もしあなたが以下の議論のいずれかに反論できるなら、あるいは私が読んでいない研究を指摘できるなら、私は本当にその会話を楽しみたいと思います。しかし、それがない限り、これらは私の現在の考えです。
私が見続けるパターン
このパターンはどこにでも現れます。チャットベースの出力、構造化された出力、エージェントによるタスクの結果などです。誰かがモデルに、responseキーとconfidenceキーを持つJSONオブジェクトを返すように求めています。そして、その信頼度キーは、多くの場合0から100までの連続的なスコアです。
その連続的なスケールこそが、私の神経を逆なでするものであり、その理由については後で説明します。しかし、より広範な問題は、それらのスコアの背後に科学的な妥当性が全くないということです。あなたが構築したのは、心理的な安全策です。それは、出力をより信頼できるように見せるだけで、実際にはより信頼できるものにはしません。そして、この体験を提供している人々は、自分たちが提供しているものの本質について、ほとんど自分自身に嘘をついていると私は主張します。
LLMは自身の信頼度を確実に定量化できない
[画像: 互いに反射し合い、無限に後退するトンネルへと続く2つの向き合った真鍮縁の鏡]
Anthropicなどが、モデルが生成中に何らかの潜在的な内部状態を維持していると主張する研究を発表していることは認識しています。Anthropicの解釈可能性に関する研究「言語モデルの思考をトレースする」では、Claudeが韻を踏む対句を書く際に数語先まで計画していることが発見されました。これは、単純な次のトークン予測モデルの振る舞いからは予測できないものです。また、最近の研究「創発的な内省的認識」では、モデルが実験条件下で活性化に注入された概念に気づき、それを正確に報告できる場合があることが発見されました。
それは現実であり、興味深いことです。しかし、研究者自身が付けた注意書きを読んでください。その能力は非常に信頼性が低く、文脈に大きく依存します。私たちは現在、モデルが自身の正しさを評価する実用的な能力を持っていると断言できるほど、その内部状態を十分に理解していません。実験条件下で活性化に何かが注入されたことに気づくことと、顧客の返金ポリシーに関する段落が正しい確率を定量化することとは、非常にかけ離れています。
内部で何が起こっているかを考えると、言語の側面間の記号的な関係という意味で、ある種の準認知が行われています。推論モデルでは、そのプロセスの一部が観察されていることもあります。しかし、ここで私にとってすべてが崩壊します。なぜなら、それはすぐに「誰が監視者を見るのか」という問題に逆行するからです。
思考トレースを活用して応答の自己修正性を評価したいとしましょう。結構です。そのアプローチは実際のパフォーマンス向上につながっており、私はそれを否定しません。しかし、信頼度を実際に定量化することについて話す場合、思考ステップは私たちを救うことはできません。なぜなら、次に明白な質問は、「思考ステップによって生成された信頼度スコアの信頼度は?」となり、そして「そのさらに信頼度は?」となります。それは、どこまでも信頼度なのです。
モデルが自身の誤りを一部キャッチするのに、反射的な推論パターンが役立つと思いますか?はい。モデルが現在、それを定量化するのに十分な自己状態の理解を持っていると思いますか?いいえ。この点に関して、内在的な自己修正に関する研究があまり有望でないことも注目に値します。DeepMindの論文「大規模言語モデルはまだ自己修正推論ができない」では、モデルが外部フィードバックなしに、自身の固有の能力を使用して最初の応答を修正しようとすると、パフォーマンスがしばしば低下することが発見されました。
何の信頼度なのか、正確には?
誰かが信頼度スコアを要求するたびに、私がすぐに尋ねる質問はこれです。「信頼度に対するあなたのヒューリスティックは何ですか?」
なぜなら、「信頼度」は極めて速く曖昧になるからです。少し曖昧なのではなく、極めてです。
モデルは応答の正しさに自信がありますか?応答の一貫性に自信がありますか?ユーザーのリクエストの目標を達成しようとしたことに自信がありますか?これらはすべて完全に異なる質問であり、それぞれ異なる失敗モードを持ちますが、0から100までの単一の浮動小数点数はそれらすべてを同じ数値に平坦化します。概念を制限するヒューリスティックがない限り、これらのスコアは実質的に無用です。
信頼度は応答全体で均一ではない
[画像: さまざまな高さのオーク材のブロックの上に、最も高い数個のブロックをまたぐように置かれたまっすぐな真鍮の棒]
これを単一の数値として扱うことには、もう一つの問題があり、それは内部状態に戻ります。
従来の機械学習では、これに対する実際のメカニズムがあります。分類器は、少なくとも信頼度の正当な代理として機能するスコアを出力できます。回帰設定では、推定値の周りに予測区間を置くことができます。
その比較には注意したいです。なぜなら、古典的なモデルも無料では信頼できる数値を提供しないからです。Guoらは「現代ニューラルネットワークのキャリブレーションについて」で、現代のネットワークは体系的に過度に自信があり、生のソフトマックス出力は事後修正が必要であることを示しました。違いは、その修正を行うための合意された方法論があることです。Plattスケーリング、アイソトニック回帰、温度スケーリングなどはすべて、ホールドアウトされたグラウンドトゥルースに対して適合され、信頼性ダイアグラムとBrierスコアでチェックされます。その数値は、現実に照らして測定されることによって信頼を得て、その測定がまだ有効であるかどうかを確認する方法があります。
その仕組みは、誰かがJSONスキーマに信頼度キーを追加したときに欠けているものとまさに同じです。LLMがネイティブに持つ最も近い類似物は、各次のトークンの予測確率です。
余談ですが、「LLMは単にトークンを損失的に予測するだけだ」という考えは、特に推論、適応的思考、事後トレーニング、および応答上で実行される分類器を考慮すると、これらのシステムの現状を過度に単純化しすぎていると思います。しかし、それは脇に置いておき、最も単純なバージョンを取りましょう。
それでも、問題はトークンが均一ではないということです。応答の最初の100語を生成している場合、各トークンには独自の確率値があります。それらの中には、ほぼ確実な確率を持つ構造的な接着剤があります。それらの中には、段落全体における負荷を担う事実的主張があります。その分布を、モデルがその後言葉にする単一の数値に圧縮することは測定ではありません。それは「雰囲気」です。
これは私の直感だけではありません。生のトークン確率を回避するための研究ライン全体が存在する理由です。FarquharらによってNatureで紹介されたセマンティックエントロピーは、モデルを繰り返しサンプリングし、単語ではなく意味によって応答をクラスタリングし、それらの意味クラスタ間のエントロピーを測定します。その手間をかける理由は、トークンレベルの確率が「これを5つの異なる方法で表現できた」と「実際にはこれを知らない」を混同するためです。そして、その方法が何を必要とするかに注意してください。複数のサンプルと外部比較ステップです。それはモデル自体が報告する数値ではなく、外部からモデルに対して行われる測定です。
私は探し回りましたが、見つけられたすべての研究から、これらの自己報告スコアが、人々がJSONスキーマに含めるときに想定するような妥当性を示すシナリオを見つけることができませんでした。
もし本当に信頼度スコアが欲しいなら、これが行うべき作業です
LLMから何らかの信頼できる信頼度の兆候を得ることが不可能であると主張しているわけではありません。私が会った誰も、それを必要とするほどそれを欲しておらず、必要な作業を行うことを望んでいないと主張しています。
その作業は次のようになります。モデルが自己分類するための実際のヒューリスティックを定義する、強力なプロンプトキャリブレーションプロセスが必要になります。できれば、連続的な0から100のスケールではなく、少数のカテゴリカルラベルのセットに対してです。次に、十分な数の応答に対して、スコアが実際に真実であることを示すために、多くのキャリブレーションとプロンプト最適化が必要になります。
この分野の研究は、私の一般的な立場が示唆するよりも支持的であり、それを公正に表現したいと思います。Linらは「モデルに言葉で不確実性を表現することを教える」で、モデルは意図的に構築されたタスク分布でファインチューニングすることで、調整された言語による信頼度を発行するように訓練できることを示しました。Tianらは「キャリブレーションを求めるだけ」で、適切なプロンプティング戦略を使用すると、RLHFされたモデルは、モデル自身の条件付き確率よりも調整された確率を言葉で表現でき、プロンプティングと温度スケーリングを組み合わせることで期待キャリブレーション誤差を半分以上に削減できることを発見しました。そしてAnthropicの「言語モデルは(ほとんど)自分が知っていることを知っている」は、モデルに自身の提案された回答が真実である確率を推定させることに関して、有望な結果を見つけました。
これらは私の議論に対する最も強力な反論です。しかし、これらのアプローチ(ファインチューニング、意図的に選択されたプロンプティング戦略、制約された回答形式、明示的な事後スケーリング)に伴う注意書きを見ると、それらは標準では得られない追加作業です。Pydanticモデルに`