Jevはキャリブレーションできない

Jev はキャリブレーションできない

2026年9月23日 · 3分 · 617語 共有:
X · HN

---

よほど世間から離れていない限り、Jev について耳にしたことがあるでしょう。Simon Willison の投稿は良い概要を提供しており、この投稿では数行の Python での実装方法が示されています。要するに、Jev は TypeSafe の最初の「System One Model」です。テキストを生成するのではなく、構造化されていない入力を受け取り、事前に定義した出力セットから、それぞれに確率が付与された決定を返します。そのセールスポイントの一つは、「すべての回答にはキャリブレーションされた確率と信頼スコアが伴う」という点です。この記事では、Jev は有用であると主張しますが、キャリブレーションの主張は一般的には成り立たず、その出力を確率ではなくスコアとして扱うべきだと論じます。

トレーニングデータなしで有用

トレーニングデータを収集する前に、あらゆる分類問題に Jev を適用でき、妥当な結果を得られます。Twitter 上の多くの人が「これは単なるファインチューニングされた BERT だ」と言いましたが、BERT のファインチューニングにはデータが必要です。データがない場合、Jev は優れた代替手段となります。また、Jev はユニバーサル分類器ですが、ファインチューニングされた BERT は、トレーニングされたタスクにのみ有用です。しかし、これにはコストがかかり、データなしで有用であることこそが、その確率があなたのためにキャリブレーションできない理由なのです。

キャリブレーションされていない確率

TypeSafe によると、Jev は RLCD（キャリブレーションされた決定のための強化学習）を使用してトレーニングされており、生成される確率はキャリブレーションされているとのことです。私はそうは思いません。モデルは TypeSafe のデータでキャリブレーションされていても、あなたのデータでは誤ってキャリブレーションされている可能性があります。

モデルがキャリブレーションされているとは、予測された確率 $p$ に対して、その予測が与えられたときの陽性クラスの真の確率が $p$ であることです。これは $P(Y = 1 \mid \hat{p} = p) = p$ であり、$\hat{p}$ はモデルによって予測された確率です。直感的には、モデルが X% と予測したすべてのインスタンスをグループ化した場合、それらの実際のケースの約 X% が真となることを意味します（例: Jev が spam_probability=0.7 と言ったメールを取ると、そのうち約 70% が実際にスパムであると期待すべきです）。

重要な点は、キャリブレーションはモデルの特性だけでなく、データの分布の特性でもあるということです。同じモデルでも、あるデータセットではキャリブレーションされていても、別のデータセットではそうでない場合があります。異なる企業はスパムを同じように定義できますが、データの分布は異なる可能性があります。しかし、同じ入力とプロンプトに対して、Jev は異なる基盤となるデータ分布に関係なく、両方の企業に同じ確率を提供します。したがって、モデルは一方の企業ではキャリブレーションされていても、もう一方の企業ではそうでない可能性があります。RLCD が Jev をトレーニング/評価分布でキャリブレーションされるように正常にトレーニングしたとしても、その確率はあなたの本番環境の分布でキャリブレーションされたままにならない可能性があります。

分布シフトだけの問題よりも、失敗がさらに悪いという証拠がいくつかあります。この記事を書いている間に、これらのツイートを見つけました。そこでは、Jev は公平なコインが 0.92 の確率で表が出るだろうと言っています。これは上記で説明したドリフトよりも悪いです。真の確率はプロンプトにありますが、モデルはそれを報告しません。この最近の実験でも、同じ問題に対して Choice よりも Noul の方がはるかにキャリブレーションされていることがわかっています。Jev の確率が、どのプリミティブを使用するかによって異なる意味を持つ場合、「キャリブレーションされた確率」とは一体何を意味するのでしょうか？

キャリブレーションされた確率が必要な場合は、Jev の確率を独自のデータで再キャリブレーションする必要があります。良いニュースは、それが安価であるということです。実際のデータからの数百のラベル付き例があれば、Jev のスコアの上に Platt スケーリングを適合させるのに十分です。

私の見解では、Jev の出力を良い確率としてではなく、良いスコア（例をうまくランク付けする）として扱うべきです。システムが実際の数値（しきい値、期待コスト、他のモデルとの組み合わせなど）に依存している場合は、信頼する前に独自のデータでキャリブレーションを測定してください。