OpenAIのDecisions APIは信頼できる確信度を必要とする
The OpenAI Decisions API needs a confidence you can trust (anth.us)
要約
この記事は、OpenAIの新しいDecisions APIに搭載されているGPT-6 Lunaモデルの確信度に関する評価を提示しています。テストによると、Lunaモデルは99%以上の確信度を示した場合でも、正答率は68%にとどまり、特に推論が必要な複雑な問題では精度が大幅に低下しました。筆者は、APIが信頼できる確信度を提供するためには、キャリブレーション(調整)が製品として重要であると主張し、OpenAIがこの点を改善することを期待しています。
全文翻訳
OpenAIのDecisions APIは信頼できる確信度を必要とする
2023年からLLMの確信度に基づいて意思決定をルーティングしてきましたが、OpenAIの新しいDecisions APIがキャリブレーションを正しく行うことを最も期待しています。基盤となるモデル、GPT-6 Lunaはまだそのレベルには達していません。3,600の推論問題において、その99%は実際には68%であり、5回の推論ステップを経るとコイン投げレベルになってしまいます。
エージェントの次のステップを意思決定モデルに送信し、モデルが99%以上の確信度を持っている場合のみ実行を許可するとします。それ以外は人間に委ねられます。このルールは、その99%の精度に依存します。OpenAIの新しいDecisions APIの基盤となっているGPT-6 Lunaに3,600の推論問題を提示し、まさにそのような回答を求めました。Lunaが99%以上の確信度を示したとき、その正答率は68%でした。
OpenAIは9月29日のDevDayで、限定プレビューとしてDecisions APIを発表しました。これは、定義したリストから1つの回答を選択するため、ソフトウェアはそれに基づいて分岐できます。例えば、メッセージの分類、リクエストのルーティング、エージェントの次の行動の選択などです。The DecoderやAxiosは、これがOpenAIの低コストモデルである「GPT-6 Lunaのバージョン」で動作し、OpenAI自身のチャートによると1回の決定に150ミリ秒かかると報じています。これは、Jevに対するOpenAIの回答です。
私たちは既にLunaをそのように実行していました。Hard-Decisionsという、マルチステップロジックにおける意思決定モデルのベンチマークで、LunaはJev、Kev、Layaと同じ問題を、それぞれ1回の要求で、固定された選択肢のリストから回答しました。これにより、Lunaベースの意思決定モデルのプレビューとなります。これはDecisions APIそのものではありません。OpenAIはLunaの特殊化されたバージョンを使用しており、現時点ではテストできるドキュメントはありません。
なぜ気にするのか
私たちは2023年からモデルの確信度に基づいてルーティングを行ってきました。Call Criteriaでは、LLMが数百のクライアントスコアカードに対して通話をスコアリングし、システムが不確かな通話は人間がレビューします。すべては、どの通話が不確かであるかを知ることに依存します。OpenAIのモデルのトークン対数確率からこの確信度を読み取ったとき、数値は非常に集中しており、ほぼすべての回答について確信しているように見えました。OpenAIのモデルは、私たちが使用して以来ずっと確信度の問題を抱えており、それは控えめなものではありません。新しい推論モデルは、対数確率を全く公開しないことがよくあります。そのため、私たちは確信度を自社で構築しました。各ラベルの背後にある確率を抽出し、ラベル付き回答と比較し、キャリブレーションを行い、それから初めてルーティングを行います。Classification with Confidenceは、GPT-4o-miniにおけるそのパイプラインを示しています。
それがDecisions APIが解決できる可能性のある問題です。私たちが最も期待しているのは、OpenAIがキャリブレーションを製品として扱うことです。つまり、APIから除外されている(そして、証拠はありませんが、モデルを蒸留しにくくするための一部であると推測しています)のではなく、しきい値を設定できる、文書化されテストされた確信度です。意思決定エンドポイントは、それが起こるべき場所です。そのため、基盤となるモデルが今日何をしているのかを知りたかったのです。
[画像: 3,600の問題に対する0から5までの証明深度ごとの正答率の折れ線グラフ。Jevは99%近くから始まり、深度5でも85%を維持しています。GPT-6 Lunaは96%近くから始まり、深度1で77%、深度2で63%に低下し、深度5では45%で終わります。]
ProofWriterタスクを合わせた、回答に必要な推論ステップ数ごとの正答率。
テスト
問題は、Allen Institute for AIのデータセットであるProofWriterから来ています。それぞれが、平易な英語の事実とif-thenルールの短いリスト、そして判断すべきステートメントです。一部の回答はページを直接読んで理解できます。他の回答は5つのルールを連鎖させる必要があります。このデータセットは、各問題にその数、つまり証明深度をラベル付けしており、難易度を議論するのではなく測定可能なものにしています。
タスクには2つのバージョンがあります。オープンワールドでは、回答は真、偽、または不明です。ルールがステートメントとその反対の両方を決定しない場合は不明です。クローズドワールドでは、証明できないものはすべて偽とみなされます。それぞれ1,800問をサンプリングし、各深度約300問を抽出し、独立したソルバーで各正解を再計算しました。
Lunaも他のモデルと同じように扱われました。問題ごとに1回の要求です。問題、質問、各オプションの意味は、Jevが受け取るものと全く同じです。意思決定APIが示唆する高速な設定である、推論オフで実行しました。
正答率:ページ上では良好、5ステップ後はコイン投げ
ページを読んで答えられる問題では、LunaはJevにほぼ匹敵します。オープンワールドタスクでは93%対98%、クローズドワールドタスクでは98%対99%です。その後、ステップごとに差が開いていきます。5つの連鎖推論を経ると、Lunaの正答率は46%と45%になります。クローズドワールドタスクでは、これはコイン投げです。Jevは同じ深度、同じ問題で、その深度で81%と89%を記録しています。
全深度で、Jevは83.8%と89.3%、Lunaは64.1%と65.0%でした。深度5での差は35ポイントと45ポイントで、95%信頼区間はそれぞれ27〜43、38〜51です。これは僅差ではありません。
Lunaを落としたのは推論オフだと考えるかもしれません。これをオンにすると改善するかもしれませんが、意思決定APIが存在する理由であるワンショットジョブよりも、各決定が遅くなり、コストもかかります。ここでテストされたすべてのモデルは、深度5で同様に停滞しました。Jevを除くすべてのモデルは、深度5までにコイン投げの正答率でした。
ページ上に答えがあるのに間違える
Lunaの間違いのほとんどは長い連鎖から来ていますが、すべてではありません。深度0、つまりステートメントまたはその反対がテキストに書かれている場合、Lunaはオープンワールド問題300問中20問、クローズドワールド問題300問中6問を間違えました。深度1、つまり1つのルール離れたところでは、302問中67問、300問中70問を誤りました。以下は、各深度、各タスクバージョンにおける、これらの間違いの中で最も短いものと、対数確率を再度求めた際にLunaが与えた確信度です。
- 深度0、オープンワールド。 テキストには「ライオンは大きくない」と書かれています。「ライオンは大きい」は真、偽、または不明ですか?偽です。テキストがそう述べています。Lunaは不明、100%確信と回答しました。
- 深度0、クローズドワールド。 テキストには「チャーリーは親切だ」と書かれています。「チャーリーは親切ではない」は真か偽か?偽です。Lunaは真、100%確信と回答しました。
- 深度1、オープンワールド。 「トラは大きい。すべての大きい人は冷たい。」「トラは冷たい」は真ですか?はい、1つのルールで繋がっています。Lunaは不明、100%確信と回答しました。
- 深度1、クローズドワールド。 「ウサギは大きい。誰かが大きいなら、その人はウサギを追いかける。」「ウサギはウサギを追いかけない」は真か偽か?偽です。ウサギは大きいので、ウサギを追いかけます。Lunaは真、100%確信と回答しました。
これらはLunaの間違いの中でも最も明白なものです。深度0では93%と98%の確率で正解しています。しかし、チャーリーが親切であるとテキストに書かれているのに、チャーリーが親切ではないと100%確信できる意思決定モデルは、確信度に対するしきい値以上のものが必要です。
Lunaは自分の確信度を伝えられるか?
意思決定モデルは、その確信度を信頼できるときに価値を発揮します。Jevはすべての選択肢に対して確率を返します。Lunaは、通常のAPIを通じてテキストを返します。しかし、推論オフの場合、OpenAIのAPIは対数確率も返します。Lunaが書き込む各トークンについて、そのトークンに与えられた確率の対数と、最も可能性の高い代替案です。推論オンの場合、それは拒否します。「'logprobs' is not supported with this model」と表示され、これはOpenAIのガイドと一致します。
厳密なスキーマにより、読み取りがクリーンになります。Lunaは`{