HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Jevstiller – Jevをローカルモデルに蒸留し、不一致バウンドを設定

Show HN: Jevstiller – Distill Jev into a local model, with a disagreement bound (jevstiller.pages.dev)

67 pointsby tgluck16 コメント

要約

Jevstillerは、大規模言語モデル(Jev)の応答をローカルで高速に模倣するシステムです。Jevstillerは、Jevの回答から学習したローカルモデルを使用し、自信がある場合は約15ミリ秒で応答しますが、不確かな場合は元のJevモデルに処理を委ねます。このシステムは、ローカルモデルの応答が元のモデルと一定の合意率(例: 98%)を維持することを保証し、エージェントループなどのリアルタイムアプリケーションでの遅延問題を解決します。

全文翻訳

Jevの98%の確率で応答するローカルモデル、およびその仕組み

2026年9月。ここに記載されているすべての数値はベンチマークからのものであり、bash experiments/bench.sh --no-record はAPIキーなしでそれらを再実行します。

Jevでテキストを分類する場合、すべての応答はベンダーへのネットワークコールであり、約300ミリ秒で返ってきます。バッチジョブでは問題ありませんが、決定、実行、そして再び決定を行うエージェントループや、ゲームのティック、あるいは分類してから実行するようなあらゆる処理では、ステップあたり300ミリ秒が全体の予算となります。

Jevstillerは、その呼び出しの前に位置し、Jev自身の応答から小さなローカルモデルを学習し、確信のある応答をCPU上で約15ミリ秒で行えるようにします。興味深いのは小さなモデルそのものではありません。それは契約です:

1つの数値を設定します。例えば98%とします。Jevstillerは、少なくともその割合のリクエストに対して、Jevが返したであろうラベルを返します。

この記事では、この文を真実にするために何が必要か、なぜ単純な信頼度閾値の選択方法では真実にならないのか、そしてそのコストについて説明します。

具体的に何を学習するか

セクション「具体的に何を学習するか」

固定されたセンテンスエンコーダー(bge-small、384次元、ONNX RuntimeをCPUで使用)が各リクエストを埋め込みます。その上に、Jevstillerは、タスクのラベルに対するJevのトップラベルだけでなく、完全な確率分布に対して、クロスエントロピーを用いて多項ロジスティック回帰ヘッド(線形層1つとソフトマックス)を学習します。学習はフルバッチAdamと検証スライスでの早期停止で行われます。これがモデル全体です:数百キロバイトで、数千行のデータで数秒で学習され、2,000件の新しいJevの応答ごとに再学習され、バージョン管理され、本番トラフィックでシャドウテストされた後に昇格されます。

その隣には、ヘッドが応答することを許可される時期を決定する2つの小さなコンポーネントがあります:学習済み埋め込みに対するk近傍法による外れ値検出スコアラーと、ルーティングポリシー(信頼度閾値と外れ値カットオフ)です。これは、以下のバウンドで保持されたIIDスライスで調整されます。閾値を超え、学習分布内にあるリクエストは、約15ミリ秒でヘッドの応答を受け取ります。それ以外はすべてJevに送られます。コードパスはDESIGN.md §7.3から§7.6にあります。

契約、一言で言うと

セクション「契約、一言で言うと」

タスクごとに、トラフィックのウィンドウ全体で、ローカルモデルが応答するリクエストの割合をc(カバレッジ)、そのうちJevのラベルと異なるものの割合をe(不一致)とします。応答しないリクエストはJevに送られ、定義上Jevと一致します。したがって、システムのJevとの一致率は次のようになります。

A = 1 − c · e

目標値A*は、許容されるJevと異なる応答の割合、つまりすべてのリクエストのうちc · eが超えてはならない割合β = 1 − A*を与えます。98%の場合、それは100件中2件です。ルーターの仕事は、c · eをβ未満に保ちながら、できるだけ多く応答することです。

この文には意図的に欠けているものが2つあります。真実に対するモデルの精度については何も述べていません。Jevが間違っていれば、ローカルモデルも同じように間違え、ステータスレポートはすべての数値の横にそれを表示します。また、これはローカルモデルが応答を選択したリクエストに対する精度ではなく、すべてリクエストに対する一致率に関する声明です。最初のフレームワークは検証可能なものです。後者はほとんどのツールが報告するものです。

単純な方法、そしてなぜそれが破綻するのか

セクション「単純な方法、そしてなぜそれが破綻するのか」

このようなカスケードの一般的なレシピは次のとおりです。一部のデータを保留し、信頼度閾値をスイープし、予算内に測定された不一致がある最も緩いものを保持して出荷します。これは、午後に書くようなものであり、ベンチマークのポイント推定ルールが実行することです。

しかし、それは約半分の時間で予算を超過します。5つの公開タスクで、それぞれ20回のランダムな訓練/キャリブレーション/テスト分割を行った結果、ポイント推定ルールはタスクあたり20分割中6〜12分割で2%の予算を超過し、最大で1パーセントポイントも超えました。

タスクルールカバレッジ不一致、平均最悪予算超過
Banking77 (77インテント)ポイント推定79.8%1.90%2.70%9 / 20
Banking77バウンド74.9%1.15%1.55%0 / 20
CLINC150 (151インテント)ポイント推定84.3%2.09%2.85%12 / 20
CLINC150バウンド78.9%1.25%1.80%0 / 20
AG News (4クラス)ポイント推定90.3%2.06%2.65%11 / 20
AG Newsバウンド86.5%1.34%1.75%0 / 20
TweetEval sentimentポイント推定28.2%1.99%2.60%8 / 20
TweetEval sentimentバウンド24.0%1.46%2.10%1 / 20
TweetEval offensiveポイント推定36.8%1.81%2.70%6 / 20
TweetEval offensiveバウンド28.7%1.10%1.40%0 / 20

これはレシピのバグではありません。有限データで最も緩い合格閾値を選択した結果です。任意の閾値での測定された不一致は、真の不一致のノイズの多い推定値です。予算内に見える最も緩い閾値を選択すると、ノイズが下向きに働いた閾値が優先的に選ばれます。次のトラフィックサンプルではノイズは別の方向に働き、1.9%を示した閾値が2.7%を配信します。

100回の分割全体で、バウンドは一度だけ予算を超過しました(2.10%)。その一度は予想通りです。バウンドは95%の声明であり、約5%は外れる可能性があります。ポイント推定は声明そのものではありません。

Jevstillerが代わりにやること

セクション「Jevstillerが代わりにやること」

4つの小さな決定が組み合わさることで、本番環境に投入されるローカルモデルのすべてのバージョンに対して、契約が少なくとも95%の確率で有効になります。

1. 損失は契約そのもの。 Jevによってラベル付けされ、学習には決して使用されないIIDキャリブレーションセットの各行について、ローカルモデルがその行に応答し、Jevと不一致になる場合は1を、それ以外は0をスコアとします。この指標の平均は、まさに予算が制限する量である「全リクエストに対する不一致率」に等しくなります。これは二項分布であり、近似や大標本への依存なしに、正確な信頼区間(Clopper-Pearson)を持ちます。

2. 閾値を最も厳しいものから順に、固定グリッド上でテストし、最初の失敗で停止する。 閾値が緩くなるにつれてレートは増加するだけなので、最も厳密な候補から最も緩いものまで歩き、各々の上限を予算と比較してチェックし、最初に失敗したところで停止することで、多くの候補をテストしたことによる修正なしに、誤った選択の確率を同じ5%で制御します。これはLearn Then Testにある固定シーケンステストです。グリッドはキャリブレーション行が観測される前に固定されており、キャリブレーション行はテストのみを行います。

3. キャリブレーション行には他の何も触れない。 見慣れない入力を信頼度に関係なくJevに送る外れ値検出ゲートは、学習データからカットオフ値を取得します。候補となる閾値は固定グリッドです。どちらかがキャリブレーション行で調整された場合、バウンドは既にそれ自体をバウンドするために使用されたデータ上で計算されることになり、これは別の形でのポイント推定の誤りです。

4. ヘッドルームを残す。 閾値は予算の85%でフィットされます。その後、候補は、キャリブレーション行とシャドウイングしたライブトラフィックをプールしたデータで、フルバジェットでの2回目のチェックに合格する必要があります。このチェックは独立した保証ではありません。なぜなら、キャリブレーション行は閾値を選択するのに役立ったからです。しかし、それはちょうど線上に位置する閾値を検出します。

この最初のバージョンは4つのうち2つを間違えました。選択率をバウンドし、あたかも正確であるかのように推定カバレッジを掛けました。また、それぞれが単独で合格した200の閾値のうち最も緩いものを選択しました。これはポイント推定と同様にノイズを選択します。先行技術レビューが両方を検出しました。修正されたルールは、Banking77のリプレイではコストがかかりませんでした。カバレッジは70.6%から70.7%に移動しました。

第二の約束:「Jevは不確かでしたか?」

セクション「第二の約束:「Jevは不確かでしたか?」」

Jevはすべての応答に信頼度を返します。そのドキュメントでは、低い信頼度を「不確か」として扱うことを推奨しています。人間に送る、もう一度尋ねる、安全な分岐を取るなどです。ローカルモデルが自信がある場合にのみ応答すると、このパターンは静かに破られます。なぜなら、ローカルな応答は決して不確かとは返ってこないからです。ベンチマークタスクでは、0.6でのチェックは、Jevが上げたフラグの8%から37%を失いました。

0.4.0以降、タスクはconfidence_floorを持つことができます。これは、コードが応答を不確かとして扱うJevの信頼度の閾値です。キャリブレーション、シャドウテスト、監査は、ローカル応答がJevのラベルと異なる場合だけでなく、Jevがフロア未満で応答した場合も不一致としてカウントします。同じ2%の予算が両方をカバーします。Jevが不確かになるであろうリクエストはJevに送られ、Jev自身の信頼度が返されます。これはカバレッジを犠牲にします。フロアが0.6の場合、5つのタスクで4〜12ポイント失われ、設定しない限り無効です。

初日以降も真実を保つ

セクション「初日以降も真実を保つ」

昇格時のバウンドだけでは不十分です。理由は2つあります。ローカルモデルはトラフィックの蓄積とともに再学習され、すべての再学習で5%が再度消費されるため、多くのバージョンを経るうちに外れるものが出てきます。また、トラフィックやJevの応答が変化します。

そのため、ローカルモデルが何を考えているかに関係なく、すべてのリクエストの固定された2%がJevに送られ、ローカルモデルの応答は並記されます。その監査スライスは、ルーティングが開始された後の本番環境における唯一の偏りのないビューです。ローカルモデルが拒否するリクエストは、構築上困難なものであり、それらに対する一致率を測定しても、世界ではなくルーターを測定することになります。監査は、バージョンごとに、実際に提供された応答でスコアリングされたライブ一致率の信頼区間を提供します。ターゲットを下回ると監査率が上昇し、独自のバウンドが違反を確認すると、すべてリクエストがJevに戻され、その時点から学習が再開されます。

24時間のソーキングテストで、スタンドインのJevが12時間目にすべての応答を静かに変更しました。監査がそれを検知したため、ローカルシェアは4分以内に90%から9%に低下しましたが、変更後の応答のみで学習され、誰も何も触っていないにもかかわらず、49分以内に90%に戻りました。

カバレッジ。バウンドは有限データでは保守的であり、それがポイントです。上記のすべてのタスクで、ポイント推定ルールに対してカバレッジを4〜8ポイント失いました。Jevの完全な確率分布で学習することで、多くのクラスを持つタスクでは2〜3ポイントを取り戻せます。

ターゲットはダイヤルです。同じ5つのタスクで、98%から95%に移動すると、ツイートタスクのローカル応答が約2倍になり、インテントタスクは約70%から80%台前半に引き上げられます。99%から90%までの全範囲で、データセット自体のラベルに対するシステムの精度は、Jevの精度から1ポイント以内に収まりました。なぜなら、ローカルモデルがJevと異なる場合、Jevが正しかったのとほぼ同じくらいの頻度で正しかったからです。これはこれらの5つのタスクで保持されましたが、法則ではありません。

カバレッジは、タスクの難易度ではなく、Jevの一貫性も追跡します。2つのツイートタスクでは、Jevは人間のラベルと64%および74%の時間しか一致しないため、クラス境界付近の応答はノイズが多く、ローカルモデルは2%の予算内でノイズを再現できません。自信のある4分の1に応答し、残りを転送します。

約束しないこと

セクション「約束しないこと」

バウンドは、キャリブレーション行が閾値が使用されるトラフィックのランダムサンプルであると仮定します。トラフィックの混合がシフトすると、古い混合に対するバウンドは新しい混合については何も言わず、それが監査の目的です。一致率は精度ではありません。また、契約はクラスごとではなく、リクエストごとです。まれなクラスが不一致の大部分を占める可能性があります。クラスごとの予算はロードマップにあります。

リスク保証付きの選択的分類はGeifman and El-Yaniv, 2017です。固定シーケンステストはLearn Then Testからのものです。大規模モデルの応答から学習するカスケードは、OCaTS(EMNLP Findings 2023)およびCache & Distil(ACL Findings 2024)に、バウンドなしで登場します。BARGAINは、バッチ処理のために有限サンプル保証で同じ一致契約を結びます。vCache(ICLR 2026)は、セマンティックキャッシュに対して同様の保証を提供します。Jevstillerの貢献は、実行中のシステムでの組み合わせです。継続的な再学習の下での保証、永続的な監査、ドリフト検出、および教師が変わったときに学習を再開する系統です。

試してみる

git clone https://github.com/tomerglick57/Jevstiller && cd Jevstiller && pip install jevstillerbash experiments/reproduce.sh          # Jevの記録された応答からのBanking77の結果、キーなし、約10分bash experiments/bench.sh --no-record  # 5つのタスクすべてと閾値ルールの比較、1〜2時間

Apache 2.0ライセンスです。または、独自のJev呼び出しの前に配置してください: docker run -d -p 8080:8080 -v jevstiller-data:/data ghcr.io/tomerglick57/jevstiller、TYPESAFE_BASE_URLをそれにポイントし、数千件のリクエスト後にステータスレポートを読んでください。達成したバウンドと、監査が測定した間隔が表示されます。