Jeff – Jev互換の0.8B決定モデル、自宅でトレーニング済み、約30ミリ秒

Jeff ミリ秒単位の決定。あらゆるドメイン。jeffhub.ai · Hugging Face · アダプター · クイックスタート · チェンジログ コミュニティプレビュー: Jeff v1.2 と9つのアダプター（2026年10月1日）。試してみて、何がうまくいくか教えてください（イシュー）。安定した長期サポートベースv1.3が約36時間後にリリース予定で、公式アダプターはその後すぐに再トレーニングされます。アダプターはベースバージョン間で引き継がれませんが、データセットは引き継がれます。データガイドラインに従って作成すれば、それも引き継がれます。Jeffを27Bモデルの前に配置してください。Jeffは0.8Bのオープンな「システム1」モデルです。Qwen3.8-27Bのような強力なローカルモデルに文章作成や計画立案を行わせ、Jeffにその前で迅速な決定を行わせます。まずJeffが回答し、不確かな場合のみクエリが27Bモデルに渡されます。8つのアダプター*を使用し、同じテスト行で両方を比較した場合：Qwen3.8-27Bは全ての決定をJeff + アダプターが行う決定、27BはJeffが不確かな場合のみ決定 精度（8つのアダプター*の平均） 86.6% 95.3% 決定あたりの時間（平均） 8.1秒 0.25秒：38倍高速 間違い 13.4% 4.7%：2.8倍少ない メモリ 28.6 GB + Jeffと9つのアダプター全てをロードした場合の1.96 GB（+6.9%） 受信エージェントがメッセージごとに下す5つの決定（ガード、トリアージ、インテントサポート、ツール選択、グラウンディング）のみの場合：87.7% → 95.7%、39倍高速。タスク 27B単体 Jeff + アダプター 27Bに渡されるもの ガード：プロンプトインジェクションとジェイルブレイク 84.0% 3.9秒 98.0% 0.10秒 0.0% 38倍 トリアージ：緊急度とセンチメント 81.3% 3.6秒 91.0% 0.06秒 0.0% 59倍 サポートインテント：顧客が何を求めているか 86.0% 6.4秒 95.3% 0.12秒 0.0% 55倍 ツール：エージェントが呼び出すべきツール 90.3% 11.3秒 98.0% 0.31秒 0.0% 36倍 グラウンディング：回答はソースに裏付けられているか？ 96.7% 13.2秒 96.3% 0.66秒 1.7% 20倍 ナビゲーション：画面上の項目への音声コマンド 91.3% 7.2秒 97.0% 0.21秒 0.0% 35倍 スパム：スパムとフィッシング 88.0% 2.7秒 98.7% 0.07秒 0.0% 37倍 法的条項：契約条項の種類 75.0% 16.5秒 87.8% 0.47秒 0.0% 36倍 エモーション*：27の感情の中で最も強いもの、またはニュートラル 35.6% 4.8秒 60.6% 0.11秒 0.0% 42倍 *エモーションは平均から除外されています。短いRedditコメントから27の感情のうち最も強いもの（またはニュートラル）を選ぶのは、人間にとっても難しく、人間のラベル付けはしばしば意見が一致しません。Jeff + アダプターは、27Bの35.6%に対して60.6%のスコアを、42倍の速度で達成しています。これを含めると、9つのアダプター全てでの平均は、27Bの80.9%に対してJeff + アダプターが91.4%となり、除外することで上記の増加分が小さくなるのではなく、大きくなります。測定方法。セットアップ：Apple M4 Max（128 GB）、両モデルともMLXを使用、一度に1つずつ。Qwen3.8-27Bは8ビット、直接回答するようにプロンプト設定（ステップバイステップ推論オフ）。サンプル：各タスクは、ホールドアウトされたテストセットの固定ランダムサンプル（300行；エモーションと法的条項は500行）を使用します。時間：プロンプトから回答までのクエリあたりの平均。クエリが渡された場合、Jeffの時間と27Bの時間の両方がカウントされます。しきい値：各アダプターには独自の信頼度しきい値があり、それを下回る場合は27Bも回答し、その回答が使用されます。しきい値は、タスクの個別のキャリブレーション行で27Bを少なくとも1ポイント上回る最速の値であり、テスト行がスコアリングされる前に固定されています。グラウンディングは27Bが強力な唯一のタスクです。Jeffは最も確信度の低い1.7%を渡し、20倍の速度で同等（96.3%対96.7%、300件中1件の質問）になります。Jeffのメモリは、9つのアダプター全てをロードしたRTX PRO 6000で測定され、リクエストごとにアダプターを切り替えます（決定あたり30ミリ秒、中央値）。全ての数値とそのソースはjeffhub.aiにあり、比較はリファレンスアプリで再構築できます。9つのアダプター各アダプターは、Jeff-Qwen3.5-0.8B v1.2の約41MBのLoRAアドオンで、1つのGPUで30分から4時間かけて1エポックトレーニングされました。各アダプターの完全なホールドアウトテストセットでの結果（精度、括弧内はキャリブレーションエラー；アダプターはこれらの行を一度も見ていません）：アダプター 決定内容 テスト行 Qwen3.5-0.8B 未トレーニング Jeff v1.2 単体 Jeff v1.2 + アダプター ガード プロンプトインジェクションガード 6,552 43.7% 46.9% 98.4% (0.004) トリアージ サポートチケットトリアージ 7,256 44.4% 67.1% 91.8% (0.009) サポートインテント 顧客リクエストインテント 5,577 33.9% 85.1% 96.8% (0.006) ツール エージェントツール選択 5,157 18.0% 57.8% 97.9% (0.004) グラウンディング パッセージ再ランキングと回答グラウンディング 4,160 28.7% 49.0% 97.0% (0.012) ナビゲーション 音声ナビゲーション 3,300 12.6% 23.8% 97.0% (0.005) エモーション 短いコメントのエモーション 5,408 12.5% 32.2% 60.6% (0.020) スパム SMSとメールのスパムとフィッシング 3,603 59.4% 72.3% 98.4% (0.008) 法的条項 契約条項の種類 9,895 12.5% 66.0% 85.7% (0.011) 重みとテストセット：Hugging Face上のmstrasser/Jeff-Qwen3.5-0.8B-<adapter>。jeffhub.ai上の各アダプターのページには、どこで間違いが発生するか、正しい場合にどれだけ確信があるか、そのデータ、およびQAレポートが表示されます。アダプターキットで独自のものを構築してください：私たちが9つ全てで実行したチェック（フォーマット、グループごとの分割、リーク、および最初のドラフトを沈めたショートカット）。Jeffとは何か 状況を説明し、平易な言葉でオプションをリストアップします。Jeffは単一のフォワードパスから各オプションのキャリブレートされた確率を返します。生成されたテキストや解析はありません。オプションは（サポートキュー、インテント、モデレーションラベル、音声コマンド、ツールなど）何でもよく、トレーニングデータに現れる必要はありません。それがゼロショットベースモデルです。アダプターは各ジョブにほぼ完璧な精度を追加します。必要なものを選び、アダプターを指定しないリクエストは未変更のベースモデルに渡されます。これは小さなモデルです：オプション間の高速で、適切にキャリブレートされた選択であり、マルチステップ推論ではありません。クイックスタート git clone https://github.com/firelex/jeff && cd jeff uv sync --no-default-groups --extra lora # NVIDIA GPUの場合は --extra cuda、Apple Siliconの場合は --extra mac を追加 uv run --no-default-groups hf download mstrasser/Jeff-Qwen3.5-0.8B --revision v1.2 --local-dir Jeff-Qwen3.5-0.8B-v1.2 for name in guard tools ground; do # 必要なアダプター、各フォルダ uv run --no-default-groups hf download mstrasser/Jeff-Qwen3.5-0.8B-$name --local-dir adapters/$name done JEFF_CHECKPOINT=Jeff-Qwen3.5-0.8B-v1.2 JEFF_ADAPTERS=adapters PORT=8765 "