HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Jeeves。推論によりJevライクな意思決定モデルが改善

Jeeves. Reasoning improves Jev-like decision models (github.com)

242 pointsby nicowaltz95 コメント

要約

Jeevesは、SFT(教師ありファインチューニング)とCISPO(Contrastive Instruction-following Preference Optimization)でトレーニングされた、推論機能を備えたJevスタイルの分類器です。Qwen3.5-9Bモデルをベースに、推論を行うことで決定を下す前に「考える」能力を持ち、Kev-9BやJevといった既存モデルをベンチマークテストで上回る性能を示しました。このモデルは、yes/no、多肢選択、評価などの質問を単一のリクエストで処理でき、Jev互換APIを提供します。

全文翻訳

Jeeves – 推論によりJevライクな意思決定モデルが向上

不確かな場合に推論を行うJevスタイルの分類器で、公開データで学習されたDiffusion drafterを搭載しています。

[画像: Jeeves]

[画像: Weights: 9B] [画像: License: MIT]

謝辞

Kevに触発されました。

ハイライト

  • 不確かな場合に決定を下す前に推論を行う9B Jevライクモデル(Qwen3.5-9B、LoRA、ポインターヘッド)に、ブロック4のDiffusion drafterと、完全な学習コードおよび学習/開発/テストデータが付属しています。
  • 不確かな場合のみ推論を行うことで、学習データに含まれないテストデータ(0.905 vs 0.822、0.857、0.802)およびJevBenchの公開ティア(0.896 vs Jevの0.866、JevK5の0.861)でKev-9B、Jev、JevK5を上回ります。
  • Jev互換APIを通じて、単一のリクエストでyes/no(noul)、多肢選択(choice)、評価(score)の質問をサポートします。
  • 1つのH100で--precision fp8を使用した場合、思考なしでリクエストあたり約20ミリ秒、思考ありで中央値1.2秒です。チェーン長を切り詰めることで高速化できます。
  • CUDAではbf16で、または計算能力8.9以上のGPUでFP8線形レイヤー(--precision fp8)を使用して実行できます。推論はApple Silicon(MPS)でもbf16またはFP8で実行できます。

問題

Jevライクなモデルは、キャリブレーションされた決定確率を提供しますが、精度は低いです。そのため、多くのパイプラインではフォールバックとして推論モデルに依存しています。Jeevesは、JevライクなQwen3.5-9B(LoRAとポインターヘッド)を学習させ、不確かな場合に決定を下す前に推論を行います。

これにより、ドメイン外のタスクでのパフォーマンスが向上し、JevBenchハード(公開)でJevを上回ります。

結果

Jeeves v2およびv1は、キャリブレーションされた信頼度が少なくとも0.9の場合は直接回答し、それ以外の場合はまず推論を行います(nothink_threshold 0.9、greedy、2,560トークンキャップ)。カッコ内のパーセンテージは推論を行った質問の割合です。JevK5(v0.3)は推論を行いません。同じ項目で実行しました。Kev-9BとJevの列は、Kevが公開している数値です。

benchKev-9BJevJevK5Jeeves v1Jeeves v2
Test overall (ドメイン外およびホールドアウト、項目重み付け)0.8220.8570.8020.884 (41%)0.905 (39%)
Transfer overall (MMLU-Proおよび埋め込み状態)0.5790.8000.5610.728 (86%)0.780 (76%)
JevBench overall (231公開項目)0.715*0.8660.8610.913 (44%)0.896 (29%)
QNLI0.9250.9250.9000.9120.950
SciQ0.9630.9880.9480.9910.983
TweetEval offensive0.7750.8130.8500.8250.838
PAWS0.7630.7880.8380.8750.875
MMLU0.7380.9000.6900.8100.845
Emotion0.6000.5880.6640.6380.707
Held-out rule structures0.8960.8850.7290.9791.000
Contrastive policies0.9000.9630.8270.9800.985
MMLU-Pro (10-way)0.5150.8400.5040.7260.770
Buried state0.7400.7000.6720.7330.802
Unknowable answered at p ≥ 0.9 (低いほど良い)0.0000.0900.0090.0000.000
JevBench hard (111公開項目)0.451*0.7300.7480.8200.793
JevBench ECE (公開項目)0.0490.0140.0280.059
  • Kev-9BのJevBench結果は公開されていません。これらはKev-8B(Qwen3)の数値です。

全てのJevBench数値は、公開のイージー、スタンダード、ハードティア(231項目)に基づいています。シールドジャッジティアは含まれておらず、JevおよびKevの数値は同じ公開項目に限定されています。

思考なしv2はテストスプリット(2,962項目)で0.812を記録し、推論ありでは0.851です。v2で新規追加された15の公開データセット(数学、常識推論、ツール選択、事実確認)からのホールドアウト質問では、それぞれ0.853と0.900を記録しました。

クイックスタート

要件:Python 3.12およびCUDA GPU。推論は48GB以上のApple Silicon Macでも実行可能です。

pip install -r requirements.txt

リリースされたウェイトをダウンロードして提供します。

hf download PostHog/jeeves --local-dir jeeves-weights
python -m inference.serve --model jeeves-weights --drafter jeeves-weights/drafter_k4.safetensors --port 8009

Macでは、エンジンはMPSで動作します。ウェイトはbf16で21GBを使用します。デフォルトのキャッシュ(--max-rows 8 --max-len 8192)はさらに28GBを使用するため、48GBのMacではスワップが発生し始めます。より小さなキャッシュを使用してください。

python -m inference.serve --model jeeves-weights --drafter jeeves-weights/drafter_k4.safetensors --max-rows 4 --max-len 4096 --port 8009

M4 Proでは、1つの質問の推論は約20トークン/秒、思考なしのリクエストは0.3~0.5秒かかります。

--precision fp8はCUDAと同様に線形レイヤーを量子化し、Metal w8a16カーネルで実行します。CUDAと同様に、全てのサイズでアクティベーションはbf16のままです。ウェイトは11.5GBを使用し、1つの質問の推論は約38トークン/秒です。出力はわずかに変化しますが、開発用質問では精度とNLLは測定可能な変化はありませんでした。

FP8ウェイトはPostHog/jeeves-fp8からダウンロードできます。これらはbf16ウェイトでの--precision fp8と同じ出力を提供します。

hf download PostHog/jeeves-fp8 --local-dir jeeves-fp8
python -m inference.serve --model jeeves-fp8 --drafter jeeves-fp8/drafter_k4.safetensors --precision fp8 --max-rows 4 --max-len 4096 --port 8009

python -m model.metal_testはMetalカーネルをfloat64およびeagerリファレンスに対してチェックします。CUDAでは、python -m model.triton_kernels_testはTritonロータリー、デルタステートアドバンス、デルタゲート、畳み込みステップ、キャッシュ書き込みをeagerおよびflaパスに対してビット単位で、デコードアテンションをfloat32に対してチェックします。python -m inference.cuda_testはマージされた射影、アテンションマスク、FP8 GEMMをチェックします。python -m inference.engine_testは、どのデバイスでもanswer_batchがリクエストをグループにパックする方法をチェックします。speed.py --model jeeves-weights --data data/dev.jsonlは、固定された開発リクエストセットの速度を測定します。python -m prep.prepはdata/を構築します。

または、独自の学習済みチェックポイントをスタンドアロンモデルに融合して、drafterと共に提供します。

python export.py runs/cispo/final --out runs/fused
python -m inference.serve --model runs/fused --drafter runs/drafter_k4/drafter.safetensors --port 8009

python export_fp8.py runs/fused --drafter runs/drafter_k4/drafter.safetensors --out runs/fused-fp8は、エクスポートされたモデルとそのdrafterのFP8ウェイトをPostHog/jeeves-fp8の形式で書き出します。

その後、Jevの形式でリクエストを送信します。

curl -s localhost:8009/v1/systemone -H 'content-type: application/json' -d '{
  "state": "Shoes arrived two weeks late and in the wrong size. Also I see two charges on my card.",
  "questions": {
    "department":  {"type": "choice", "instructions": "Which team should handle this?",
                    "criteria": {"returns": "Exchanges, refunds, wrong or damaged items",
                                 "shipping": "Delivery status, delays, lost packages",
                                 "billing": "Charges, invoices, payment problems"}},
    "escalate":    {"type": "noul", "instructions": "Does this need urgent human attention?"},
    "frustration": {"type": "score", "instructions": "How frustrated is the customer?",
                    "criteria": ["Calm", "Frustrated", "Very angry"]}
  },
  "options": {"max_think": 512}}'

1つのH100で--precision fp8を使用した場合の応答。3つの質問が並列で思考しています。

{
    "model": "jeeves-latest",
    "answers": {
        "department": {
            "type": "choice",
            "choice": "billing",
            "confidence": 0.19,
            "probabilities": { "returns": 0.4, "shipping": 0.14, "billing": 0.46 }
        },
        "escalate": { "type": "noul", "noul": 0.72 },
        "frustration": {
            "type": "score",
            "score": 1.5,
            "legend": { "0": "Calm", "1": "Frustrated", "2": "Very angry" },
            "probabilities": { "0": 0.04, "1": 0.43, "2": 0.54 },
            "confidence": 0.75
        }
    },
    "usage": { "input_tokens": 129, "output_tokens": 160, "reasoning_tokens": 1536 },
    "latency_ms": 8141.6
}
Python

sdk/はJevのPython SDK(typesafe-sdk)のドロップイン代替です。

pip install ./sdk
from jeeves_sdk import Choice, Noul, Score, TypeSafeClient

with TypeSafeClient() as client:
    result = client.system_one(
        state="I was charged twice. Please help.",
        questions={
            "billing": Noul(instructions="Is this about billing?"),
            "tone": Choice(instructions="What is the tone?", criteria={"calm": None, "angry": None}),
            "urgency": Score(instructions="How urgent is this?", criteria=["can wait", "this week", "today"]),
        },
        max_think=768,
        return_reasoning=True,
    )
    print(result.nouls["billing"].noul, result.choices["tone"].choice, result.scores["urgency"].score)
    print(result.reasoning["tone"].text)

クライアントはデフォルトでhttp://127.0.0.1:8009(またはJEEVES_BASE_URL)に接続し、APIキーは不要で、最大120秒待ちます。

オプション

optionsはオプションであり、送信しないJevクライアントでは無視されます。サーバー全体の設定は、対応するserveフラグで行われます。

optiondefaulteffect
thinktruefalseはプロンプトのみから回答(約20ミリ秒)
max_think2560各推論チェーンをこのトークン数で切り詰め、その後回答
nothink_thresholdnullノーシンク信頼度がこの値以上の場合、推論なしで回答
return_reasoningfalse各質問の推論テキストを応答に追加

325個の開発用質問で、1つのH100で--precision fp8を使用した場合:

settingaccuracymean reasoning tokensmedian / p90 latency
full thinking0.8188041.9 s / 8.1 s
nothink_threshold 0.90.8225781.2 s / 8.2 s
max_think 1024, nothink_threshold 0.90.8183861.2 s / 4.3 s
no thinking0.806022 ms / 46 ms

v2は最大1,024トークンのチェーンで学習されたため、低いキャップはほとんどのチェーンをカットします。これらはv1のdrafterを使用します。

仕組み

質問、状態、回答は、以下のようなQwenチャットテンプレートにロードされます。

<state> …state…
<q> instructions <opt> option 1 </opt> <opt> option 2 </opt> …
<think>

モデルは推論チェーンを展開し、</think>トークンの後に以下を付加します。

</think>

<q> instructions <opt> option 1 </opt> <opt> option 2 </opt> …
<decide>

ポインターヘッドは、<decide>での隠れ状態のクエリ射影と、そのオプションの</opt>での隠れ状態のキー射影とのスケーリングされたドット積で各オプションをスコアリングします。

<state>, <q>, <opt>, </opt>, <decide> = "<|fim_prefix|>", "<|fim_middle|>", "<|box_start|>", "<|box_end|>", "<|fim_suffix|>"

これらはQwenトークナイザーではまれで、ほとんど使用されないトークンです。アブレーションにより、プロンプトで「State」のようなプレーンテキストを使用するとパフォーマンスが悪化することがわかりました。同様に、推論ブロックの後に質問を繰り返さないこともパフォーマンスを低下させます。最終的な確率は、オプションスコアのソフトマックスを、開発セットで適合された温度で割ったものです。推論後の回答には、独自の温度が適用されます。

学習
  1. SFT(1エポック、4GPUで16,867ステップ)。Qwen3.5-9Bの全ての射影とポインターヘッドにLoRA r=16を適用し、約175の公開ソースからの453,531の質問で学習しました。これには公開データセット、公開OpenJevおよびKevの決定セット、教師モデルによってラベル付けされたサードパーティの公開決定データセット、プロンプトインジェクションセット、およびv1のデータが含まれます。例の約15%は、モデルの以前のラウンドからサンプリングされた推論チェーンを持ち、1,024トークン以内に収まり、ループせず、正しい回答に達した場合のみ保持されます。
  2. キャリブレーション。チェックポイントと共に保存された開発セットで適合された2つの温度:直接回答用が1.52、推論後回答用が5.42です。全ての学習チェーンは正しい回答に達するため、推論後の回答は過度に自信が高くなるため、より高い温度が必要です。

v1はSFTの後にCISPOで学習されました。CISPOはv2では改善しませんでした。

Diffusion drafter

Orthrusに触発された、凍結モデル(drafter/)のDiffusionビューです。

Orthrusはアテンションのみのモデルをサポートしますが、Qwen3.5のGated DeltaNetレイヤーは、マスクトークンがそのレイヤーの畳み込み後のキーと値にクロスアテンドできるようにすることでサポートします。

chain tokens per second
plain graphed greedy decoding, one question109
block 4, one question176 (1.6×)
block 8, one question193 (1.76×)
block 4, eight questions batchedabout 960 in total

ブロック4は、複数の質問がバッチ処理された場合に安価であるため、デフォルトです。

再現

データ

prepスクリプトを使用してローカルでデータセットを構築できます。これは、ピン留めされたリビジョンで公開データセットをダウンロードし、prep/manifests/v2/にリストされている順序でtrain/dev/rlを書き込み、sha256をチェックします。

python -m prep.prep

各公開データセットは、独自のライセンスの下にあります。

学習

8つのGPUで、data/のデータを使用し、bash run.shでv1パイプライン全体を実行します。

torchrun --nproc_per_node 8 train.py sft --run-dir runs/sft
torchrun --nproc_per_node 8 train.py cispo --run-dir runs/cispo --init runs/sft/final
torchrun --nproc_per_node 8 test.py runs/cispo/final
torchrun --nproc_per_node 8 jevbench.py runs/cispo/final
python export.py runs/cispo/final --out runs/fused
torchrun --nproc_per_node 8 -m drafter.gen --model runs/fused
torchrun --nproc_per_node 8 train.py drafter --model runs/fused --block 4 --run-dir runs/drafter_k4

リポジトリ

pathcontents
model/Qwen3.5 (Gated DeltaNet + gated attention), LoRA, pointer head, GPU kernels
loader/prompt format, tokenisation and batching
prep/dataset construction (prep.py) and synthetic generators
trainer.py, train.pySFT, CISPO and drafter training
test.py, jevbench.py, calibrate.pyevaluation, JevBench, temperature fitting
export.pyfuses LoRA into a standalone model with the head and temperature
export_fp8.pyquantizes an exported model and its drafters to FP8 weights
drafter/drafter model, chain sampling, fused speculative decoder
inference/FP8 linears (CUDA, Metal), batched speculative engine, server and benchmark
speed.pyfixed speed and equivalence harness for MPS and CUDA
sdk/jeeves_sdk, a drop-in replacement for Jev's Python SDK with the reasoning options

制限事項

  • 知識に関する質問はJevに劣ります(MMLU 0.845 vs 0.900、MMLU-Pro 0.770 vs 0.840)。
  • 推論はテールで遅くなります:1つのH100でフルチェーンの場合、p90で8秒かかります。レイテンシが重要な場合は、max_thinkとnothink_thresholdを使用してください。
  • JevBench以外のKevおよびJevとの比較では、同じソースから異なる項目が使用されています。
  • 言語の一貫性報酬が含まれていないため、推論チェーンの解釈可能性は高くありません。
  • v2は、不確かな場合にのみ推論する場合、JevBenchでv1に劣ります(0.896 vs 0.913)。一部のロングポリシーおよびマルチホップ項目で推論なしでは過度に自信が高いため、それらの項目では推論をスキップします。全ての項目で推論を行う場合、両者は同等です(0.922 vs 0.926)。
  • SFTに使用された推論チェーンはまだ公開されていないため、prep.prepは学習レコードを再構築しますが、チェーンは再構築しません。

引用

Jeeves、その学習レシピ、またはdrafterを使用する場合は、以下を引用してください。

@software{waltz2026jeeves,
  author = {Waltz, Nicholas P.},
  title  = {Jeeves: Reasoning Improves Jev-like Decisions},
  year   = {2026},
  url    = {https://github.com/PostHog/jeeves},
  note   = {Qwen3.5-9B decision model trained with SFT and CISPO, with a block-4 diffusion drafter}
}

参考文献