ThinkingCap: Gemma-4-26B-A4B — 正確性はそのままに、思考を最大69%、平均39%削減
Gemma-4-26B-A4B with 39-69% less thinking at same accuracy (bottlecapai.com)
要約
このモデルは、Googleのgemma-4-26B-A4Bモデルの思考プロセス（トークン消費量）を大幅に削減しながら、回答の質を維持することに成功しました。12のベンチマーク全体で、思考トークンを平均38.9%、最大69.1%削減し、精度低下はわずか0.15ppに抑えられています。これは、AIモデルの効率性を向上させ、推論コストを削減する上で重要な進歩です。
全文翻訳
ThinkingCap: Gemma-4-26B-A4B — up to 69% and on average 39% less thinking, at unchanged accuracy
［画像: ThinkingCap Gemma-4-26B-A4B］
TL;DR
これはThinkingCapシリーズの5番目のモデルです。Googleのgemma-4-26B-A4B-itの思考量を、回答の質を損なうことなく削減しました。
- 12のベンチマーク全体で、思考トークンを最大69.1%、平均38.9%削減し、精度は0.15ppの低下に留まりました。
- Googleモデル初のThinkingCapであり、これまでのThinkingCapモデルの中で最も精度の低下が小さいモデルです。
- ルーピング（無限ループ）の発生率が、元のモデルの3.6%から0.8%に減少しました。
- 同じサンプリング設定（思考オン、温度1.0、top_p 0.95）、同じサービングスタック（vLLM）で、ドロップインリプレイスメントとして使用可能です。
ThinkingCap PRO: さらに高い効率を求めるなら、PROバージョンを使用してください。最大87.6%、平均62%少ない思考トークンで、より高速な回答と大規模な推論コストの削減を実現します。enterprise@bottlecapai.comまでお問い合わせください。
Our fifth ThinkingCap
これまでに4つのトークン効率化モデルを公開しています：ThinkingCap-Qwen3.6-27B、ThinkingCap-Qwen3.8-27B、ThinkingCap-NVIDIA-Nemotron-3.5-Lightning-30B-A3B、およびThinkingCap: Qwen3.8-Flash-Next。
gemma-4-26B-A4BはGoogleのスパース・ミクスチャー・オブ・エキスパーツ（MoE）モデルで、260億パラメータを持ち、トークンあたり約40億パラメータがアクティブになります。QwenとNVIDIAに続き、このモデルファミリーに適用するのは3回目です。今回は、精度を維持することに特に力を入れました。思考量は平均38.9%削減され、精度のコストはわずか0.15ppです。これは、ほとんどのスイートでの実行ごとのばらつきよりも小さい値です。
［動画: 元のモデルとThinkingCapモデルのビデオ比較。同じ入力でプロンプトされています。両方のモデルは同じハードウェアで実行され、同じ推論設定を使用しています。］
The training objective
gemma-4-26B-A4B-itから開始します。目標は、回答を得るために使用するトークン数を削減することであり、それ以外のすべてを変更しないことです。つまり、知識、推論能力、回答の質、指示追従性、および安全性の挙動を維持することです。
Results
［画像: タスクファミリーごとの精度。gemma-4-26B-A4B-it対ThinkingCapモデル］
タスクファミリーごとの精度。gemma-4-26B-A4B-it対ThinkingCapモデル
精度はどのファミリーでもほとんど変化せず、2つのファミリーでは向上しました。指示追従性とエージェンシーは0.65pp、数学は0.39pp向上しました。コードは0.02ppで横ばいでした。知識と推論は0.51pp、長文コンテキストとマルチモーダルは0.92pp低下しました。12のベンチマーク全体での平均は-0.15ppです。
［画像: タスクファミリーごとの平均思考トークン。gemma-4-26B-A4B-it対ThinkingCapモデル］
タスクファミリーごとの平均思考トークン。gemma-4-26B-A4B-it対ThinkingCapモデル
思考量が変化の要因であり、すべてのファミリーで短縮されています。長文コンテキストとマルチモーダルが最も削減され54.4%、次いで知識と推論が44.4%、数学が36.1%、コードが27.6%です。指示追従性とエージェンシーは最も少なく、17.2%の削減です。12のベンチマーク全体での平均は38.9%です。
| Benchmark | Accuracy (base) | Accuracy (ours) | Δ accuracy | Mean thinking tokens | Δ mean thinking | Trunc. % | Looping % |
|---|---|---|---|---|---|---|---|
| Math | |||||||
aime26 | 86.20% ±0.86 | 86.72% ±0.98 | +0.52pp | 14766 → 8963 | |||
| -39.3% | 5.2 → 0.5% | 5.5 → 0.9% | |||||
hmmt_nov25 | 81.51% ±1.06 | 80.89% ±1.19 | -0.62pp | 16462 → 10542 | |||
| -36.0% | 9.0 → 1.2% | 8.6 → 1.2% | |||||
hmmt_feb26 | 72.92% ±1.08 | 74.20% ±1.16 | +1.28pp | 22005 → 14717 | |||
| -33.1% | 18.6 → 4.6% | 17.0 → 4.5% | |||||
| Code | |||||||
livecodebench | 76.98% ±0.56 | 76.96% ±0.67 | -0.02pp | 11560 → 8375 | |||
| -27.6% | 6.8 → 1.3% | 2.2 → 0.3% | |||||
| Knowledge & reasoning | |||||||
gpqa_diamond | 79.92% ±0.57 | 78.96% ±0.67 | -0.96pp | 7699 → 4284 | |||
| -44.4% | 0.3 → 0.1% | 0.3 → 0.1% | |||||
mmlu_pro | 84.55% ±0.29 | 84.64% ±0.16 | +0.09pp | 3907 → 1989 | |||
| -49.1% | 0.0 → 0.0% | 0.1 → 0.0% | |||||
mmmlu | 84.09% ±0.26 | 83.43% ±0.27 | -0.66pp | 1212 → 731 | |||
| -39.7% | 0.0 → 0.0% | 0.0 → 0.0% | |||||
| Long-context & multimodal | |||||||
aa_lcr | 64.62% ±2.49 | 60.62% ±2.89 | -4.00pp | 6519 → 2655 | |||
| -59.3% | 4.0 → 0.0% | 3.6 → 0.4% | |||||
longbench_v2 | 59.43% ±1.14 | 60.88% ±1.29 | +1.45pp | 9486 → 2934 | |||
| -69.1% | 7.7 → 0.5% | 5.9 → 1.2% | |||||
realworldqa | 70.83% ±0.56 | 70.61% ±0.56 | -0.21pp | 819 → 533 | |||
| -34.9% | 0.0 → 0.0% | 0.0 → 0.0% | |||||
| Instruction following & agentic | |||||||
ifbench | 76.83% ±0.80 | 78.67% ±0.73 | +1.83pp | 6470 → 5585 | |||
| -13.7% | 0.4 → 0.4% | 0.5 → 0.5% | |||||
tau2 | 64.25% ±0.97 | 63.73% ±1.26 | -0.53pp | 4374 → 3466 | |||
| -20.8% | 0.0 → 0.0% | 0.0 → 0.0% | |||||
| Average (12 benchmarks) | 75.18% | 75.03% | -0.15pp | 8773 → 5398 | -38.9% | 4.35 → 0.72% | 3.64 → 0.76% |
各行は元のBF16とThinkingCapモデルを比較したもので、同じハーネス、同じ設定で実行されました。精度はシードごとの平均であり、±はそれらの間のばらつきからの95%信頼区間です。最後の行の各セルは、12のベンチマーク全体の平均です。各ベンチマークは1回カウントされます。したがって、そこでのΔ mean thinkingは、12の削減の平均であり、その隣の2つのトークン数値の比率（38.5%）ではありません。同じ区別が上記のファミリーバーにも適用されます。これは、各ファミリーの平均トークンをプロットしています。τ²-benchでは、思考トークンは応答ごとではなく、ロールアウトのターンごとに合計されています。列の定義は評価方法論にあります。
12のすべてのベンチマークで短縮されています。最も深い削減はLongBench v2 (-69.1%)、AA-LCR (-59.3%)、MMLU-Pro (-49.1%)です。最も浅いのはIFBench (-13.7%)とτ²-bench (-20.8%)です。この2つの浅い行は、思考に時間がかかる作業が最も少ないものです。つまり、フォーマット制約のリストに従うこと、および適切なツール呼び出しを通じて固定のカスタマーサービスポリシーを適用することです。
精度に関しては、ほとんどの結果はノイズの範囲内です。12のうち8では、ギャップは実行ごとのばらつきよりも小さく、12のうち5つは元のモデルよりも優れています。間隔を超えてさらに移動する4つは、IFBench (+1.83pp、我々に有利)、GPQA-Diamond (-0.96pp)、MMMLU (-0.66pp)、およびAA-LCR (-4.00pp)です。AA-LCRは、スイートにおける唯一の実際のコストです。
ルーピングはスイート全体で改善しています。元のモデルは応答の3.64%でループしますが、 ours は0.76%です。そして、最もループする3つのベンチマーク（AIME 2026、HMMT Nov 25、HMMT Feb 26）では、その発生率が5.5%、8.6%、17.0%から0.9%、1.2%、4.5%に低下します。
［画像: 両モデルの思考トークン予算に対する精度］
両モデルの思考トークン予算に対する精度
左から右へ、これはデプロイメントが実際に尋ねる質問です。質問あたりのトークン予算が与えられた場合、どのくらいの精度が得られるか？ThinkingCapの曲線は、範囲の中央全体で元のモデルの曲線の上にあります。つまり、より小さな予算で同じ精度が得られます。そして、予算が十分に広くなり、どちらのモデルも制約を受けなくなると、両者は収束します。
Evaluation methodology
推論モデルの評価はノイズが多いです。推奨温度1.0では、応答の内容と長さの両方が実行ごとに変化するため、単一のシードではほとんど何もわかりません。以下のすべては、ベンチマークごとの複数シードであり、精度は平均値とシード間のばらつきからの95%信頼区間として報告されます。
両サイドは同じ実行です。 元のモデルと私たちのモデルは、同じハーネスによって評価され、同じサンプリングおよびサービング設定を使用しました。元のモデルは、公開されている数値からの引用ではなく、私たちによって測定されました。設定：
- Harness: 私たちの内部評価スイートで、vLLM上で両方のモデルを実行します。
- Context: 各ベンチマークの応答ごとに65,536トークン、τ²-benchではターンごとに生成を制限します。
- Sampling: 思考オン；温度1.0、top_p 0.95、top_k 64。私たちのモデルはGoogleの推奨プリセットをそのまま引き継いでいるため、比較のどの部分もデコードの変更ではありません。
- Accuracy: シードごとの平均値と95% t-interval。これは、サンプリングシードのみが変更された場合に回答がどの程度変化するかを示します。
- Seeds: AIME 2026、HMMT Nov 2025、HMMT Feb 2026で64。GPQA-DiamondとLiveCodeBenchで32。RealWorldQA、IFBench、τ²-benchで16。AA-LCRとLongBench v2で8。MMLU-ProとMMMLUで4（質問数が多いため、質問サンプリングはノイズの制限要因ではありません）。
- Question sets: AIME 2026（30問）、HMMT Nov 2025（30問）、HMMT Feb 2026（33問）、LiveCodeBench（175問）、GPQA-Diamond（198問）、MMLU-Pro（12,032問）、MMMLU（9,996問）、AA-LCR（100問）、LongBench v2（370問）、RealWorldQA（765問）、IFBench（300問）、τ²-bench（航空、小売、通信の3つのドメインで278タスク）。
- Scoring: 抽出された回答に対する完全一致。ただし、LiveCodeBenchでは生成されたコードが問題のテストに対して実行されます。IFBenchはプログラム検証ツールでスコアリングされます。τ²-benchとAA-LCRは評価されます。τ²-benchはシミュレートされたユーザーに対しても実行され、3つのドメイン全体の加重平均として報告されます。
What the columns mean
- Accuracy (base) / Accuracy (ours) — 上記の通り；Δ accuracyはそれらの差で、パーセンテージポイントで表されます。
- Δ mean thinking — ヘッドライン：思考トークンの変化量で、ベンチマーク全体で合計され、質問数で割られています。したがって、長い質問は短い質問よりも重み付けされます。
- Mean thinking tokens — 推論が終了する前のトークン数で、ベンチマークのすべての質問とシードの平均値です。
base → oursと表記されます。 - Truncated % — 思考が終了しなかった応答の割合で、スコアはゼロになります。Looping % — 圧縮ベースのループ検出器によって捕捉された割合で、通常の散文ではありえないほどテキストが圧縮される応答をフラグ付けします。
Get the model
モデルはbottlecapai/ThinkingCap-gemma-4-26B-A4B-itで入手できます。GGUFビルドも同時に公開されています。
質問がある場合、またはこのモデルを実行したいワークロードがありますか？
hey@bottlecapai.comまでメールでお問い合わせください。
ThinkingCap PRO: さらに高い効率を求めるなら、PROバージョンを使用してください。最大87.6%、平均62%少ない思考トークンで、より高速な回答と大規模な推論コストの削減を実現します。enterprise@bottlecapai.comまでお問い合わせください。