LLMにおける推論努力の制御
Controlling Reasoning Effort in LLMs (magazine.sebastianraschka.com)
要約
この記事では、LLMが低・中・高の推論努力モードをどのように学習するかを解説しています。RLVR(検証可能な報酬を用いた強化学習)によるトレーニングや、推論時の計算リソースを増やす推論スケーリングといった手法が、LLMの推論能力を向上させる鍵となります。特に、推論努力レベルを調整することで、より効率的かつ効果的な応答を引き出すことが可能になります。
全文翻訳
LLMにおける推論努力の制御
OpenAIがLLMベースの推論モデルという考え方を普及させたo1をリリースしてから、ほぼ2年が経過しました。その約4ヶ月後にDeepSeek-R1が登場し、そのような推論モデルをトレーニングするための検証可能な報酬を用いた強化学習(RLVR)のレシピの詳細が公開されました。
先週、OpenAIはGPT-5.6モデルファミリーをリリースしました。これは3つのサイズがあり、それぞれ約5つまたは6つの推論努力設定を備えています。
したがって、推論モデルは今後も存在し続けるでしょう。それらは現代のモデルリリースにおいて標準的な一部となっています。
過去には、推論モデルの方法論(Understanding Reasoning LLMs)、関連する研究論文(The State of Reinforcement Learning for LLM Reasoning および The State of LLM Reasoning Model Inference)、そして推論モデルの開発方法に関する440ページの本(Build A Reasoning Model (From Scratch))についても触れてきました。
これらのリソースは、従来のLLMを推論モデルに変換することに焦点を当ててきました。この記事では、記事冒頭の図に示されているような、複数の努力モードを持つ推論モデルを開発する方法に焦点を当てて説明したいと思います。
心配いりません、この記事は単独で読むことができます。しかし、前述のリソースも興味深く役立つかもしれません。
1. 推論モデルの簡単な定義
機械学習やAIのほぼすべての技術やサブ分野について語る際、一つの教訓は、技術用語を文字通りに受け取るべきではないということです。例えば、機械学習やAIにおける(人工)ニューラルネットワークは、人間の脳のような生物学的なニューラルネットワークとは文字通りには機能しません。
同様に、「推論モデル」について語る際、これらのモデルが私たち人間のように文字通り推論することを期待すべきではありません。AIおよびLLM研究の文脈では、「推論モデル」とは、中間的な推論トレースを出力するモデルを指します。これは、ステップバイステップで質問やタスクを処理する中間的な応答のようなものです。
例を示すのが最も簡単なでしょう。
画像: 従来のLLMの回答(左)と推論モデルの回答(右)の比較。
2. 推論モデルのトレーニングと推論スケーリングの簡単な概要
(推論)タスクのパフォーマンスを向上させる方法は、本質的に2つあります。トレーニングスケーリングと推論スケーリングです。
[画像: トレーニングと推論スケーリングは、LLMと推論モデルの問題解決能力を向上させる2つの方法です。プロットはLearning to reason with LLMsに基づいています。](https://substackcdn.com/image/fetch/$s_!Uf-n!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F4efb291d-6cd3-4fba-ab3a-bac088cb2601_1999x961.png)
まず、トレーニングについて簡単に説明しましょう。
2.1 推論モデルのトレーニング
要するに、DeepSeek-R1は、LLMを検証可能な報酬を用いた強化学習(RLVR)でトレーニングして、推論モデルにすることを提案しました。RLVRは、検証可能なデータドメインに対して報酬信号(0=不正解、1=正解)を提供する技術です。ここでの検証可能なデータドメインとは、数学(SymPyやWolframAlphaのような記号数学チェッカーで結果を検証できる)とコード(コンパイラや単体テスト、またはLeetCodeのような統合プラットフォームで正しさを検証できる)です。
画像: RLVRトレーニング中の精度とフォーマット報酬の例。
注目すべきは、推論トレース自体はトレーニングやモデルの更新には使用されなかったことです。この中間応答情報をトレーニングに使用しようとしましたが、DeepSeek-R1の論文ではモデルトレーニングに役立たなかったと報告されており、最終的には使用されませんでした。(プロセス報酬モデルを介して中間推論トレースをトレーニング信号に組み込むかどうか、またどのように組み込むかは、活発な研究分野です。)
画像: RLVR中、中間推論トレースは無視され、最終的な回答と応答フォーマットのみが報酬を決定します。
2.2 「アハ」モーメント
とにかく、出力報酬のみでトレーニングすることは、図7に示すように、モデルが問題を推論する方法を学習するのに十分であることが判明しました。つまり、中間的な説明を書き、後退し、自己修正することを学習するということです。モデルが間違いに気づき、自己修正するこれらの瞬間は「アハ」モーメントと呼ばれます。
画像: 推論モデルが中間推論のエラーに気づき、最終的な回答を生成する前に修正する「アハ」モーメントの例。
ちなみに、DeepSeek R1は間違いなくより人気のある論文であり、検証可能な報酬を用いた強化学習と推論モデルの開発に関する興奮を生み出しましたが、arXivに全く同じ日に公開された別の論文、Kimi K1.5もあります。また、RLVRという用語は、Tülu 3: Pushing Frontiers in Open Language Model Post-Trainingで2ヶ月前にすでに造語されていました。
DeepSeek R1が最終的に最も人気のある論文である理由の一つは、純粋な強化学習(RL)で推論動作を実現できることを実証したことです。
画像: DeepSeek-R1-Zeroは、教師ありファインチューニングなしで、事前トレーニング済みベースモデルに直接RLVRを適用します。
例えば、Tülu 3とKimi K1.5は、教師ありファインチューニング(SFT)モデルの上に強化学習を適用しました。DeepSeek-R1モデルもDeepSeek-V3ベースモデルのSFTチェックポイントからトレーニングされており、純粋なRLVRでトレーニングされたDeepSeek-R1-Zeroバリアントが含まれていました。R1 ZeroはR1よりも弱いモデルですが、RLVRがモデルに推論トレースを生成して使用することを教えるのに十分であることを示しました。
R1-Zeroは概念実証モデルでしたが、完全なDeepSeek-R1推論モデルのトレーニングパイプラインは通常マルチステージで、上記のように少し複雑であることを注意してください。
[画像: より詳細な推論モデルのトレーニングパイプライン。これは様々なDeepSeek-R1モデルを示しています。詳細については、私の他の記事を参照してください: Understanding Reasoning LLMs](https://substackcdn.com/image/fetch/$s_!_0KN!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F918b28a0-01aa-45b0-91ec-21f2624276d6_1999x1508.png)
ちなみに、今日のLLMのほとんどは実質的に推論モデルであり、DeepSeek-R1と同様の形式で、ある種のRLVRを使用してトレーニングされています。
2.3 推論スケーリングの概要
トレーニングによる推論動作の改善に加えて、モデルパフォーマンスを向上させるもう一つのレバーは、推論コンピューティングのスケーリングです。簡単に言うと、これはトレーニング済みのモデルを使用中に、より良い回答を得るためにより多くのコンピューティングリソースを費やすことを意味します。
これはそれ自体が大きなトピックであり、私のThe State of LLM Reasoning Model Inferenceを読むことで詳細な概要を知ることができます。
画像: The State of Reinforcement Learning for LLM Reasoning
以下に、背景情報として最も重要なことを簡単にまとめようと思います。
第一に、RLVRでモデルをトレーニングすることは、推論モデルは通常、従来のLLMと比較して推論時に多くのトークンを出力するため、すでに暗黙的に一種の推論スケーリングにつながっています。これは、推論中にコンピューティングリソースをより多く費やすことを意味します。
第二に、推論努力レベルを通じてこの出力長をさらに調整できますが、それについては後述します。
第三に、追加の推論スケーリング技術は多数存在します。人気のあるものの一つは自己一貫性(self-consistency)であり、これは多くの場合、モデルに複数回クエリを送信し、最終的な回答を多数決で選択するという形式で実装されます。
これは従来のLLMにも推論モデルにも適用できます。また、この方法はオンデマンドで、推論トレーニングに加えて使用することもできます。その良い例がDeepSeekMath-V2であり、研究者たちは(数学に特化した)推論モデルの上に極端な推論スケーリングを適用して、挑戦的な数学オリンピックタイプの問題で最先端のパフォーマンスを達成しました。
しかし、他の技術の概要については、私の他の記事、The State of LLM Reasoning Model Inferenceを参照してください。
画像: The State of LLM Reasoning Model Inference
3. シンク・トークン
以前の「アハ」モーメントの図で<think></think>トークンを見たことがあるかもしれません。スクロールせずに済むように、対応する図も以下に含めました。
これらの<think>と</think>タグは、推論能力に関しては装飾的なものです。それらはモデルに推論させるわけではなく、良好な推論パフォーマンスを達成するために必須でもありません。これらの区切り文字なしで同じモデルをトレーニングしても、同様のベンチマークパフォーマンスが得られる可能性が高いです。
これらの<think>タグまたはトークンの目的は、主に推論トレースがいつ始まり、いつ終わるかをマークすることです。これにより、トレーニングパイプラインやユーザーインターフェースがそれを最終的な回答から分離し、オプションでユーザーに非表示にすることができます。(ChatGPTやCodexのようなUIは通常これを実行します。)
ここでのポイントは、<think>トークンがモデルに「考える」能力や推論能力、あるいはより良い推論能力を与えているわけではないということです。同様のベンチマークパフォーマンスを達成するために、そのような<think>トークンなしで同じモデルをトレーニングすることも可能です。
また、<think>と</think>というリテラル文字列に特別なものはありません。別の区切り文字のペアでも同じ目的を達成できます。
ちなみに、これは通常、RLVRステージでフォーマット報酬を追加することによって実装されます。つまり、回答の正確性に基づいてモデルを報酬するだけでなく、<think>トークンの使用に対して追加の報酬を提供することで、モデルがそれらを使用するように促します。
例えば、DeepSeek-R1では、全体の報酬は次のように計算されました。
R_total = R_accuracy + R_format
ここで、フォーマット報酬は、モデルが推論を次のように配置することを奨励する単純なルールベースのチェックでした。
<think>
推論トレース
</think>。
4. 推論モードのオン・オフスイッチ
推論モデルの第一世代は、専用の推論モデルでした。つまり、DeepSeek-V3ベースモデルと、別のDeepSeek-R1推論モデルがありました。
プロンプトが何であれ、R1は一般的に、簡単なプロンプトであっても、多くのトークンを使用して非常に冗長な応答を出力します。また、推論モードをオフにする組み込みオプションもありません。
画像: 推論モデルは、最も簡単なプロンプトであっても非常に冗長です。
その後、Qwen3などのモデルはハイブリッドアプローチを実験しました。これにより、同じモデルが通常の指示ファインチューニングモデルまたは要求に応じて推論モデルとして動作できます。
注: 一部のモデル開発者はこれを「シンキングモード」と呼び、他の開発者は「推論モード」と呼びます。どちらの用語も同じ動作を指します。
Qwen3では、これはトークナイザーを介してenable_thinking=Trueまたはenable_thinking=Falseを使用して処理されます。内部的には、enable_thinking=Falseを設定すると、実質的に空の<think></think>セクションがアシスタント応答の先頭に追加され、Qwen3の推論(「シンキング」)モードがオフになります。
モデルが上記のように推論時にこのトグルをサポートするように、トレーニング中にこれはどのように実装されるのでしょうか?
要するに、Qwen3技術レポートで説明されているように、このオン/オフ動作は主に教師ありファインチューニング(SFT)を通じて導入され、その後、最大のフラッグシップモデル全体で一般強化学習によって強化されます。
例えば、初期の推論モデルがロングチェーン・オブ・ソートSFTと推論RLでトレーニングされた後、「シンキングモードフュージョン」ステージが追加されます。この追加のSFTステージ中に、モデルはシンキングとノンシンキングの両方の例を見ます。
/think: <think>{reasoning}</think>{answer}/no_think: <think></think>{answer}
シンキングはデフォルトの動作なので、/thinkは省略することもできます。その後の一般強化学習ステージは、このモードとフォーマットの追従をさらに強化します。
これらの/thinkと/no_thinkフラグは「ソフト」スイッチです。しかし、前述のenable_thinking=False設定は、Falseの場合に空の<think></think>を強制的に追加することで、「ハード」スイッチとして機能します。
画像: 推論モードのオン/オフスイッチを有効にするためのQwen3のトレーニングパイプラインにおける「シンキングモードフュージョン」。
言い換えれば、トークナイザーはクエリに/no_thinkを追加しません。アシスタント応答の先頭にある空の<think></think>セクションを直接埋め込みます。モデルは結果のトークンのみを見て、直接回答に進みます。
いずれにせよ、このオン/オフトグルは、次のセクションで説明するGPT-5.6などの推論努力レベルの単純化されたバージョンにすぎません。
5. 「推論努力」設定はどのように機能するか
このセクションでは、GPT 5のようなモデルに導入され、今日ほぼすべてのフラッグシップモデルに存在する、異なる推論努力トグルの実装方法の概要を説明したいと思います。
具体的には、この記事の冒頭で、ユーザーが複数の推論「努力」設定を選択できるCodex GPT 5.6インターフェースからの図を示しました。
画像: GPT-5.6は、LightからUltraまでの6つの推論努力設定を公開しています。
次のサブセクションでは、これらの設定がどのように実装されているかを説明します。その後、次のセクションで、このトピックに関連するより興味深い研究論文をいくつか取り上げます。
5.1 推論努力と応答の長さおよび品質
残念ながら、OpenAIは設定の実装詳細を共有していませんが、教育的な推測に使用できる証拠がいくつかあります。
例えば、昨年のオープンソースgpt-ossモデル(From GPT-2 to gpt-oss: Analyzing the Architectural Advancesで書きました)を通じて、OpenAIがシステムプロンプト(「Reasoning effort: low/medium/high」)を通じて推論努力設定を切り替えられることがわかっています。これは各プロンプトの前に挿入されます。
画像: gpt-ossチャットテンプレートは、選択された推論努力をモデルに送信する前にシステムメッセージに挿入します。
予想通り、推論努力は応答の長さと精度に直接影響します。以下に示します。
画像: 異なる推論努力下でのgpt-ossモデルの応答の長さと品質。(モデルカードからの注釈付き図)](https://substackcdn.com/image/fetch/$s_!6a5F!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F955e50d8-530d-46ad-b61a-eee878028992_1999x818.png)
おそらく、GPT 5モデル、最近のGPT 5.6モデルも含めて、同様のアプローチを使用していると考えられます。
ちなみに、上記の図で異なる努力設定が応答の長さをどのようにスケーリングしているかに注目してください。努力レベルはトークン使用量と直接相関しているように見え、それが精度と相関しているように見えます。しかし、「high」を超える努力設定を考案できるかもしれませんが、パフォーマンスはある時点で飽和すると予想されます。この飽和は、GPT 5.6 Solモデルでより明確に見られ、推論予算を増やすことが経済的でなくなる場合があることも示しています。
推論努力、トークン使用量、ベンチマークパフォーマンスの関係を示すもう一つの良い、非常に最近のデータポイントは、今週発表されたThinking Machine Labsによる新しいオープンウェイトInklingリリースです。
[画像: Inklingの努力レベルを上げると、一般的に生成トークンとベンチマークパフォーマンスが増加し、高努力では増加が鈍化または不均一になります。図はInkling発表ブログより。](https://substackcdn.com/image/fetch/$s_!pRuP!,f_auto,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F3dfb81aa-5ae7-4038-b8e5-f0b7a950f15e_1999x1032.png)
このセクションで議論したように、推論中、推論努力レベルは単にシステムプロンプトを介して制御できます。(ChatGPT UIはおそらくメニュー選択をシステムプロンプトにマッピングしているだけです。)しかし、これは任意のモデルでは機能せず、トレーニングパイプラインに特定の変更が必要であり、これは次のセクションで説明します。
5.2 可能な努力レベルの実装
トレーニングの詳細は、GPT 5.6もgpt-ossモデルも公開されていませんが、通常、推論努力ラベルはポストトレーニング中にプロンプトに含まれます。
これには通常2つの方法があります。
第一に、RLVRプロセスの部分として実装し、異なるシステムプロンプトが使用されるときに異なる長さペナルティを適用できます。例えば、「Reasoning effort: low」の場合は高い長さペナルティを、「Reasoning effort: high」の場合は穏やかなペナルティまたはペナルティなしを適用します。
第二に、RLVR後に教師ありファインチューニング(SFT)を通じて異なる努力指示に従うようにモデルをファインチューニングできます。
例えば、コアRLVRステージの後、SFT中に、トレーニングデータセットのプロンプトは、望ましい量の推論を示すターゲット応答とペアになります。(ターゲットは人間によって書かれたり、別のモデルによって生成されたり、生成後にフィルタリングされたりする場合があります。)
画像: 努力条件付きRLVRとSFTの例。(これは可能な実装であり、OpenAIのトレーニングパイプラインの確認された説明ではありません。)
このSFTステージ中に、モデルはトレーニング例から努力ラベルとターゲット推論長の関連を直接学習します。RLベースの実装では、代わりにRLVRステージ内に努力ラベルと予算を意識した報酬を配置します。両方のアプローチは組み合わせることも可能であり、gpt-ossとGPT 5.6の両方でそうされたと推測しています(GPT 5.6の努力設定は、特定のユーザークエリに対してシステムプロンプトを変更するだけであることに注意してください)。
5.3 Inklingケーススタディ
リリースされたばかりのInkling技術レポートは、努力レベルのトレーニングの小さくもやや具体的な例を提供しています。
画像: Inklingは0.2から0.99の間の連続した努力値をスイープします。努力が高いほど、一般的に応答が長く、ベンチマークスコアが高くなります。
大規模RL中に、彼らは各サンプルに対して2つのことを行いました。
- システムメッセージで望ましい努力レベルを指定しました。
- 生成された各トークンに割り当てられるコストを調整しました。
概念的には、報酬は次のようになります。
(R(e) = R halfa - \lambda(e)N halfa_{\text{tokens}} )
ここで、eは要求された努力レベルであり、λ(e)はトークンペナルティを制御します。
- 低努力は、より高いトークンあたりのコストを使用し、短い推論トレースを奨励します。
- 高努力は、より低いトークンあたりのコストを使用し、モデルがより多くのトークンを費やすことを可能にします。
次に、推論時に、Inklingは「Thinking effort level: 0.8」のようなシステムメッセージを受け取り、それに応じてトークン使用量を調整します。Inklingとgpt-ossやGPT-5.6のようなモデルとの違いは、努力ラベルがlow、medium、highのような順序ラベルではなく、0から1の間の連続した数値であることです。
これにより、Inklingの努力レベル条件付けは、後者のSFTステージだけでなく、主に推論RLステージに配置されます。
彼らは正確な報酬式、トークンコスト係数、または努力条件付けがSFTにも含まれていたかどうかを開示していません。
5.4 推論スケーリング対トレーニングスケーリングに関する短い注記
推論努力に関する論文に進む前に、このセクションを以前の「2.3 推論スケーリングの概要」セクションに簡単に結びつけたいと思います。
以前は、スケーリングをトレーニングコンピューティングスケーリングと推論時間スケーリングに分けました。GPT-5.6インターフェースは、以下に示すように、その違いを説明するのに便利な方法を提供します。
左側では、Luna、Terra、またはSolを選択するとモデル自体が変更されます。大まかなアナロジーとして、これはトレーニングコンピューティングスケーリングに対応します。これらは個別にトレーニングされたモデルです。固定のトレーニングレシピとデータセットサイズでは、より大きなモデルはより多くのトレーニングコンピューティングを必要とします。また、一般的に生成トークンあたりのコンピューティングリソースも多く必要とします。
右側では、モデルを固定したまま、推論努力のみを変更します。これは推論時間スケーリングです。モデルの重みは同じですが、モデルは回答に取り組むために少ないまたは多くのトークンを費やすことができます。
1つの小さな用語上の注意点として、メニューから別のモデルを選択することは、その時点でのトレーニングスケーリングではありません。トレーニングはすでに完了しています。モデルメニューは、異なるトレーニングスケールで生成されたモデルの中から選択すると考えるのがより良いでしょう。
以下のArtificial Analysisの結果は、これら2つの軸が実際にはどのように相互作用するかを示しています。
各青い曲線は、Luna、Terra、またはSolのいずれかのモデルに対応します。モデルごとに曲線上を移動して推論努力を増やすことは、推論スケーリングです。あるモデルの曲線から別の曲線に移動することは、モデルスケーリングに対応します。ここではモデルスケーリングをトレーニングスケーリングの実際的な代理として使用しています。
予想通り、どちらのアプローチもベンチマークスコアを向上させることができますが、コストも増加します。さらに興味深いのは、曲線が重なっていることです。例えば、低努力の大規模モデルは、高努力の小規模モデルと同等のスコアに達することがあります。
ちなみに、この図のx軸は生のコンピューティングではなくAPIコストを示しています。APIコストは有用な実用的な尺度ですが、プロバイダーの価格設定や生成されたトークン数にも依存します。また、これらの曲線の正確な形状はベンチマーク固有です。
したがって、モデルサイズと推論努力は2つの独立したノブです。より大きなモデルを使用したり、推論努力を増やしたり、あるいは両方を組み合わせたりできます。どの組み合わせが最適かは、望ましい精度、コスト、レイテンシによって異なります。
これまでのところ、この記事は推論努力モードがどのように機能し、どのように実装されているかについて、かなり確かな理解を提供しているはずです。時間がなければ、ここで記事を締めくくるのは良いポイントです。そうでなければ、最近のオープンウェイトモデルのより詳細な部分に興味がある場合は、読み進めてください!
6. ボーナス: 推論努力の実装方法(フラッグシップオープンウェイトLLMにおける)
[このセクションは、追加の詳細に興味がない場合はスキップしても構いません]
セクション5では、努力条件付き教師ありファインチューニングと異なるトークンコストを用いた強化学習という、推論努力制御をトレーニングするための2つの可能な方法を説明しました。当初は、推論予算を実装するための代替方法に関する研究論文を取り上げるつもりでした。しかし、これらの記事のほとんどを読んだ結果、それらは実用的にうまく機能するかどうかはわからない概念実証のように思えました。
そのため、それらを取り上げる代わりに、最先端および注目すべきオープンウェイト(フラッグシップ)LLMで使用されているレシピを取り上げることにしました。これらのモデルについては、方法が実際に機能することを示す証拠が少なくともあります。
これにより、6つの例が残ります。DeepSeek V4、Nemotron 3 Ultra、Kimi K2.5、GLM-5、Qwen3、そしてInklingです。それらは報告のレベルに違いがありますが、それぞれが有用なバリエーションに貢献しています。(ユーザーインターフェースで努力設定を示しているだけで、その動作がどのようにトレーニングされたかを説明していないモデルは除外します。)
6.1 DeepSeek V4は個別の努力スペシャリストをトレーニングする
DeepSeek V4技術レポートから始めましょう。これは3つのモードの使用を説明しています。
- Non-think: 推論トレースなしで直接応答を生成します。
- Think High: モデルが推論トレースを
<think>と</think>タグの間に配置する古典的なアプローチです。これは、記事冒頭のDeepSeek R1セクション(セクション2)で議論したことに似ています。 - Think Max: 上記と同様ですが、特別なシステム指示が追加されます。(それについては後述します。)
Think Maxの追加のシステムプロンプト指示は、「Reasoning Effort: Absolute maximum with no shortcuts permitted.」(推論努力:ショートカットを一切許可しない絶対的な最大値。)で始まります。
最初は、これは単純なプロンプトエンジニアリングのトリックのように聞こえますが、このプロンプトは実際には異なるトレーニングセットアップによって裏付けられています。つまり、各モードは独自のコンテキストウィンドウと長さペナルティを使用します(残念ながら、正確な長さペナルティの実装はこのレポートでは詳細に説明されていません)。Think MaxはThink Highよりも長いコンテキストウィンドウとより小さい長さペナルティを受け取り、これにより推論を続けるためのより多くの余地が与えられます。
したがって、システム指示は、ポストトレーニング中に作成された動作を選択します。同じ指示を任意のモデルに追加しても、同じ効果はありません。
残念ながら、公開されている、そうでなければ非常に詳細なDeepSeek V4レポートは、推論モードとドメインスペシャリストの説明を、正確な教師割り当てを再構築するのに十分な詳細で結びつけていません。
しかし、レポートは、異なる推論努力レベルをサポートする最終モデルが、これらの教師からのオンポリシー蒸留を通じて作成されたと述べています。
要約すると、DeepSeek V4はポストトレーニング中に3つの推論スペシャリストを開発します。ベースモデルから開始し、教師ありファインチューニングを適用し、その後GRPOによるRLVRを適用します。RL構成はモードごとに異なります。特に、各スペシャリストは独自のコンテキストウィンドウと長さペナルティを使用し、Think Maxはさらに特別なシステム指示を受け取ります。
その後、ドメインスペシャリストを含め、異なる推論モードスペシャリストは、3つの努力モードすべてをサポートする単一のチェックポイントに蒸留されます。
6.2 Nemotron 3 Ultraは学習済みモードとハードバジェットを組み合わせる
Nemotron 3 Ultra技術レポートは、DeepSeek V4(前のセクション)に類似した、推論オフ、レギュラー、ミディアムエフォートの3つの設定を説明しています。ミディアムエフォートは、レギュラーと比較して安価な推論モードです。NVIDIAは、GPT-OSS-120Bのミディアムエフォートモードで生成された例を使用してSFT中にこのモードを導入し、その後RLVR中にさらに最適化します。RLVRプロンプトの約2.5%がミディアムエフォートを使用します(これは、報酬への長さベースの調整に対応します)。
6.2.1 Nemotronでの推論バジェットの推論時の使用
推論時には、3つのモードすべてがチャットテンプレートを通じて選択されます。
画像: チャットテンプレートを介したNemotron 3 Ultraの推論設定(公式モデルカードからの例)
- レギュラーはデフォルトであり、
enable_thinking=Trueを使用します。これは、アシスタント応答を<think>タグで開始します。 - ミディアムエフォートは
enable_thinking=Trueとmedium_effort=Trueを組み合わせて使用します。後者の設定は、最新のユーザーメッセージに{reasoning effort: efficient}を追加します。
ちなみに、さらに複雑にするために、レギュラーモードとミディアムエフォートモードは、個別の推論時間推論バジェットと組み合わせることもできます。このバジェットは、停止メカニズムとして機能します。リリースされた実装では、チャットクライアントはモデルに選択されたトークン制限近くで推論トレースを終了するように求めます。モデルが</think>を発行していない場合、クライアントは推論ブロックを閉じ、最終的な回答を生成するために生成を続行します。学習済みの努力モードは、推論トークンをどのように使用するかを決定し、バジェットは推論トレースがどれだけ長く続くかを制限します。これにより、望ましいコストと精度に応じて、どちらのモードもよりタイトまたはよりルーズなバジェットとペアにすることが可能になります。
3) 推論オフはenable_thinking=Falseを使用します。これは空の<think></think>ブロックを事前設定します(セクション4で議論したQwen3と同様)。これにより、モデルは直接最終応答に進みます。したがって、これらはシステムプロンプトではなく、チャットテンプレート制御です。
6.2.2 Nemotronにおける推論バジェットを意識したトレーニング
上記の説明の推論制御は、2つの関連するSFTコンポーネントによってサポートされています。第一は、前述のようにGPT-OSS-120Bトレースを使用したミディアムエフォート動作を導入します。第二は、モデルをハード推論バジェットのために準備します。
このトレーニングデータセットを構築するために、著者は通常の推論トレースを取得し、ランダムに選択されたトークンバジェットでそれらを切り取り、元の最終回答を保持します。挿入された</think>トークンはSFT損失からマスクされます。結果として、モデルは、推論ブロックが外部で閉じられた後に、不完全な推論トレースから回答に移動する必要がある例を見ます。
ミディアムエフォートトレーニングは、RLVR中にさらに続行されます。プロンプトの約2.5%が、数学、STEM、コーディングタスク全体でミディアムエフォート設定を使用します。レポートは、モードが報酬ハイパーパラメータを通じて調整可能であり、長さベースの報酬調整がコストと品質のトレードオフをさらに制御することに言及しています。
画像: Nemotron 3 Ultraは、教師生成SFTデータ、ランダムバジェット切り取り、およびRLVR中の小さなミディアムエフォートサブセットでミディアムエフォートを導入します。
6.3 Kimi K2.5はバジェット付きと制約なしのRLを交互に行う
Kimi K2.5技術レポートは、低推論努力のためのToken Efficient RLと呼ばれるトレーニング方法について議論しています。(今週K3の発表がありましたが、K3の推論努力方法論は公開されていませんが、K2.5と類似または関連している可能性があります。)
6.3.1 Kimiのトグルメソッド
レポートは、固定トークンバジェットが推論モデルを短いソリューションに過学習させる可能性があると述べています。つまり、モデルはより簡潔(つまり、高速で安価)になりますが、追加の推論時間コンピューティングから利益を得る能力を失い、パフォーマンスが悪化する可能性があります。
画像: 提案されたトグルメソッドにより、Kimi K2.5は全体的なベンチマークパフォーマンスを維持しながら、トークン効率が大幅に向上します。
Kimi K2.5のToggleと呼ばれるメソッドは、固定数のトレーニングイテレーションごとに2つのRLフェーズを交互に行います。
- バジェットフェーズでは、正しいソリューションが問題固有のトークンバジェット内に収まるように奨励されます。
- 制約なしフェーズでは、通常の最大生成長が復元され、モデルがより長いソリューションから学習できるようになります。
各問題について、バジェットはRLVRにおける正しいロールアウトの応答長の選択されたパーセンタイルから推定されます。バジェット制約は、問題に対する平均精度がしきい値を超えた場合にのみアクティブになります。これにより、モデルが問題を確実に解決する前に短縮することを強制するのを避けます。
レポートは、ToggleをK2 Thinkingで評価し、ベンチマークパフォーマンスにほとんど変化がないまま、生成トークンを約25〜30%削減することを発見しました。同じ動作は、数学とコーディングRLタスクからGPQAとMMLU-Proにも転送されます。
Toggleは、テスト時にスケーリングする能力を維持しながら、よりトークン効率の良い推論ポリシーをトレーニングするための具体的なフラッグシップモデルレシピを提供します。
6.3.2 Toggleが推論時に変更すること
Toggleは完全にRLトレーニング中に動作します。交互のフェーズはすべて同じポリシー(つまりLLM)を更新し、最終的な(統一された)チェックポイントにはバジェット付き対制約なしセレクターがありません。推論時には、結果のモデルはデフォルトでシンキングモードで実行されます。
興味深いことに、Kimi K2.5自体は、私がチェックした一部のAPI(vLLMやSGLangなど)で、シンキングとインスタントモードの間の個別のバイナリ選択肢を公開しています。シンキングモードはデフォルトで有効になっています。インスタントモードは、公式APIの{”type”: “disabled”}またはvLLMやSGLangを介してモデルをサービングする際のchat_template_kwargs={”thinking”: False}を通じて、推論トレースを無効にします。しかし、これらの設定はToggleとは別です。
また、公式のKimiレポートは、インスタントモードの個別のトレーニングレシピを提供していません。しかし、K2.5のSFTデータは、長い推論を伴わない直接応答を生成する以前のK2モデルと、拡張された推論トレースを生成するK2 Thinkingの両方を使用して生成されました。これは、Nemotron 3で行われたことと同様に、統一されたチェックポイントを両方の応答形式に公開する可能性があります。推論時には、チャットテンプレートは、シンキングモードの場合は開いた<think>タグ、インスタントモードの場合は空の<think></think>ブロックを事前設定することで、それらの間で選択します。しかし、残念ながら、レポートは正確なデータ混合や追加のモード固有のRLが使用されたかどうかを開示していません。
新しいKimi K3は、より直接的な推論時間努力インターフェースを提供します。現在のKimi Codeドキュメントには、low、high、maxの3つの設定がリストされており、maxがデフォルトです。これらはreasoning_effortパラメータを通じて渡されます。しかし、Moonshotは、3つの努力レベルがトレーニング中にどのように作成されたかをまだ説明していません。そのローンチ投稿では、これらの詳細は将来のK3技術レポートに掲載されると述べているため、それに注目していきます。
6.3.3 Kimi K3 (更新)
この記事を公開した後にリリースされた新しいKimi K3技術レポートに基づくと、Kimi K3にはlow、high、maxエフォートの3つの推論モードがあります。
各トレーニング問題について、研究者はまず初期トークンバジェットを推定します。単純な検証可能なタスクでは、正しい応答は通常+1の報酬を、不正解は0の報酬を受け取ります。しかしここでは、応答が選択されたトークンバジェットを超えると、その報酬は代わりに-1に設定されます。これにより、モデルはバジェット内に収まるように強いインセンティブを得ます。(正確な報酬設定は、検証不可能なタスクとエージェントタスクでは異なり、Kimiは学習済み報酬モデルとペアワイズ比較も使用します。)
Kimi K3が3つの推論努力モードをサポートするようにするために、トレーニングは次のように行われました。まず、研究者は比較的寛大なバジェットを持つmaxエフォートバージョン(「スペシャリスト」)をトレーニングすることから始めます。次に、バジェットを下げてhighおよびlowエフォートバージョンをトレーニングします。
このプロセスは、一般タスク、一般エージェント、コーディングエージェントの3つのドメインで繰り返されます。そして、各ドメインには各努力レベルごとに1つのスペシャリストがいます。例えば、1つのスペシャリストはlowエフォートのコーディング動作を学習し、別のスペシャリストはmaxエフォートのエージェント動作を学習します。これにより、合計9つのスペシャリストモデルが生まれます。
これら9つのスペシャリストモデルの動作は、マルチティーチャーオンポリシー蒸留を使用して単一のKimi K3モデルに結合されます。推論時には、プロンプト内の自然言語のthinking-effort指示を使用して、モデルにどの努力レベルを使用するかを指示できます。
6.4 GLM-5はSFTを通じてターンレベルとインターリーブドシンキングを導入
GLM-5技術レポートは、GLM-4.5で導入されたバイナリのオン/オフシンキングスイッチをマルチターンおよびツール使用シナリオに拡張しています。これは、3つの関連する動作(3つの努力レベルではなく)を説明しています。
- インターリーブドシンキング: 各応答とツール呼び出しの前に推論ブロックを挿入します。
- 保存されたシンキング: ここでは、チャットは以前の推論ブロックをターン間で保持するため、モデルは後でそれらを再利用できます。
- ターンレベルシンキング: これは、会話内の各要求に対して個別に推論を有効または無効にします。
推論時には、ターンレベルシンキングが実際のオン/オフスイッチです。Z.ai APIでは、シンキングはデフォルトで有効になっており、thinking: {”type”: “disabled”}を使用して個々の要求に対して無効にできます。ホストされている実装は開示されていませんが、オープンGLM-5チャットテンプレートは、Transformers、vLLM、またはSGLangで自己ホストする場合の同等のメカニズムを示しています。
シンキングが有効な場合は<|assistant|><think>、無効な場合は<|assistant|></think>でアシスタント応答を開始します。後者は推論ブロックをすぐに閉じ、生成は直接最終応答に進みます。
レポートによると、これらの動作はマルチタスクSFT中に、更新されたチャットテンプレートとともに導入されます。
SFTの後、GLM-5は推論RL、エージェントRL、一般RLを経由します。そして最終的なオンポリシー蒸留ステップは、前のステージからのチェックポイントを教師として使用します。これにより、最終モデルは、連続したRLステージ中に弱まった可能性のある機能を回復するのに役立ちます。
6.5 Qwen3はモードフュージョンと推論時間切り取りを使用
Qwen3はセクション4で既にカバーされているため、関連する部分のみを要約します。Qwen3技術レポートによると、そのポストトレーニングパイプラインには4つのステージがあります。これらは、ロングチェーン・オブ・ソートSFT、推論RL、シンキングモードフュージョン、そして一般RLです。
シンキングモードフュージョンは、努力のオン/オフスイッチの重要なステージです。ここでモデルは、シンキングとノンシンキングの例の混合でSFTを通じてトレーニングされます。/think例には推論トレースが含まれ、/no_think例は短い回答を伴う空の<think></think>ブロックで始まります。その後の一般RLステージは、両方の動作の指示とフォーマットの追従を強化します。
Qwen3はハードシンキングバジェットもサポートしています。要求されたしきい値で、推論スパンは停止され、モデルが最終回答に進む前にstop-thinking指示が挿入されます。レポートによると、この部分的な推論動作は明示的にトレーニングされていませんでした。シンキングモードフュージョン後に現れたものです。
これにより、Qwen3は学習済みのオン/オフスイッチと推論時間バジェットを備えています。これはDeepSeek V4とNemotronのレシピに似ていますが、よりシンプルです。
6.6 Inklingは連続的な努力値にRLを条件付ける
Inklingは既にセクション5.3で議論しました。要約すると、その技術レポートは、固定努力ラベルではなく、連続的な努力条件付け(0.0から1.0の値)を使用していると述べています。
比較的少量の初期SFTステージの後、Inklingのポストトレーニングの大部分は、3000万以上のロールアウトを持つ非同期RLから来ています。望ましい努力はシステムメッセージに含まれ、RL中にトークン長ペナルティはその値に応じて調整されます。前述のように、より高いトークンコストは短い応答を奨励します。より低いトークンコストは、モデルに推論するためのより多くの余地を与えます。
6.7 知られているレシピの概要
以下の表は、6つの技術レポートに実際に文書化されている内容をまとめたものです。
画像: 推論努力設定を持つ6つのオープンウェイトモデルの開示されたトレーニングメカニズムと推論制御の比較。
したがって、6つの異なるオープンウェイトモデルを見ると、それらは共通のフレームワークを持っています。まず、SFTとチャットテンプレートを通じて努力モード制御を導入します。Qwen3は明示的にシンキングとノンシンキングの例を混合し、GLM-5はインターリーブド、保存、ターンレベルのシンキングパターンを追加します。
2番目の共通コンポーネントは、コンテキストウィンドウと長さペナルティが要求された努力に応じて変化する、モード条件付きRLステージです。DeepSeek V4、Nemotron 3 Ultra、Inklingはこのアプローチを使用しています。
3番目の要素は、明示的なバジェット下での堅牢性を向上させます。Nemotronはランダムに切り取られたトレースでトレーニングし、Qwen3は強制的に停止された推論スパンから続行でき、Kimiはバジェット付きと制約なしのRLを交互に行います。これらの方法は、利用可能な推論長が変化し、短縮される場合でも、回答の品質を維持するのに役立ちます。
7. 結論
この記事のオープンウェイトの例は、いくつかの異なるメカニズムを通じて推論努力を実装しています。類似のラベルは、個別のスペシャリスト、混合SFTデータ、モード条件付き報酬、ハードトークンバジェット、またはこれらの方法の組み合わせによってサポートされる場合があります。
どの方法が最適かを言うのは困難です。モデルは、ベースチェックポイント、トレーニングデータ、ポストトレーニングコンピューティング、ベンチマーク、およびサービング目標が異なります。それらのレポートは、制御された比較に必要な多くの詳細も省略しています。(また、万能な方法はない可能性があり、インタラクティブなアシスタントに適した方法は、長時間のコーディングエージェントには不向きかもしれません。)
聖杯はもちろん自動努力選択です。これはしばらく前にGPT 5のAutoモードで見られました。解決するのが難しい問題であり、結局、実装はおそらくミスの方がヒットよりも多かったため、UIから削除されました(少なくとも、もう見つけることができません)。
近い将来、推論努力は引き続き明示的なモデル入力になると考えられます。これは、システムプロンプトを通じて提供されることが最も多いでしょう。しかし、LLMの周りのエージェントラッパー/ハーネス、または内部ルーターは、タスクの状態と利用可能なリソースから適切なモードとバジェットを自動的に推測することが増えるでしょう(もちろん、ユーザーのオーバーライドも引き続き許可します)。
努力選択がより自動化されることをまだ期待しています。GPT 5の自動モードと同様に、安価なモデルまたはルーターが、リクエスト、ツール状態、および残りの時間またはトークンバジェットからモードを選択できますが、ユーザーのオーバーライドも引き続き許可します。オーバーライドは、レイテンシまたはコスト、あるいは最大パフォーマンスを最適化したい場合に役立ちます。
これは長い記事であり、おそらく最も派手なトピックではなかったことを認識しています。しかし、LLM、推論モデル、エージェントに関する多くの議論を考えると、推論モデルを見ることはこれまでカバーされていなかったものであり、ユニークでいくらか役立つ概要だったことを願っています!
追加リソース
推論モデルの背後にあるコアトレーニング方法の実装を実際に体験したい場合は、私のBuild a Reasoning Model (From Scratch)という本で、検証可能な報酬を用いた強化学習と推論時間スケーリングをコードとともにステップバイステップで解説しています。
この記事は、トレーニング済みの推論モデルがどのように異なる努力モードをサポートできるかに焦点を当てました。この本は一歩戻って、まず従来のLLMを推論モデルに変換する方法を示します。Build a Large Language Model (From Scratch)の続編であり、その本が終わったところから始まります。
印刷版の出荷が開始されました
以前のBuild a Large Language Model (From Scratch)という本を気に入った場合、これは基本的に、スクラッチから推論時間スケーリング技術と強化学習アルゴリズムを実装する続編です。
そして、このような長文記事の執筆をサポートしたい場合は、有料購読者になることを検討してください。これにより、これらの独立した詳細な分析を書き続け、関連するコード、図、実験を共有することができます。
投稿なし