LLMにおける推論努力の制御

LLMにおける推論努力の制御 LLMが低・中・高の推論努力モードを学習する方法 Sebastian Raschka, PhD 2026年7月18日 OpenAIがLLMベースの推論モデルのアイデアを普及させたo1をリリースしてから、ほぼ2年が経過しました。その約4ヶ月後にDeepSeek-R1が登場し、そのような推論モデルをトレーニングするための検証可能な報酬を用いた強化学習（RLVR）のレシピの詳細が公開されました。 先週、OpenAIはGPT-5.6モデルファミリーをリリースしました。これは3つのサイズで提供され、それぞれ約5つまたは6つの推論努力設定を備えています。 図1: GPT 5.6 Solモデルの異なる推論努力設定。（Ultraのベンチマーク数値は現在利用可能ではありませんが、類似の努力レベルを使用し、4つのサブエージェントで作業を加速するため、Maxと比較的類似しているはずです。） つまり、推論モデルは定着しました。それらは現代のモデルリリースにおける標準的な一部となっています。 過去には、推論モデルの方法論（推論LLMの理解）、関連する研究論文（LLM推論のための強化学習の現状、LLM推論モデル推論の現状）、そして推論モデルの開発方法に関する440ページの書籍『Build A Reasoning Model (From Scratch)』についても取り上げました。 図2: 私の新しい書籍『Build A Reasoning Model (From Scratch)』。カラー版です！ これらのリソースは、従来のLLMを推論モデルにすることに焦点を当ててきました。この記事では、記事の冒頭の図に示されているような、複数の努力モードを持つ推論モデルをどのように開発するかを説明することに焦点を当てたいと思います。 ご安心ください、この記事は単独で読むことができます。しかし、前述のリソースは興味深く、役立つかもしれません。 1. 推論モデルの簡単な定義 機械学習やAIの技術やサブフィールドについて話すとき、常に教訓となるのは、技術用語を文字通りに受け取るべきではないということです。例えば、機械学習やAIにおける（人工）ニューラルネットワークは、人間の脳のような生物学的なニューラルネットワークとは文字通りには機能しません。 同様に、「推論モデル」について話すとき、これらのモデルが文字通り人間のように推論することを期待すべきではありません。AIとLLMの研究の文脈では、「推論モデル」とは、中間的な推論トレースを出力するモデルを意味します。これは、質問やタスクを段階的に処理する中間的な応答のようなものです。 例を示すのが最も簡単なでしょう。 図3: 従来のLLMの回答（左）と推論モデルの回答（右）のイラスト。 2. 推論モデルのトレーニングとスケーリングの簡単な概要 （推論）タスクのパフォーマンスを向上させる方法は、基本的に2つあります。トレーニングスケーリングと推論スケーリングです。 図4: トレーニングスケーリングと推論スケーリングは、LLMと推論モデルの問題解決能力を向上させる2つの方法です。プロットは『Learning to reason with LLMs』に基づいています。 まず、トレーニングについて簡単に話しましょう。 2.1 推論モデルのトレーニング 要するに、DeepSeek-R1は、検証可能なデータドメインに対する報酬信号（0=不正解、1=正解）を提供する技術であるRLVR（検証可能な報酬を用いた強化学習）を使用してLLMをトレーニングし、推論モデルにすることを提案しました。ここでいう検証可能なデータドメインとは、数学（SymPyやWolframAlphaのような記号数学チェッカーで結果をチェックできる）とコード（コンパイラや単体テスト、またはLeetCodeのような統合プラットフォームを使用して正しさをチェックできる）です。 図5: RLVRトレーニング中の精度とフォーマット報酬のイラスト。 注目すべきは、推論トレース自体はモデルのトレーニングや更新には使用されなかったことです。中間応答情報（intermediate response information）をトレーニングに使用しようとしましたが、DeepSeek-R1の論文ではモデルトレーニングに役立たないと報告されたため、最終的には使用されませんでした。（プロセス報酬モデル（process reward models）を介して中間推論トレースをトレーニング信号に組み込むかどうか、またどのように組み込むかは、活発な研究分野です。） 図6: RLVR中、中間推論トレースは無視され、最終的な回答と応答フォーマットのみが報酬を決定します。 2.2 「アハ」モーメント とにかく、図7に示すように、出力報酬のみでトレーニングするだけで、モデルは問題を推論する方法を学習することがわかりました。つまり、中間的な説明を書き、後戻りし、自己修正することを学習したのです。モデルが間違いに気づき、自己修正するこれらの瞬間は、「アハ」モーメントと呼ばれます。 図7: アハモーメントの例。推論モデルが中間推論のエラーに気づき、最終的な回答を生成する前に修正しています。 ちなみに、DeepSeek R1は間違いなくより人気のある論文であり、検証可能な報酬を用いた強化学習と推論モデルの開発に関する興奮を生み出した論文ですが、arXivで全く同じ日に公開されたKimi K1.5という別の論文もあります（2025年1月22日）。また、RLVRという用語は、Tülu 3: Pushing Frontiers in Open Language Model Post-Training.​で2ヶ月前にすでに造語されていました。 DeepSeek R1が最終的により人気のある論文である理由の1つは、純粋な強化学習（RL）で推論動作を達成できることを実証したことです。 図8: DeepSeek-R1-Zeroは、教師ありファインチューニングなしで、事前トレーニングされたベースモデルに直接RLVRを適用します。 例えば、Tülu 3とKimi K1.5は、教師ありファインチューニング（SFT）モデルの上に強化学習を適用しました。DeepSeek-R1モデルもDeepSeek-V3ベースモデルのSFTチェックポイントからトレーニングされ、純粋なRLVRでトレーニングされたDeepSeek-R1-Zeroバリアントが含まれていました。R1 ZeroはR1よりも弱いモデルですが、RLVRがモデルに推論トレースを生成して使用するように教えるのに十分であることを示しました。 R1-Zeroは概念実証モデルでしたが、完全なDeepSeek-R1推論モデルのトレーニングパイプラインは通常、複数ステージで、上記で述べたように少し複雑であることを覚えておいてください。 図9: より詳細な推論モデルのトレーニングパイプライン。これは様々なDeepSeek-R1モデルを示しています。詳細については、私の他の記事「推論LLMの理解」を参照してください。 ちなみに、今日のLLMのほとんどは、実質的に推論モデルであり、DeepSeek-R1と同様の形式で、ある種のRLVRを使用してトレーニングされていることを意味します。 2.3 推論スケーリングの概要 トレーニングによる推論動作の改善に加えて、モデルパフォーマンスを向上させるもう一つのレバーは、推論コンピューティングのスケーリングです。要するに、これはトレーニング後にモデルを使用中に、より良い回答を得るためにより多くのコンピューティングリソースを費やすことを意味します。 これはそれ自体がトピックであり、私の記事「LLM推論モデル推論の現状」で詳細な概要を読むことができます。 LLM推論のための強化学習の現状 Sebastian Raschka, PhD・2025年4月19日 全文を読む 以下に、背景情報として最も重要なことを要約しようとします。 第一に、RLVRでモデルをトレーニングすることは、推論モデルは通常、従来のLLMよりも推論中に多くのトークンを出力するため、すでに暗黙的にある種の推論スケーリングにつながっています。これは、推論中にコンピューティングリソースをより多く費やすことを意味します。 第二に、推論努力レベルを調整することで、この出力長をさらに調整できますが、それについては後述します。 第三に、多くの追加の推論スケーリング技術があります。人気のあるものの一つは自己整合性（self-consistency）です。これは、モデルに複数回クエリを送信し、最終的な回答を多数決で選択するという形式で実装されることがよくあります。 図10: 自己整合性の例。人気の推論スケーリング技術です。 これは従来のLLMと推論モデルの両方に適用できます。また、この方法はオンデマンドで、推論トレーニングに加えて使用することもできます。その良い例がDeepSeekMath-V2です。このモデルでは、研究者たちは（数学に特化した）推論モデルの上に極端な推論スケーリングを適用し、挑戦的な数学オリンピックタイプの問題で最先端のパフォーマンスを達成しました。 図11: 2種類の推論スケーリング（自己整合性とセ