LLMを次トークン予測子と見なすのをやめる

LLMを「次のトークン予測器」と考えるのは間違ったメンタルモデル

編集：2026年9月5日。詳細はこちら。

厳密に言えば、「LLMは次のトークン予測器である」という言明は間違っているわけではありませんが、不完全です。それは良いゼロ次の近似であり、現実に基づいています。推論時には、自己回帰型言語モデルはトークンを一つずつ出力します。

while not done:
    tokens.append(model.sample_next_token(tokens))

この推論ループは確かに「次のトークン予測器」と呼べるような形状をしています。そして、トレーニング中に何が起こるかを深く見ると、予測は確かにモデルが学習することです。少なくとも事前学習中はそうです。モデルは繰り返しいくつかの先行トークンを取り、それらに実際に続いたトークンを見て、そのトークンが次にサンプリングされる可能性を高めます。概念的には、トレーニングループは次のようになります。

for tokens in training_data:
    for position in range(1, len(tokens)):
        prior_tokens = tokens[:position]
        actual_next_token = tokens[position]
        model.make_more_likely(
            actual_next_token,
            after=prior_tokens,
        )

make_more_likely は、もちろん、ここで多大な仕事を行っています。内部では損失関数、勾配、パラメータ更新が行われていますが、この記事ではそれらの複合的な効果だけが重要です。つまり、実際に次に現れたトークンがより可能性が高くなるということです。

決定的に重要なのは、すべての actual_next_token が training_data の既存のシーケンスから来ているということです。ベースモデルも次のトークン予測器として 振る舞う と言うのはおそらく公平でしょう。それは、トレーニングデータ中に現れる次のトークンを予測するようにトレーニングされているからです。

しかし、私たちが使用するLLMは単なるベースモデルではありません。それらはポストトレーニングされており、現代のポストトレーニングの重要な部分は、検証可能な報酬による強化学習（RLVR）です。

推論時には、モデルは依然として次のトークン予測器のように見えます。しかし、RLVR中に何が起こるかを見ると、予測すべき正しい次のトークンはありません。代わりに、モデルは新しいシーケンスを生成し、その結果から学習することで探索します。概念的には、RLVRトレーニングループは次のようになります。

for task in training_tasks:
    for explored_tokens in model.explore(task):
        reward = evaluate_outcome(task, explored_tokens)
        for position in range(len(explored_tokens)):
            prior_tokens = task + explored_tokens[:position]
            explored_next_token = explored_tokens[position]
            model.make_more_likely(
                explored_next_token,
                after=prior_tokens,
                according_to=reward,
            )

make_more_likely は両方のループで同じ種類の仕事を行いますが、根本的に異なる理由からです。事前学習中、それは actual_next_token がトレーニングデータに現れたため、それをより可能性が高くなります。RLVR中、それは探索されたシーケンスが報酬を高く獲得したため、 explored_next_token をより可能性が高くします。正しい次のトークンを予測するのではなく、最大化すべき報酬があるだけです。

したがって、ポストトレーニングされたLLMは推論時には次のトークン予測器の 形状 を持ち、トークンを一つずつ出力しますが、RLVR中はデータ中の次のトークンを予測することによってではなく、報酬を最大化することによって学習しなくなります。

チェスのアナロジー

チェスエンジンは、この区別をより明確にします。2つのチェスシステムを想像してください。

最初のシステムは、大規模なグランドマスターのゲームデータベースでトレーニングされます。それは、グランドマスターがさまざまな盤面に対してどのように応答するかというパターンを学習します。新しい盤面が与えられると、グランドマスターが次に最も可能性の高い手を予測します。それは「次の手予測器」です。

2番目のシステムは、すべての可能なゲームを探索した理想化されたチェスエンジンです。その網羅的な探索から、あらゆる可能な盤面からの勝利確率を知っています。盤面が与えられると、勝利確率が最も高くなる手を選択します。最初のシステムとは異なり、グランドマスターがすでにプレイしたゲームだけに基づいてトレーニングされているわけではありません。それは、自身の探索によって生成されたゲームからも学習します。

2番目のシステムを「次の手予測器」と呼ぶのは奇妙でしょう。それはデータセットで次に現れた手を予測しようとしているのではなく、勝つ手を選ぼうとしています。

結び

この記事では、他のポストトレーニング手法については触れませんでしたが、それらも重要です。例えば、人間のフィードバックからの強化学習（RLHF）は、モデルをトレーニングデータ全体を模倣することから、役立つアシスタントをシミュレートすることへとシフトさせます。そして、この記事で見たように、RLVRはさらに進みます。それはLLMがトレーニングデータには見られなかったアイデアを探索し、そこから学習することを可能にします。

だからこそ、「次のトークン予測器」は間違ったメンタルモデルなのです。それはメカニズムの形状、つまり一つずつ出力されるトークンを説明しますが、そのメカニズムが何をエンコードしているかを無視します。役立つアシスタントのシミュレーションも、探索を通じて発見された知識も、まったく同じ次のトークンループにエンコードできます。

---

編集ノート

2026年9月5日。 Hacker Newsコミュニティからの思慮深いフィードバックに感謝します。HNで使用されているタイトルを採用し、推論とトレーニングの区別、特にRLVRがデータ中の次のトークンを予測することに代わって報酬を最大化することをどのように学習するかを明確にするために、小さな編集を行いました。