LLMを次トークン予測子と見なすのをやめる

LLMを次トークン予測子と見なすのをやめる 厳密に言えば、「LLMは次トークン予測子である」という言明は間違っていませんが、不完全です。それは良いゼロ次近似であり、現実に基づいています。Transformerベースの言語モデルは、トークンを自己回帰的に出力します。 while not done: tokens.append(model.sample_next_token(tokens)) これは確かに「次トークン予測子」と呼べるような形状をしています。事前学習中、モデルは前のトークンを繰り返し取り、実際にそれに続いたトークンを見て、そのトークンが次にサンプリングされる可能性を高めます。概念的には、トレーニングループは次のようになります。 for tokens in training_data: for position in range(1, len(tokens)): prior_tokens = tokens[:position] actual_next_token = tokens[position] model.make_more_likely( actual_next_token, after=prior_tokens, ) make_more_likelyはもちろん、ここで多大な仕事を行っています。内部では損失関数、勾配、パラメータ更新が行われていますが、この記事ではそれらの組み合わせた効果、つまり実際に次に現れたトークンがより可能性が高くなることだけを気にします。重要なのは、すべてのactual_next_tokenがトレーニングデータ内の既存のシーケンスから来ているということです。ベースモデルも次トークン予測子として機能すると言うのはおそらく公平でしょう。それはトレーニングデータに出現する通りに次のトークンを予測するように訓練されています。しかし、私たちが使用するLLMは単なるベースモデルではありません。それらはポストトレーニングされており、現代のポストトレーニングの重要な部分は、検証可能な報酬による強化学習（RLVR）です。事前学習中、モデルはトレーニングデータに既に存在するシーケンスからのみ学習します。RLVR中、モデルは新しいシーケンスを生成し、その結果から学習することで探索します。概念的には、RLVRトレーニングループは次のようになります。 for task in training_tasks: for explored_tokens in model.explore(task): reward = evaluate_outcome(task, explored_tokens) for position in range(len(explored_tokens)): prior_tokens = task + explored_tokens[:position] explored_next_token = explored_tokens[position] model.make_more_likely( explored_next_token, after=prior_tokens, according_to=reward, ) make_more_likelyは両方のループで同じ種類の仕事を行いますが、根本的に異なる理由からです。事前学習中、それはactual_next_tokenがトレーニングデータに出現したため、そのトークンをより可能性が高くなります。RLVR中、それは探索されたシーケンスが高い報酬を獲得したため、explored_next_tokenをより可能性が高くなります。したがって、ポストトレーニングされたLLMは次トークン予測子の形状をしていますが、トークンを一度に一つずつ出力しますが、既存のテキストを予測することによってのみ学習するわけではありません。それはまた、自身の探索によって生成された新しいシーケンスからも学習します。 チェスのアナロジー チェスエンジンは、この区別をより明確にします。2つのチェスシステムを想像してください。最初のシステムは、グランドマスターのゲームの大規模なデータベースで訓練されています。それは、グランドマスターが異なる盤面位置にどのように応答するかというパターンを学習します。新しい盤面位置が与えられると、次に最も可能性の高い手を予測します。それは「次手予測子」です。2番目のシステムは、すべての可能なゲームを探索した理想化されたチェスエンジンです。その網羅的な探索から、すべての可能な盤面位置からの勝利確率を知っています。盤面位置が与えられると、勝利の確率が最も高くなる手を選択します。最初のシステムとは異なり、グランドマスターが既にプレイしたゲームのみで訓練されているわけではありません。それは自身の探索によって生成されたゲームからも学習します。 2番目のシステムを「次手予測子」と呼ぶのは奇妙でしょう。それはデータセットで次に現れた手を予測しようとしているのではありません。それは勝利につながる手を選択しようとしています。 終わりに この記事では、他のポストトレーニング手法については触れませんでしたが、それらも重要です。例えば、人間のフィードバックからの強化学習（RLHF）は、モデルを事前トレーニングデータ全体を模倣することから、役立つアシスタントをシミュレートすることへとシフトさせます。そして、この記事で見たように、RLVRはさらに進みます。それは、LLMがトレーニングデータでは見られなかったアイデアを探索し、そこから学習することを可能にします。だからこそ、「次トークン予測子」は間違ったメンタルモデルなのです。それはメカニズムの形状、つまり一つずつ出力されるトークンを説明しますが、そのメカニズムが何をエンコードしているかは無視します。役立つアシスタントのシミュレーションと、探索を通じて発見された知識は、まったく同じ次トークンループでエンコードされる可能性があります。