AI・機械学習

Multi-Token Prediction Done Right

Multi-Token Prediction Done Right (arxiv.org)

3 pointsby matt_d2026年11月4日2 コメント

要約

本論文では、言語モデルの事前学習で一般的なMulti-Token Prediction (MTP) における標準的な訓練手法の欠陥を特定し、その勾配が次トークン予測とマルチトークン学習の両方に干渉する問題点を指摘しています。この問題を解決するため、KLダイバージェンスの勾配を復元する「KL勾配リカバリートリック」を提案し、Soft Multi-Token Prediction (Soft-MTP) を導入しました。Soft-MTPはコードの1行変更で実装可能であり、パラメータ追加やオーバーヘッドなしに、モデルのスケールによらず性能向上をもたらします。

全文翻訳

Computer Science > Machine Learning

arXiv:2610.38331 (cs)

[2026年10月28日投稿]

タイトル: Multi-Token Prediction Done Right

著者:Jayden Teoh

Jayden TeohによるMulti-Token Prediction Done Rightというタイトルの論文PDFを表示します。

PDFを表示 HTML (実験的)

要約: Multi-Token Prediction (MTP) は、下流タスクの性能を向上させ、投機的デコーディングによる推論を高速化するため、言語モデルの事前学習において一般的な要素となっています。本研究では、標準的なMTP訓練における欠陥を特定しました。この欠陥は、MTP勾配の残差成分が、次トークン予測 (NTP) とマルチトークン学習の両方に干渉し、スケールが大きくなるにつれてその影響が増大するというものです。具体的には、MTPのクロスエントロピー勾配は、MTPヘッドをモデル自身のNTP分布に近づけるKL自己蒸留項と、信号対雑音比が低く有用なKL信号を埋もれさせる残差項に正確に分解できます。本研究では、KL勾配リカバリートリックを導入します。これは、2つの分布が線形出力ヘッドを共有する場合、それらのクロスエントロピー勾配をストレートスルー勾配ルーティングで組み合わせることで、それらのKLダイバージェンスの勾配を正確に復元できるというものです。KLを直接最小化するのと異なり、このトリックは語彙サイズのロジット行列を必要とせず、標準的な融合クロスエントロピーカーネルと互換性があります。これにより、Soft Multi-Token Prediction (Soft-MTP) が可能になります。これはMTPへの1行コード変更であり、既存のNTPとMTPのクロスエントロピー計算を再利用することで、ノイズの多い残差を除去し、KL自己蒸留信号のみをバックプロパゲートします。Soft-MTPは、DeepSeekスタイルとMetaスタイルの両方のMTPをサポートし、パラメータを追加せず、測定可能なオーバーヘッドも発生しません。1億6700万から12億パラメータの範囲で、Soft-MTPは標準的なMTPと比較して、すべてのスケールでNTPのパープレキシティが低く、投機的デコーディングが高速で、ゼロショット精度が高く、6億8900万パラメータ以降ではMTPのパープレキシティが低く、ファインチューニング後（12億パラメータ）では数学とコード推論が強力になります。Soft-MTPはまた、ほとんどのメトリクスで直接KLダイバージェンス最小化と同等かそれ以上です。Soft-MTPは、実質的にMTP最適化のためのフリーランチです。コードはこちらのURLで入手できます。


コメント:	プレプリント
件名:	機械学習 (cs.LG)
引用:	arXiv:2610.38331 [cs.LG]
	(またはこのバージョンでは arXiv:2610.38331v1 [cs.LG])
	https://doi.org/10.48550/arXiv.2610.38331 arXiv発行DOI (DataCite経由)