HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Final Token Preference OptimizationによるDoom Loopの削減

Reducing Doom Loops with Final Token Preference Optimization (liquid.ai)

23 pointsby dataminer4 コメント

要約

AIモデルの推論中に発生する「Doom Loop」は、モデルが同じ応答を繰り返し生成し、コンテキストウィンドウを使い果たす失敗モードです。この問題に対し、本研究では「Antidoom」と呼ばれる手法を提案しています。これは、ループを開始する特定のトークンを特定し、その単一の位置で一貫性のある代替案をモデルに優先させることで、Doom Loopの発生率を大幅に低下させ、評価スコアを向上させます。

全文翻訳

Final Token Preference Optimization による Doom Loop の低減

繰り返しによる劣化(Repetitive degeneration)[1] は、推論中に発生する一般的な失敗モードです。モデルは(しばしば「Wait, let me reconsider…」のような)ある区間を出力し、その区間を何度も繰り返し、コンテキストウィンドウが枯渇するまで続きます。この現象を「Doom Loop」と呼びます。特に推論能力が低いモデルは、長い思考トレースや難しい問題[2]において、この挙動を起こしやすくなります。

推論時に一般的に適用される修正策は、repetition_penalty を適用して出力分布の重み付けを変更することです。しかし、これは対症療法であり、パフォーマンスを低下させる可能性があります。強化学習で繰り返しループを標的とすることも可能ですが、通常は慎重に調整された報酬とコストのかかるオンラインロールアウトが必要です。

私たちの手法は、より的を絞ったアプローチを取ります。ループを開始する正確なトークンを特定し、その単一の位置で一貫性のある代替候補をモデルに好むように学習させ、分布の残りはほとんどそのままにしておきます。この手法は Antislop [3] を適応させ、単一の完了トークンを表す選択済み/拒否済みペアで学習し、Final Token Preference Optimization(FTPO)を使用します。私たちはこのアプローチを「Antidoom」と呼んでいます。

LFM2.5-2.6B の初期チェックポイントでは、難しい数学やコーディングのプロンプトに対する完了の 10.2% が繰り返しループを生成しました。Antidoom トレーニング後、その率は 1.4% に低下し、ループの低減による直接的な結果として評価スコアは全体的に向上しました。

Doom Loop の解剖

Doom Loop は、以下の3つのメカニズムが組み合わさることで推論中に発生する可能性があります。

メカニズム 1: 過学習したトークン + 不確実性

語彙の中には、一般的に選択されやすいトークンがあります。実世界でよく知られている例としては、「delve」や「testament」などがあります。これは、モデルのトレーニングセットに合成データが使用され、通常の人間によるライティングでは発生しないような高い分布のこれらの単語が作成された場合に発生する可能性があります。推論モデルでは、高優先度の継続には、しばしば「Wait」や「Alternatively」のようなディスコースマーカーや自己反省トークンが含まれます。これらのトークンは必ずしも悪いわけではなく、有用な戦略変更、検証ステップ、または推論トレースの分岐を示すことができます。しかし、モデルが不確実または行き詰まった場合、それらはモデルを進歩させるのを助けるのではなく、同じ局所的な推論パターンを再開させる魅力的なフォールバック継続となる可能性があります。

LFM2.5-2.6B の初期チェックポイントでは、Doom Loop を開始する最も一般的なトークンは以下の通りでした。

count    share  token
   2277  11.39%  ' the'
    902   4.51%  ' So'
    644   3.22%  'Alternatively'
    511   2.56%  'Wait'
    493   2.46%  ' But'

モデルが不確実な場合、これらの過学習したトークンが次のトークン分布を支配し、これがループが難しい数学やコーディング問題の推論トレース内で最も頻繁に現れる理由であると考えられます。先行研究 [5,6] も同様の劣化の説明をしており、尤度でトレーニングされたモデルは繰り返しや頻繁な単語に確率を過剰に割り当てることがあり、推論モデルは有用な次のステップを特定できずに繰り返しにフォールバックする場合、低温度デコーディング下でループする可能性があります。

メカニズム 2: 事前コンテキストがループを強化する

以前のシーケンスは、それ以降の同じシーケンスをより可能性が高くします。繰り返しのたびに、ループするスパン内の各トークンの確率が 1 に近づきます。

Duan ら [7] は、循環推論の研究でこのループを調査しています。彼らはそれを「V字型」のアテンションパターンに関連付け、意味的な繰り返し(モデルがアイデアに行き詰まること)がテキスト的な繰り返し(出力に同じ単語が現れること)に先行することを発見しました。

メカニズム 3: グリーディサンプリング

推論モデルは通常、トレースが安定して再現可能であるように、低い温度で実行されます。温度 0 では、最も可能性の高いトークンが常に選択され、局所的に強化されたループには出口がありません。理論的には、より高い温度が役立ちますが、メカニズム 2 がループトークンの確率を 1 に近づけると、残りの語彙にほとんど確率が割り当てられなくなるため、より高い温度でもサンプリングがループにスタックする可能性があります(私たちの結果では、temp=0.67 でもかなりのループが示されています)。温度が低いほど、ループは悪化します。

失敗箇所の特定

的を絞ったトレーニングセットを構築するために、ループを誘発するように設計されたプロンプトミックス(LiquidAI/antidoom-mix-v1.0)で低温度で完了を生成し、失敗をマイニングします。

サンプル内でループは、少なくとも 60 文字にわたってセクションが少なくとも 4 回繰り返された場合に検出されます。実際には、これらの制約は偽陽性および偽陰性を回避するのに役立ちます。ループするシーケンスが特定されると、私たちは最初の繰り返しシーケンスの最初のトークンを標的とします。

その位置で、ベースモデルのトップ k 個の対数確率の代替候補を取得し、短いまたは英数字以外のノイズを除外し、最大 20 個の妥当な代替候補を選択済みトークンとして保持します。各トレーニング行は、[プロンプトプレフィックス、1つの拒否済みトークン、1つ以上の選択済みトークン] のタプルで構成されます。その後、トレーニング前に拒否済みおよび選択済み分布を正則化します。少数の原因(Wait、So、the)が支配的になる可能性があり、それらを過度に抑制すると推論が低下します。

Final Token Preference Optimization

Final Token Preference Optimization(FTPO)は、Direct Preference Optimization(DPO)[4] に似た選好最適化アルゴリズムです。トレーニングサンプルは、プロンプト、選択された継続、および拒否された継続 [3] で構成されます。これは、モデルの他の部分への影響を最小限に抑え、わずかなトークンにのみ的を絞った変更を加えるためにゼロから設計されています。

FTPO は DPO と以下の点で異なります。

  1. 最終トークンでのトレーニング: 生成の途中でシーケンスの最後のトークンのみをトレーニングします。
  2. サンプルあたりの複数の選択済み完了トークン: これにより、確率が代替トークンのグループに分散されるため、1つの過学習したトークンを別のトークンに置き換えるだけではありません。
  3. 対数空間で実装された KL ライクな損失コンポーネント: ソフトマックスを省略し、代わりに logits で参照からの発散を計算することで、無関係なトークンへの勾圧力を回避します。
  4. 2 部構成の正則化: トレーニングを意図したロジット(選択済みおよび拒否済みトークン)は、参照に対してより自由に移動できますが、残りの語彙はより厳密に制約されます。これにより、参照に近い状態を保ちながら、学習可能性が向上します。

私たちの Antidoom 実装では、モデルは通常、LoRA を使用して 1 エポックトレーニングされます。高い LoRA ランク(ランク=128-256)が最良の結果をもたらすことがわかりました。これは、劣化が少なく、学習可能性が高いことを意味します。すべての注意機構と MLP プロジェクション、および lm_head でトレーニングし、発見された最適な学習率は約 4e-6 から 2e-5 です。

過学習は容易に発生します。**chosen_win**(選択済みトークンが拒否済みトークンに対して勝利したサンプルの割合)を条件として早期停止をトリガーします。chosen_win=0.35 で停止すると、通常、Doom Loop 率が 20-30% から 1-2% に低下し、劣化は最小限に抑えられました。長くトレーニングするとモデルが劣化し、しばしば新しい Doom Loop 問題が発生する傾向がありました。

私たちの LFM2.5-2.6B の初期チェックポイントでは、トレーニングセットの生成には 8x MI325 GPU で約 1 時間かかり、その後のトレーニングには 1x MI325 GPU で約 1〜2 時間かかります。トレーニングセット生成時間は、モデルの Doom Loop 率によって決まります。これは、20k ペアを収集した後に停止するためです。

結果

Doom Loop 率を測定するために、さまざまな推論中心のプロンプトミックスに対する応答を生成し、劣化した繰り返しを示すサンプルをカウントします。

トレーニング後、初期 LFM2.5-2.6B チェックポイントでの Doom Loop 率は 10.2% から 1.4% に低下しました。ループの低減に完全に起因して、評価スコアは全体的に向上しました。トレーニングセットは、モデルに数学やコードに関する新しい知識を教えるものではありません。それは、モデルがすでに生成できる回答に到達するのを妨げていた失敗モードを除去するものです。

また、推論中に繰り返しループを生成することで知られる Qwen3.5-4B も Antidoom パイプラインでトレーニングしました。その Doom Loop 率は、グリーディサンプリング下で 22.9% から 1% に低下し、評価スコアは著しく増加しました。

LFM2.5-2.6B 初期チェックポイント:

ベースラインチェックポイント(LFM2.5-2.6B-early-ckpt)では、温度が上昇するにつれて評価スコアの変化は Doom Loop 率と反比例します。Antidoom トレーニング後、スコアが大幅に高くなるため、Doom Loop がベンチマークスコアを直接低下させていると推測できます。

Antidoom トレーニング後、二次的な効果が明らかになります。チェックポイントでは、temp=1.0 でパフォーマンスが低下します。これは予想されることです。モデルが好ましくないトークンを選択する可能性が高くなるため、より高い温度サンプリングがパフォーマンスを損なう可能性があることは一般的に理解されています。推論モデルでは、解空間を探索できるため、より高い温度が好ましい可能性があるという一般的な考え方がありました。しかし、この直感は、Doom Loop の支配的な効果と混同されているため、誤っている可能性があります。Doom Loop が排除されると、少なくともテストされたモデルでは、ほぼグリーディなサンプリングでより強力な評価パフォーマンスが見られます。

Qwen3.5-4B:

Qwen-3.5-4B は、Antidoom トレーニング後、さらに大きなパフォーマンスの向上を示します。パターンは LFM2.5-2.6B と同じで、低いサンプリング温度で最大のメリットがあり、ループが要因でなくなった後の temp=1 に近いパフォーマンス低下のパターンが露出します。

実際には、Antidoom を複数回適用することが役立つことがわかりました。最初のラウンドの後、ループを引き起こすトークンが拒否され、その位置での選択肢への確率が再重み付けされるため、Doom Loop 率は低下します。しかし、これは新しい失敗点にさらされる可能性があり、他のトークンが分布の別の場所でループを引き起こすようになります。追加の Antidoom ラウンドを適用することで、これらの新たに現れたループを標的とし、Doom Loop 率をさらに低減します。

結論

Antidoom は、トレーニング後、特に思考モデルで一般的に見られる劣化した繰り返し動作を修復します。ループを開始する問題のあるトークンを、残りの分布への副次的損傷を最小限に抑えながら選択的に標的とします。これまでの結果は、内部 Liquid LFM チェックポイントだけでなく、Qwen3.5-4B でも、繰り返しループがほぼ完全に排除されたことを示しています。

リポジトリの README には、トレーニングパイプラインの使用方法と適切なハイパーパラメータの選択に関するガイダンスが含まれています。

コード(生成、検出、FTPO トレーナー)は github.com/Liquid4All/antidoom で入手できます。

謝辞

Sam Paech が執筆し、Maxime Labonne、Justin Li、Leonie Monigatti、Nathan Ranchin、Tim Seyde、Sergei Tilga が貢献しました。

引用

引用するには、以下の参照または BibTeX を使用してください。

Liquid AI, "Reducing Doom Loops with Final Token Preference Optimization", Liquid AI Blog, July 2026.

参考文献

[1] Ari Holtzman, Jan Buys, Li Du, Maxwell Forbes, and Yejin Choi. (2020). The Curious Case of Neural Text Degeneration. International Conference on Learning Representations. https://openreview.net/forum?id=rygGQyrFvH

[2] Liquid AI, "LFM2.5-1.2B-Thinking: On-Device Reasoning Under 1GB", Liquid AI Blog, Jan 2026.

[3] Samuel J. Paech, Allen G. Roush, Judah Goldfeder, and Ravid Shwartz-Ziv. (2026). Antislop: A Comprehensive Framework for Identifying and Eliminating Repetitive Patterns in Language Models. The Fourteenth International Conference on Learning Representations. https://openreview.net/forum?id=gLcyM1khyp

[4] Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, and Chelsea Finn. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. https://arxiv.org/abs/2305.18290

[5] Sean Welleck, Ilia Kulikov, Stephen Roller, Emily Dinan, Kyunghyun Cho, and Jason Weston. (2020). Neural Text Generation with Unlikelihood Training. International Conference on Learning Representations. https://openreview.net/forum?id=SJeYe0NtvH

[6] Charilaos Pipis, Shivam Garg, Vasilis Kontonis, Vaishnavi Shrivastava, Akshay Krishnamurthy, and Dimitris Papailiopoulos. (2025). Wait, Wait, Wait... Why Do Reasoning Models Loop? https://arxiv.org/abs/2512.12895

[7] Zenghao Duan, Liang Pang, Zihao Wei, Wenbin Duan, Yuxin Tian, Shicheng Xu, Jingcheng Deng, Zhiyi Yin, and Xueqi Cheng. (2026). Circular Reasoning: Understanding Self-Reinforcing Loops in Large Reasoning Models. https://arxiv.org/abs/2601.05693