Final Token Preference OptimizationによるDoom Loopの削減

Doom Loopは、推論中に発生する一般的な失敗モードです。モデルは、例えば「待ってください、再考させてください…」のようなスパンを生成し、コンテキストウィンドウが使い果たされるまで同じスパンを繰り返し、最終的に同じ応答を繰り返します。小規模な推論モデルは、特に長い思考トレースや困難な問題において、この挙動を起こしやすい傾向があります[1]。 推論時に一般的に適用される修正策は、repetition_penaltyを適用して出力分布の重みを再配分することです。しかし、これは一時しのぎの解決策であり、パフォーマンスを低下させる可能性があります。強化学習は反復的なループを標的とすることができますが、通常は慎重に調整された報酬とコストのかかるオンラインロールアウトが必要です。 私たちの手法は、より的を絞ったアプローチを取ります。ループを開始する正確なトークンを特定し、その単一の位置で一貫性のある代替案をモデルに優先させるようにトレーニングし、分布の残りはほとんど変更しません。この手法はAntislop [2]を適応させ、単一の完了トークンを表す選択されたペア/拒否されたペアでトレーニングし、Final Token Preference Optimization (FTPO)を使用します。私たちはこのアプローチを「Antidoom」と呼んでいます。 LFM2.5-2.6Bの初期チェックポイントでは、ハードな数学とコーディングのプロンプトに対する完了の10.2%が反復的なループを生成しました。Antidoomトレーニング後、その率は1.4%に低下し、ループの削減が直接的な結果として評価スコアは全体的に向上しました。 Doom Loopの解剖 Doom Loopは、3つのメカニズムが組み合わさることで推論中に発生する可能性があります: メカニズム1: 過学習されたトークン + 不確実性 語彙の中には、一般的に選択されやすいトークンがあります。実世界でよく知られている例としては、「delve」や「testament」があります。これは、合成データがモデルのトレーニングセットで使用され、人間の文章では通常発生しないよりも高い分布でこれらの単語が生成される場合に発生する可能性があります。推論モデルでは、高優先度の継続には、しばしば「Wait」や「Alternatively」のようなディスコースマーカーや自己反省トークンが含まれます。これらのトークンは必ずしも悪いわけではなく、戦略の有用な変更、検証ステップ、または推論トレースの分岐を示すことができます。しかし、モデルが不確実または行き詰まった場合、それらはモデルを進歩させるのを助けるのではなく、同じ局所的な推論パターンを再開する、魅力的なフォールバックの継続となる可能性があります。 LFM2.5-2.6Bの初期チェックポイントでは、Doom Loopを開始する最も一般的なトークンは次のとおりでした: カウント 共有 トークン 2277 11.39% ' the' 902 4.51% ' So' 644 3.22% 'Alternatively' 511 2.56% 'Wait' 493 2.46% ' But' モデルが不確実な場合、これらの過学習されたトークンが次のトークン分布を支配します。これが、ハードな数学やコーディングの問題の推論トレース内でループが最も頻繁に現れる理由であると思われます。先行研究[4,5]は、同様の退化の説明を提供しています。尤度でトレーニングされたモデルは、繰り返しや頻繁な単語に確率を過剰に割り当てる可能性があり、推論モデルは、有用な次のステップを特定できずに繰り返しに頼る場合、低温度デコーディングの下でループする可能性があります。 メカニズム2: 事前コンテキストがループを強化する 以前のシーケンスは、それらの同じシーケンスを後でより可能性が高くします。繰り返しのたびに、ループするスパン内のすべてのトークンの確率が1に近づきます。 Duanら[6]は、循環推論の研究でこのループを調査しています。彼らはそれを「V字型」の注意パターンに関連付け、意味論的な繰り返し（モデルがアイデアに行き詰まること）がテキスト的な繰り返し（同じ単語が出力に出現すること）に先行することを発見しました。 メカニズム3: グリーディサンプリング 推論モデルは通常、トレースが安定して再現可能になるように、低温度で実行されます。温度0では、最も可能性の高いトークンが常に選択され、局所的に強化されたループには出口がありません。理論的には、より高い温度が役立ちますが、メカニズム2がループトークンの確率を1に近づけた場合、残りの語彙にほとんど確率が割り当てられないため、より高い温度でもサンプリングがループに引っかかる可能性があります（私たちの結果は、temp=0.67でもかなりのループを示しています）。温度が低いほど、ループは悪化します。 失敗の特定 的を絞ったトレーニングセットを構築するために、ループを誘発するように設計されたプロンプトミックス（LiquidAI/antidoom-mix-v1.0）を低温度で生成し、失敗をマイニングします。 ループは、セクションが少なくとも60文字以上にわたって少なくとも4回繰り返される場合にサンプルで検出されます。実際には、これらの制約は偽陽性や偽陰性を避けるのに役立ちます。ループするシーケンスが特定されたら、最初の繰り返し最初のトークンを標的とします。 その位置で、ベースモデルのトップkの対数確率の代替案を取得し、短いまたは英数字以外のノイズを除外し、最大20個の妥当な代替案を選択されたトークンとして保持します。各トレーニング行は、[プロンプトプレフィックス、1つの拒否されたトークン、1つ以上の選択されたトークン]のタプルで構成されます。その後、拒否された分布と選択された分布を正規化してからトレーニングします。少数の原因（Wait、So、the）が支配的になる可能性があり、それらを過度に抑制すると推論が低下します。 Final Token Preference Optimization Final Token Preference Optimization (FTPO)は、Direct Preference Optimization (DPO) [3]に似た選好最適化アルゴリズムです。トレーニングサンプルは、プロンプト、選択された継続、および拒否された継続[2]で構成されます。これは、モデルの他の部分への最小限の干渉で、数個のトークンにのみ的を絞った変更を加えるためにゼロから設計されています。 FTPOはDPOと以下の点で異なります: 最終トークン トレーニング: 生成の途中で、シーケンスの末尾のトークンのみをトレーニングします。 サンプルあたりの複数の選択された完了トークン: これにより、確率が代替トークンのグループに分散されるため、単一の過学習トークンを別のものに置き換えるだけではありません。 ロジット空間でのKLライクな損失コンポーネント: ソフトマックスを省略し、代わりにロジットでの参照からの発散を計算することにより、無関係なトークンへの勾圧力を回避します。 2部構成の正規化: トレーニング対象のロジット（選択されたトークンと拒否されたトークン）は、参照に対してより自由に移動できますが、残りの語彙はより厳密に制約されます。これにより、参照に近い状態を保ちながら、学習可能性が向上します。 Antidoomの実装では、モデルは通常LoRAで1エポックトレーニングされます。高いLoRAランク（ランク=128-256）が最良の結果をもたらすことがわかりました。学習可能性が高く、劣化が少ないです。すべての注意機構とMLP射影、およびlm_headをトレーニングし、発見された最適な学習率は約4e-6から2e-5です。 過学習は容易に発生します。選択されたトークンが拒否されたトークンに対して勝利する割合であるchosen_winに基づいて早期停止をトリガーします。chosen_win=0.35で停止すると、通常、Doom Loop率は20〜30%から1〜2%に低下し、劣化は最小限に抑えられました。長くトレーニングするとモデルが劣化し、しばしば新しいDoom Loopの問題が発生しました。 初期のLFM2.5-2.6Bチェックポイントの場合、トレーニングセットの生成には8x MI325 GPUで約1時間かかり、その後のトレーニングには1x MI325 GPUで約1〜2時間かかります。トレーニングセット生成時間は、モデルのDoom Loop率によって決まります。これは、20,000ペアを収集した後に停止するためです。 結果 Doom Loop率を測定するために、多様な推論中心のプロンプトミックスに対する応答を生成し、退行的な繰り返しを示すサンプルをカウントします。 トレーニング後、初期のLFM2.5-2.6BチェックポイントでのDoom Loop率は10.2%から1.4%に低下しました。評価スコアは全体的に向上し、これはループの削減に完全に起因すると考えられます。トレーニングセットは、モデルに数学やコードに関する新しいことを教えているのではなく、モデルがすでに生成できる回答に到達するのを妨げていた失敗モードを除去しています。 また、推論中に反復的なループを生成することで知られるQwen3.5-4BもAntidoomパイプラインでトレーニングしました。そのDoom Loop率は、グリーディサンプリングの下で22.9%から1%に低下し、評価スコアは著しく増加しました。 LFM2.5-2.6B 初期チェックポイント: ベースラインチェックポイント（LFM2.5-2.6B-early-ckpt）では、温度が上昇するにつれて評価スコアの変化はDoom Loop率と逆相関します。Doom Loopがベンチマークスコアを直接低下させていると推測できます。