HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

分散損失が小規模言語モデルにおける埋め込み凝縮を相殺する

Dispersion loss counteracts embedding condensation in small language models (chenliu-1996.github.io)

28 pointsby E-Reverance7 コメント

要約

小規模言語モデル(SLM)において、分散損失という現象が、より大規模なモデルと比較して顕著に現れることが発見されました。この現象はモデルの初期化時に発生し、事前学習によって軽減されますが、知識蒸留では解決されません。これは、SLMの性能限界を理解する上で重要な示唆を与えます。

全文翻訳

分散損失が小規模言語モデルにおける埋め込み凝縮に対抗し、汎化性能を向上させる

*同等貢献

ICML 2026

[画像: 言語モデルにおける埋め込み凝縮のデモ。]

一行要約

LLMが小規模LMより優れているのはなぜか? データか? パラメータか? 幾何学も関係するかもしれない!

埋め込み凝縮とは?

言語モデルの各Transformer層は、各入力トークンを高次元埋め込み空間内のベクトルとして表現します。これらのベクトルがTransformer層を通過するにつれて、それらはしばしば狭いコーンに閉じ込められているかのように振る舞うことに気づきました。これは、ペアごとのコサイン類似度で測定すると、ますます似た方向を指すようになることを意味します。私たちはこの幾何学的な現象を埋め込み凝縮と呼びます。この現象は以下の特徴を持ちます。

特徴1

大規模モデルと比較して、小規模モデルでより顕著である(図2)。

特徴2

交絡因子を制御した設定下でも再現可能である(図3)。

特徴3

モデル初期化時に現れ、事前学習によって緩和される(図4)。

特徴4

大規模モデルからの知識蒸留では解決されない(図5)。

本論文の5分間入門

本論文は、観察に基づいた言語モデル学習の改善を提示します。

私たちは、小規模言語モデルにおいてトークン埋め込みが狭いコーン状のサブスペースに収束する、私たちが「埋め込み凝縮」と名付けた幾何学的な現象を観察しました。その後、この効果に対抗するために分散損失と呼ばれる学習目的関数を設計しました。

[画像]

図1. 埋め込み凝縮現象の図解。事前学習済み言語モデルでは、同じ入力シーケンスからのすべてのトークンの埋め込みが、多くのTransformer層で処理された後、狭いコーンに凝縮します。この現象は、同じファミリー内の小規模モデルで、大規模モデルよりも著しく顕著であり、セクション3.3の仮説を動機づけています。

特徴1:モデルが大きいほど、凝縮は少ない。

同じモデルファミリー内では、小規模モデルほど埋め込み凝縮が顕著になり、トークン埋め込みはほぼ平行な方向に収束しますが、大規模モデルはこの収束に抵抗します。

[画像]

図2. 埋め込み凝縮現象の定性的および定量的観測。a. コサイン類似度のヒートマップは、小規模モデル(例:GPT2、Qwen3-0.6B)が凝縮の影響を受けやすいことを示しています。これは、埋め込みが深い層に進むにつれてトークン間のコサイン類似度がますます正になるためです。対照的に、大規模モデル(例:GPT2-xl、Qwen3-32B)は埋め込み凝縮に対してより耐性があります。b. スピアマン相関とケンドールのタウを用いた定量化は、複数の言語モデルファミリーにわたって「モデルが大きいほど、凝縮は少ない」という一貫した傾向を示しています。追加の結果は図S1で見ることができます。

この効果は、入力データセットの選択に対しても非常に頑健です。

[画像]

図S2. 埋め込み凝縮効果は、入力テキストデータセットに関係なく一貫しています。結果は4つのデータセット、すなわち(a) wikitext、(b) pubmed_qa、(c) imdb、および(d) squadについて示されています。

特徴2:交絡因子を制御すると再現可能。

モデルサイズの影響を他の交絡因子から分離するために、MLP次元のみを変更し、層数、埋め込み次元、データセット、学習設定を含む他のすべてのコンポーネントを固定したGPT2ライクモデルの事前学習を行う制御実験を実施しました。同じ現象が観察されました。

[画像]

図3. 非常に制御された実験で、「モデルが大きいほど、凝縮は少ない」という観測を再現しました。MLP次元のみが異なる4つのGPT2ライクモデルを事前学習しましたが、層数、埋め込み次元、データセット、学習設定を含む他のすべての要因は固定しました。結果として得られたモデルは、定性的(パネルa)および定量的(パネルb)に示すように、埋め込み凝縮において一貫した傾向を示しました。視覚的な比較を容易にするために、パネルaに水平な破線が追加されています。

特徴3:凝縮は早期に発生する。

埋め込み凝縮現象はモデル初期化時に現れ、事前学習によって徐々に緩和され、悪化することはありません。

[画像]

図4. 埋め込み凝縮は、モデル初期化直後に観察されます。初期化、中間的な事前学習段階、および最終的なベースモデルにわたるOlmo-3-1025-7Bのチェックポイントを分析します。各チェックポイントには、学習段階と学習トークン数が注釈付けされています。

特徴4:蒸留は解決策ではない。

大規模モデルからの知識蒸留は、望ましい埋め込み凝縮への耐性を伝達しません。

[画像]

図5. 知識蒸留は埋め込み凝縮の治療法ではないことを、定性的(パネルa)および定量的(パネルb)に示しています。

分散損失

埋め込み凝縮は、トークン埋め込みベクトルを狭いコーンに収束させることでTransformerの表現力を低下させ、表現空間を過小評価します。埋め込みを学習中に分散させることで、小規模モデルは大規模モデルに似た表現品質を達成でき、パラメータ数を増やさずに性能ギャップを縮めることができると仮説を立てています。

[画像]

図6. 分散損失とその代替定式化が埋め込み分散をどのように促進するかを示す図。a. 分散損失は、単位超球面上ですべてのペアを広げることによって、均一な角度分散を強制します。b. 非相関損失は、異なる特徴次元が非相関のままであることを奨励します。c. ℓ2-repel損失はペアごとのユークリッド距離を増加させますが、ノルム正則化は無制限の拡大を防ぎます。d. 直交化損失は鋭角をなすベクトルを広げ、鈍角のベクトルはそのままにします。

私たちの分散損失は、Diffuse and Disperse論文に着想を得て、実用的な変更を加えています。

表1. 私たちの分散損失とその代替定式化。 Diffuse and Disperseからの主な実装上の違いは、ティールとマゼンタで強調されています。対角項を含めるか除外するかは、勾配に影響を与えないため、見た目上の違いです。分散損失とℓ2-repelについては、数値的安定性のためにlog-sum-expトリックを採用しており、これはlog(mean(exp(·)))とは加算定数のみが異なります。ℓ2-repelについては、埋め込みの無制限の拡大を防ぐためにノルム正則化項を含めています。直交化については、角度距離を使用しているため、距離マージンは1/2に固定されています。ここで1/2は直交に対応するため、理想的なマージンとして機能します。

[画像]

分散損失は、中間学習および事前学習中に埋め込み凝縮効果に対抗します。定性的な結果を以下に示しますが、より定量的な結果は論文で見ることができます。

[画像]

図7. 分散損失は埋め込み凝縮現象に対抗します。a. 凝縮された埋め込み(灰色の破線ボックス)から開始すると、デフォルトの損失での中間学習は限定的な影響しかありません(緑色のボックス)。b. 対照的に、私たちの分散損失を正則化器として使用した中間学習は、埋め込み凝縮を大幅に緩和します(青色のボックス)。

結論

大規模言語モデルは小規模言語モデルよりも優れていますが、それは単にパラメータが多いからではないかもしれません。それは、潜在表現内の情報をどのように整理するかに部分的に起因する可能性があります。私たちは、この興味深い方向性での将来の取り組みを見たいと願っています。

免責事項

この研究を再現したり、一部を借用したりすることを考えている場合、私の意見は以下の通りです。

  • 埋め込み凝縮。 この部分は私たちの手元ではうまく機能しました。多くのモデルファミリーや入力データセット、および制御された設定下で一貫して観察されます。モデルファミリーによっては傾向が強い場合も弱い場合もありますが、主要な観察結果に含めたものは、選択的な実行を必要とするものではありません。すべてのモデルファミリーにこの現象があることを保証することはできませんが、お気に入りのモデルで試すことは間違いなくできます。
  • 分散損失。 この部分はより探索的なものとして扱ってください。得られる効果はわずかです。改善は微妙であるため、正式な統計テストなしではノイズから分離するのが難しいです(そして、私たちが実施したものは非常に初歩的なものであり、私たちは統計学者ではありません)。数学的推論の経験が豊富な友人は、論文採択後に、私たちの「中間学習」レシピはあまり標準的ではないとコメントしました。なぜなら、一般的な慣習は、ドメイン固有の能力を強化することであり、WikiTextでの継続的な学習ではないからです。私たちの事前学習実験も、大規模な実行は高価であるため、限定的です。この方法に興味がある場合は、大規模なトレーニング予算を投入する前に、チームの通常のプレイブックで小規模で試すことをお勧めします。

今後の方向性

個人的には、いくつか意味のあると思われる方向性を強調します。

  • より良い正則化器。 分散損失は非常にシンプルで直接的な解決策であり、利点と欠点の両方がある可能性があります。埋め込み凝縮に対抗するための、より慎重に設計された方法がより役立つかもしれません。
  • 事前学習を超えて。 埋め込み凝縮が、教師ありファインチューニング(SFT)や強化学習(RL)などの後続のトレーニング段階でどのように進化するかを追跡します。凝縮が再出現するか、安定するか、あるいはアライメント目的と異なる相互作用をするかは不明なままです。
  • メカニズムと因果関係。 埋め込み凝縮の根本原因を特定し、凝縮と汎化などの下流の動作との間に、より強力な因果関係を確立します。
  • より良いアーキテクチャ。 凝縮に本質的に抵抗するモデルファミリーまたはモジュールを設計し、損失ベースの正則化を補完または置き換えます。
  • より良い初期化。 モデルを凝縮の少ないレジームで開始する初期化スキームを開発し、幾何学的な崩壊に対抗するための学習目的の負担を軽減する可能性があります。

引用

@inproceedings{liu2026dispersion,
  title={Dispersion loss counteracts embedding condensation and improves generalization in small language models},
  author={Liu, Chen and Sun, Xingzhi and Xiao, Xi and Van Tassel, Alexandre and Xu, Ke and Reimann, Kristof and Liao, Danqi and Gerstein, Mark and Wang, Tianyang and Wang, Xiao and Krishnaswamy, Smita},
  booktitle={International Conference on Machine Learning},
  year={2026},
  organization={PMLR}
}

謝辞

  1. この研究は、当初、論文「A mathematical perspective on Transformers」に着想を得ていました。私たちは、その論文の理論的結果で、Transformer層を無限に積み重ねると、すべてのトークン埋め込みが同じ点にクラスター化するという記述を見て、この動作が経験的に観察できるかどうかに興味を持ち、2025年4月上旬にこのプロジェクトを開始しました。それが、本論文における埋め込み凝縮の主要な観察につながりました。
  2. 分散損失の設計は、主にRunqianとKaimingの論文「Diffuse and Disperse: Image Generation with Representation Regularization」に着想を得ています。彼らの論文は、私たちが埋め込み凝縮の初期観察を完了し、現象を緩和する方法を考えていた直後に出版されました。その論文を読んだとき、私はそれが非常に関連性があり、合理的な解決策として使用できるとすぐに感じました。

ByteDance Seedでのインターンシップ後の新しい洞察

2026年の夏、私はByteDance Seedで大規模言語モデルのRL後処理に取り組むインターンシップを行いました。この仕事を見直すと、改善できる点がいくつか見つかりました。

  • 私たちが「中間学習」と呼んだものは、継続的な事前学習でした。 現在使われている用語では、中間学習は、事前学習済みモデルを特定の能力やドメイン(推論、コーディング、長文コンテキスト、科学知識など)に向けて拡張することを意味します。私たちは代わりに、一般的なWebテキスト(WikiText)で学習を続けました。それは継続的な事前学習であり、中間学習ではありません。もしやり直すなら、実際の「中間学習」のデータセットを使用するか、単に「継続的な事前学習」と呼ぶでしょう。
  • 私たちの評価指標は、ポストトレーニング前のモデルにはあまり適合しません。 事前学習後、追加の中間学習を行っても、モデルは通常、SFTやRLを通じて獲得される指示追従能力にはまだ及びません。私たちの評価のいくつかは、特に質問応答に関するものは、指示追従能力のないモデルにとってはあまり意味がありません。もしやり直すなら、それらの評価を実行する前に、各チェックポイントをポストトレーニングするかもしれません。