Latent Lattice Language Models
Latent Lattice Language Models (shivamduggal4.github.io)
要約
本論文では、言語モデルの計算容量を増強する新しいアプローチとして「Latent Lattice」を提案しています。これは、従来の深さ方向の残差ストリームに加えて、トークンを横断して持続する「水平潜在ストリーム」を各層に導入するものです。この構造により、モデルはより多くの計算状態を維持でき、Transformerモデルの性能を大幅に向上させることが実験で示されています。
全文翻訳
Latent Lattice Language Models
Shivam Duggal1, Zongze Wu2, William T. Freeman1, Antonio Torralba1, Richard Zhang2, Eli Shechtman2
1MIT2Adobe
Paper Code (coming soon)
Abstract
言語モデルは通常、より深い層やループ層、潜在的推論ステップを通じてトークンあたりの計算量を増やし、より豊かな残差接続が層間の情報フローを改善します。本研究では、代わりに「計算容量」を増加させます。これは、モデルが維持するアクティブな計算状態の数です。我々は、深さを通して流れる垂直残差ストリームに加えて、時間とともに再帰的に流れる層ごとの「水平潜在ストリーム」のセットであるLatent Latticeを導入します。ハイパーコネクション、mHC、アテンションやバリュー残差と同様に、Latticeは残差ストリームを強化しますが、深さを通して残差経路を追加またはルーティングするのではなく、トークンを横断して持続する「コンパニオン計算状態」を提供します。ハイブリッドTransformer–SSMアーキテクチャとは異なり、それらの再帰状態は主にシーケンスミキシングのための内部メモリとして機能しますが、これらの潜在状態は垂直ストリームのアテンション、KVキャッシュ書き込み、MLP計算、およびデコーディングを直接条件付けます。20BのFineWeb-Eduトークンで訓練されたTransformerでは、406MパラメータのLatticeモデルは、パラメータ数が同等のTransformerと比較して、検証時のパープレキシティを15.41から14.40に低下させます。この改善は、アーキテクチャのバリアント全体に及びます。Latticeは、以前の残差ストリーム強化機能と組み合わせることができます。ハイパーコネクションと入力残差と組み合わせると、検証時のパープレキシティを15.41(ベースTransformer)および14.22(同じ強化機能を備えたTransformer)から13.61に低下させます。Gated DeltaNet、Mamba-2、Triadic GDN、およびGDN–Mamba-2ハイブリッドでは、テストされたすべてのネイティブ状態サイズでパープレキシティが改善され、Lattice-GDNおよびLattice-Triadic-GDNバリアントは、4倍大きいネイティブ状態を持つ純粋なベースラインを上回ります。これらの結果は、持続的な層ごとの状態が言語モデル計算のスケーリングのための補完的な軸であることを示しています。
The Lattice of Latents
垂直残差ストリームは深さを通して流れ、水平潜在ストリームはトークンを横断して持続します。トレーニングと推論を切り替え、モデルを比較してください。
Input injection ablation
[動画: 入力注入の無効化]
一時停止中・クリックして再生
図をクリックして一時停止します。入力注入はいつでもオンまたはオフに切り替えることができ、アニメーションは同じ時点から続行されます。
Results
メインの結果のインタラクティブバージョンです。詳細を表示するには、いずれかのバーまたはポイントにカーソルを合わせてください。
Language modeling after 20B-token pretraining
LLLM (dmodel, dr) は、垂直残差ストリーム幅 dmodel と水平潜在幅 dr を持ちます。
Eval set
View
Transformer LLLM (single pass) LLLM + Jacobi refiner (J3)
GFLOP/token: アテンションスコア(約0.1 GFLOP/トークンを追加)と埋め込みルックアップを除く、トークンあたりの浮動小数点演算数。
J3は3回のスイープを実行します。その逐次ロールアウトは推論時にシングルパスを使用します(結果を表示するには「Show full table」をクリックしてください)。
Show full table
Scaling pretraining tokens: 10B → 20B → 30B
トレーニングの進行に伴うFineWeb-Edu検証パープレキシティ。円の面積はパラメータ数に比例します。
両方のLLLMは、Transformer 40Lの22層に対してのみ22層を使用しているため、同じアテンション幅(1024)でKVキャッシュを45%小さく保ちます。
Lattice of Latents vs. prior residual-stream enhancements
400Mモデル、20B FineWeb-Eduトークン。Latticeモデルは、パラメータ数が同等になるように垂直幅を1024から932に狭めます。Transformerとその単一の強化機能が最初に表示され、次にLatticeとその単一の強化機能、そして2つの強化機能の組み合わせが表示されます。
Transformer variants Lattice variants (ours)
HC: hyper-connections; mHC: manifold-constrained HC; value: value residual (ResFormer; 単一の+value実行には学習済み重み、x0 + valueには固定0.5を使用); x0: nanochatスタイルの入力残差。
Deconstructing the Lattice
ハードなレジーム:垂直残差ストリームは256次元に圧縮されます。再生ボタンを押して、水平更新強化機能を1つずつ追加し、フル幅Transformerとのギャップのほとんどをどのように回復するかを確認してください。10Bトークン事前学習。
- はコンポーネントを追加し、↻ はコンポーネントを置き換えます。パラメータ数は各バーの下に示されています。
Recurrent backbones
純粋なモデル対Lattice再帰モデル(約405Mパラメータ、10B FineWeb-Eduトークン)を、ミキサーあたりのネイティブ状態サイズで比較します。各Latticeモデルは、対応する純粋なモデルと同パラメータです。バーはパープレキシティが高い順に表示され、各々は状態サイズの位置にあります。
Pure backbone + Lattice (ours)
ネイティブ状態サイズは、水平潜在状態と畳み込み状態を除き、ミキサーあたりの再帰メモリエントリー数(1K = 1024スカラー)をカウントします。Latticeモデルは入力注入+ vstreamを使用します。