HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Muse Glimmerは30B Transformerに偽装されたメモリ階層である

Muse Glimmer is a memory hierarchy disguised as a 30B Transformer (abstractextraordinary.com)

8 pointsby stepnivlk4 コメント

要約

Metaが開発したMuse Glimmerは、ローカルデバイス上で動作する自律型マルチモーダルAIエージェントです。このモデルは、300億パラメータを持ちながらも、メモリ階層構造を採用することで、限られた消費者向けハードウェアのメモリ容量に収まるように設計されています。特に、ローカルアテンションとグローバルアテンションを組み合わせたアーキテクチャにより、長文脈の処理と効率的なメモリ使用を両立させています。

全文翻訳

Muse Glimmerがデバイス上のエージェントに収まる方法

MetaはMuse Glimmerを、デバイス上で動作するエージェントとして売り込んでいます。自律的で、マルチモーダル、クラウド不要です。これは、有能な30Bクラスのモデル、長い作業履歴、そして知覚スタックを消費者向けハードウェアに収めるという、製品の主張であると同時にエンジニアリング上の課題でもあります。その答えは、30B Transformerに偽装されたメモリ階層であることが判明しました。

そのモデルカードは目標について直接述べています。Muse Glimmerは「消費者向けハードウェアでの自律的なエージェントタスクのために特別に構築」されており、「クラウドインフラストラクチャやネットワークアクセスを必要とせずに」動作します。エージェントのワークロードは長期間にわたるため、この約束は困難です。数時間の履歴やツールのトランスクリプトは常駐し、スクリーンショットやドキュメントはタスク中に再読され、これらすべてがMetaが量子化リリースで指定する24GBまたは32GBのエンベロープに収まる必要があります。

[画像: Muse Glimmerのハイレベルアーキテクチャ]

Muse Glimmerは、約300億パラメータのデコーダーオンリーのマルチモーダルモデルです。ビジョンエンコーダー、プロジェクター、そして密な言語モデルで構成されています。BF16では、チェックポイントは約55GiBの重さがあり、これはコンテキストの1トークンも処理する前に両方のエンベロープをオーバーフローさせてしまうため、答えの一部は容易に特定できます。Metaは、言語モデルを20GB未満に抑える約4ビット量子化バリアントを出荷しています。圧縮されたモデルは、131,072トークンのコンテキスト、常駐するビジョンタワー、そして投機的デコーディングドラフターとカードを共有する必要がありますが、言語モデルが小さくなってもそれらのどれも小さくなりません。残りの答えはアーキテクチャにあります。モデルがメモリをどこに費やし、各レイヤーがどのような種類の情報を持つかです。

Muse Glimmerは、意図的な労働分担を中心に構築されています。ほとんどのレイヤーでは、アテンションはローカルです。RoPEによって配置され、2,048トークンのウィンドウに制限されています。4層ごとに1回、アテンションはコンテキスト全体に開かれますが、RoPEはドロップされ、主にコンテンツによって取得されます。アテンションのみが交互に切り替わり、各ブロックの残りは同一です。32個のクエリヘッドは豊富な取得動作を提供しますが、KVキャッシュに保存されるキー/バリューヘッドはわずか2つです。ビジュアル側では、大きなViTが高価な知覚を一度実行し、隣接するパッチを4対1で圧縮し、その結果を通常のトークンとして言語デコーダーに渡します。

これらを組み合わせると、階層的なメモリシステムが形成されます。

  • ローカルレイヤーは、順序付けられた、コンテキストリッチな表現を構築します。
  • グローバルレイヤーは、シーケンス全体でそれらの表現を検索します。
  • KVキャッシュは、アクティブな各シーケンスの非常に狭いメモリトレースを格納します。

シーケンスごとの状態は意図的に小さいため、実行中のインスタンスが必要とするメモリのほぼすべてがモデルのパラメータです。そのため、重み量子化はここで異常にうまく機能します。固定された重みが圧縮されると、解放されたメモリは、より長いコンテキスト、より大きなバッチ、常駐する知覚タワー、または投機的デコーディングドラフターに転換できます。

55 GiBはどこに座るか

リリースされたテンソル形状から合計した内訳は次のとおりです。

コンポーネントおおよそのパラメータ数BF16ストレージ
52個のテキストTransformerブロック25.165B46.87 GiB
入力トークン埋め込み1.345B2.50 GiB
非結合言語モデルヘッド1.345B2.50 GiB
ビジョンタワー1.853B3.45 GiB
ビジョンからテキストへのブリッジ69.2M0.13 GiB
合計29.777B55.46 GiB

Muse Glimmerは密なモデルであるため、生成される各トークンは52個すべてのテキストブロックを通過します。メモリ内で未使用のルーティングされたエキスパートはいません。これにより予測可能な実行が可能になりますが、バッチサイズが小さい場合、デコーディングは非常に大きな重みセットを繰り返し読み込むことに大きく依存します。

4層ごとにすべてを見る

52個のテキストレイヤーは厳密な繰り返しスケジュールに従います。

[画像: Muse Glimmerの繰り返しローカル/グローバルアテンションスケジュール]

したがって、39個のスライディングアテンションレイヤーと13個のフルアテンションレイヤーがあります。ローカルウィンドウは2,048トークンです。

位置 t のローカルレイヤーは、t で終わる最近の区間 [t-2048, t] のみを直接読み取ることができます。しかし、ローカル受容野は深さとともに複合します。境界効果を無視すると、3つの積み重ねられた因果ウィンドウは、トークン自体に加えて、約 1 + 3 × (2048 − 1) = 6,142 の位置にトークンを間接的に公開します。それに続くグローバルレイヤーは、生の分離されたトークンを受け取るのではなく、数千トークンの順序付けられたローカル構造をすでに要約した表現を受け取ります。

4層サイクルを読む一つの方法は、最初のローカルレイヤーが即時の語彙的および構文的な関係を構築し、次の2つがそれらをより大きなローカル構造に組み込み、最後のフルレイヤーがコンテキストのどこからでも関連する要約を取得することです。

もちろん、分割はソフトです。ローカルレイヤーは、残差ストリームでグローバル情報を前方伝播させ、グローバルレイヤーはローカルにアテンションをかけることができます。それでも、マスクは強い事前知識を課します。ほとんどの計算は近くの構造を洗練し、時折のレイヤーは長距離通信を処理します。

これは、特にKVキャッシュにとって、すべての52レイヤーをグローバルにするよりもはるかに安価です。長コンテキスト計算は別の問題です。プリフィル中、13個のフルアテンションレイヤーは依然としてシーケンス長に対して二次アテンションワークを実行します。FlashAttentionのようなカーネルは、完全なアテンション行列を具体化しないようにしますが、ドット積を消去するわけではありません。Muse Glimmerは131Kコンテキストをメモリで実現可能にしますが、131Kプリフィルを4Kプリフィルと同等にはしません。

RoPEなしのグローバルアテンション

まず、フルレイヤーが何を放棄しているかのリマインダーです。RoPEは、トークンインデックスとともに増加する角度で各クエリとキーを回転させます。2つの回転は、ベクトルがお互いにスコアリングされるときに合成されるため、アテンションロジットは相対的な変位 t - t' のみに依存するようになります。この合成が、Transformerが通常距離を感じる方法です。

Muse Glimmerは、すべてのローカルレイヤーでRoPEを使用します。しかし、各フルアテンションレイヤーでは、レイヤーごとのRoPEシータはゼロであり、実装はアテンションに位置埋め込みを渡しません。これはNoPEと呼ばれる構成です。したがって、フルレイヤーは直接的な回転位置項なしでQ–K互換性をスコアリングします。

順序は、2つのドアを通じてこれらのレイヤーに到達します。第一に、因果マスクは、位置 t が位置 t' (t' <= t)のみを読み取ることができることを示します。第二に、各グローバルキーとバリューは、すでに3つのRoPE装備のローカルレイヤーを通過しています。「川」の近くの「銀行」を表すベクトルは、「ローン」の近くの「銀行」を表すベクトルとは異なり、両方のベクトルはその生成を可能にしたローカル順序をエンコードしています。後続のグローバルレイヤーは、以前のグローバルレイヤーによって変更された残差状態も受け取ります。

したがって、正確なステートメントは、グローバルレイヤーにはQ–Kスコアに直接的な位置項がないが、位置を認識し、ローカルにコンテキスト化された表現で動作することです。

131Kトークンでこれが役立つ可能性があるのはなぜでしょうか?従来のグローバルRoPEレイヤーは、1トークンから10万を超える距離の相対回転を解釈する必要があります。長距離取得は、通常の言語を支配する距離の範囲外の位相挙動と絡み合う可能性があります。NoPEグローバルレイヤーは、代わりにコンテンツアドレス可能なメモリのように動作します。関連アイテムは、単に80,000トークン離れているという理由だけで一致するのが本質的に難しくなるわけではありません。

アーキテクチャは、正確な順序を最も価値のある場所、つまり境界のあるローカルウィンドウ内に配置し、グローバルレイヤーに異なる質問をします。それは、近くのピースがどのように配置されているかではなく、メモリのどこにあるコンテキスト化されたピースが現在のニーズに応えるか、ということです。

トレードオフがあります。2つの真に類似した遠い出現は、グローバルスコアリングに明示的な位置項がない場合、絶対位置によって区別するのが難しくなります。Muse Glimmerは、各出現が周囲のローカルコンテキストを運ぶことでこれを軽減しますが、曖昧さは完全に消えることはありません。この設計は、正確なグローバル座標マッチングよりも堅牢な意味的取得を優先します。

32個のクエリ、2個のメモリ

Muse Glimmerは、32個のクエリヘッドとわずか2個のキー/バリューヘッドを持つグループ化クエリアテンションを使用しているため、16個のクエリヘッドが各K/Vバンクを共有します。この非対称性は、生成が実際に支払うものと一致しています。クエリは、現在生成されているトークンに対してのみ存在し、すぐに破棄されるため、32個の異なる質問方法を保持することは計算コストはかかりますが、常駐メモリは消費しません。キーとバリューは異なります。レイヤーのアテンション範囲内の各トークンは常駐する必要があります。グローバルレイヤーでは完全な履歴、ローカルレイヤーでは最後の2,048トークンです。KVヘッドを2つに削減することは、持続する唯一のトークンごとの状態を攻撃するため、この選択がメモリに大きな影響を与えるのです。

メモリ計算は直接続きます。BF16またはFP16では、各レイヤーの各トークンは、KVヘッドごとに1つのキーベクトルと1つのバリューベクトルを、数値あたり2バイトで格納します。

したがって、Muse Glimmerは、KとVを合計して、レイヤーあたりトークンあたり1 KiBのKVキャッシュを使用します。

長さ L のシーケンスの場合、13個のグローバルレイヤーはすべてのトークンを保持し、39個のローカルレイヤーは2,048トークンのウィンドウに制限されるため、理論上のアクティブKVキャッシュは約次のようになります。

設定された131,072トークンのコンテキスト長の場合:

  • 13個のグローバルレイヤーは約1.625 GiBを消費します。
  • 39個のローカルレイヤーは、ウィンドウがいっぱいになると約78 MiBを消費します。
  • 合計アクティブBF16 KVは約1.70 GiB/シーケンスです。

[画像: KVキャッシュ比較]

この計算は、サービングエンジンが実際にスライディングレイヤーのキャッシュエントリをエビクトまたは循環的に再利用することを前提としています。各レイヤーのフルレングスストレージを割り当てる静的実装では、完全なメリットは得られません。キャッシュ量子化、ページサイズ、フラグメンテーション、およびランタイムワークスペースも実際の測定値に影響します。

アーキテクチャのポイントは、これらのすべての注意点に耐えます。シーケンスごとのメモリは意図的に狭く、ボトルネックを固定モデルの重みにシフトさせます。

1つのデコーダーブロックの中

これまでの話は、レイヤーがコンテキストをどのように見て、各シーケンスが何にコストがかかるかについてでした。一段階下では、各ブロックは幅6,656の残差ストリームを読み書きし、トークンごとに2つの更新を追加します。1つはゲート付きグループ化クエリアテンションから、もう1つはSwiGLUフィードフォワードネットワークからです。

[画像: Muse Glimmerテキストブロック]

アテンションは5つの射影を使用します。通常のクエリ、キー、バリューマップ、アテンション結果を残差ストリームに戻す出力マップ、そしてその結果にゲートを計算する5番目の行列(後述)です。それらの幅は次のとおりです。

4,096次元のクエリとアテンション出力空間は、それぞれ128次元の32ヘッドです。キーとバリューは、KVヘッドが2つしかないため、はるかに狭いです。2 × 128 = 256次元です。

フィードフォワードネットワークは標準的なSwiGLUであり、Llama系統全体で使用されているのと同じ設計です。ゲート行列とアッププロジェクションは、状態を隠れ幅のちょうど3倍である19,968次元に拡張し、ダウンプロジェクションはSiLUゲート付き積をモデル幅に戻します。これらのうちどれもMuse Glimmerに固有のものではなく、その大部分も同様です。レイヤーあたり約398.7Mパラメータで、FFNはほとんどの密なモデルと同様に、各ブロックのパラメータ数を支配します。覚えておくべき唯一の詳細は、このゲートがブロックの唯一のゲートではないということです。Muse Glimmerはアテンション内に2番目の完全に独立したゲートを追加しており、その追加ははるかに一般的ではありません。

アテンション内の5番目の射影

標準的なLlamaライクなアテンションには、Q、K、V、Oの4つの大きな射影があります。Muse Glimmerは5番目の射影を追加します。クエリを生成するのと同じ正規化されたブロック入力から、4,096次元のベクトル(アテンションチャネルごとに1つの値)を計算し、シグモイドがそれをゲート g に変換します。そのゲートは、出力射影がそれを見る前に、連結されたアテンション結果に要素ごとに乗算されます。

シグモイドは、モデルに各アテンションチャネルの独立したゲートを提供します。

これにより、現在のトークンは、どこにアテンションをかけるかだけでなく、取得されたどのチャネルが残差ストリームに書き込むことを許可されるかを決定できます。ヘッドは有用な機能とノイズの多い機能を同時に取得する可能性があります。出力ゲートは、出力射影がそれらを6,656次元モデル空間に再び混合する前に、個々の次元を抑制できます。

ゲートは実際の重みも運びます。6,656 × 4,096行列は、レイヤーあたり約27,262,976パラメータ、モデル全体で約1.418B、またはBF16で約2.64 GiBを保持します。

QK正規化は意味論と温度を分離する

通常のアテンションは、ヘッド次元で分散を平坦に保つために、各クエリ-キーのドット積を sqrt(d_k) で割ります。そのスケーリングでは制御できないのは、ベクトル自体のノルムです。モデルが q と k の両方の大きさを2倍にすると、すべてのロジットが4倍になり、ソフトマックスがシャープになりますが、ベクトルが指すものに変化はありません。ノルムのインフレは、アテンションの温度を静かに変更します。

Muse Glimmerはその自由を奪います。独立してQとKにスケールフリーRMSNormを適用し、次にQを固定係数3.87で乗算して、位置 t と t' の間のアテンションロジットを次のようにします。

QK正規化は従来の sqrt(d_k) スケーリングに取って代わるものではありません。実装は両方を保持します。なぜなら、それらは異なるジョブを実行するからです。RMS正規化は制御不能な大きさのドリフトを排除し、sqrt(d_k) は128次元の合計を補正し、定数3.87は望ましいアテンションシャープネスを明示的に選択します。モデルのヘッドの後ろに出現する出力乗数とは異なり、3.87をモデルの次元から導出することはできませんでした。調整された選択のように読めます。

この算術には、ハードシーリングも隠されています。単位RMSに正規化されたベクトルはノルム1を持つため、||q|| = ||k|| = 1、そしてコーシー・シュワルツの不等式は次のように与えます。

q・k <= 1

根本的な活性化がどれほど極端になっても、どのトークンのペアもそれより大きなロジットを生成することはできません。おそらく、Muse Glimmerの唯一のtanhソフトキャップが最終出力ロジットに配置されている理由です。ジオメトリがすでに1つを強制している場合、アテンション内の2番目のキャップは冗長になります。

サンドイッチノルムは各ブランチが書き込むものを制御する

Muse Glimmerは、ブロックごとに4つのセンタリングされたRMSNormを使用し、各サブレイヤーをペアでラップします。1つはサブレイヤーに入る前、もう1つは残差加算前の出力です。

プリノルムは各サブレイヤーに予測可能な入力スケールを与えます。ポストノルムは残差ストリームに予測可能な更新スケールを与えます。アイデンティティパス自体は変更されません。

「センタリング」という名前は、ゲインパラメータ化を指しており、平均減算を指すものではありません。操作は依然としてRMS正規化であり、学習されたゲインは1からのオフセットとして格納されます(gain = 1 + offset、offset はゼロで初期化)。

プリサブレイヤーノルムは epsilon = 1e-5 を使用します。ポストサブレイヤーノルムは、よりタイトな epsilon = 1e-2 を使用します。後者は、エプシロンフロアが小さなブランチ出力の正規化を妨げるのを減らします。

ポストアテンションノルムも、ゲートができることを制約します。アテンションベクトル全体の均一なスカラー削減は、RMS正規化によってほとんど元に戻されます。残るのは、ゲートによるベクトルの選択的な再形成です。チャネル間の相対的な変更、次元の抑制、更新方向の回転です。ゲートは、全体的な大きさに影響するよりも、学習された特徴フィルターとして機能します。

ビジョンタワーは意図的に、より一般的

テキストデコーダーはモダンで高度にカスタマイズされています。ビジョンタワーは、古典的な大規模ViTに近いものです。

  • 50レイヤー
  • 隠れサイズ1,536
  • 16ヘッド、したがって96次元ヘッド
  • 幅8,960のGELU MLP
  • 学習された重みとバイアスを持つ通常のLayerNorm
  • バイアス付きアテンションおよびMLP射影
  • アテンション出力ゲートなし

それでも、テキスト側のローカル/グローバルリズムを反映しています。リリースされた50レイヤーのスケジュールには、37個のウィンドウアテンションレイヤーと13個のフルアテンションレイヤーが含まれています。ほとんどが3つのウィンドウレイヤーのグループの後にフルレイヤーが続き、追加のウィンドウ/フルペアで終わります。

[画像: Muse Glimmerビジョンパス]

時空間パッチが最初の射影でビデオをネイティブにする

各パッチは2つのフレーム、3つのカラーチャンネル、および14×14の空間領域を含みます。したがって、1176個の入力値を保持します。線形射影は、その1,176次元のチューブレットを1,536次元のビジョン空間にマッピングします。

ビデオの場合、最初の学習操作は、外観と非常に短い範囲の時間的変化の両方に反応できます。クリップは、独立した静止画ではなく、ペアになったフレームとしてタワーに入力されます。プロセッサは、マルチモーダルプロンプトを構築する際に、時間グループ間にタイムスタンプとセパレーターも配置します。

静止画像の場合、前処理は各空間パッチを2つの時間スロットに展開します。したがって、同じパッチ射影は、画像専用のステムなしで、画像とビデオの両方に使用できます。

構築する前に知っておくと良いこと:Metaのモデルカードは、サポートされている入力モダリティをテキストと画像としてリストしています。ビデオパス(時間チューブレット、グループごとのタイムスタンプ、専用ビデオトークン)はすべて、リリースされたプロセッサとモデルコードにありますが、広告されているのではなく、実装されています。

可変解像度は絶対的および相対的な空間信号を使用する

タワーには、学習済みの32×32の位置埋め込みテーブルがあります。別の入力グリッドの場合、テーブルは必要な高さと幅にバイリニア補間されます。アテンションは、独立した水平および垂直の位置信号を持つ2次元RoPEも受け取ります。

これらのメカニズムは補完的です。学習済みテーブルは絶対的な空間事前知識を提供します。2D RoPEは、ペアワイズアテンションを相対的なジオメトリに敏感にします。

ローカルビジョンウィンドウは、各空間軸に沿って32パッチをスパンします。各パッチは幅14ピクセルなので、これは448×448ピクセルの領域に対応し、最大32×32 = 1,024パッチトークンを含みます。448×448画像では、1つのウィンドウがすでにパッチグリッド全体をカバーしています。より高い解像度では、ウィンドウレイヤーはローカル領域を処理し、13個のフルレイヤーがウィンドウ間で通信します。

ブリッジは小さいが、2つの重要なジョブを行う

ViTの最終LayerNormの後、Muse Glimmerは隣接するビジュアルトークンの各非オーバーラップ2×2ブロックをグループ化します。それらを平均化する代わりに、4つの1,536次元ベクトルを単一の6,144次元ベクトルに連結します。これにより、視覚シーケンス長は4分の1に削減されますが、4つの位置はプーリングされるのではなく、個別の入力として保持されます。学習済みのアダプターがそれらをどのように組み合わせるかを決定します。(厳密には、リリースされたコードは、4つのベクトルをエンドツーエンドでスタッキングするのではなく、チャンネルごとに連結をインターリーブします。これは、最初のレイヤーのアダプターが吸収する固定順列です。)

ブリッジ自体は3つの線形レイヤー(6144 → 4096 → 4096 → 6656)で構成され、最初の2つの後にGELU、最後にはスケールフリーRMSNormがあります。

2×2マージは、言語側でもその価値を発揮します。言語モデルに送信される各ビジュアルトークンは、デコーダーのプリフィル計算、ローカルおよびグローバルアテンション帯域幅、およびKVキャッシュを消費します。ビジュアルシーケンス長を4分の1に削減すると、これらのコストすべてが削減されます。マージ後でさえ、予算は明示的に上限が設定されています。プロセッサは、画像あたり最大4,096個のビジュアルトークンを許可し、ビデオは1秒あたり2フレーム、1フレームあたり最大144トークンでサンプリングされます。

最後のRMSNormは、モダリティインターフェイスの問題に対処します。テキスト埋め込みは、デコーダーに入る前に正規化されます。生の射影されたビジョンベクトルは、画像の内容によって異なるスケールを持つ可能性があります。知覚ノルムは、それらがシーケンスに挿入される前に、ビジョンベクトルをテキストベクトルと同じRMSレジームに入れます。

もちろん、意味論的アライメントはまだ学習される必要があります。ノルムは互換性のある大きさのみを保証します。一方のモダリティが支配的になったり消えたりするのをスケールの不一致で防ぎます。

別個のクロスアテンションスタックはない

Muse Glimmerの言語モデルには、特別なビジョンクロスアテンションレイヤーは含まれていません。プロセッサは <|patch|> のようなプレースホルダー位置を作成します。モデルはビジュアル特徴量を計算し、対応するプレースホルダー埋め込みを6,656次元のビジュアルベクトルで置き換えます。それ以降、デコーダーは、埋め込みテーブルからではなくビジョンスタックから来たベクトルがインターリーブされた単一のシーケンスを表示します。

ビジョンエンコーダーは最初に双方向の空間推論を実行します。次に、因果言語デコーダーは、結果のビジュアルトークンと周囲のテキストを一緒に推論します。生成されたテキストは、言語に使用されるのと同じローカル/グローバルアテンション機械を使用して、先行する画像トークンにアテンションをかけることができます。

これはまた、50レイヤーのビジョンタワーが通常、マルチモーダルプリフィル中に実行され、生成されるトークンごとに1回ではないことを意味します。BF16で保持するとメモリを消費しますが、各自己回帰デコードステップに50個のビジョンレイヤーを追加することはありません。

埋め込みと出力ヘッド

入力埋め込みテーブルは、幅6,656の202,048行、約1.345Bパラメータです。Muse Glimmerは、選択された埋め込みベクトルにすぐにスケールフリーRMSNormを適用します。したがって、トークンIDは、任意の行の大きさではなく、主にベクトルの方向によって表されます。

数学的には、正規化された行は事前に計算され、別の埋め込みテーブルに折りたたむことができます。DFlash投機的ドラフターは、生の非正規化埋め込みルックアップにアクセスする必要があるため、実装では正規化を別個のモジュールとして意図的に保持しています。

これは、ターゲットモデルのモジュール境界がドラフターを念頭に置いて描かれたのではなく、投機的デコーディングがランタイムパッチとして後から到着したのではなく、大きな影響を持つ小さな詳細です。

出力ヘッドは非結合です。別の独立した202,048×6,656行列、さらに1.345Bパラメータを含みます。非結合はBF16で約2.5 GiBのコストがかかりますが、入力トークンを認識するために使用されるジオメトリと、出力を分類するために使用されるジオメトリを異なるものにすることができます。

出力射影の後、すべての生のロジットはスケーリングされたtanhを通過します。

リリースされた構成は、乗数を0.19611613513818404として格納します。これは正確に sqrt(2/pi) / sqrt(hidden_width) であり、hidden_width = 6656 です。この定数、少なくとも、隠れ幅から導出されています。

ゼロに近い場合、変換は約線形であり、各ロジットを0.196116でスケーリングします。大きな大きさでは±20に飽和します。関数は単調であるため、正確な算術ではargmax順序を正確に保持します。それ自体では、貪欲なトークン選択を変更しません。ソフトマックス確率を変更し、極端な確信度を圧縮し、生のロジットが無制限に増加するのを防ぎます。

この区別は量子化にとって重要です。ソフトキャップは病的な確信度と数値的な極端を減らすことができますが、ランキングエラーを修復することはできません。量子化によって間違ったトークンの生のロジットが大きくなった場合、単調変換は間違いを保持します。

なぜMuse Glimmerでは量子化が異常に効果的なのか

サービングメモリは3つの項に分解されます。固定重み、シーケンスごとのキャッシュコスト、およびランタイムオーバーヘッドです。

Memory = Weights + N_seq * L_seq * Cache_per_token + Overhead

ここで、N_seq はアクティブなシーケンスの数、L_seq はそれらのコンテキスト長です。

131Kトークンでは、シーケンスごとのキャッシュ項はBF16で約1.70 GiBです。重み項は約55.5 GiBです。したがって、サービングメモリは、特にバッチサイズが小さい場合、重みに大きく依存します。

52個のテキストブロックはBF16で約46.9 GiBを占めます。4ビットで格納すると、同じ重みは約11.7 GiBに収まります。したがって、それらを量子化すると、約35 GiBが解放されます。スケーリング、グループ化メタデータ、アライメント、および非量子化例外が追加される分だけ少なくなります。

Metaは2つの量子化バリアントを出荷しています。32GBデバイス用のK-Quant-Dynamicと24GBデバイス用のK-Quant-17GBで、主張するベンチマーク低下率は0.2%と1.0%です。どちらも言語モデルを約4ビット精度で20GB未満に収め、同じエンベロープ内でKVキャッシュ、ビジョンエンコーダー、およびDFlashドラフター(1ステップあたり16トークンを提案し、レイヤー1、13、25、37、49のターゲット隠れ状態を読み取る5レイヤーのブロック拡散ドラフトモデル)のためのスペースを残します。GQAとハイブリッドアテンションがすでにキャッシュが支配的な項になるのを防いでいるため、算術は機能します。

ビジョンタワーとブリッジをBF16で維持すると、約3.58 GiBしかかかりません。また、言語モデルとは構造的にも異なります。通常のLayerNorm、バイアス付き線形レイヤー、SwiGLUではなくGELU、通常の16ヘッドアテンション、出力ゲートなしです。それを別個の量子化ドメインとして扱うのは理にかなっています。言語調整レシピは、ビジョン活性化を同等に維持するとは限りません。

ボトルネックはまだ移動する可能性があります。バッチサイズとコンテキストが増加すると、重み読み取りはより多くのトークンに償却されますが、KV読み取りとグローバルアテンションワークはアクティブなシーケンスとともにスケールします。Muse Glimmerは単にメモリ階層を配置して、ローカルデプロイメントが有利な点から開始できるようにします。

アーキテクチャのテーゼ

Muse Glimmerはスパース性を決して追求しません。約30Bの密なパラメータを使用し、生成される各トークンに対してすべてのテキストブロックを実行し、1.85Bのビジョンタワーを保持し、非結合埋め込みを使用し、アテンション出力ゲートのためだけに10億以上のパラメータを追加します。その経済性はすべて状態と通信にあります。

  • レイヤーあたり2つのKVヘッドのみを格納する。
  • 39個のレイヤーのアクティブメモリを2,048トークンに制限する。
  • 近くの順序が重要な場所には明示的な位置を使用する。
  • グローバルな意味的取得がより重要な場所では、直接的な位置回転を削除する。
  • デコーダーに到達する前にビジュアルトークン数を圧縮する。
  • すべてのモダリティとすべての残差更新を制御されたスケールレジームに正規化する。
  • ターゲットモデルのインターフェイスを、投機的デコーディングと量子化に友好的にする。

だからこそ、個々の選択が互いを強化するのです。NoPEグローバルレイヤーは、位置的ローカルレイヤーなしではそれほど魅力的ではありません。32個のフルKVヘッドがキャッシュを巨大なままにした場合、ハイブリッドアテンションの有用性は低くなります。各長シーケンスが数十ギガバイトを消費した場合、重み量子化の並列処理はそれほど多くありません。出力がデコーダーに入る前に圧縮されなかった場合、大きなビジョンタワーを正当化するのは難しくなります。

Muse Glimmerは、ローカル表現に詳細な順序を、コンテンツアドレス可能なグローバルアテンションに長距離知識を、そしてその能力の大部分をシーケンスごとのメモリではなく共有される密な重みに配置します。

これがオンデバイスの主張が実現される場所です。モデルは長い作業履歴を保持し、意味によって遠隔のツール出力を再訪し、スクリーンショットやドキュメントを同じ推論ストリームで処理し、量子化を使用して固定重みメモリを実用的なヘッドルームに変えることができます。

アーキテクチャは安価ではありません。それは慎重に高価です。


ソースノート

この記事は、MetaのMuse Glimmer-30Bモデルカードとリリースされた構成、Hugging Face Transformersのmodeling_muse_glimmer.pyの実装、および関連する画像およびマルチモーダルプロセッサの実装に基づいています。リリースされたテンソル次元からパラメータとKVキャッシュの数値を導出しました。実際のサービングメモリは、キャッシュdtype、アロケーターの動作、スライディングウィンドウエビクションのエンジンサポート、量子化メタデータ、およびランタイムワークスペースによって異なります。

これに似たものを構築していますか?それが何をしなければならないか、どこで実行されるか、そして失敗した場合に何が起こるかを教えてください — hello@abstractextraordinary.com。