Flash-MSA: Sparse Attention Kernelsによるミリオン・トークン・トレーニングの高速化
要約
本記事では、HopperおよびBlackwell GPU向けに、CuTeDSLで記述された世界初の高性能なMinimax Sparse AttentionのオープンソーストレーニングカーネルであるFlash-MSAを紹介します。Flash-MSAは、ブロックワイズ疎性、GQA(Grouped-Query Attention)の採用、プロキシヘッドのグループごとの特殊化といった特徴を持ち、効率的なトレーニングを実現します。
全文翻訳
Flash-MSA: スパースアテンションカーネルで数百万トークンのトレーニングを高速化
[画像: plot] Flash-MSA vs Flash-Attention 単独トレーニングステップ。
多くの最先端モデル [1, 2, 3, 4, 5] は、推論を大幅に高速化するためにスパースアテンションを使用していますが、効率的なトレーニングコードはまだ公開されていません。本日、HopperおよびBlackwell GPU向けのMiniMax Sparse Attentionの、世界初の高性能オープンソーストレーニングカーネルをCuTeDSLで紹介します。私はSpheron H100およびB200のレンタルで、FA4、MSA推論、およびCodexを参考にしながら、全ての開発作業を行いました。
免責事項: これは公式の実装ではなく、MiniMaxとは提携していません
MSAについて
MSAはDeepseek Sparse Attention [2512.02556] に似ていますが、いくつかのコアな変更点があります。
[画像: fig_1] MSA論文の図1
1. ブロックワイズスパース性
プロキシアテンションがメインアテンションの個々のKVを選択する代わりに、ブロックワイズで128のブロック単位で、プロキシスコアに対するマックスプーリングを用いて選択します。これにより、カーネルに優れたキャッシング特性がもたらされます。
2. メインアテンションにおけるMLAの代わりにGQA
これは特に重要です。私の知る限り、西洋の研究機関はMLAをトレーニングに採用しておらず、GLM-5.2やDSv4のような最先端モデルで普及しているスパースアテンションの定式化は、MLAに適合しているため、これらのモデルでは利用できません。
3. プロキシヘッドのグループワイズ特化
MLAをGQAに置き換えることで、各レイヤー内に独立したクエリグループが導入され、DSAのようにアテンションレイヤー全体を合計してスコアリングするのではなく、各プロキシヘッドで異なるKVサブセットを選択するオプションが得られます。アテンションヘッドが自然に異なるトークンに注意を向けるという証拠 [2410.10819] がいくつかあり、この変更によりメインアテンションの表現力が増すはずです。
カーネル設計
[画像: fig_2] カーネルシーケンスの概要
MSAを効率的に実行するには、可能な限り作業の繰り返しを避け、レジスタ/共有メモリを過負荷にしない必要があります。通常のフラッシュレジスタ(Qタイル、KVタイル、Oアキュムレータ、LSEアキュムレータ)に加えて、フォワードパスでのストリーミングトップKアテンションスコアとインデックスのアキュムレーションを考慮する必要があります。バックワードパスでは、メインアテンションの勾配とプロキシアテンションの勾配を計算するために、ダブルアテンションを組み合わせたパスのためのスペースを確保する必要があります。プロキシ勾配はプロキシとメインアテンションの両方の確率にアクセスする必要があるためです。ブロックワイズスパース性の nice な利点は、DSAのように個々のトークンではなくブロックインデックスのみをキャッシュすればよいため、バックワードまでブロックインデックスを保持することが可能になることです。これは、トレーニングステップ全体で、プロキシフォワードパスのみがコンテキスト長に対して二次的であり、他の全てはプロキシフォワードからキャッシュされたスパースブロックを使用することを意味します。
フォワードパス
操作の順序は、プロキシアテンション → スパースメインアテンション → メインアテンションの出力を次のレイヤーに送信、バックワードのためにメインLSEを保存、です。
プロキシアテンション
プロキシのドットプロダクトは、通常のFlash Attnとは少し異なります。出力をアキュムレートする必要はありませんが、キーをストリーミングしながらトップKのアテンションスコアとその対応するインデックスを追跡する必要があります。Flashとは異なり、バックワードのためにLSEをアキュムレートせず、代わりにバックワード中にLSEを取得するために、スパースアクティベーション上でプロキシドットプロダクトの非常に安価な再計算を実行します。これは、フォワードパスでLSEとトップKを融合するよりも実践的で高速でした。QK^Tの各タイルが計算されると、各クエリ行の現在のトップK値に挿入ソートを行うために、各チャンクのローカル最大スコアを取得します。これらのトップKレジスタのためのスペースを確保するために、キーブロックを半分にスライスする必要がありました。また、MSAは各トークンのローカルブロックがマスクされていないスライディングウィンドウスタイルであることを要求するため、各クエリのローカルKVブロックのアテンションスコアをinfに設定します。
メインアテンション
メインアテンションは、単なるブロックワイズスパースなフラッシュアテンションのフォワードパスです。これは以前にMoBA [2502.13189] で行われており、ブロックワイズスパースアテンションをvarlenフラッシュに再パラメータ化する彼らの巧妙なトリック [MoBA/moba_efficient.py] をコピーしました。
バックワードパス
プロキシヘッドの勾配を計算するには、プロキシトレーニング信号がプロキシアテンション確率とメインアテンション確率の両方に同時にアクセスする必要があるため、プロキシとメインアテンションのバックワードパスを融合する必要があります。
フォワードパスからブロックインデックスを保存し、両方の注意機構をスパースKVアクティベーションでトレーニングするだけなので、バックワードパスは線形時間で実行できます。まず、キャッシュされた block_indices を取得し、B[batch, proxy head, query, top_k_slot] -> [key block] のマッピングを B*[batch, proxy head, key block] -> [this blockを使用するクエリ] に反転させます。B* を使用してクエリチャンクをスケジュールし、共有スパースKVブロックの再利用を最適化します。
次に、選択されたブロック上で(再びMoBAのvarlenトリックを使用して)高速なスパースプロキシアテンションパスを実行してプロキシLSEを取得し、次に融合されたプロキシ-メインバックワードタスクをストリーミングし、QKV、Q_proxy、K_proxy、main_lseのチャンクをロードします。レジスタにロードするヘッド数が多いため、一度に使用するQチャンクとKVチャンクのサイズを小さくする必要があります。各ストリームで、メインおよびプロキシアテンション確率を計算し、dQ、dK、dVを計算し、次にKLトレーニング項からプロキシdQ、dKを計算します。
KLダイバージェンス損失
DSAの元のKL損失項を思い出してください: $L^\iota = \sum_t{D ext{_}KL(p_t,s_t \Vert Softmax(I_t, s_t))}$
インデクサーとメインアテンション確率分布の両方を具体化してKLダイバージェンスを蓄積するには、共有メモリへの多くの読み書きと追加レジスタの使用が必要になり、トレーニングが大幅に遅くなります。幸いなことに、完全なKL損失と同等でありながら、アトミックにバックプロパゲーションできるトリックがあります。
プロキシアテンション確率を $p ext{_}px$、メインアテンション確率を $p$ とすると、KL項を展開します。
\[L^\iota = \sum_t{D ext{}KL(p_t \Vert p ext{}px,t})} = \sum_t{p_t * log(\frac{p_t}{p ext{_}px,t})}\]
対数規則を使用して再度展開します。
\[L^\iota = \sum_t{p (log(p_t) - log(p ext{}px,t}))} = \sum_t{(p_t*log(p_t) - p_t*log(p ext{}px,t}))}\]
次の潜在変数、つまり位置i(tではない)のソフトマックス前のアテンションスコア $z ext{_}px,i$ への勾配を計算したいとします。
\[\frac{\partial L^\iota}{\partial z ext{}px,i} = \frac{\partial}{\partial z ext{}px,i}\sum_t{(p_t*log(p_t) - p_t*log(p ext{_}px,t}))}\]
メイン確率 $p_t$ はプロキシ/KL損失グラフから切り離されているため、この偏微分では定数です。
\[\frac{\partial L^\iota}{\partial z ext{}px,i} = -\frac{\partial}{\partial z ext{}px,t}} \sum_t{p_t*log(p ext{_}px,t})\]
ソフトマックス出力($p ext{}px,t$)のソフトマックス対数確率の偏微分($z ext{}px,i$)は、こちらによると $\frac{\partial log(p ext{}px,t})}{\partial{z ext{}px,i}}} = \delta ext{}it-p ext{}px,i$ です。
\[\frac{\partial L^\iota}{\partial z ext{}px,i} = -\sum_t{ p_t*(\delta ext{}it-p ext{}px,i})} = -\sum_t{ p_t\delta ext{}it} + \sum_t{p_tp ext{_}px,i}\]
クロネッカーのデルタ関数 $\delta ext{}it$ は i==t の場合にのみ非ゼロなので、$\sum_t{p_t\delta ext{}it}=p_i$ です。
\[\frac{\partial L^\iota}{\partial z ext{}px,i} = -p_i + \sum_t{p_tp ext{}px,i}} = -p_i + p ext{_}px,i\sum_t{p_t}\]
$p_t$ は確率分布であるため、$\sum_t{p_t}=1$ です。
\[\frac{\partial L^\iota}{\partial z ext{}px,i} = -p_i+p ext{}px,i\]
言い換えると、KL損失からプロキシスコアへの勾配は、プロキシ確率 - メイン確率です。これは、KLを完全に具体化することなくプロキシ勾配を計算するためにカーネルで使用する項です。
ウォームアップカーネル
ウォームアップモードでは、メインアテンションのフォワードパスは密であり、block_indices を使用しないため、プロキシフォワードパスは完全にスキップできます。バックワードパスで完全にトレーニングできます。メインアテンションのウォームアップフォワードカーネルでは、フラッシュを呼び出してその出力とlseを保存し、プレースホルダーKLを返します。バックワードパスでは、インデクサーに対して密なフラッシュを呼び出してLSEを取得し、その後、スパースMSAカーネルからの融合されたプロキシ+メインアテンションバックワードを再利用します。
正確性
カーネルのフォワードパスとバックワードパスの正確性を検証するために、eager PytorchでMSAを実装し、複数の設定で両方の実装のフォワード出力とバックワード勾配間のコサイン類似度をスイープしました。スイープはbf16精度で実行され、バックワードパスにはターゲット出力損失と内部KL損失の両方が含まれます。通常、bf16での精度の許容範囲は0.01です。
Eager vs. カーネルコサイン類似度
| Batch | Sequence | Q heads | Forward | Backward projection gradients | Output | Q | K | V | Proxy Q | Proxy K |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 4,096 | 8 | 0.9996 | 0.9996 | 0.9996 | 0.9999 | 1.0000 | 1.0000 | ||
| 2 | 4,096 | 8 | 0.9996 | 0.9996 | 0.9996 | 0.9999 | 1.0000 | 1.0000 | ||
| 4 | 4,096 | 8 | 0.9996 | 0.9996 | 0.9996 | 0.9999 | 1.0000 | 1.0000 | ||
| 1 | 8,192 | 8 | 0.9985 | 0.9985 | 0.9985 | 0.9995 | 0.9999 | 1.0000 | ||
| 2 | 8,192 | 8 | 0.9985 | 0.9985 | 0.9985 | 0.9995 | 1.0000 | 1.0000 | ||
| 4 | 8,192 | 8 | 0.9985 | 0.9985 | 0.9985 | 0.9995 | 1.0000 | 1.0000 | ||
| 1 | 4,096 | 16 | 0.9996 | 0.9995 | 0.9995 | 0.9999 | 0.9999 | 1.0000 | ||
| 2 | 4,096 | 16 | 0.9996 | 0.9996 | 0.9996 | 0.9999 | 1.0000 | 1.0000 | ||
| 4 | 4,096 | 16 | 0.9996 | 0.9996 | 0.9996 | 0.9999 | 1.0000 | 1.0000 | ||
| 1 | 8,192 | 16 | 0.9985 | 0.9984 | 0.9984 | 0.9997 | 0.9999 | 1.0000 | ||
| 2 | 8,192 | 16 | 0.9985 | 0.9984 | 0.9985 | 0.9997 | 1.0000 | 1.0000 | ||
| 4 | 8,192 | 16 | 0.9985 | 0.9984 | 0.9985 | 0.9997 | 1.0000 | 1.0000 | ||
| 1 | 4,096 | 32 | 0.9996 | 0.9996 | 0.9996 | 1.0000 | 0.9999 | 1.0000 | ||
| 2 | 4,096 | 32 | 0.9996 | 0.9995 | 0.9996 | 1.0000 | 0.9999 | 1.0000 | ||
| 4 | 4,096 | 32 | 0.9996 | 0.9995 | 0.9996 | 1.0000 | 1.0000 | 1.0000 | ||
| 1 | 8,192 | 32 | 0.9985 | 0.9983 | 0.9984 | 0.9998 | 0.9999 | 1.0000 | ||
| 2 | 8,192 | 32 | 0.9985 | 0.9984 | 0.9984 | 0.9998 | 0.9999 | 1.0000 |
今後の展望
融合バックワードパスの並列化向上
現在、バックワードパスは、融合バックワードパスが一度に2つのアテンションを実行するために必要な重いレジスタ/共有メモリ要件による、低いテンソルパイプライン利用率と低い占有率によって制約されています。例えば、このブログのスループットスイープでは、Flash-MSAバックワードは138レジスタ/スレッド、105KB共有メモリ/CTAを使用しましたが、H100/B200は最大255レジスタ/スレッドと228KB共有メモリ/CTAをサポートするため、1CTA/SMに制限されていました。利用可能なワープを増やすために、Q/KVをより狭くタイリングする異なる設定を試しましたが、これによりCTAの総数が増加し、全体的な速度低下を招きました。Flash-MSAバックワードの理論的な占有率は12.5%であり、Flash-Attentionの18.75%と比較して低いです。
ルーターアーキテクチャの高速化
GLMは既に、レイヤー間でIndexShare [2603.12201] を使用することが安定しており、はるかに高速であることを証明しています。また、インデクサーは推論中に常に低精度で提供されるように見えるため、低精度でのトレーニングは、トレーニングと推論の不一致に対処し、安定していればトレーニングを大幅に高速化するのに役立つ可能性があります。
コンテキスト並列化
長コンテキストでのLLMトレーニングをスケーリングするには、CP(コンテキスト並列化)の何らかの形態が必須です。さもないと、トレーナーはすぐにメモリ不足に陥ります。これにはいくつかの選択肢があります。
1. ヘッドワイズオールギャザー
明確にするために、「MSAグループ」を各プロキシクエリヘッドに割り当てられたメインアテンションクエリヘッドのサブセットと呼びます。MSAグループはフォワード/バックワードの両方で互いに独立して実行されるため、CPランクがプロキシヘッド数までであれば、TPスタイルのCPフォールディングを使用するのは簡単です。各デバイスは(シーケンス長/CPランク)トークンとそのMSAグループを保持し、MSAを呼び出す前にシーケンス全体のA2A通信を行います。これにはカーネルへの変更は不要で、実際、現在のMegatron MSAフォークで既に実行できる可能性があります。
2. リング
ここでリングスタイルの並列化を実装するのはより困難ですが、おそらくCPにとって最適な方法です。これにより、オーバーラップが向上し、a2aよりも高いCPランクが可能になります。リングには、プロキシフォワードパス内でのオーバーラップ交換と、トップK値およびインデックスをデバイス間でストリーミングする方法、次に全デバイスにブロードキャストし、次にデバイス間でメインアテンションのための巧妙なスパースキーホストデバイスルックアップと取得が必要になる可能性があります。これをカーネルにどのように配線するかは不明なため、このコア機能を公開する前に、地元のCP専門家に連絡する必要がありますが、もしあれば、これが次のブログ記事になるでしょう。
インデクサーとメインアテンションの同時トレーニングに関する注意
論文には、値と出力プロジェクションがプロキシヘッドに追加され、プロキシ出力がメインアテンションの出力に追加されて、CE損失からの勾配をプロキシウェイトに導入し、知識タイプの評価を向上させると主張するMSAの定式化が含まれていますが、これを実装すると、フォワード/バックワードに新しいヘッドとアキュムレータが追加されるため、トレーニングが遅くなります。MSA自身も論文の表6で、適切なウォームアップにより、CE損失でインデクサーをトレーニングしないことによる遅延を補うことができると述べています。
スケジューラがプロキシヘッド >= KVヘッドを要求する注意
各プロキシヘッドを対応するメインアテンションGQAグループにマッピングしてスケジュールするため、現在のカーネルではMSAグループがGQAグループ以上である必要があります。スケジューラ/融合バックワードパスのマッピングを反転させる簡単な方法があるかもしれませんが、これはモデルがKVヘッドよりもプロキシヘッドが多い場合にのみ必要になります。しかし、安定したトレーニングには少なくとも4つのMSAグループが必要であり、KVヘッド>プロキシヘッドにするには>4つのGQAグループが必要になります。現在のトランスフォーマーの状況では、レイヤーあたり1024以上のKVキャッシュを持つモデルには強い嫌悪感があるため、このパスを実装することには興味がありません。
トップKのスイープ
ブロックが減少するにつれてスパース性の利点を視覚化するのは興味深いと思いました。コンピューティングリソースが得られたら、GQAおよびプロキシMQA構成に関するさらなるスイープを実行したいと考えています。また、Qwen3のような既存のGQAベースモデルをMSAを使用して継続的に事前トレーニングし、変換をテストしたいと考えており、これにはさらにコンピューティングリソースが必要です。
[画像: topk_sweep]
MSA vs. FAスイープと同じ設定で行われたトップKスイープ。
- スイープは、H100上のPytorch 2.12.0およびCUDA 13.0で、16 Qヘッド、2 KVヘッド、4プロキシQヘッド、1プロキシKヘッド、128ヘッドディメンション、B=1、bf16 dtypeを使用して実行されました。各シーケンス長で5回のウォームアップステップの後、5回のトレーニングステップで平均化されました。B200での別のスイープは実行できませんでしたが、FA4はH100でのパフォーマンスよりもはるかに高速になるでしょうが、長コンテキストではFlash-MSAに遅れをとるだろうと推測しています。 ↩