現代のLLMにおける位置エンベディングの理解
Understanding Positional Embeddings in Modern LLMs (magazine.sebastianraschka.com)
要約
この記事は、LLMがトークンの位置情報をどのようにエンコードし処理するかを、古典的およびRoPEのような現代的な手法を網羅して解説しています。視覚的な例、数式、PyTorchの実装を通じて、メカニズムを理解し、最新のLLMアーキテクチャにおける位置エンコーディングの適応や省略についても考察します。
全文翻訳
現代のLLMにおける位置エンベディングの理解
この記事では、古典的およびRoPEのような現代的な手法を網羅することで、LLMがトークンの位置情報をどのようにエンコードし処理するかを解説します。これは、視覚的な例、少量の数学、そして小さなPyTorch実装を通じて、メカニズムを理解する包括的な旅となります。そしてもちろん、現代のアーキテクチャが明示的な位置エンコーディングをどのように適応または省略しているかについても見ていきます。
以下に、2026年のオープンウェイトモデルで使用されている位置エンベディングの選択肢のプレビューを見つけることができます。基本的なメカニズムをカバーした後、これらの選択肢について議論します。
[画像: Figure 1 — gallery 2026 collage]
Figure 1: 位置エンコーディング別にグループ化された、ギャラリーの2026年アーキテクチャのプレビュー。アーキテクチャの図は私のLLMギャラリーから取得しました。
しかし、なぜこの比較的マイナーな構成要素について、これほど多くの時間を費やして書いたり読んだりするのでしょうか? LLMは進化し続けており、今年最新のLLMアーキテクチャのトレンドに関する新しい記事を準備していたとき、位置情報の手法についてこれまでどの記事でも触れていないことに気づきました。そのため、他の記事が手に負えなくなるのを避けるため、これをLLMアーキテクチャとトレンド分析のスタンドアロンな構成要素として公開するのが理にかなっていると考えました。
また、長年にわたり、多くの読者から、GPTで使用されている学習済み絶対エンベディングに続く、相対位置エンベディング(RoPEとしても知られる)のチュートリアルを求められてきました。これは私のTODOリストに長い間載っていましたが、ついに古いドラフトを見直し、このウォークスルーをまとめました。これには以下が含まれます。
- LLMにおけるさまざまな位置情報の手法
- (ついに)RoPEの仕組み
- 最近のオープンLLMが使用している手法
この記事は、基本的なLLMアーキテクチャにある程度の知識があることを前提としており、Build a Large Language Model (From Scratch)へのフォローアップとして役立ちます。アテンションの内部構造、特にクエリ、キー、バリューベクトルの概念と計算が少し曖昧な場合は、私の自己アテンションウォークスルーを復習として確認することをお勧めします。
[画像: Understanding and Coding Self-Attention, Multi-Head Attention, Causal-Attention, and Cross-Attention in LLMs]
この記事はまた、非常に技術的であり、一部の人には詳細すぎる可能性があります。しかし、将来の記事で参照できるように、この基盤を公開したかったのです。心配いりません、次はより快適なスタイルに戻ります。
PS: Substackの新しい「perks」システムの実験を開始しました。サポートしてくださった方々への感謝として、アーキテクチャギャラリーからの画像エクスポートとメタデータを追加しましたので、ご自身の分析にご利用ください。
PPS: 位置エンベディングの仕組みにすでに精通している場合は、セクション6、「現代のアーキテクチャにおける位置選択肢」にスキップしてください。
この記事は、メールクライアントよりもウェブブラウザで読む方が良いかもしれません。左側にナビゲーションバーもあるウェブビューはこちらで確認することをお勧めします。
1. 位置情報がLLMに入る場所
全体的なアーキテクチャから始めましょう。トークナイザーは入力テキストをトークンIDにエンコードします。次に、LLMの入力トークンエンベディング層は、これらのIDを数値のベクトルにマッピングします。通常、このベクトル内のエントリを「特徴量」(古典的なMLと同様)と呼びます。LLM内のトランスフォーマーブロックは、アテンションとフィードフォワード層を使用してこれらのベクトルを変更します。最後に、モデルの出力層は、次のトークンのためのロジットスコア(確率に変換される)を生成します。
以下は、GPT-2(比較的古典的なLLM)とMiniMax-M3(今年リリースされたより最近のLLM、他の多くの最近のLLMのプレースホルダー)におけるこのパスを示しています。アーキテクチャは互いにそれほど異ならないことがわかりますが、位置情報部分に進む前に、ここではオレンジ色のブロック(トークンエンベディング層)とその上のトランスフォーマーブロックに焦点を当てましょう。この説明には、他のアーキテクチャの違いは必要ありません。
[画像: Figure 2 — token embedding architectures]
Figure 2: GPT-2とMiniMax-M3のトークンエンベディング層(オレンジ色でハイライト)。(補足:M3の60個のフィードフォワード層のうち最初の3つはMoEではなく密です。)
上の図に示すトークンエンベディング層は、各トークンIDをベクトルにマッピングします。その後、位置情報が追加されます。具体的には、後で詳しく説明しますが、GPT-2は、変更されたエンベディングが最初のトランスフォーマーブロックに入る前に、各トークンエンベディングに位置ベクトルを追加します。一方、MiniMax-M3は、アテンション内でRoPEと呼ばれる手法を使用して、各トランスフォーマーブロックで位置情報を追加します。
これらの手法については後で詳しく説明しますが、まず、明示的な位置情報が追加または必要とされる理由を説明する全体像から始めましょう。
1.1 なぜ位置情報を追加するのか?
簡単な例として、以下の2つの入力文を考えてみましょう。
- 「The red fox jumps over the gray fox.」(その赤いキツネは灰色のキツネを飛び越える。)
- 「The gray fox jumps over the red fox.」(その灰色のキツネは赤いキツネを飛び越える。)
単語の順序を変えると、どちらのキツネがジャンプするかという意味が変わります。これは次の図に示されています。
[画像: Figure 3 — word order]
Figure 3: 単語の順序を変えると、どちらのキツネがジャンプするかが変わります。
この記事の例では、簡単のために各単語を1つのトークンとして扱います。(ご存知のように、実際のトークナイザーは単語をより小さなサブワードトークンに分割できます。)この場合、最初の文は0から7までの8つのトークン位置を持ちます。
[画像: Figure 4 — token ids and positions]
Figure 4: おもちゃの文におけるトークンIDと位置。
(語彙がどのように構築されるかに興味がある場合は、GitHubの私のトークナイザー資料を参照してください。)
入力文に2回現れる「fox」は、両方のケースで同じトークンID 2を取得することに注意してください。そして、それらは同じトークンIDを持つため、入力文中の位置に関係なく、エンベディング層から同じエンベディングベクトルを取得します。
ここで、位置エンコーディングがなく(そして因果マスクもない)通常の自己アテンションメカニズムを考えてみましょう。この場合、各入力トークンは入力中の他のすべてのトークンにアテンションを向けることができます。このシナリオでは、2つの単語、「red」と「gray」を入れ替えても、各トークンペア間のエンベディングとアテンションスコアは同じになります。
GPTスタイルのモデルは因果(自己回帰)マスクを使用しており、これは各トークンが自身とそれ以前のトークンに限定されます。興味深いことに、この因果マスクは計算にいくらかの暗黙的な順序情報をもたらします。この例では、「jumps」は最初の文では「red」に、2番目の文では「gray」にアテンションを向けることができます。したがって、明示的な位置エンベディングなしでも、因果LLMは理論上これらの文を区別できます。(「NoPE」の概念について議論する際に、このアイデアに戻ります。)
それでも、GPT-2およびほとんどの新しいLLMには明示的な位置情報が含まれています。これは、アテンションに位置に関する直接的な信号を与えるためです。なぜなら、因果マスクはどのトークンがアクセス可能かを決定し、暗黙的な順序情報を提供するものの、例えば1つの位置の分離と10の位置の分離を区別しないからです。したがって、明示的な位置情報の手法は依然として有用(または不可欠)であり、それらの情報を提供します。
これらすべてが混乱して聞こえた場合、心配しないでください。これは概要として意図されており、記事の残りの部分でこれらの概念をもう少しゆっくりとステップごとに見ていきます。
2. 各トークンエンベディングに位置ベクトルを追加する
(そして、後でさらに詳しく議論する)因果アテンションマスクによる暗黙的な位置情報について簡単に触れましたが、ここでは明示的な位置情報の追加方法に切り替えます。
おそらく最もシンプルで直接的(しかし「安価」ではない)なアプローチは、各シーケンス位置に独自のベクトルを与えることです。そのベクトルをトークンエンベディングに追加するため、結果として得られる変更されたエンベディングベクトルが最初のトランスフォーマーブロックに渡されます。この正確な手順を以下のサブセクションで説明します。
2.1 GPT-2における学習済み絶対位置エンベディング
明示的な学習済み位置ベクトルを入力エンベディングに追加する使用法を説明するために、具体的な例としてGPT-2を考えます。GPT-2はトレーニング中に位置ベクトルのテーブルを学習します。次の図は、これらのベクトルがアーキテクチャのどこで使用されるかを示しています。つまり、トークンエンベディングのルックアップの直後、および最初のトランスフォーマーブロックの前です。
[画像: Figure 5 — gpt2 architecture]
Figure 5: GPT-2は、紫色のハイライト部分で示されているように、トランスフォーマーブロックの前に絶対位置情報を追加します。表示されている次元はGPT-2 XLのものです。
上の図に示されている位置エンベディング層は、トークンエンベディング層と同じ実装に従います。つまり、それらはまったく同じ出力次元を持つため、結果の入力ベクトルを互いに加算できます。以下のコードは、GPT-2コード実装の一部を示しています。
# Example excerpt from GPT-2 implementation
class GPT2Model(nn.Module):
def __init__(self, config):
super().__init__()
self.wte = nn.Embedding(config.vocab_size, config.n_embd)
self.wpe = nn.Embedding(config.n_positions, config.n_embd)
# ... other layers ...
def forward(self, input_ids, attention_mask=None, position_ids=None):
# ...
input_shape = input_ids.size()
input_ids = input_ids.view(-1, input_shape[-1])
position_ids = torch.arange(0, input_shape[-1], dtype=torch.long, device=input_ids.device)
position_ids = position_ids.unsqueeze(0).expand(input_shape[0], input_shape[-1])
inputs_embeds = self.wte(input_ids) # Token embeddings
position_embeds = self.wpe(position_ids) # Position embeddings
hidden_states = inputs_embeds + position_embeds # Add them together
# ... pass to transformer blocks ...
そして数学的には、次のように記述できます。mを位置インデックス、xmをその位置のトークンIDとします。最初のブロックへの入力は次のようになります。
$h_m = E_{\text{token}}(x_m) + P_m$
ここで、
- $E_{\text{token}}$はエンベディング層です。
- $P_m$はmによって選択される位置情報ベクトルです。
- そして$h_m$は結果の合計エンベディングと位置ベクトルです。
2つのベクトルは同じ幅を持つため、要素ごとに加算します。下の図6は、小さな数値例でこれを示しています。
[画像: Figure 6 — absolute embeddings]
Figure 6: トークンと位置のエンベディングは要素ごとに加算されます。(ニューラルネットワーク図は通常、下から上に読むという慣習に従っています。)
上の図では、位置0で、トークンエンベディング [1, 1, 1] に位置エンベディング [1.1, 1.2, 1.3] を加えると [2.1, 2.2, 2.3] になります。ちなみに、図中の値はイラストを単純化するために選ばれています。実際の例では、両方のエンベディング層(テーブル)は小さなランダム値で初期化され、トレーニング中に学習されます。
したがって、このセクションでカバーしたのは、いわゆる絶対位置情報の手法です。なぜなら、位置エンベディング$P_m$はトークン自身の位置mに依存するからです。前の例の文では、2つの「fox」トークンは最初は同じトークンエンベディングを持ちますが、異なる位置ベクトル$P_2$と$P_7$を加算するため、最初のトランスフォーマーブロックに入る前に値が異なります。その結果、アテンションメカニズム内のクエリ、キー、バリューベクトルも、すでに位置情報を含む表現を受け取ることになります。
元のGPT-2実装には1,024個の学習済み位置ベクトルが含まれていることに注意してください。これは、1024以下のトークンを持つ入力でのみ機能することを意味します。コンテキストウィンドウを拡張したい場合は、このエンベディングテーブルを拡張する必要があります。そして、エンベディングテーブル(層)は他のどの層と同様にトレーニング中に更新されるため、コンテキスト長はトレーニング開始前に決定される必要があります。
テーブルが非常に大きくなる可能性があるため、コンテキストを拡張するのは非常にコストがかかります。例えば、GPT-2 Mediumの場合、位置エンベディング層の重みは、1,024の位置で総重みのわずか0.30%しか占めません。しかし、コンテキスト長を現在の一般的な10万の範囲に増やした場合、総モデル重みの22%以上を占めることになり、これは非常に非経済的です。
2.2 元のトランスフォーマーにおける固定サインコサイン位置エンコーディング
2017年のオリジナルの「Attention Is All You Need」トランスフォーマーは、GPTよりも前に登場し、同じ加算メカニズムを使用していますが、その位置ベクトルは固定のサイン関数とコサイン関数で計算されます。下の図7は、エンコーダーとデコーダーの両方のスタックの前でこの加算を示しています。エンコーダーは入力シーケンスを処理し、デコーダーは出力シーケンスを生成します。(ここに導入する理由は、サイン関数とコサイン関数が、後でRoPEについて議論する際に再び関連性を持つためです。)
[画像: Figure 7 — original transformer architecture]
Figure 7: 紫色のハイライト部分で示されているように、トークンエンベディングに追加されたサインコサイン位置エンコーディング。
オリジナルのトランスフォーマーは、位置ベクトルを追加する前に、トークンエンベディングを$\sqrt{d_{\text{model}}}}$でスケーリングします。ここで、$d_{\text{model}}$はエンベディングの幅です。
したがって、前のセクションのGPT-2が次の式を持っていたのに対し、
$h_m = E_{\text{token}}(x_m) + P_m$
図7に示されているオリジナルのトランスフォーマーで使用される式は次のとおりです。
$h_m = \sqrt{d_{\text{model}}}} E_{\text{token}}(x_m) + P_m$
この$\sqrt{d_{\text{model}}}}$によるスケーリングはマイナーな技術的詳細ですが、興味のある方のために、このスケーリング係数の背後にある動機はトランスフォーマーの論文では説明されていません。しかし、何年も前にTwitterのスレッドで同僚と議論したように、これはおそらくトークンエンベディングとサインコサイン位置エンコーディングを初期化時に同等の数値規模に置くためであり、それらを加算したときに位置ベクトルが合計を支配しないようにするためでしょう。
GPT-2の場合、このスケーリングは不要でした。なぜなら、オリジナルのGPT-2コードはトークンエンベディングを初期標準偏差0.02で、位置エンベディングを初期標準偏差0.01で初期化していたため、すでにほぼ同じスケールだったからです。
さて、より興味深い点は、位置エンベディング$P_m$がどのように計算されるかです。
具体的には、各位置ベクトルは次のエントリを持ちます。
$P_{m,2i} = \sin\left(\frac{m}{10000^{2i/d_{\text{model}}}}\right), \quad P_{m,2i+1} = \cos\left(\frac{m}{10000^{2i/d_{\text{model}}}}\right)$
前と同様に、mは位置を表します。インデックスiはベクトル内の特徴量のペアをインデックス付けします。
ここで、特徴量とは位置ベクトル内の1つの数値です。例えば、8つの値を持つ小さなベクトル($d_{\text{model}} = 8$)があり、エントリは0から7まで番号付けされていると仮定します。(オリジナルの論文では、これは小さいモデルで512、大きいモデルで1024でしたが、視覚化するのは困難です。)これらを4つのペアにグループ化するため、$i$は0から3まで変化します。
[画像: Figure 8 — sinusoidal feature pairs]
Figure 8: 各特徴量ペアのサインとコサインのエントリ。
ここでは、インデックス$2i$と$2i+1$は、ペアiに対応する2つのエントリを選択します。
前述の式に示すように、サイン関数またはコサイン関数に渡されて$P_{m,2i}$または$P_{m,2i+1}$を得る、位置mでの角度は次のように計算されます。
[画像: Figure 9 — angle and frequency]
Figure 9: サインとコサインの中の角度は、トークン位置にペアの角周波数を掛けたものです。
図10は、位置m = 2での8特徴量の例の4つのペアすべてに対するこの計算を示しています。
[画像: Figure 10 — sinusoidal calculations]
Figure 10: 位置2での4つのサインとコサインのペア。
8特徴量のエンベディングの場合、4つの周波数は位置あたり1、0.1、0.01、0.001ラジアンです。位置2では、行1の最初のペアは(sin 2, cos 2)≈(0.909, −0.416)です。
2行目の2番目のペアは、よりゆっくり変化し、(sin 0.2, cos 0.2)≈(0.199, 0.980)になります。
次の図は、異なるペアのサインとコサインの計算を視覚化しており、これらは位置ベクトルに収集されます。
[画像: Figure 11 — sinusoidal encoding]
Figure 11: 位置ベクトルを形成するためにサイン関数とコサイン関数をサンプリングする。
要するに、この方法は、前のセクションで議論したGPT-2の方法と比較して、位置エンベディングベクトルを取得するための(より複雑な)代替手段です。
GPT-2エンベディングと同様に、これらも絶対エンベディングです。なぜなら、各ベクトルはその自身の位置から計算されるからです。しかし、GPT-2アプローチとは対照的に、サイン関数とコサイン関数はトレーニング中に固定されます。(また、トレーニング位置を超えて、例えば1024のコンテキスト長を超えて評価および拡張することもできます。ただし、それだけではモデルがそこでうまくパフォーマンスを発揮することが保証されるわけではありません。なぜなら、トレーニング中にそれらを見ていないからです。)
要約すると、下の図12は、これまでに議論した位置ベクトルを取得する2つの方法を比較しています。
[画像: Figure 12 — fixed vs learned positions]
Figure 12: 固定サインコサインと学習済み絶対位置エンベディング。
このサインコサイン法は、位置エンベディングを取得するための過度に複雑な方法に見えるかもしれませんが、次のセクションでRoPEについて話す際に役立ちます。
また、それにはある程度の根拠があります。著者はサインとコサインを選択しました。なぜなら、それらは特定のオフセットによるシフトが特定の決定論的な差を生むようにするためです。例えば、位置2から5までの差と、102から105までの差は両方とも3であり、それによって同じ回転が生じます。
「Attention Is All You Need」論文によると:
「...相対位置によって容易にアテンションを学習できる。なぜなら、任意の固定オフセットkに対して、$PE_{\text{pos} + k}$は$PE_{\text{pos}}$の線形関数として表現できるからである。」
より技術的でない言葉で言えば、著者はこのプロパティが、アテンションが「3トークン前」のような関係を学習するのを容易にすると仮定しました。
下の図13は、1つのサイン/コサインペアについてこれを視覚化しています。回転は線形変換であり、3つの位置シフトは両方とも同じ回転を使用します。
[画像: Figure 13 — sinusoidal relative shift]
Figure 13: 位置あたり0.1ラジアンの角周波数を持つペアの場合、3つの位置のシフトは常にペアを0.3ラジアン回転させます。
3. RoPEによる相対位置のエンコーディング
したがって、上記のサインコサイン法は、各トークンエンベディングに追加されるベクトルがシーケンスの開始からのトークンの位置を表すため、依然として絶対位置エンコーディングと見なされます。
前の図に示すように、例えば、位置2と5にあるトークンは位置ベクトル$P_2$と$P_5$を受け取ります。それらのトークンを位置102と105に移動させても、それらは依然として3つの位置離れています。しかし、各トークンは異なる位置ベクトルを受け取ります。なぜなら、その絶対位置mが変更されるからです。
したがって、トークンエンベディングが同じままでも、それらのアテンションスコアは変化する可能性があります。サインコサイン構造は、モデルに相対関係を学習する方法を提供します。
いずれにせよ、後で説明するRoPEは、この相対関係をアテンション計算に直接組み込みます。RoPEは、Suらによって2021年のRoFormer論文で導入され、Rotary Position Embeddingの略で、相対位置手法と見なされます。
3.1 RoPEにおける回転をアテンション内に移動する
アテンションでは、各トークンの現在の表現はクエリ、キー、バリューベクトルに投影されます。クエリ-キーのドット積がアテンションスコアを決定します。マスキングとソフトマックスの後、結果の重みはバリューベクトルがどのように混合されるかを決定します。復習については、私のUnderstanding and Coding Self-Attention, Multi-Head Attention, Causal-Attention, and Cross-Attention in LLMsの記事を参照してください。
[画像: Understanding and Coding Self-Attention, Multi-Head Attention, Causal-Attention, and Cross-Attention in LLMs]
RoPEは、トークンの位置を使用して、クエリベクトルとキーベクトルをドット積の前に回転させます。バリューベクトルはこの回転をバイパスします。下の図14は、比較的最近のMiniMax-M3でRoPEがどこに適用されるかの概要を示しています。QK-Normは、RoPEの前にクエリとキーを正規化します。
[画像: Figure 14 — minimax m3 architecture]
Figure 14: MiniMax-M3は、アテンション内でクエリとキーにRoPEを適用します。
上の図に示すように、LLMアーキテクチャは、初期トークンエンベディングに沿って明示的な位置ベクトルを追加しません。その明示的な位置信号は、代わりにアテンション内で注入されます。
補足:MiniMax-M3は、各クエリおよびキーヘッドの一部のみを回転させます。これは「部分RoPE」として知られるバリエーションであり、後でセクション6.1でカバーします。しかし、基本的なRoPE操作を最初に理解するために、小さな例を使用してステップバイステップでウォークスルーしましょう。
3.2 トークン表現からRoPEの特徴量ペアへ
アテンションは通常、クエリ、キー、バリューの特徴量を複数のヘッドに分割し、これらは並列に処理されます。したがって、完全なメカニズムは通常マルチヘッドアテンションと呼ばれます(Grouped Query Attentionも複数のヘッドを使用することに注意してください)。ここでは、各アテンションヘッドは独自の注意スコアと重み付き合計を計算します。RoPEは、各クエリおよびキーヘッド内の数値ペアに作用します。
これを具体的にするために、下の図12は、トークン表現が学習済みのクエリおよびキー投影を通過する様子を追っています。これらは重み行列$W_Q$と$W_K$を介して計算されます。このおもちゃの例では、各投影は16個の特徴量を生成し、それぞれ8個の特徴量を持つ2つのヘッドにリシェイプされます。下の図では、各小さなセルには1つのスカラー特徴量、つまりベクトル内の1つの数値エントリが含まれています(スペースの都合上、数値は表示されていません)。
[画像: Figure 15 — inputs and pairs]
Figure 15: 隠れ状態を投影し、ヘッドにリシェイプし、RoPEのために特徴量をペアにする。
最初の8特徴量ヘッド [1, 2, 3, 4, 5, 6, 7, 8] について、各特徴量を後半の対応する特徴量とペアにします。これにより (1, 5), (2, 6), (3, 7), (4, 8) が得られます。この分割半分(split-half)の規約は、私のQwen3実装を含むLLM実装で使用されています。(基本的な操作を実装した後、元の代替隣接特徴量ペアリング法と比較します。)
各ペアは、トークン位置mとペアの周波数θiによって決定される回転角度を取得します。対応するクエリとキーのペアは同じ周波数を使用します。下の図16は、ペアを回転させ、更新された特徴量を元の位置に戻し、クエリ-キーのドット積を計算する方法を示しています。
[画像: Figure 16 — position rotations]
Figure 16: ペアごとの回転により、アテンションスコアの計算に使用される回転済みクエリおよびキーベクトルが生成されます。
次のセクションでは、図をもう少しゆっくりと見ていきます。
3.3 RoPEで1つのペアを回転させる
以下の例では、以前と同じ2つの位置を使用します。クエリは位置m = 5にある「the」から、キーは位置n = 2にある最初の「fox」から取得されます。この例では、キーがクエリより前にあるため、因果マスクはクエリがそれにアテンションを向けることを許可します。
位置の効果を示すために、すべてを固定したままにして、両方のペアを同じ2つの値(1, 5)から始めると仮定します。
[画像: Figure 17 — query pair closeup]
Figure 17: 最初の特徴量ペア(1, 5)は、クエリヘッドの各半分から1つのエントリを取得します。
さらに、この例では、トークン位置あたりθ = 20°(位置あたりπ/9ラジアン)を使用します。位置2では、キーの矢印を2 × 20° = 40°反時計回りに回転させます。位置5では、クエリの矢印を5 × 20° = 100°回転させます。
[画像: Figure 18 — rotations at positions 2 and 5]
Figure 18: (1, 5)から開始して、RoPEは位置2のキーペアを40°、位置5のクエリペアを100°回転させます。
上記の図で何が起こっているかを説明するために、例えば、cos 40° ≈ 0.766 および sin 40° ≈ 0.643 を図16の回転に代入すると、新しいキー座標が得られます。
$k' = (1\cos40^\circ - 5\sin40^\circ,;1\sin40^\circ+5\cos40^\circ) \approx (-2.448,;4.473)$
次に、同じ式をnθを使用して、40°を100°に変更すると、回転したクエリペアは$q' \approx (-5.098,;0.117)$になります。しかし重要な点は、両方の矢印の長さは√26のままであるということです。変換後もベクトルの長さは同じで、回転のみが変化します。
したがって、位置mにあるクエリペア(a, b)に対して、ここでの2つの操作は次のようになります。
$a' = a\cos(m\theta)-b\sin(m\theta), \quad b' = a\sin(m\theta)+b\cos(m\theta)$
位置nにあるキーペアに対しては、nθを使用して同じ方程式を使用します。
$a' = a\cos(n\theta)-b\sin(n\theta), \quad b' = a\sin(n\theta)+b\cos(n\theta)$
(セクション4で、RoPEが各特徴量ペアの角周波数をどのように計算するかを示します。)
このセクションを締めくくるために、コードを読む方が得意な方のために、これまでに説明したRoPEのすべてを次のようにコードで記述できます。
import torch
def rotate_half(x):
x1 = x[..., :x.shape[-1]//2]
x2 = x[..., x.shape[-1]//2:]
return torch.cat((-x2, x1), dim=-1)
def apply_rope(x, cos, sin):
return (x * cos) + (rotate_half(x) * sin)
# Example values (simplified)
key_pair = torch.tensor([1.0, 5.0])
query_pair = torch.tensor([1.0, 5.0])
# Assume cos_40, sin_40 for key at pos 2 and cos_100, sin_100 for query at pos 5
# For simplicity, let's use the values from the text
cos_40, sin_40 = torch.cos(torch.deg2rad(torch.tensor(40.0))), torch.sin(torch.deg2rad(torch.tensor(40.0)))
cos_100, sin_100 = torch.cos(torch.deg2rad(torch.tensor(100.0))), torch.sin(torch.deg2rad(torch.tensor(100.0)))
# Apply rotation to key
rotated_key_pair = apply_rope(key_pair, cos_40, sin_40)
# Apply rotation to query
rotated_query_pair = apply_rope(query_pair, cos_100, sin_100)
print(f"Rotated key: {rotated_key_pair}")
print(f"Rotated query: {rotated_query_pair}")
結果の値は次のとおりです。
Original key: (1, 5)
Original query: (1, 5)
Rotated key: tensor([-2.4481, 4.4732])
Rotated query: tensor([-5.0981, 0.1170])
もし8特徴量クエリ(およびキー)ベクトル全体を回転させると、次のベクトルが得られます。(1つのペアの回転からすべてのペアの回転にどのように移行するかについては後で説明します。)
Original key: (1, 2, 3, 4, 5, 6, 7, 8)
Original query: (1, 2, 3, 4, 5, 6, 7, 8)
Rotated key: tensor([-2.4481, 1.5770, 2.9511, 3.9940, 4.4732, 6.1250, 7.0211, 8.0030])
Rotated query: tensor([-5.0981, 0.9280, 2.8770, 3.9860, 0.1170, 6.2560, 7.0511, 8.0070])
3.4 相対オフセットがRoPEのアテンションスコアをどのように変更するか
上記のように、クエリとキーのヘッドはそれぞれ8つの特徴量を持っており、これらは以前に2つの要素を持つペア((1, 5)など)に4つのペアにグループ化しました。ここでは簡単のために、各ヘッドの最初のペア(1, 5)のみを追跡します。これは、インデックス0と4にあるエントリを取得することによって行われます。
Original key: (1, 5)
Original query: (1, 5)
Rotated key: tensor([-2.4481, 4.4732])
Rotated query: tensor([-5.0981, 0.1170])
上記のように、この例では、回転前のこれらのエントリは両方のヘッドで値(1, 5)を持っています。
また、上記のコードのように、$q = (q_1, q_2)$および$k = (k_1, k_2)$という表記法をこれらの2つのペアに使用しましょう。それらのドット積を計算するために、標準的なドット積の公式を使用し、対応する座標を乗算して合計します。
$q \cdot k = q_1k_1 + q_2k_2$
回転前、ペアのドット積は$1 \times 1 + 5 \times 5 = 26$です。前の図18の丸められた座標を使用すると、回転後の最初のペアからの寄与は次のようになります。
$q' \cdot k' \approx (-5.098)(-2.448) + (0.117)(4.473) \approx 13.00$
これは、2つのベクトルの長さ(図18の矢印)とそれらの間の角度φに関してドット積を記述することで理解できます。
$q' \cdot k' = \lVert q'\rVert ;\lVert k'\rVert \cos\phi$
どちらの場合も、ベクトル長は√26です。クエリ(位置5)は100°回転し、キー(位置2)は40°回転します。ベクトル(矢印)は同じ方向から始まっているため、回転後には60°離れています。それらの正確なドット積は$26 \times \cos(60^\circ) = 13$です。
ここで、キーを位置2から位置3に移動させ、その開始座標(1, 5)を固定したままにするとどうなるか見てみましょう。キーの回転は、40°から3 × 20° = 60°に変わります。クエリは依然として100°回転するため、矢印間の角度は40°に縮小し、ドット積は13から$26 \times \cos(40^\circ) \approx 19.92$に変化します。したがって、キーを1位置近づけただけで、特徴量の値が同じであったにもかかわらず、ドット積が変化しました。
これらのドット積はなぜ重要なのでしょうか? アテンションでは、すべての特徴量ペアからの寄与を合計してクエリ-キーのドット積を得ます。RoPEはこれらのドット積を変更でき、それによってソフトマックスがバリューベクトルに割り当てる重みも変更できます。
$\operatorname{Attention}(Q',K',V) =\operatorname{softmax}!\left(\frac{Q'(K')^\top}{\sqrt{d}}\right)V$
上記のアテンション方程式では、$Q'$と$K'$は、1つのヘッドの回転済みクエリ$q'$とキー$k'$を含む行列、$V$はバリューを含み、$d$はヘッドの次元です。
3.5 両方の位置をシフトしてもアテンションスコアがRoPEで保存される理由
ドット積の計算を説明したので、これはアテンションメカニズムの核心です。ここでは、2つの位置m = 5とn = 2に戻りましょう。両方の位置を3つ右にシフトすると、$m = 8$と$n = 5$が得られます。各回転は60°増加します(クエリは100°から160°へ、キーは40°から100°へ)。しかし、ベクトル間の角度は同じままです。この特徴量ペアのドット積は依然として13です。
[画像: Figure 19 — position shift dot products]
Figure 19: 3つの異なる位置設定での最初のペアのドット積。
鍵は、回転角度の差が
$n\theta-m\theta=(n-m)\theta$
であるということです。元のクエリとキーベクトルを固定し、両方のトークン位置を同じ量だけシフトすると、RoPEは両方のベクトルに同じ回転を追加します。それらの間の角度は同じままなので、ドット積も同じままです。図20は、実際の例(位置あたり20°)よりも小さい角度を使用して、図を読みやすくしていることに注意してください。
[画像: Figure 20 — relative position]
Figure 20: 共有の位置シフトは、固定されたクエリとキーの特徴量に対する相対角度とドット積を保持します。
上記の例と図20は、RoPEの背後にある主なアイデアを説明しています。アテンションモジュール内の対応するクエリとキーを回転させるために、各トークンの位置を使用します。クエリ-キーのドット積において、重要なのは、一方のベクトルが他方に対してどれだけ回転するかです。各特徴量ペアについて、この回転の差は、2つのトークン間のオフセットにのみ依存します。
これを全体像のコンテキストで説明するために、図21では、各行が1つのクエリのスコアを収集しています。行5の「the」のクエリと列2の「fox」のキーを考えると、それらの間のアテンションスコアは、クエリとキーの2つの回転バージョンのドット積として計算されます。
[画像: Figure 21 — query key score map]
Figure 21: ソフトマックス前のクエリ-キーのスコアマップ。灰色のセルは、因果マスクによって除外された将来のキーを示します。
改めて、ポイントは何でしょうか? 「The red fox jumps over the gray fox.」という文をもう一度考えてみましょう。文の前に100個のトークン(例:システムプロンプト)を追加すると、最初の「fox」と2番目の「the」は位置2と5から102と105に移動します。しかし、任意の長さのプレフィックスは両方の位置を等しくシフトするため、それらは依然として正確に3つの位置離れています。これは、各ベクトル(矢印)がまったく同じ追加回転を獲得し、それらの間の角度とドット積を保持することを意味します(回転前のクエリとキーベクトルを固定していると仮定します。実際のモデルでは、新しいプレフィックス100トークンは、トークンが何にアテンションを向けるかを変えることによって、それらのベクトルを変更する可能性があります)。
図22は、アテンションスコア行列でこの比較を追跡しています。右側のパネルは、プレフィックスを追加した後の文の行と列を示しています。このおもちゃの例では、最初のペアは依然としてドット積に13を寄与します。
[画像: Figure 22 — shifted query key score map]
Figure 22: ハイライトされたスコアは、行5、列2から行105、列102に移動します。クエリとキーベクトルを回転前に固定した場合、同じ値が保持されます。
ご存知かもしれませんが、オリジナルのトランスフォーマーのサインコサインエンコーディングでは、固定オフセットは各サイン/コサインペア内の固定回転にも対応します。しかし、その共有回転は、アテンションメカニズム内のクエリとキーベクトルではなく、入力ベクトルに追加される位置ベクトルにのみ適用されます。
図23は、これまでにカバーした3つの手法で、このシフトが何を変更するかを比較しています。
[画像: Figure 23 — position shift comparison]
Figure 23: サインコサインエンコーディング、GPT-2の学習済み位置エンベディング、およびRoPEでの同じ位置シフト。
3.6 ボーナス:ペアを完全なヘッドに組み合わせるRoPE
相対オフセットがドット積にどのように影響するかを理解するために、クエリとキーの特徴量ペアに焦点を当てました。ここでは、4つのペアすべてをまとめて、1つのアテンションヘッドで8特徴量ベクトル全体をRoPEがどのように回転させるかを見てみましょう。(技術的な詳細が多すぎる場合は、このセクションはスキップしても構いません。)
図24は、図17の続きです。4つのペアそれぞれを回転させ、結果をクエリの元の特徴量順序に戻します。
[画像: Figure 24 — four pair rotation]
Figure 24: RoPEは、各クエリ特徴量ペアを独自の角度で回転させます。(キーにも同じことが適用できますが、イラストを単純化するために省略しています。)
上記の図24は、回転したクエリ$q'$(下部)を示しています。同様に、キーの位置で同じ手順を繰り返すことで、回転したキー$k'$を取得できます。
セクション3.3の2つの式を思い出してください。入力値が$(a_i, b_i)$であるクエリペアiについて、$c_i = \cos(m\theta_i)$、$s_i = \sin(m\theta_i)$とします。これらは、クエリ位置mでのそのペアの回転角度のコサインとサインです。
$a_i' = c_i a_i - s_i b_i, \quad b_i' = s_i a_i + c_i b_i$
下の図25は、4つのペアの同じ4つの回転を単一の行列乗算、$q' = R_m q$として示しています。
[画像: Figure 25 — full rotation matrix]
Figure 25: 図24の4つの回転を1つの行列乗算として記述。ペアラベルは、各回転が完全な行列のどこに配置されるかを示しています。
4. RoPEにおける回転周波数の計算?
完全なアテンションヘッドは複数の周波数を使用するため、一部の特徴量ペアは位置によってより劇的に(RoPEの用語では「速く」)変化し、他のペアはより徐々に(「遅く」)変化します。これは、オリジナルのトランスフォーマーのサインコサインエンコーディングにおける複数の周波数と同じ目的を果たします。
しかし、手動で割り当てる代わりに、d個の特徴量を持つヘッドの場合、標準的なフルRoPEは次のようにそのd/2ペアごとに1つの周波数を計算します。
$\theta_i=b^{-2i/d}$
ここで、
- dはヘッドの次元です(すべての特徴量をペアに配置できるように偶数である必要があります)。
- iはペアのインデックスです。0からd/2−1まで変化します。
- bは周波数の間隔を決定する選択されたベース値(ハイパーパラメータ)です。
- θiはペアiの周波数(ラジアン/トークン位置)です。
オリジナルのRoFormer論文は、$b$ = 10,000を使用し、エンベディング幅$d_{\text{model}}$の代わりにヘッド次元dを持つオリジナルトランスフォーマーの周波数式を借用しています。
例えば、ヘッド次元d = 8、ベースb = 10,000の場合、周波数は位置あたり[1, 0.1, 0.01, 0.001]ラジアンになります。
5. ボーナス:PyTorchでのRoPEの実装
RoPEを完全なモデルで見たい場合は、私のエンドツーエンドのQwen3 from-scratch実装を参照することをお勧めします。
コードは概念を説明し理解する効果的な媒体となるため、興味のある方は、以下のサブセクションでこれまでにカバーしたコア部分をウォークスルーします。それ以外の場合は、セクション6、「現代のアーキテクチャにおける位置選択肢」にスキップしてください。
したがって、以下のコードスニペットでは、前述の分割半分回転規約を使用します(インターリーブ規約もカバーしますのでご安心ください)。まず、それを1つのクエリベクトルに適用し、次にアテンションメカニズム内でクエリとキーに使用します。
5.1 回転の計算と適用
まず、図24の8特徴量クエリを再利用します。便宜上、以下は回転前の4つの特徴量ペアです。
[画像: Figure 24 の詳細 — original query pairs]
Figure 24 の詳細。8つのクエリ特徴量は、分割半分レイアウトで4つのペアを形成します。
以前のコードなしの例では、数学を単純化するために最初のペアに位置あたり20°の周波数を選択しました。ここでは、前のセクション4の元のRoPE式、$θ_i = b^{−2i/d}$を、ヘッド次元$d = 8$とベース$b = 10,000$で使用します。
図26は、2つの関数がこれらの回転を適用するためにどのように連携するかを示しています。
[画像: Figure 26 — pytorch walkthrough]
Figure 26: rope_paramsはトークン位置2のコサインとサインテーブルを返します。rope_split_halfはこれらのテーブルと元のクエリを取得し、回転したクエリを返します。
上記の図に示すように、まず、rope_paramsは各ペアをどれだけ回転させるかを決定し、それらの角度のコサインとサインを格納する2つの「テーブル」を返します。つまり、rope_paramsは、トークンの位置と特徴量ペアの周波数に依存する各回転角度のコサインとサインを計算します。
rope_params関数内のindices配列には、セクション4の周波数式における$2i$の値が含まれています。
$\theta_i = b^{-2i/d}$
8特徴量クエリの場合、indicesは[0, 2, 4, 6]、つまり各特徴量ペアに1つの$2i$値です。一般的なベース$b = 10,000$を使用すると仮定します。そして、以前の例に従って、小さなヘッド次元$d = 8$を選択します。この場合、inv_freqは次の4つのペア周波数$θ_i$(ラジアン単位)を計算します。
$[ heta_0, heta_1, heta_2, heta_3] = \left[10,000^{-0/8},;10,000^{-2/8},;10,000^{-4/8},;10,000^{-6/8}\right] = [1,;0.1,;0.01,;0.001]$
上記で見られるように、結果のinv_freqは、4つの特徴量ペアそれぞれに1つの周波数θi(トークン位置あたりのラジアン単位)を持ちます。
次に、anglesは各ペアの周波数$θ_i$にトークン位置mを掛け、回転角度$mθ_i$を計算します。この例では、positions = [2]を使用すると、次のようになります。
$[2\theta_0,;2\theta_1,;2\theta_2,;2\theta_3] = [2\times1,;2\times0.1,;2\times0.01,;2\times0.001] = [2,;0.2,;0.02,;0.002]$
最後に、rope_paramsは各角度のコサインとサインを取得し、それらを2つのいわゆるコサインテーブルとサインテーブルとして出力します。両方のテーブルで、各行はトークン位置、各列は特徴量ペアです。ここではトークン位置2のみを使用しているため、各テーブルは形状(1, 4)を持ち、単一行が以下に示されています。
$\texttt{cos}:\quad [\cos(2),;\cos(0.2),;\cos(0.02),;\cos(0.002)] \approx [-0.416147,;0.980067,;0.999800,;0.999998], \quad \texttt{sin}:\quad [\sin(2),;\sin(0.2),;\sin(0.02),;\sin(0.002)] \approx [0.909297,;0.198669,;0.019999,;0.002000]$
図26の例では、各テーブルにはトークン位置2の1行と、各特徴量ペアの1列ずつ、合計4列があります。図27は、各ペアの回転角度と、2つのテーブルの対応するエントリを示しています。
[画像: Figure 27 — cos sin tables]
Figure 27: トークン位置2に対してrope_paramsが返す2つのテーブル。ハイライトされた列は、最初の特徴量ペア(1, 5)を回転させるために使用されるコサインとサインを提供します。
要するに、rope_paramsは、トークンの位置と特徴量ペアの周波数に依存する各回転角度のコサインとサインを計算します。
実際のシナリオでは、コンテキストサイズ1024の1,024個のトークン位置をrope_paramsに渡すと、ヘッド次元が128の場合、ヘッドに64個のペアがあるため、各テーブルは形状(1024, 64)の2つのテンソル、cosとsinを返します。
テーブルにはバッチまたはヘッドの次元がなく、各(1024, 64)テーブルをバッチおよびヘッドの次元全体にブロードキャストします。したがって、32個のヘッドを持つマルチヘッドアテンションまたはグループ化クエリアテンションがある場合、トークン位置2のペア0は、すべての32個のヘッドで同じ回転角度を使用します。各ヘッドは独自のフィーチャー値を回転させるため、回転後のクエリはヘッド間で異なる可能性があります。また、同じエントリは、同じ位置と周波数を使用するクエリ、キー、ヘッド間で再利用できます。要するに、これらのテーブルは、サポートされる最大コンテキストサイズまでのすべての位置について、モデルごとに1回だけ(事前に)計算する必要があります。
技術的には、これらのテーブルをモデルの重みと一緒に保存することも可能ですが、計算が非常に安価であるため、ディスクに保存するのは過剰です。
次に、rope_split_halfは、それらのコサインとサインを使用して、アテンション内のクエリとキーベクトルの実際の特徴量を回転させます。
簡単な8特徴量の例をもう一度考えると、コードスニペットの.chunkはクエリを[1, 2, 3, 4]と[5, 6, 7, 8]に分割し、各ペアの2つのエントリを並べます。例えば、各半分の最初のスロットは(1, 5)、2番目は(2, 6)などを取得します。torch.cat内の2つの式は、セクション3.3の式を使用して回転した半分を計算します。
$a_i' = a_i\cos(m\theta_i) - b_i\sin(m\theta_i), \quad b_i' = a_i\sin(m\theta_i) + b_i\cos(m\theta_i)$
ここで、aiで示されるすべてはクエリの最初の半分に対応し、biで示されるすべては後半から取得されることに注意してください。torch.cat内の最初の式はすべての$a_i'$値を計算し、2番目の式はすべての$b_i'$値を計算します。
次に、半分を連結し、torch.catを介して各値が元のインデックス位置に戻されます。
前の図26の回転済みクエリを生成するコードは次のとおりです。表示されているリシェイプ(1, 1, 1, 8)は、単純なトイ配列を期待される形式(バッチアイテム1つ、ヘッド1つ、トークン1つ、8つの特徴量)に変換するだけです。
import torch
def rotate_half(x):
x1 = x[..., :x.shape[-1]//2]
x2 = x[..., x.shape[-1]//2:]
return torch.cat((-x2, x1), dim=-1)
def apply_rope(x, cos, sin):
return (x * cos) + (rotate_half(x) * sin)
# Example parameters
d = 8
b = 10000
positions = torch.tensor([2]) # Token position 2
# Calculate inverse frequencies
indices = torch.arange(0, d, 2) # [0, 2, 4, 6]
inv_freq = b ** (-indices / d)
# Calculate angles
angles = positions[:, None] * inv_freq[None, :] # Shape (1, 4)
# Calculate cos and sin tables
cos_table = torch.cos(angles)
sin_table = torch.sin(angles)
# Original query features (example from Figure 24)
query_features = torch.tensor([1.0, 2.0, 3.0, 4.0, 5.0, 6.0, 7.0, 8.0])
# Reshape for apply_rope (batch, head, token, features)
query_features = query_features.reshape(1, 1, 1, d)
cos_table = cos_table.reshape(1, 1, 1, d) # Match feature dimension
sin_table = sin_table.reshape(1, 1, 1, d) # Match feature dimension
# Apply RoPE
rotated_query = apply_rope(query_features, cos_table, sin_table)
print(f"Original query: {query_features.squeeze()}")
print(f"Rotated query: {rotated_query.squeeze()}")
複数の位置がある場合、各トークンは単にcosとsinテーブルから自身の行を選択します。ブロードキャスティングにより、PyTorchはこれらの同じテーブルをすべてのバッチアイテムとアテンションヘッド全体で再利用します。
5.2 RoPEを因果アテンション内で使用する
これまではRoPEユーティリティ関数をコーディングしてきました。次に、実際のコンテキストであるアテンションメカニズムで使用しましょう。ここでは、2つの8特徴量ヘッドと4つのトークン位置に対して標準的な周波数スケジュールを使用します。例を自己完結させるためにランダムなクエリ、キー、バリューテンソルを使用しますが、前述のように、エンドツーエンドのQwen3 from-scratch実装を実際のクエリ、キー、バリューで確認することもできます。これらは事前学習済みモデルによって生成されます。
注意:vではなくqとkのみがRoPEを通過します。結果の生の注意スコアは、形状(1, 2, 4, 4)のテンソルに格納されます。つまり、各クエリ位置の1行、各キー位置の1列、そして4x4は、互いにアテンションを向ける4つのトークンがあるためです。
次に、従来の注意コード実装を使用して、因果マスクは将来のキーのスコアを負の無限大に置き換えるため、ソフトマックス後にゼロになります。結果のcontextテンソルは形状(1, 2, 4, 8)になります。4は4つのトークンがあるため、8は埋め込み次元が元々8であったためです。
相対オフセットに関する主張が成り立つことを確認することもできます。つまり、各位置に3を追加すると位置が変更されますが、クエリ-キーのオフセットは保持されます。
5.3 代替の特徴量ペアリング規約
記事全体で分割半分規約について何度も言及しました。オリジナルのRoPE論文は、代替のインターリーブ規約を使用しています。これはオリジナルのLLaMA実装も同様です(ただし前述のように、ほとんどのコード実装は現在分割半分を使用しています。なぜなら、要素ごとのサインとコサイン操作で、すべてのペアを一度に回転させるのがコードで容易になるからです)。
2つのレイアウトの違いを説明するために、下の図28は両方の行で同じ8特徴量ベクトルを使用しています。
[画像: Figure 28 — feature pairing]
Figure 28: 分割半分は、最初の半分にある各特徴量を2番目の半分にある対応する特徴量とペアにします。インターリーブは隣接する特徴量をペアにします。
インターリーブ実装は同じ2つの式を使用しますが、交互の特徴量を選択し、出力をインターリーブします。
しかし、数学的には、特徴量の順序を考慮すると、レイアウトは同等です。したがって、エントリ[1, 2, 3, 4, 5, 6, 7, 8]を[1, 5, 2, 6, 3, 7, 4, 8]に並べ替えると、分割半分ペアは(1, 5), (2, 6)などとなり、隣接します。クエリとキーの両方に同じ並べ替えを適用すると、同じドット積が得られます。
出力は並べ替えられた特徴量を保持するため、それらをその同じ順序で分割半分出力と比較します。ただし、両方のレイアウトを元のベクトルに適用すると、異なるスコアが得られます。
6. 現代のアーキテクチャにおける位置選択肢
RoPEは、オリジナルのLLaMAモデル以降、ほとんどの(オープンウェイト)LLMで標準となっています。もちろん、プロプライエタリなモデルもそれを使用している可能性がありますが、プロプライエタリなモデルについては100%確実なことを言うのは常に困難です。
しかし、近年、多くのアーキテクチャが、すべてのトランスフォーマーブロックで完全なRoPEを使用することから離れつつあります。次のサブセクションでは、これらのバリエーションのいくつかについて説明します。
例えば、上記で議論し実装した完全なRoPE実装は、各クエリおよびキーヘッドのすべての特徴量ペアを回転させます。
以下のセクションの例では、モデルがヘッド内で一部の特徴量のみを回転させたり、一部のトランスフォーマーブロックでRoPEをスキップしたり、別の方法でアテンションスコアに直接位置情報を追加したりするのを見ることができます。
6.1 部分RoPE
記事全体で議論したように、通常の「フル」RoPEは、各クエリおよびキーヘッドのすべての次元を回転させます。部分RoPEは、残りの次元を変更せずに、サブセットのみを回転させるバリエーションです。
例えば、MiniMax-M3の設定では、128次元の各ヘッド内で64個のロータリー次元を使用しています。これにより、32個の回転済み特徴量ペアと64個の変更されていない次元が得られます。下の図は、それがどのように見えるかを示しています。
[画像: Figure 29 — partial]
Figure 29: 128次元ヘッドでのフルRoPEと部分RoPE。
最初のトランスフォーマーブロックを過ぎると、回転されていない特徴量は、前のトランスフォーマーブロックから継承された位置情報を含む可能性があることに注意してください。
いずれにせよ、部分RoPEのポイントは何でしょうか? メモリを節約できます。例えば、上記のMiniMax-M3の例では、特徴量の半分を回転させることで、事前計算されたコサインとサインテーブルのサイズも半分になります。したがって、部分RoPEでは、32個の列のみが必要になります。ただし、KVキャッシュは、キャッシュされた各トークンの完全なキーとバリューベクトルを格納することに注意してください。
MiniMax-M3の1Mトークンコンテキストの場合、128次元の特徴量のうち64次元を回転させると、テーブルがBF16で保存されている場合、事前計算されたコサインとサインテーブルのサイズが半分になり、0.134 GB(128 MiB)が節約されます。テーブル自体がNVFP4で保存されている場合、ブロックスケールを含めて、節約量は0.038 GB(36 MiB)になります。
1Bから8Bモデルでの実験では、Fractional Rotation, Full Potential?論文は、各ヘッドの特徴量の約10%を回転させることが、フルRoPEと同等のトレーニング損失とベンチマーク精度をしばしば達成することを発見しました。しかし、フルRoPEは一部の評価でより良い結果を示しました。
したがって、私の意見では、部分RoPEはほとんど価値がありません。
6.2 NoPEレイヤー
NoPEは、The Impact of Positional Encoding on Length Generalization in Transformers論文で造語され、明示的な位置エンコーディングなしを意味します。そのアイデアまたは観察は、明示的な位置手法を持たないアテンションレイヤーでも、クエリが自身とそれ以前のトークンにのみアテンションを向けられる因果マスクがあるということです。そして、この因果マスキングは暗黙的に位置情報を提供します。
以前の例から最初の4つのトークン、「The red fox jumps」を使用しましょう。図30では、位置2にある「fox」のクエリは、「The」、「red」、および自身にアテンションを向けることができます。位置1にある「red」のクエリは、「The」と自身にアテンションを向けることができます。
[画像: Figure 30 — nope prefix mask]
Figure 30: アテンションメカニズムにおける因果マスクの例。
では、モデルは因果マスクを位置信号としてどのように使用できるでしょうか? ここに、論文から適応されたおもちゃの例を示します。
バリューベクトルの1つの特徴量が、「The」の場合は1、他の3つのトークンの場合は0であると仮定します。入力には「The」が1つしか含まれていないため、見えるすべてのプレフィックスには正確に1つの1が含まれます。マスクされていないキーがすべて同じアテンションスコアを取得する場合、ソフトマックスはすべての見えるトークンに均等な重みを割り当てます。
したがって、「fox」では、アテンションは1、0、0を平均して1/3になります。「jumps」では、4つの値を平均して1/4になります。言い換えれば、この出力特徴量はプレフィックス長の逆数に等しく、後続のレイヤーが位置の信号として使用できます。
[画像: Figure 31 — nope prefix average]
Figure 31: 一様なアテンションでは、「The」からの寄与はプレフィックスが増加するにつれて減少します。「fox」のクエリは「The」に1/3の重みを割り当てます。
NoPEは実際に機能するのでしょうか? NoPE論文の研究者は、アブレーションを行うために、コピー、ソート、加算などのタスクで、1億700万パラメータの小さなデコーダーオンリートランスフォーマーをスクラッチからトレーニングしました。
彼らがトレーニングされた例よりも長い例で小さなモデルをテストしたところ、興味深いことに、NoPEは10のタスク全体で、RoPEよりも全体的に1位になりました。NoPE論文の研究者は、さらに大きな1.3Bパラメータモデルでコードをトレーニングした別の実験も実施しました。ここでは、NoPEもトレーニング長を超えるコンテキストを処理しましたが、テストされた最も長いコンテキスト長では、次のトークン予測が悪化しました。
今日のオープンウェイトLLMの中には、すべてのレイヤーでNoPEを使用するほど進んでいるものもあります。しかし、現在では、モデルが少なくとも一部のレイヤーでRoPEを省略する方が一般的です。ここでレイヤーとはトランスフォーマーブロックを意味します。
具体的な例として、SmolLM3(3Bパラメータ)は、3つのレイヤーでRoPEを適用し、4番目のレイヤーでスキップし、そのパターンを36レイヤーに繰り返します。興味深いことに、SmolLM3の著者は、このレイヤーパターンが長コンテキストパフォーマンスを向上させたと述べています。
(また、最初のレイヤーに続く後続のレイヤーは、回転をスキップするかもしれませんが、前のトランスフォーマーブロックからの入力を受け取るため、そのクエリとキーは依然として前のレイヤーからの何らかの位置情報を受け取ることになります。)
[画像: Figure 32 — smollm3 layer pattern]
Figure 32: SmolLM3のアーキテクチャ(左)と、36個のトランスフォーマーブロックのそれぞれで使用される位置手法(右)。4ブロックごとにRoPEをスキップします。アーキテクチャ図は私のLLMアーキテクチャギャラリーから取得しました。
6.3 学習済み相対位置バイアス
概要に進み、最新のアーキテクチャが何を使用しているかを見る前に、もう1つの手法を紹介します。例えば、ThinkyのInklingは、スライディングウィンドウとグローバルアテンションレイヤーの両方で学習済み相対位置バイアスを使用しています。これは、クエリとキーの通常のスケール付きドット積を計算し、ソフトマックスへのアテンションスコア計算で、そのスコアに特定の数値を加算します。その数値は、クエリトークンの隠れ状態と、キーが何位置前にあるかによって決まります。
例の文、「The red fox jumps over the gray fox.」を再利用しましょう。(最後です、約束します!)下の図では、位置5の「the」がクエリ、「fox」の位置2がキーです。Inklingは、クエリとキーの間の3つの位置ギャップと「the」の隠れ状態を使用してバイアスを計算し、それをスケール付きドット積に加算します。
[画像: Figure 33 — relative position bias]
Figure 33: Inklingは、ソフトマックスの前にスケール付きクエリ-キーのドット積に学習済み相対位置バイアスを追加します。数値は例示です。
これはまったく新しいアイデアではありません。Googleの人気のT5(Text-to-Text Transfer Transformer、2019年)を覚えている方もいるかもしれません。これはこのアイデアのよりシンプルなバージョンを使用しました。
[画像: Figure 34 — inkling architecture]
Figure 34: オリジナルのInkling(975B)アーキテクチャ。学習済み相対位置バイアスはアテンションモジュールに入力されます。LLMアーキテクチャギャラリー
6.4 これらの選択肢が最新モデルにどのように現れるか
さて、これまでの説明を踏まえて、興味深い質問は次のとおりです。どのアーキテクチャがどの手法を使用しているのか? そして、最新のトレンドは何でしょうか?
これに答えるために、私のLLMアーキテクチャギャラリーのエントリをリリース日順にグループ化し、2025年のリリースを、それ以前およびそれ以降の2026年のスナップショットと比較しました。各ギャラリーカードは1回カウントされるため、アーキテクチャの複数のバリアントが結果に貢献する可能性があります。LLMアーキテクチャギャラリー
[画像: Figure 35 — gallery position methods]
Figure 35: アーキテクチャ図は、どの注意レイヤーがRoPEを使用しているかを示しており、バーは各カテゴリのエントリのシェアを示しています。図は私のLLMアーキテクチャギャラリーから取得しました。
上記の図35で見られるように、すべてのソフトマックスアテンションレイヤーでRoPEを使用することが依然として最も一般的な選択肢です。しかし、その使用は2025年から2026年にかけて減少し、その後2026年後半にも減少しました。これはトレンドである可能性があります。
結果として、RoPEとNoPEを組み合わせるモデルが増えています。グループはまだ小さいので、これらのトレンドが続くかどうかは断言できません。
NoPEのみのエントリはすべて、明示的な位置エンコーディングを使用しないソフトマックスアテンションレイヤーを持つリカレントハイブリッドでした。「その他」カテゴリは、xLSTM 7B(2025年)とInkling(2026年)を指します。xLSTMはソフトマックスアテンションレイヤーを持っていません。Inklingは、セクション6.3で見たように、ソフトマックスの前にアテンションスコアに学習済みバイアスを追加します。
RoPEを使用するモデルの中で、部分RoPEは2025年から2026年にかけてより一般的になりました。2025年のRoPEモデルの少数派から、2026年の両方のグループで多数派になりました。これは図36に示されています。
[画像: Figure 36 — gallery partial rope]
Figure 36: RoPEを使用するギャラリーエントリの中で、部分RoPEは少なくとも1つのアテンションレイヤーでクエリとキーの特徴量のサブセットを回転させます。フル幅のエントリは、RoPEを使用するすべてのレイヤーで、すべてのクエリとキーの特徴量を回転させます。
2026年のグループから個々のモデルを調べたい場合は、下の図37に、個々のアーキテクチャを位置タイプ別にラベル付けした2026年のギャラリー概要を示します。ギャラリーはこちらでインタラクティブに閲覧することもできます。
[画像: Figure 37 — gallery 2026 collage]
Figure 37: 図35の2つの2026年バーの背後にある個々の2026年ギャラリーエントリ。
7. 最終的な考察
要約すると、GPT-2とオリジナルトランスフォーマーが最初のトランスフォーマーブロックの前に各トークンエンベディングに位置ベクトルを追加することを議論しました。その後、現代のLLMはRoPEに切り替えました。これは、クエリとキーを回転させることによってアテンション内で相対位置をエンコードします。驚くべきことに、RoPEは今日でも最も一般的な位置エンベディング手法として残っています。
しかし最近では、InklingはT5のアイデアを取り入れて、ソフトマックスの前にアテンションスコアに学習済み相対位置バイアスを追加しました。そして、一部のレイヤーでRoPEを省略するNoPE-RoPEアーキテクチャもあります。
退屈なニュースかもしれませんが、前述のように、RoPEは依然として主要な位置エンベディング手法であり、これは2027年にも確実に引き継がれると思います。ただし、2027年にはInklingのようなデザインのアーキテクチャがさらに増えるかもしれません。
これは「退屈」に聞こえるかもしれませんが、長年かかってRoPE(およびその他の位置情報手法)に関するこの記事を公開できたことを嬉しく思います。これにより、LLMの「基本」解説集に追加できます。
GPT-2スタイルのモデルを自分で構築したい場合は、私の最初のBuild a Large Language Model (From Scratch)の本が、図に示されているすべての構成要素を解説しています。
GPT-2ベースラインから分岐する手法については、自己アテンションの復習から始めて、関連するブログ記事を以下にまとめました。
-
自己アテンション、因果マスキング、マルチヘッドアテンション: Understanding and Coding Self-Attention, Multi-Head Attention, Causal-Attention, and Cross-Attention in LLMs
-
現代のアテンションバリアント(GQA、MLA、スライディングウィンドウアテンション、スパースアテンション、ハイブリッド): A Visual Guide to Attention Variants in Modern LLMs
-
KVキャッシュ。 Understanding and Coding the KV Cache in LLMs from Scratch
-
SwiGLUフィードフォワードレイヤーと正規化(LayerNormおよびRMSNorm): From GPT-2 to gpt-oss: Analyzing the Architectural Advances
-
Mixture-of-expertsレイヤーとエキスパートルーティング。 The Big LLM Architecture Comparison
-
残差接続とDeepSeekのマニフォールド制約ハイパーコネクション(mHC): Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention
-
Qwen3でいくつかのピースをまとめる: Understanding and Implementing Qwen3 From Scratchは、PyTorchでの密およびMixture-of-Expertsバージョンの実装を解説しています。
お読みいただき、私の活動をサポートしていただきありがとうございます!
PS: Substackの新しい「perks」システムの実験を開始しました。サポートしてくださった方々への感謝として、アーキテクチャギャラリーからの画像エクスポートとメタデータを追加しましたので、ご自身の分析にご利用ください。