AI・機械学習

再帰的ループトランスフォーマー

Recurrent Looped Transformer (yifanzhang-pro.github.io)

14 pointsby MayCXC2026年9月13日7 コメント

要約

再帰的ループトランスフォーマー（RLT）は、シーケンス長に応じて深さが成長する新しいアーキテクチャです。各トークンはデコーダー全体を横断する再帰的なパスを拡張し、ハードウェアレベルでは、バッチ処理されたエンコーダー作業と独立したデコーダー更新を並列化します。これにより、重みとメモリの再利用、およびチェックポイント化されたアクティベーションを維持しながら、参照計算を保存できます。

全文翻訳

Recurrent Looped Transformer

概要

状態追跡は各入力で更新が必要ですが、Transformerが各トークンに適用する深度はシーケンス長に関わらず固定されています。本論文では、レイヤーを並列的な因果エンコーダーと再帰型デコーダーに分割するRecurrent Looped Transformer (RLT) を導入します。各トークンにおいて、デコーダーはエンコーダーの出力と前のトークンの最終デコーダー状態をマージするため、計算パスは固定のトークンあたりコストでシーケンス長と共に増加します。6つのアルゴリズムタスクにおいて、8層のTransformerと比較して、8層を5つの分割で用いたRLTを5つのシードで比較します。最大40ビットで学習したRLTの2つの分割は、すべてのシードで256ビットのパリティを100%の精度で一般化する一方、Transformerは偶然レベルに留まります。学習長より8倍長いスワップベースの(S_5)置換追跡において、RLTはTransformerの1%未満に対し97%の最終状態精度を達成し、精度はデコーダー深度と共に増加します。学習長を超えるモジュラー算術では、RLTはTransformerの33%に対し最大93%を達成します。アブレーション研究は、これらの利得がフィードバックに依存することを示しています：フィードバックを削除すると、パリティとスワップベースの(S_5)はすべての分割で偶然レベルに低下します。4トークンチャンクごとにフィードバックを1回更新すると、チャンク内の既知トークンは並列で実行され、64ビットパリティを99%に保ちますが、置換追跡はトークンごとのフィードバックに依存します：チャンキングは長さ64のスワップベース(S_5)を100%から20%に低下させます。

アーキテクチャと実行

01 / 推論

シーケンスと共に成長する深度。

各トークンは、デコーダー全体を通して再帰パスを拡張します。(t)トークン後、そのパスは(tL_D)デコーダーブロックを通過しますが、トークンあたりのブロック数は固定されたままです。

02 / ハードウェア

再帰コアを中心とした並列処理。

既知トークンのエンコーダー処理をバッチ処理し、デコーダーの更新を独立に行います。重みとメモリを再利用し、参照計算を維持しながらアクティベーションをチェックポイントします。

03 / RL

サンプリングからリプレイへの1つの遷移。

現在のパラメータ下で、プロンプト状態とデコーダーSWA KVを含む完全な履歴を再構築します。記録された行動確率を実際のサンプラーに紐付けます。

完全な状態が重要。

［画像: RLTの状態更新（プロンプトと応答にわたる）。］

マージは前の最終出力を読み取り、各SWAレイヤーは自身のキャッシュを読み取ります。グローバルメモリは現在のプレフィックスに制限されます。

([H_t=(s_t,C_t^D),\qquad H_0=(s_\star,\varnothing).\ ]]

([(s_t,C_t^D)=D_\phi!\left(\operatorname{Merge}(e_t,s extbackslash_{t-1});M extbackslash_{\le t},C extbackslash_{t-1}^D,t\right).\ ]]

([p_\Theta(x extbackslash_{t+1}\mid x extbackslash_{1:t})=\operatorname{softmax}!\left(W_o\operatorname{RMSNorm}_o(s_t)\right) extbackslash_{x extbackslash_{t+1}}.\ ]]

ここで、(M extbackslash_{\le t})はグローバルエンコーダーメモリ、(s_t)は再帰出力、(C_t^D)はレイヤーごとのデコーダーKVを含みます。(W)のSWAウィンドウには現在のトークンが含まれ、次の更新のために最大(W-1)個の履歴エントリを保持します。

互換性のあるエンコーダーとデコーダーのアテンションおよびFFNの重みは共有できます。報告書では、タイされた48+48のレイアウトがこのオプションを示しています。以下の実験では、タイされていない8層および16層のレイアウトを使用します。

詳細なRLTアーキテクチャ

［画像: グローバルKV、レイヤーごとのSWA、ゲート付きマージ、最終出力フィードバックを備えた詳細なRLTアーキテクチャ。］

1つのメモリグループ（G = 1）では、すべてのデコーダーレイヤーが自身のクエリを使用して同じプロジェクションされたグローバルKVを読み取ります。ベクトルPDF ↗

RNNと状態空間の解釈

RLT-1は、その再帰セルがゲート付きマージと完全なTransformerデコーダーであるRNNです。セルはトークン間でパラメータを再利用しますが、そのデコーダーレイヤーは異なるパラメータを持つ場合があります。デコーダー状態(H=(s,C^D))、エンコーダー表現(e)、およびエンコーダーメモリ(M)に対して、以下を定義します。

([\begin{gathered} \mathcal F_\Theta(H;e,M,t):=\ D_\phi!\left(\operatorname{Merge}(e,s);M,C^D,t\right),\ []6pt] \mathcal G_\Theta(H):=\ \operatorname{softmax}!\left(W_o\operatorname{RMSNorm}_o(s)\right). \end{gathered}\ ]]

非線形状態空間方程式は次のようになります。

([\begin{aligned} H_t&=\mathcal F_\Theta(H extbackslash_{t-1};e extbackslash_t,M extbackslash_{\le t},t),\ p_\Theta(,\cdot\mid x extbackslash_{1:t})&=\mathcal G_\Theta(H extbackslash_t). \end{aligned}\ ]]

遷移は、フィードバックベクトルとデコーダーKVキャッシュの両方を更新します。固定幅、デコーダー深度、およびSWAウィンドウでは、このデコーダー状態はサイズが制限されますが、エンコーダーメモリはシーケンス長と共に増加します。

S4およびMambaの状態空間モデル（SSM）コアは、レイヤー入力が固定されると、前の状態に対してアフィン変換になります。S4は畳み込み評価に時間不変性を使用し、Mambaは入力依存係数を持つ並列スキャンを使用します。RLT-1のゲート付きマージとデコーダーは、前のデコーダー状態に対して非線形に依存するため、これらのアフィン・スキャンアルゴリズムは直接適用できません。

フィードバック間隔：RLT-1、RLT-2、およびRLT-0

RLT-1とその2つの制御モデルは、フィードバック間隔(B)という1つの量で異なります。これは、デコーダー入力に入る状態の更新間のトークン数です。RLT-1は各トークンでこの状態を更新します（(B=1)）、RLT-2は(B)トークンのチャンクごとに1回更新し、RLT-0は決して更新しません（(B=\infty)）。3つすべてが、RLT-1の因果エンコーダー、エンコーダーメモリ、デコーダーSWA、プレフィックス制限メモリアテンション、および読み出しを保持します。

RLT-2はチャンク内でフィードバック状態を固定し、チャンクの最後のデコーダー出力でそれを置き換えます。各位置は、自身のゲートを介してそのエンコーダー出力をこの境界状態にマージし、既知の位置は、因果SWAとプレフィックス制限エンコーダーメモリの下で各デコーダーレイヤー内で一緒に実行されます。境界はBOSで固定され、部分的なチャンクは前の境界状態を保持するため、プロンプト–応答の分割を移動しても計算は変更されません。(B=1)の場合、RLT-2は正確にRLT-1に還元されます。

［画像: RLT-2の1チャンク分のアーキテクチャ：各位置は同じ境界状態をデコーダー入力にゲートする。］

各出力は次のトークンを予測します。完全なチャンクの最後の出力のみが次のフィードバック状態になります。ベクトルPDF ↗

RLT-0は(B=\infty)の極限です。フィードバックパスを学習された初期状態、状態正規化、ゲート、およびフィードバックプロジェクションと共に削除し、(z_t^0=e_t)をデコーダーに供給します。各8層分割において、RLT-1よりも787,968個少ないパラメータを持ちます。

RLT-0のアーキテクチャ

［画像: 隠れ状態フィードバックなしのRLT：直接エンコーダー入力、共有グローバルKV、レイヤーごとのSWA。］

各レイヤーは、因果マスクの下で既知の位置を一緒に処理します。レイヤーは深度順に従います。ベクトルPDF ↗

長さ(T)の既知のプレフィックスに対して、デコーダーは(\lceil T/B\rceil L_D)の逐次ブロックステージを必要とします：RLT-1では(TL_D)、RLT-0では(L_D)。すべてが(TL_D)デコーダーブロックを評価し、ステップごとに1つのトークンを生成します。

［画像: 8つの既知トークンに対するRLT-1、RLT-2、およびRLT-0のデコーダースケジュール。］

各シェーディングされたグループは1つのレイヤーごとのデコーダーバッチです。ベクトルPDF ↗

RLT-2はすべての(B)に対して同じパラメータを使用するため、チャンクサイズはトレーニング中にも変化する可能性があります：事前トレーニングは並列処理のために大きなチャンクで開始でき、中間および事後トレーニングでは(B)を1に近づけることができます。実験では、各チャンクサイズをスクラッチからトレーニングします。

結果

深度割り当て · フィードバック頻度 · CPUステップ時間 · 加算と標準S5 · 完全な6タスク研究 · 16層パリティ

実験では、エンコーダーとデコーダーの間の8層の割り当て方法と、最終デコーダー状態のフィードバック頻度を調査します。6つのアルゴリズムタスクは、加算、パリティ、モジュラー算術（mod 5、括弧ありとなし）、および標準およびスワップベースのS5置換追跡です。すべての8層比較では、シード42、43、44を使用し、共有トレーニングデータとテストセットを使用し、平均±サンプル標準偏差（SD、n = 3）を報告します。

モデルは幅512、FFN幅1,365、アテンションヘッド4つを持ちます。RLT-1はSWAウィンドウ8、エンコーダーメモリグループ1、フィードバックスケール0.1、TBPTT 128を使用し、これはすべてのトレーニングシーケンスをカバーします。これらの比較では、パリティ、加算、S5は2,000ステップ、mod 5は5,000ステップ学習します。RLT-1は26.10–28.73Mパラメータ、GPT Layer 8は25.31Mパラメータを持つため、同数のレイヤーでもパラメータ数や計算量は一致しません。長さ一般化は、各実行のインディストリビューションでの検証損失が最も低いチェックポイントを使用し、タイの場合は最も早いステップを取り、長さごとに1,024個の共有例（加算の場合は256オペランドペア）を評価します。

深度割り当てと長さ一般化

［画像: パリティ、スワップ-S5、および両方のmod-5タスクにおける長さ一般化（すべての5つのRLT-1分割とGPT Layer 8、3シードのエラーバー付き）。］

灰色の領域はトレーニング長を示し、点線は均一予測精度を示し、エラーバーはトリミングされていないサンプルSDを示します。パリティとスワップ-S5は2,000ステップの実行を使用します。両方のmod-5タスクは、すべてのモデルで5,000ステップの実行を使用します。PDF ↗ · SVG ↗

パリティ: 最大40ビットで学習後、5+3および7+1はすべての3つのシードで256ビットにおいて100 ± 0%に達します。GPT Layer 8は50.07 ± 1.63%に達します。ステップ500では、6+2はすでに99.44 ± 0.98%の検証精度に達する一方、Transformerは48.48 ± 0.53%に留まります。
スワップ-S5: より大きなデコーダーを好みます。トレーニング長の8倍である256オペレーションにおいて、4+4はTransformerの0.85 ± 0.30%に対し97.30 ± 2.76%の最終状態精度を達成します。512オペレーションでは、依然として55.70 ± 25.78%に達します。分割7+1および8+0は、256オペレーションにおいて高いトレーニング長精度にもかかわらず、均一参照値に近くなります。
Mod 5: 長さ63のフラットな式では、6+2はTransformerの33.20 ± 2.33%に対し93.36 ± 5.69%に達します。長さ64の括弧付きの式では、5+3は46.71 ± 1.21%に対し67.97 ± 2.91%に達します。精度は長い式では低下し、いくつかのフラットなmod-5分割はシード間で大きく変動します。

［画像: ステップ500および2,000でのパリティ精度（個々のシード、平均、およびサンプルSD付き）。］

両方のパネルは、シードあたり256,000および1,024,000のトレーニング例の後、同じ768の検証例を使用します。PDF ↗

フィードバック頻度

RLT-0および4トークンチャンク（chunk4）を持つRLT-2は、RLT-1の実行データ、オプティマイザー、およびシードで各分割でトレーニングされました。RLT-2はRLT-1と同じパラメータを持ちます。

［画像: 固定された4+4分割でのフィードバック頻度：パリティ、スワップ-S5、および括弧付きmod-5におけるRLT-1、RLT-2 chunk4、RLT-0、およびGPT Layer 8。］

PDF ↗ · SVG ↗

64ビットでは、RLT-1は100 ± 0%のパリティ精度に達し、chunk4は98.99 ± 1.66%に達しますが、RLT-0は50.23 ± 3.80%の偶然レベル近くに留まります。スワップ-S5は間隔に敏感です：64オペレーションでは、RLT-1は100 ± 0%に達し、chunk4は19.60 ± 6.54%に達し、RLT-0とTransformerは1/120の均一参照値近くに留まります。RLT-1と比較して、4トークンチャンクは64ビットパリティで約1パーセントポイント、64オペレーションのスワップ-S5で約80ポイント低下します。

チャンキングの効果は分割にも依存します。チャンク4の4+4は256ビットで69.34 ± 24.17%のパリティ精度を維持しますが、チャンク4の7+1および8+0は64ビットで偶然レベル近くに留まります。スワップ-S5では、チャンク4の5+3は48オペレーションで79.92 ± 10.89%、64オペレーションで50.16 ± 18.77%に達します。

4+4でのベストチェックポイントテスト精度（%）（3シードの平均±サンプルSD）

タスク / 長さ	RLT-1	RLT-0	RLT-2 chunk4	GPT Layer 8
パリティ / 64	100.00 ± 0.00	50.23 ± 3.80	98.99 ± 1.66	48.47 ± 1.18
S5 スワップ / 48	100.00 ± 0.00	7.26 ± 3.17	68.29 ± 8.75	22.10 ± 2.76
S5 標準 / 32	1.53 ± 0.46	1.20 ± 0.72	1.37 ± 0.87	0.91 ± 0.15
Mod 5, フラット / 63	44.43 ± 43.81	21.84 ± 2.17	50.78 ± 38.02	33.20 ± 2.33
Mod 5, 括弧 / 64	64.10 ± 3.49	39.45 ± 0.61	62.76 ± 4.42	46.71 ± 1.21

［画像: すべての分割におけるRLT-1、RLT-2 chunk4、およびRLT-0のパリティ長さ一般化。］

［画像: すべての分割におけるRLT-1、RLT-2 chunk4、およびRLT-0のスワップ-S5長さ一般化。］

標準S5 · フラットmod 5 · 括弧付きmod 5 · 4+4での検証 · すべてのバリアント画像

CPUトレーニングステップ時間

4+4での1ステップあたりの平均秒数（シード42、ステップ1,001–2,000、CPU 4スレッド、FP32、共有クラスター）。平均には検証、チェックポイント書き込み、ロギングは含まれません。

モデル (4+4)	フラットmod 5: 秒/ステップ	括弧付きmod 5: 秒/ステップ
RLT-1	62.59	54.09
RLT-2 chunk4	27.52	23.81
RLT-0	14.54	12.98

チャンク4のトレーニングステップはRLT-1ステップより2.27倍速く、RLT-0ステップは4.17–4.30倍速く実行されます。これらはCPUトレーニングステップであり、他のハードウェアでの実クロック速度は実装に依存します。

加算、標準S5、および範囲

すべてのモデルは、1〜8桁の加算検証で100%の教師あり学習精度に達しますが、8桁を超えると精度は低下します。32桁では、8層モデルの平均は14.89%から16.84%の範囲です。標準S5は、フィードバックバリアント全体で1/120の参照値近くに留まります。フィードバックスケールの3シードアブレーション研究では、加算に対して一貫した効果は見られませんでした。同じ分割と幅でα=0.1での63の比較全体で、αを0.03または0.01に下げると、37の平均が増加し26が減少し、3つの差のみが両方のサンプルSDを超えました（図）。これらの実験は教師あり学習を使用しており、RLパフォーマンスは評価されていません。

2,000ステップでの完全な6タスク研究

2026年9月17日のスナップショットでは、RLT-1 Layer 4 + 4、5+3、6+2、7+1、8+0、およびGPT Layer 8を6つのタスクすべてで比較します。108回の実行すべてが、各タスクの初期化シード42、43、44で2,000オプティマイザーステップを完了しました。8+0バリアントはデコーダーブロックを持ちませんが、ゲート付き再帰マージを適用します。

検証精度、長さ一般化、および診断

2,000ステップ後の検証精度

値はパーセンテージで、3つの初期化における平均±サンプルSDとして報告されます。各実行は1,024,000個のトレーニング例を消費しました。加算は、プロンプトとパディング位置を除き、回答フォーマットとEOSを含む教師あり学習による回答トークン精度を測定します。パリティとmod 5は最終ラベルをスコアリングし、S5は最終状態をスコアリングします。

タスク	RLT-1 Layer 4 + 4	RLT-1 Layer 5 + 3	RLT-1 Layer 6 + 2	RLT-1 Layer 7 + 1	RLT-1 Layer 8 + 0	GPT Layer 8
加算	100.00±0.00	100.00±0.00	100.00±0.00	100.00±0.00	100.00±0.00	100.00±0.00
パリティ	100.00±0.00	100.00±0.00	100.00±0.00	100.00±0.00	98.83±1.92	94.84±3.43
Mod 5, 括弧なし	45.36±46.43	94.18±7.29	69.62±33.01	70.01±43.15	60.33±35.70	64.02±37.64
Mod 5, 括弧あり	70.53±10.75	74.35±6.71	74.87±3.72	74.78±3.01	75.17±6.78	73.87±9.07
S5, スワップ	100.00±0.00	100.00±0.00	100.00±0.00	99.35±0.81	99.61±0.68	99.09±0.23
S5, 標準	0.78±0.68	2.47±1.26	2.21±1.48	2.08±0.98	1.82±1.19	0.52±0.23

［画像: 6つのタスクにおける検証精度（3つの初期化シードの平均とサンプルSD）。］

帯はサンプルSDを示し、精度範囲にクリップされています。標準S5はより狭い垂直スケールを使用します。PDF ↗

2,000ステップでは、フラットmod 5は初期化によって強く変動します：4+4の3つのシードは17.58%、19.53%、98.96%をスコアリングします。括弧付きmod-5の平均はより近く、RLT-1では70.53–75.17%の範囲ですが、Transformerでは73.87 ± 9.07%です。5,000ステップの実行は、両方のmod-5タスクをより長くトレーニングします。

長さ一般化

評価は846のモデル–シード–長さの組み合わせをカバーし、282の3シード平均とサンプルSDとして要約されます。すべてのタスクと長さにおいて、すべてのモデルとシードは同じ256の加算ペアまたは1,024の形式タスクシーケンスを受け取ります。

［画像: 6つのタスクすべてにおける長さ一般化（3シードのエラーバー付き）。］

灰色の領域はトレーニング長を示します。加算は教師あり学習による回答トークンを使用します。他のタスクは最終ラベルまたは状態を使用します。PDF ↗

最も長いテスト長での精度（パーセント）。加算長はオペランドあたりの桁数を数え、形式タスク長は境界マーカーを除いた入力シンボルまたはオペレーション数を数えます。

タスク (テスト長)	RLT-1 Layer 4 + 4	RLT-1 Layer 5 + 3	RLT-1 Layer 6 + 2	RLT-1 Layer 7 + 1	RLT-1 Layer 8 + 0	GPT Layer 8
加算 (32)	15.30±0.44	14.89±2.27	15.74±1.58	15.59±1.57	15.31±0.93	16.84±1.45
パリティ (256)	66.76±28.78	100.00±0.00	84.05±27.63	100.00±0.00	68.91±27.39	50.07±1.63
Mod 5, 括弧なし (255)	18.00±0.39	20.57±0.62	21.42±0.49	19.34±0.54	20.44±0.91	20.35±2.01
Mod 5, 括弧あり (256)	25.20±1.71	25.81±4.34	21.58±1.86	22.04±1.72	22.30±1.13	25.07±2.05
S5, 標準 (512)	1.24±0.30	1.43±0.60	1.30±0.31	0.88±0.20	0.72±0.31	0.81±0.06
S5, スワップ (512)	55.70±25.78	34.86±6.10	22.14±20.95	0.85±0.06	0.85±0.20	0.85±0.30

［画像: プレフィックス-トークン、最終状態、および全シーケンススコアリング下でのS5長さ一般化。］

全シーケンス精度は、すべてのプレフィックス予測が正しいことを必要とします。各パネルは垂直スケールをラベル付けしています。PDF ↗

トレーニング損失、個別のパリティシード、固定長トークン精度、およびトークンレベル長さ一般化は追加の診断情報を提供します。深度8の図とプロトコル

16層パリティ

別のシード42シリーズでは、RLT-1 Layer 8 + 8から16+0、およびGPT Layer 16を、パリティ長3〜40でグローバルバッチ1,024でトレーニングします。10回の実行すべてが2,000ステップを完了しました。各実行のインディストリビューションでのベストチェックポイントとステップ2,000のチェックポイントを同じ長さの1,024例で比較すると、80個の精度のうち74個が変更されませんでした。8+8、9+7、11+5、および16+0は、両方のチェックポイントで256ビットにおいて100%を維持しますが、GPT Layer 16は49.41%でした。

［画像: 16層パリティ：ベスト対ステップ2,000チェックポイント、シード42。］

256ビットでの精度（%）、シード42

モデル	ベストステップ	ベストチェックポイント	ステップ2,000
RLT-1 Layer 8 + 8	1,400	100.00	100.00
RLT-1 Layer 9 + 7	1,300	100.00	100.00
RLT-1 Layer 10 + 6	1,800	62.70	66.11
RLT-1 Layer 11 + 5	1,300	100.00	100.00
RLT-1 Layer 12 + 4	1,000	98.83	98.83
RLT-1 Layer 13 + 3	2,000	99.41	99.41
RLT-1 Layer 14 + 2	1,500	63.57	62.11
RLT-1 Layer 15 + 1	1,100	94.14	94.82
RLT-1 Layer 16 + 0	1,900	100.00	100.00
GPT Layer 16	2,000	49.41	49.41

独立したコミュニティ実験

@AradhyeAgarwalによって提供された以前の状態追跡結果は、約79Kパラメータ、3シード、トレーニング長32の別の実装を使用しています。評価は、タスクと長さごとに2,048のテストプログラムを使用し、128オペレーションまで拡張します。

コミュニティの長さ外挿結果

［画像: パリティと5状態遷移における独立したコミュニティ比較（シーケンス長別）。］

点はシード平均を示し、ひげはシードの最小値と最大値を示します。RLTは、128オペレーションでパリティ精度60.8%、5状態精度20.7%に達します。偶然レベルは50%、20%です。パラメータとデータ予算は一致しましたが、FLOPsは一致しませんでした。

長さごとのテーブルと測定ノート

トレーニングと推論を横断する1回の実行

既知のトークンは因果バッチでエンコードできます。デコーダーの更新は依然としてトークン順に進み、再帰出力とデコーダーSWAキャッシュの両方を構築します。

参照実行スケジュール

モード	エンコーダー	デコーダー
プロンプトプリフィル	因果バッチ	各プロンプトトークンを通じて完全な状態を更新する。
生成	段階的	前の状態からサンプリングし、各トークンを正確に1回消費する。
事前トレーニング	因果バッチ	すべての有効な次トークンターゲットに対する完全なBPTT。
SFT	因果バッチ	アシスタントターゲット損失。すべてのコンテキストトークンが微分可能な状態を更新する。
RLリプレイ	現在の重みで再構築	完全な履歴とSWAキャッシュをリプレイし、各アクションを消費する前にスコアリングする。

フォワードの一貫性と完全な勾配は別々の要件です。 完全なBPTTは、再帰出力、デコーダーKV、およびエンコーダーメモリを通過するパスを含みます。これらのいずれかを切り離すと、勾配が変化します。パラメータ更新は、正確な現在のポリシーリプレイのために古いキャッシュを無効にします。

行動の対数確率は、実際のサンプリング分布を記述する必要があります。正確な重要度サンプリングは、追加でサポートカバレッジを必要とします。共有遷移は構造的なプロンプト-境界の不一致を削除します。数値カーネルのパリティとオフポリシー推定は別々の懸念事項です。

実行レベルの区別については、プリフィル–デコードカーネルの不一致に関する注記を参照してください。

arXivで論文を読む ↗

最新の英語PDF · 中文論文

引用

この研究が役立つ場合は、以下を引用してください。

@misc{zhang2026recurrentlooped,
  title         = {Recurrent Looped Transformer},
  author        = {Zhang, Yifan and Feng, Jichen and Qin, Shihan and Kung, Sun-Yuan and Wang, Mengdi},
  year          = {2026},
  eprint        = {2610.07591},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL},
  url           = {https://arxiv.org/abs/2610.07591}
}