HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

行列の直交化がリカレントモデルの記憶を改善

Matrix Orthogonalization Improves Memory in Recurrent Models (ayushtambde.com)

64 pointsby at200512 コメント

要約

本記事は、リカレントニューラルネットワーク(RNN)における結合想起能力の向上について論じています。特に、mLSTMの記憶行列を直交化する手法が、ノイズの多い結合想起(NAR)タスクにおいて、大幅な性能向上をもたらすことを示しています。この手法は、少ないパラメータ数でRNNの記憶能力を飛躍的に改善する可能性を秘めており、将来の長期間RLなどの分野への応用が期待されます。

全文翻訳

Matrix Orthogonalization Improves Memory in Recurrent Models

2026-06-30

This work was funded by Paradigm.

Transformerは、注目メカニズムにより各トークンが先行するトークンに直接アクセスできる、驚異的な連想記憶(AR)能力を示します。これは、再帰型ニューラルネットワーク(RNN)のような他のアーキテクチャでは模倣が困難なメカニズムです。

しかし、一部のドメインでは、Transformerの二次的な計算コスト(quadratic-attention overhead)を許容できません。その一例が、Dreamerのような長期ホライズンの強化学習(RL)です。これらのアプリケーションでは、RNNを機能させる必要がありますが、連想記憶を諦めたくはありません。

連想記憶に最も適したRNNはmLSTMです。これは、行列メモリを維持するLSTMのバリアントです。mLSTMは、あるベンチマークであるMQARにおいて、ベースラインと比較して大幅に改善された記憶能力を示しました。しかし、純粋な記憶能力だけでは再帰型モデルの性能を測るのに十分ではないかもしれません。環境遷移がノイズを含む分野では、有用な代理テストとしてノイズのある連想記憶(NAR)があります。

MQARはNARを測定しないため、MADのノイズARタスクスイートを参照できます。タスクの一例を以下に示します。

0 9 3 10 12 13 15 14 0 9 5 8 2 9

ここでは、キー0は値9にマッピングされ、キー3は値10にマッピングされます。MADジェネレーターは、キー、値、およびディストラクタ(無関係なトークン)に異なるトークン範囲を使用します。したがって、キーが0-5の場合、トークン12-15はディストラクタとなります。NARに優れたモデルは、シーケンスの開始時に0 -> 9を見たことを利用して、10番目の位置で9を予測し、途中に挿入されたディストラクタトークンを無視するはずです。

では、どのようにすれば再帰型NARを改善できるでしょうか?言語モデリングで非常に成功しているオプティマイザーであるMuonからアイデアを借りることができます。Muonはモーメンタムを直交化し、表現された方向のイコライザーとして機能します。これにより、少数の強い方向が更新を支配するのを防ぎ、弱い方向を引き上げます。特に、Muonがテールエンドの連想記憶学習においてAdamを上回ることを示す最近の研究は関連性があります。このアイデアは、このイコライゼーションが弱い記憶が押し出されるのを防ぐというものです。

これに触発され、我々はmLSTMメモリ行列を読み出し時に直交化し、この追加プロセスでトレーニングすることでNAR性能が向上するかどうかをテストすることにしました。

我々は、MADノイズARサンプルを使用した次のトークン予測において、mLSTMベースラインとその直交化バリアントを比較します。トレーニングと評価にはMADノイズリコールを使用し、frac_noiseをボキャブラリサイズとシーケンス長の範囲全体で0.8に設定しました。すべてのモデルは、バッチサイズ64で2kステップの間、AdamW(betas = 0.9, 0.999, weight_decay = 0.01)を使用してトレーニングされました。学習率は、各タスク設定に対して3e-4, 1e-3, 3e-3, 1e-2をスイープして選択されました。

我々は各ステップで新しいトレーニングバッチを生成し、実験ごとに個別の固定検証セットを維持します。直交化には、フロベニウスノルム(eps = 1e-6)で正規化し、5回のニュートン・シュルツ反復を適用します。プロセスを通じて勾配が流れるようにします。重要なのは、直交化されたメモリを書き戻さないことです。これは性能を低下させることが判明したためです。読み出しにのみ使用します。我々の実験の完全に再現可能なコードはこちらで見つけることができます。

[画像: 5回のニュートン・シュルツ反復を使用した直交化mLSTMアルゴリズム]

Figure 1. 直交化mLSTMアルゴリズム。

[画像: 直交化mLSTMとmLSTMベースラインのトレーニングステップ対検証精度]

Figure 2. トレーニングステップ対検証精度。

$$ \small \begin{array}{lccc} \hline \text{Regime} & \text{Orthogonalized} & \text{Baseline} & \Delta \ \hline \text{vocab 80, len 512} & 87.5 \pm 12.4\ (20/24) & 69.1 \pm 17.8\ (17/24) & +18.4 \pm 18.1 \ \text{vocab 80, len 768} & 91.7 \pm 11.4\ (22/24) & 75.9 \pm 12.0\ (13/24) & +15.7 \pm 16.8 \ \text{vocab 80, len 1024} & 98.5 \pm 2.4\ (23/24) & 83.3 \pm 13.6\ (19/24) & +15.2 \pm 14.0 \ \text{vocab 96, len 768} & 62.4 \pm 18.4\ (14/24) & 22.0 \pm 14.4\ (4/24) & +40.4 \pm 17.6 \ \text{vocab 96, len 1024} & 68.5 \pm 18.3\ (16/24) & 23.1 \pm 15.3\ (4/24) & +45.4 \pm 18.6 \ \hline \end{array} $$

Figure 3. MADノイズリコール結果。エントリは2kステップでの最終検証精度、24シードの平均±95% CIです。括弧内は80%を超えるシード数を示します。Deltaはシードごとにペアになっています。パラメータ数は、ボキャブラリ80では77,716、ボキャブラリ96では80,740です。直交化実行ではLR 3e-3を使用。ベースラインは、ボキャブラリ80、シーケンス長768ではLR 1e-2を使用し、それ以外はLR 3e-3を使用します。

我々は、直交化が全般的に成功率と平均精度を向上させることを見出しました。興味深いのは、ボキャブラリ96の領域に入るとギャップが広がる傾向があることです。これは、直交化が、生のmLSTMが苦戦する困難なNARタスクで最も役立つことを示唆しています。後者の2つのケース(ボキャブラリ96、シーケンス長768/1024)では、直交化はmLSTMを失敗寸前(24シード中4シード成功)から、大幅に信頼性の高いパフォーマンス(14-16シード成功)へと引き上げます。これは、我々が意図した小さな介入としては顕著な結果です。ニュートン・シュルツ法は、固定パラメータ数で追加の利益をもたらし、追加のFLOPsと実時間をトレードオフします。

これらの結果から過度に読み取ることは慎重であるべきです。これらは小規模モデルの領域で有効であり、NARは合成タスクです。NARでの改善が、より大規模なモデルにおける実際のベンチマークでの改善につながるかどうかを調査する価値はあります。

この投稿の執筆中にフィードバックと提案をいただいたDan Robinson氏、Alpin Yukseloglu氏、Glen Taggart氏に感謝します。