バックプロパゲーションの代替手法：拡張ラグランジュ予測符号化

拡張ラグランジュ予測符号化 バックプロパゲーションなしで1000層のネットワークを学習させる PC-ALMは、バックプロパゲーションの局所的な代替手法です。PC-ALMは、残差MLPを1000層まで学習させることができ、層ごとの局所的なダイナミクスのみを使用しているにもかかわらず、バックプロパゲーションの性能にほぼ匹敵します。PC-ALMは、各層にフィードバック制御ダイナミカルシステムを搭載しており、ネットワーク全体にわたって教師信号のクレジットを分散・伝播させます。 リソース 論文: arxiv.org/abs/2605.31022 コード: github.com/SakanaAI/pc-alm 著者: Jeffrey Seely (Sakana AI), Julian Gould (Sakana AI) 公開日: 2026年9月 標準的な深層学習はバックプロパゲーションに依存しています。しかし、脳はバックプロパゲーションを実装できません。少なくとも、正確には[1, 2]できません。脳が明示的なバックプロパゲーションの使用なしに多層クレジット割り当て問題をどのように解決するのかは、神経科学における根本的な未解決問題の1つです（進展がないわけではありませんが[3, 4, 5]）。脳が正確なバックプロパゲーションを実装できない理由はいくつかあります。1つは「位相ロック」[6, 2]です。バックプロパゲーションは3つのフェーズで、厳密な順序で実行されます。1) フォワードパス、次に2) バックワードパス、そして3) 重み更新です。重み更新は、フォワードパスとバックワードパスが完了するまでロックされます。つまり、初期層のニューロンは、エラー信号が到着するまで活性化を保持する必要があります。脳には、ネットワーク全体にわたるそのような厳密なタイミング調整を強制できる既知のメカニズムはありません[1]。 本稿では、PC-ALM（Augmented Lagrangian Predictive Coding）を紹介します。これは、バックプロパゲーションのフォワードパスとバックワードパスを層ごとの局所的なダイナミカルシステムに置き換えることでネットワークを学習させる手法です。各層は隣接する層にのみ結合されます。フォワード・then・バックワードの代わりに、各層を時間方向に順方向に実行します。収束するまで実行すると、システム全体のダイナミクスが教師信号のクレジットをネットワーク全体に迅速かつ正確に分散させます。 PC-ALMは、標準的な予測符号化（PC）[7, 8, 9, 10]の拡張です。PCは層間の拡散的（つまり、エネルギーベースまたは「熱流」）な結合を使用します。PCと比較して、PC-ALMは各層ごとに双対ニューロン（ラグランジュ乗数）を導入しており、各層の局所的な再帰をPIフィードバックコントローラーにしています。線形ネットワークの極限ケースでは、双対ニューロンは局所的な計算のみを使用しているにもかかわらず、正確なバックプロパゲーションのクレジット信号に収束します。 PC-ALMをPCおよびバックプロパゲーションと比較するために、一連の実験を行います。PCのような局所学習手法は、歴史的にスケーリングが困難でした。PCの文献に倣い、Fashion-MNIST、CIFAR-10などの単純なタスクと、残差MLPのようなネットワークを使用します。PC-ALMが1000層のニューラルネットワークで教師信号のクレジットを正常に伝播できることを示し、PCの信号減衰問題[11]を克服しながら、層ごとの局所性を維持します。我々は、PCが一般的に性能を発揮しにくい、深い狭幅ネットワークに焦点を当てています。最終的に、我々の動機は、バックプロパゲーションなしで勾配計算を実装できる分散システム（脳など）を理解することです。科学的な動機とは別に、この研究は、ニューロモルフィックハードウェア上でのエネルギー効率の良い深層学習に役立つ可能性があります。なぜなら、ダイナミカルシステムのシミュレーションはGPU上でのシミュレーションよりも安価だからです[12]。 予測符号化：各層をダイナミカルシステムとして捉える PC-ALMを説明する前に、まずPCを説明し、バックプロパゲーションの代替としての役割を強調するために、ダイナミカルシステムの観点から解釈します。 予測符号化 予測符号化は、ヘルムホルツの無意識的知覚理論[13]にルーツを持っています。Rao & Ballard (1999) は、視覚野のモデルとしてPCの数学的フレームワークを開発しました[14]。PCの考え方は、各層が入ってくる信号をモデル化しようとし、モデル化できなかった部分（予測誤差）のみを次の層に上方に送るというものです。数学的には、予測符号化は一般的なモチーフを利用します。状態を取り、次のステップでの予測誤差を減らすように更新します。state_{t+1} = state_t - η(state_t - target_t) （予測誤差） この更新ルールを各層の活性化ベクトル（「状態」は層の活性化h_i、「ターゲット」は下の層から来る予測σ(W_i h_{i-1})）に適用することで[1]、PCフレームワークは同期フォワードパスとバックワードパスを必要とするバックプロパゲーションを効果的に回避します。これをより詳細に説明するために、フィードフォワードネットワークを制約付き最適化問題として記述します。 minimize_{θ, h_1, ..., h_L} 1/2 ||y - W_L h_{L-1}||^2 subject to h_i = σ(W_i h_{i-1}), i=1, ..., L-1 ここで、Lはネットワークの深さ、h_0 := x は入力、y はターゲット、θ={W_i} は重み、h_i は層の活性化、σ はReLUのような活性化関数です。各h_iは最適化変数です[2]。次に、元の教師信号損失と、各層の制約違反に対する二次ペナルティを含む新しい損失関数を構築します。 F_PC(h, θ) = 1/2 ||y - W_L h_{L-1}||^2 + 1/2 Σ_{i=1}^{L-1} ||h_i - σ(W_i h_{i-1})||^2 これは制約付き問題の二次緩和です。F_PCはネットワークの「自由エネルギー」として知られています[15, 9]。ニューラルネットワークを学習させるために、PCは推論ステップと学習ステップを交互に行います。 予測符号化推論 t = 1, ..., T h_i ← h_i - η_h ∇_{h_i} F_PC for i=1, ..., L-1 学習 W_i ← W_i - η_θ ∇_{W_i} F_PC for i=1, ..., L ミニバッチごとに、フォワードパスで活性化を初期化し、その後T回の推論ステップと1回の重み更新を行います。Tはネットワークの深さに比例するように設定します。以下の1000層の実験ではT=2Lを使用します。各h_iの更新は、iに隣接する層間の予測誤差を減少させます。これは、∇_{h_i} F_PCがh_{i-1}、h_i、h_{i+1}のみに依存するためです。推論には、層間の最近傍通信（「メッセージパッシング」）のみが必要です。具体的には、層i-1とiの間の予測誤差をr_i↑ = h_i - σ(W_i h_{i-1})とすると、推論の更新は次のようになります[3]： h_i ← h_i - η_h (r_i↓ (下からの誤差) - W_{i+1}^T (σ' ⊙ r_{i+1}↑ (上からの誤差))) for i=1, ..., L-1 最下層h_0は入力値に「クランプ」（固定）され、ネットワークの最上部はターゲットyにクランプされます。T回の更新ステップを実行すると、ネットワークは各層のh_iの状態に落ち着き、その後、現在の残差予測誤差と現在の状態活性化を与えられたF_PCに対して、重みWに関する勾配降下ステップが実行されます。 W_i ← W_i + η_θ (σ' ⊙ r_i) h_{i-1}^T for i=1, ..., L 推論ステップと重み更新の両方が層ごとに局所的です。重み更新はヘブ的な性質を持ち、後シナプス誤差を前シナプス活動（デルタルール）に乗算し、ダイナミクスは明示的な誤差ニューロンを持つニューラル回路に対応します[14, 7]。 PCは深層ネットワークを学習させるが、信号減衰を示す 重み初期化時の32層残差MLP（幅16、ReLU）におけるPC推論。クレジット = 層ごとの予測誤差r_iのノルム。破線参照：バックプロパゲーションの随伴（その層の活性化に対する損失勾配）のノルム。 各h_iに関する自由エネルギーを最小化することは、層ごとの制約が正確に成り立つことを強制しないため、PCは標準的なバックプロパゲーションとは異なる学習軌道をもたらします。それにもかかわらず、PCは単純なタスクでネットワークを正常に学習させることが示されています。例えば、幅の広い層幅（各層512ニューロン）を持つ128層残差MLPでのMNISTおよびFashion-MNIST[16]です。しかし、PCはより複雑なタスクやネットワークでは苦戦します[17]。さらに、ネットワークの幅が深さよりも小さい場合でも、単純なネットワーク/タスクでさえPCは苦戦します[18]。 各層は、隣接する層との予測誤差を減らすためにその活動を調整します。教師信号は出力で入ってきますが、この局所的な妥協の連鎖を通り抜けて初期層に影響を与える必要があります。深い狭幅ネットワークでは、結果として生じるクレジット信号は、入力に到達するずっと前に弱くなります。これは、上記の図に示されているように、PCの信号減衰問題[11]につながります。Tを増やすとクレジットがより遠くまで伝播できますが、各トレーニング更新でより多くの計算が必要になります。我々の手法であるPC-ALMは、PCネットワークの信号伝播を改善する方法を導入し、PCの層ごとの局所ダイナミクスを維持し、推論予算Tをネットワークの深さに比例させます。 拡張ラグランジュ予測符号化 我々は、PCの変種である拡張ラグランジュ予測符号化を提案します。これは、PCネットワークの信号伝播を改善し、PCの層ごとの局所ダイナミクスを維持し、推論予算Tをネットワークの深さに比例させます。