再帰的ループトランスフォーマー

01 / 推論 シーケンスとともに成長する深さ。各トークンは、デコーダー全体を横断する再帰的なパスを拡張します。tトークン後、そのパスはt × L_D個のデコーダーブロックを通過しますが、トークンあたりのブロック数は固定されたままです。 02 / ハードウェア 再帰的コアの周りの並列処理。既知トークンのエンコーダー作業と独立したデコーダー更新をバッチ処理します。重みとメモリを再利用し、参照計算を維持しながらアクティベーションをチェックポイント化します。 03 / RL サンプリングからリプレイへの1つの移行。プロンプト状態とデコーダーSWA KVを含む、現在のパラメータ下で完全な履歴を再構築します。記録された行動確率を実際のサンプラーに結び付けたままにします。