AI研究におけるワンステップの罠

AI研究におけるワンステップの罠 Rich Sutton 2024年7月18日 Xに投稿 ワンステップの罠とは、AIエージェントが学習した予測のすべてまたはほとんどを1ステップのものだけで構成し、必要に応じて1ステップの予測を反復することで、すべての長期予測を生成できると考えてしまう一般的な間違いです。 この罠が最も重要に生じるのは、1ステップの予測が世界のモデルとその時間の経過に伴う進化のモデルを構成する場合です。 1ステップの遷移モデルだけを学習し、それを「ロールアウト」して行動のすべての長期的な結果を予測できると考えるのは魅力的です。 1ステップのモデルは、物理学や現実的なシミュレータのアナロジーとして考えられます。 この間違いの魅力は、真実の種を含んでいることです。もしすべての1ステップの予測が完全に正確に行えるなら、それらを使ってすべての長期予測を完全に正確に行うことができます。 しかし、1ステップの予測が完全に正確でない場合、すべてが台無しになります。 実際には、1ステップの予測を反復することは、通常、悪い結果をもたらします。 1ステップの誤差は累積し、長期予測における大きな誤差へと蓄積します。 さらに、1ステップの予測から長期予測を計算することは、計算上、法外に複雑です。 確率的な世界や確率的なポリシーでは、未来は単一の軌跡ではなく、可能性の木であり、それぞれがその確率によって想像され、重み付けされなければなりません。 その結果、1ステップの予測から長期予測を計算する計算上の複雑さは、予測の長さに対して指数関数的になり、したがって一般的に実行不可能になります。 結論として、世界の1ステップモデルは絶望的ですが、非常に魅力的であり、POMDP、ベイズ分析、制御理論、AIの圧縮理論などで広く使用されています。 私の意見では、解決策は、以下の参考文献にあるように、オプションとGVFを使用して時間的に抽象化された世界のモデルを形成することです。 Sutton, R.S., Precup, D., Singh, S. (1999). Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning. Artificial Intelligence 112:181-211. Sutton, R. S., Modayil, J., Delp, M., Degris, T., Pilarski, P. M., White, A., Precup, D. (2011). Horde: A scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction. In Proceedings of the Tenth International Conference on Autonomous Agents and Multiagent Systems, Taipei, Taiwan. Sutton, R. S., Machado, M. C., Holland, G. Z., Timbers, D. S. F., Tanner, B., & White, A. (2023). Reward-respecting subtasks for model-based reinforcement learning. Artificial Intelligence 324.