AI研究におけるワンステップの罠
The One-Step Trap (In AI Research) (incompleteideas.net)
要約
AI研究における「ワンステップの罠」とは、エージェントが学習した予測のほとんどを1ステップの予測のみで構成し、それらを反復することで長期的な予測を生成できると誤解してしまう一般的な間違いです。このアプローチは、1ステップの予測が不正確な場合、誤差が累積して長期予測の精度を著しく低下させ、計算コストも指数関数的に増大するため、現実的ではありません。著者は、オプションやGVF(General Value Functions)を用いた時間的に抽象化されたモデルの構築を解決策として提案しています。
全文翻訳
AI研究におけるワンステップの罠
Rich Sutton
2024年7月18日にXに投稿
ワンステップの罠とは、AIエージェントの学習済み予測のすべてまたは大部分がワンステップで完結し、それ以上の長期的な予測はワンステップ予測を反復することで必要に応じて生成される、と考える一般的な間違いのことです。この罠が最もよく現れるのは、ワンステップ予測が世界のモデルや、世界が時間とともにどのように進化するかについてのモデルを構成する場合です。ワンステップの遷移モデルだけを学習し、それから行動様式のすべての長期的な結果を予測するために「ロールアウト」できると考えるのは魅力的です。ワンステップモデルは、物理学や現実的なシミュレーターのアナロジーとして考えられます。
この間違いが魅力的なのは、真実の一端を含んでいるからです。もしすべてのワンステップ予測が完璧な精度で行えるなら、それらを使ってすべての長期的な予測を完璧な精度で行うことができます。しかし、ワンステップ予測が完璧に正確でない場合、すべてが台無しになります。実際には、ワンステップ予測を反復することは、通常、悪い結果をもたらします。ワンステップの誤差は累積し、長期予測における大きな誤差へと蓄積します。さらに、ワンステップ予測から長期予測を計算することは、計算量が法外に多くなります。確率的な世界や確率的なポリシーにおいては、未来は単一の軌跡ではなく、可能性の木であり、それぞれがその確率によって想像され、重み付けされなければなりません。その結果、ワンステップ予測から長期予測を計算する計算量は、予測の長さに比例して指数関数的に増加し、一般的に実行不可能になります。
結論として、世界のワンステップモデルは絶望的でありながら、非常に魅力的であり、POMDPs、ベイズ分析、制御理論、AIの圧縮理論などで広く使用されています。
私の意見では、解決策は、以下の参考文献にあるように、オプションとGVFを使用して時間的に抽象化された世界のモデルを形成することです。
Sutton, R.S., Precup, D., Singh, S. (1999). Between MDPs and semi-MDPs: A Framework for Temporal Abstraction in Reinforcement Learning. Artificial Intelligence 112:181-211.
Sutton, R. S., Modayil, J., Delp, M., Degris, T., Pilarski, P. M., White, A., Precup, D. (2011). Horde: A scalable real-time architecture for learning knowledge from unsupervised sensorimotor interaction. In Proceedings of the Tenth International Conference on Autonomous Agents and Multiagent Systems, Taipei, Taiwan.
Sutton, R. S., Machado, M. C., Holland, G. Z., Timbers, D. S. F., Tanner, B., & White, A. (2023). Reward-respecting subtasks for model-based reinforcement learning. Artificial Intelligence 324.