AI・機械学習
Sleep framework: 継続学習におけるLLMの知識保持のための新しい方法
Sleep framework: A new way for LLMs to retain knowledge in continual learning (research.google)
要約
Googleの研究者たちは、大規模言語モデル（LLM）が継続学習中に知識を保持するのを助ける新しいフレームワーク「Sleep」を発表しました。このフレームワークは、LLMが新しい情報を学習する際に、以前に学習した知識を忘れてしまう「破滅的忘却」を防ぐことを目的としています。Sleepは、モデルが「睡眠」状態に入ることで、学習した内容を整理・統合し、長期的な記憶として定着させるメカニズムを模倣します。
全文翻訳
大規模言語モデル（LLM）は、継続学習中に新しい情報を学習する際に、以前に学習した知識を忘れてしまう「破滅的忘却」という問題に直面することがよくあります。Googleの研究者たちは、この問題に対処するための新しいフレームワーク「Sleep」を提案しました。Sleepは、LLMが新しい情報を学習するプロセスと、学習した内容を整理・統合するプロセスを分離することで、知識の保持を改善することを目指しています。
このフレームワークは、モデルが「睡眠」状態に入ることで、学習した内容を長期的な記憶として定着させるメカニズムを模倣します。これにより、LLMはより効率的に新しい情報を学習し、過去の知識を失うことなく、継続的に進化していくことが期待されます。
詳細については、以下の論文を参照してください。
https://arxiv.org/pdf/2606.03979