Memorilla: LLMのための潜在意味記憶
Memorilla: Latent Semantic Memory for LLMs (arxiv.org)
要約
Memorillaは、大規模言語モデル（LLM）がパラメータ外の知識（過去の会話、長文ドキュメントなど）を活用するための新しいメモリシステムです。このシステムは、ドキュメントコレクション全体からクエリに依存した固定数の「メモリトークン」を生成し、LLMの入力埋め込み空間に情報を配置します。16個のメモリトークンのみを使用し、パーソナライゼーションや長文QAなどのタスクで既存手法を上回る性能を示し、特にFactKGではフルコンテキスト推論よりも高い精度を達成しました。
全文翻訳
Memorilla: LLMのための潜在意味記憶
要旨: メモリは、大規模言語モデル（LLM）が、過去のユーザーとの会話、長文ドキュメント、エージェントの以前のアクションなど、パラメータ外の情報を利用できるようにします。凍結されたLLMにとって、この蓄積された知識へのアクセスは、メモリシステムがコンテキストウィンドウに配置するものに限定されます。しかし、モデルのコンテキストを短く保ちながら、各クエリに必要な関連情報を収集・結合することは、既存のシステムにとって依然として困難です。ここでは、Memorillaというメモリシステムを紹介します。これは、ドキュメントコレクション全体から情報を、凍結されたLLM用のクエリ依存の固定数の「メモリトークン」に収集します。Memorillaは、ドキュメント（ユーザーチャット、書籍の章など）を一度だけ再利用可能な埋め込みにエンコードし、次にクエリ固有の情報をLLMの入力埋め込み空間に取得して配置する方法を学習します。わずか16個のメモリトークンを使用するだけで、Memorillaは、パーソナライゼーション、長文ドキュメント、知識集約型の質問応答を網羅する8つのベンチマークのうち5つで、Mem0やMemoRAGを含むベースラインに対して最高のパフォーマンスを達成しました。特にFactKGでは、ソースドキュメントを表すために108倍少ないトークンを使用しながら、フルコンテキスト推論の80.43%に対して84.33%の精度を達成しました。さらに、Memorillaは、ドキュメント数（エージェントの過去のターン）が軌跡全体で増加するエージェントシステムにおける継続的な学習を促進できます。TextWorld環境では、Memorillaがエージェントが既に探索した部屋の間をさまよう傾向を減らし、フルヒストリーのインコンテキスト学習での18.6%から24.2%に平均成功率を向上させることを示しました。全体として、Memorillaは凍結されたLLMが長文コンテキストのやり取り全体で知識を効果的に蓄積し、利用するのを助け、継続的に学習するAIシステムを構築する一歩となります。
| コメント: | ウェブサイト: このURL |
| 件名: | 機械学習 (cs.LG); 人工知能 (cs.AI) |
| 引用: | arXiv:2610.21375 [cs.LG] |
| (またはこのバージョンについては arXiv:2610.21375v3 [cs.LG]) | |
| https://doi.org/10.48550/arXiv.2610.21375 DataCite経由のarXiv発行DOI |
投稿履歴
From: Vignesh Kothapalli [メールを表示]
v1 2026年10月15日(木) 06:55:55 UTC (3,660 KB)
v2 2026年10月27日(火) 04:28:12 UTC (3,660 KB)
v3 2026年11月3日(火) 07:03:31 UTC (3,660 KB)