AI・機械学習

無限パラメータLLM：ライブデータからの重み生成と適応

Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data (arxiv.org)

140 pointsby Betelbuddy2026年9月18日39 コメント

要約

この論文は、ライブデータから直接学習し、重みを適応させる「無限パラメータLLM」という新しいアーキテクチャを提案しています。従来のLLMが静的な事前学習データに依存するのに対し、このモデルは実行時のインタラクションデータを低ランク変調として利用し、モデルの重みを動的に生成・更新することで、実質的に無限のパラメータを持つかのように振る舞います。これにより、コンテキストウィンドウの制約を解放し、知識の永続化と汎化能力の向上を目指します。

全文翻訳

コンピュータサイエンス > 人工知能

arXiv:2609.18842 (cs)

[2026年9月16日提出 (v1)、最終更新2026年9月21日 (本バージョン、v2)]

タイトル: 無限パラメータLLM：ライブデータからの重み生成と適応

著者: Jinli Hu, Ross M. Clarke, Yichuan Zhang, José Miguel Hernández-Lobato

Jinli Huらによる論文「Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data」のPDFを表示

PDFを表示 HTML (実験的)

要旨: スケーリング則によれば、言語モデルはパラメータ数と学習データが増えるにつれてより高機能になります。Mixture-of-Experts (MoE) アーキテクチャはこれらの法則の顕著な実証であり、各トークンに対して巨大なパラメータバンクのごく一部のみをアクティブ化します。しかし、この成功は静的な事前学習データに基づいています。ライブインタラクション中にユーザーから提供される事実や修正は、デプロイされたモデルの潜在的な改善のための重要な未開拓のソースですが、学習後に重みが固定される従来のアーキテクチャでは利用できません。代わりに、この新たに得られた知識は、リクエストごとにコンテキスト（指示または検索による）に入れられ、再読み込みされる必要がありますが、その後は破棄されます。
私たちは代わりに、モデルの重みを動的に更新することでライブインタラクションから学習することを目指します。MoEに着想を得て、我々は\textbf{無限パラメータLLM}を提案します。コンパクトなハイパーネットワークがオンラインデータを共有ベースネットワークの低ランク変調に変換するため、フィードフォワード重みは静的メモリから読み取られるのではなく、ライブデータから生成されます。既存の重みジェネレーターはコンテキストを一度読み取った後に固定されるのに対し、我々はジェネレーターの潜在状態に対するベイズ信念を形成し、オンラインで更新します。これにより、セッション中に信念が進化するにつれて、実効的な重みが再導出されます。モデルのメモリフットプリントは一定ですが、生成可能な重みの空間は実質的に無限になります。ライブデータをプロンプトではなく重みで表現することで、計算が償却され、コンテキストウィンドウが解放され、ターンをまたいで更新が永続し、インコンテキストでの使用よりも汎化性能が向上する可能性があります。我々の評価プロトコルは、この方法論をインコンテキスト学習と検索に適用します。


コメント:	プレプリント、予備的な結果を含む
件名:	人工知能 (cs.AI); 機械学習 (cs.LG)
引用:	arXiv:2609.18842 [cs.AI]
	(またはこのバージョンでは arXiv:2609.18842v2 [cs.AI])
	https://doi.org/10.48550/arXiv.2609.18842 arXiv発行のDOI (DataCite経由)