無限パラメータLLM：ライブデータからの重み生成と適応

コンピュータサイエンス > 人工知能 arXiv:2609.18842 (cs) [2026年9月16日提出] タイトル: 無限パラメータLLM：ライブデータからの重み生成と適応 著者: Jinli Hu, Ross M. Clarke, Yichuan Zhang, José Miguel Hernández-Lobato Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data というタイトルのPDFを表示します。Jinli Huと他の2名の著者によるものです。 PDF HTML（実験的）を表示 要旨: スケーリング則によれば、言語モデルはより多くのパラメータとより多くのトレーニングデータとともに能力が増し、Mixture-of-Experts（MoE）アーキテクチャはこの法則に乗って驚異的な結果を上げてきました。各トークンに対して巨大な格納パラメータバンクのごく一部のみをアクティブ化します。その成功は静的な事前トレーニングデータに基づいています。展開されたモデルは異なる世界に直面します。そこでは、モデルをより有用にするデータの多くはトレーニングセットにはなく、現在処理しているライブインタラクション、例えばユーザーが提供する事実や彼らが与える修正などにあります。従来のモデルは、トレーニング後に重みが凍結されているため、このデータから学習することはできません。代わりに、実行時に提供される知識と振る舞いは、検索または指示によってプロンプトに配置され、リクエストごとに再読み込みされるだけで、リクエストが終了すると破棄されます。私たちは、アーキテクチャがどのようにしてライブインタラクションから学習し、それを重みに書き込むことができるのかを問います。MoEから着想を得て、私たちは 無限パラメータLLM を提案します。コンパクトなハイパーネットワークは、実行時に与えられたデータを共有ベースネットワークの低ランク変調に変換するため、フィードフォワード重みは固定バンクに格納されるのではなく、ライブデータから生成されます。以前の重みジェネレーターはコンテキストを一度読み込んでフリーズしましたが、私たちはジェネレーターの潜在コードに対するベイジアン信念を保持し、オンラインで更新します。これにより、セッションが進むにつれて進化する信念から実効重みが再導出され、一度の読み込み後に固定されることはありません。格納されたフットプリントは固定されたままですが、モデルがコンパイルできる重みは実質的に無限になります。実行時に提供される知識と振る舞いについては、それをプロンプトではなく重みに格納することは、計算において償却され、コンテキストウィンドウを解放し、ターンをまたいで持続し、インコンテキスト使用よりも汎化できます。私たちは、インコンテキスト学習や検索に対してこれを正確にテストする評価プロトコルを指定します。 被写体: 人工知能 (cs.AI); 機械学習 (cs.LG) 引用形式: arXiv:2609.18842 [cs.AI] (またはこのバージョンのarXiv:2609.18842v1 [cs.AI]) https://doi.org/10.48550/arXiv.2609.18842 DataCiteによるarXiv発行DOI（登録保留中） 提出履歴 送信者: Jinli Hu Dr [メールを表示] [v1] 水曜日, 2026年9月16日 15:49:34 UTC (50 KB) 全文リンク: 論文にアクセス: Infinite-Parameter LLMs: Generating and Adapting Weights from Live Data というタイトルのPDFを表示します。Jinli Huと他の2名の著者によるものです。 PDF HTML（実験的）TeXソースライセンスを表示 現在の閲覧コンテキスト: cs.AI < 前 | 次 > 新着 | 最近 | 2026-09 次の検索条件で表示を変更: cs cs.LG 参考文献と引用 NASA ADSGoogle Scholar Semantic Scholar エクスポート BibTeX引用 読み込み中... BibTeX形式の引用 × 読み込み中... 提供元データ: ブックマーク 書誌ツール 書誌および引用ツール 書誌エクスプローラー 書誌エクスプローラー（何ですか？） Connected Papers Connected Papers（何ですか？） Litmaps Litmaps（何ですか？） scite.ai scite Smart Citations（何ですか？） コード、データ、メディア この論文に関連するコード、データ、メディア alphaXiv alphaXiv（何ですか？） コードへのリンク CatalyzeX Papers用コードファインダー（何ですか？） DagsHub DagsHub（何ですか？） GotitPub Gotit.pub（何ですか？） Huggingface Hugging Face（何ですか？） ScienceCast ScienceCast（何ですか？） デモ デモ Replicate Replicate（何ですか？） Spaces Hugging Face Spaces（何ですか？） Spaces TXYZ.AI（何ですか？） 関連論文 レコメンダーおよび検索ツール Influence Flowerへのリンク Influence Flower（何ですか？） Coreレコメンダー CORE Recommender（何ですか？） 著者 会場 機関 トピック arXivLabsについて arXivLabs: コミュニティ協力者との実験的なプロジェクト arXivLabsは、協力者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、受け入れています。arXivはこの価値観にコミットしており、それに従うパートナーのみと協力します。arXivコミュニティに価値をもたらすプロジェクトのアイデアがありますか？arXivLabsの詳細をご覧ください。 この論文の著者は誰ですか？| MathJaxを無効にする（何ですか？）