コンテキスト言語モデル

コンピュータサイエンス > 人工知能 arXiv:2609.37725 (cs) [2026年9月29日提出] タイトル: コンテキスト言語モデル 著者: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh Rulin Shaoら12名の著者による「コンテキスト言語モデル」のPDFを表示 PDFを表示 HTML (実験的) 概要: 私たちは、自身のコンテキストをネイティブに管理する言語モデル、Context Language Models (CLMs) を導入します。これを実装するために、コンテキストをファイルとして扱い、モデルがこのファイルへの無制限の更新を行えるようにします。これにより、モデルはコンテキスト内で維持すべき最も重要なものを学習でき、複数のエージェントのコンテキストがファイルとして共存するマルチエージェントシステムにも自然に拡張できます。 既存モデルでCLMsをゼロショットで実装すると、様々なタスクで最先端のコンテキスト管理戦略を上回ります。BrowseComp-Plusでは精度が11.4%向上し、FLOPsが21.5%削減されました。12時間EdgeBenchではスコアが5%向上し、FLOPsが59%削減されました。24時間のマルチリポジトリエージェントスワームタスクでは、同じ計算量で65%の改善が見られました。 さらに、コンテキスト管理を外部ハーネス制御からモデルの内部的な振る舞いに移行させることで、CLMsはコンテキスト管理戦略のインコンテキスト学習とパラメトリック学習の両方を自然に可能にします。標準的なスキル最適化ループを通じて進化させた自然言語指示でCLMsを誘導できることを示しており、コンテキスト管理タスクで保持精度を最大35.9ポイント向上させ、計算量を削減しました。 また、CLMs向けのオンライン強化学習手法を導入し、Qwen3.5-9BのBrowseComp-Plusでのパフォーマンスを47.6%向上させ、FLOPsを12%削減しました。最後に、CLMsサービングのためにSuffix Cache Reuseを共同設計し、同等のパフォーマンスで標準的なSGLangと比較してサーバーサイドの計算量をさらに35%削減しました。 対象分野: 人工知能 (cs.AI); 計算と言語 (cs.CL); 機械学習 (cs.LG) 引用形式: arXiv:2609.37725 [cs.AI] (またはこのバージョンはarXiv:2609.37725v1 [cs.AI]) https://doi.org/10.48550/arXiv.2609.37725 詳細はこちらをご覧ください arXiv発行のDOI (登録保留中) 投稿履歴: 投稿者: Rulin Shao [メールを表示] [v1] 2026年9月29日 14:50:08 UTC (3,068 KB) 全文リンク: 論文にアクセス: Rulin Shaoら12名の著者による「コンテキスト言語モデル」のPDFを表示 PDFを表示 HTML (実験的) TeXソース ライセンスを表示 現在の閲覧コンテキスト: cs.AI < 前 | 次 > 新規 | 最近 | 2026-09 閲覧方法を変更: cs cs.CL cs.LG 参考文献と引用: NASA ADS Google Scholar Semantic Scholar エクスポート: BibTeX引用ツール BibTeX形式の引用 × ロード中... データ提供元: ブックマーク 書誌ツール 書誌および引用ツール 書誌エクスプローラー トグル書誌エクスプローラー (エクスプローラーとは？) Connected Papers トグルConnected Papers (Connected Papersとは？) Litmaps トグルLitmaps (Litmapsとは？) scite.ai トグルscite Smart Citations (Smart Citationsとは？) コード、データ、メディア この論文に関連するコード、データ、メディア alphaXiv トグルalphaXiv (alphaXivとは？) コードへのリンク CatalyzeX コードファインダー トグルCatalyzeX コードファインダー (論文のコードファインダーとは？) DagsHub トグルDagsHub (DagsHubとは？) GotitPub トグルGotitPub (GotitPubとは？) Huggingface トグルHugging Face (Huggingfaceとは？) デモ デモ Replicate トグルReplicate (Replicateとは？) Spaces トグルHugging Face Spaces (Hugging Face Spacesとは？) Spaces トグルTXYZ.AI (TXYZ.AIとは？) 関連論文 レコメンダーおよび検索ツール Influence Flowerへのリンク Influence Flower (Influence Flowersとは？) Core recommender トグルCORE Recommender (CORE Recommenderとは？) 著者: この論文の著者は誰ですか？ | MathJaxを無効にする (MathJaxとは？)