コンテキスト言語モデル
Context Language Models (arxiv.org)
要約
本論文では、自身のコンテキストをネイティブに管理する言語モデル「Context Language Models (CLMs)」を提案しています。CLMsはコンテキストをファイルとして扱い、モデルがファイルへの無制限の更新を行えるようにすることで、コンテキスト管理を外部ハーネス制御からモデルの内部的な振る舞いに移行させます。これにより、CLMsは既存モデルでゼロショットで実装した場合でも、複数のタスクで最先端のコンテキスト管理戦略を上回る性能を示し、マルチエージェントシステムへの拡張性も備えています。
全文翻訳
コンピュータサイエンス > 人工知能
arXiv:2609.37725 (cs)
[Submitted on 29 Sep 2026]
タイトル: コンテキスト言語モデル
著者: Rulin Shao, Shannon Zejiang Shen, Junjie Oscar Yin, Yuetai Li, Minheng Wang, Hamish Ivison, Radha Poovendran, Nathan Lambert, Teng Xiao, Mike Lewis, Wen-tau Yih, Luke Zettlemoyer, Pang Wei Koh
Rulin Shaoら12名の著者による「コンテキスト言語モデル」と題された論文のPDFを見る
要約: 私たちは、自身のコンテキストをネイティブに管理する言語モデルであるコンテキスト言語モデル(CLM)を導入します。これを実装するために、コンテキストをファイルとして扱い、モデルがこのファイルに対して無制限の更新を行えるようにします。これにより、モデルはコンテキスト内で維持すべき最も重要なものを学習でき、複数のエージェントのコンテキストがファイルとして共存するマルチエージェントシステムにも自然に拡張できます。既存のモデルを用いてCLMをゼロショットで実装した結果は、様々なタスクにおいて最先端のコンテキスト管理戦略を上回りました。具体的には、BrowseComp-Plusでは精度が11.4%向上し、FLOPsが21.5%削減されました。12時間のエッジベンチマークではスコアが5%向上し、FLOPsが59%削減されました。さらに、24時間のマルチリポジトリ・エージェントスウォームタスクでは、同等の計算量で65%の改善が見られました。さらに、コンテキスト管理を外部ハーネス制御からモデル固有の振る舞いに移行させることで、CLMはコンテキスト管理戦略のインコンテキスト学習とパラメトリック学習の両方を自然に可能にします。標準的なスキル最適化ループを通じて進化させた自然言語指示によってCLMを誘導できることを示し、コンテキスト管理タスクにおいて、計算量を削減しながら精度を最大35.9ポイント向上させました。また、CLMのためのオンライン強化学習手法を導入し、Qwen3.5-9BのBrowseComp-Plusにおけるパフォーマンスを47.6%向上させ、FLOPsを12%削減しました。最後に、CLMサービングのためにSuffix Cache Reuseを共同設計し、同等のパフォーマンスで標準的なSGLangと比較してサーバーサイドの計算量をさらに35%削減しました。
| 件名: | 人工知能 (cs.AI); 計算と言語 (cs.CL); 機械学習 (cs.LG) |
| 引用: | arXiv:2609.37725 [cs.AI] |
| (またはこのバージョンについては arXiv:2609.37725v1 [cs.AI]) | |
| https://doi.org/10.48550/arXiv.2609.37725 DataCite経由のarXiv発行DOI |
投稿履歴
投稿者: Rulin Shao
[v1] Tue, 29 Sep 2026 14:50:08 UTC (3,068 KB)
フルテキストリンク:
論文アクセス:
Rulin Shaoら12名の著者による「コンテキスト言語モデル」と題された論文のPDFを見る
追加機能
現在の閲覧コンテキスト:
cs.AI
以下で閲覧を変更:
参考文献と引用
読み込み中...
BibTeX形式の引用
読み込み中...
提供元:
ブックマーク
書誌ツール
書誌情報と引用ツール
書誌エクスプローラー トグル
書誌エクスプローラー (エクスプローラーとは?)
コネクテッドペーパー トグル
コネクテッドペーパー (コネクテッドペーパーとは?)
リットマップス トグル
リットマップス (リットマップスとは?)
scite.ai トグル
sciteスマート引用 (スマート引用とは?)
コード、データ、メディア
本論文に関連するコード、データ、メディア
alphaXiv トグル
alphaXiv (alphaXivとは?)
コードへのリンク トグル
CatalyzeXコードファインダー (CatalyzeXとは?)
DagsHub トグル
DagsHub (DagsHubとは?)
GotitPub トグル
Gotit.pub (GotitPubとは?)
Huggingface トグル
Hugging Face (Huggingfaceとは?)
ScienceCast トグル
ScienceCast (ScienceCastとは?)
デモ
デモ
Replicate トグル
Replicate (Replicateとは?)
Spaces トグル
Hugging Face Spaces (Spacesとは?)
Spaces トグル
TXYZ.AI (TXYZ.AIとは?)
関連論文
レコメンダーと検索ツール
インフルエンスフラワーへのリンク
インフルエンスフラワー (インフルエンスフラワーとは?)
コアレコメンダー トグル
COREレコメンダー (COREとは?)
- 著者
- 会場
- 機関
- トピック
arXivLabsについて
arXivLabs: コミュニティ協力による実験的プロジェクト
arXivLabsは、協力者が新しいarXiv機能を直接ウェブサイト上で開発・共有できるフレームワークです。
arXivLabsで活動する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという私たちの価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それに従うパートナーのみと協力します。
arXivコミュニティに価値をもたらすプロジェクトのアイデアをお持ちですか? arXivLabsについてもっと知る。
この論文の著者のうち、誰が推薦者ですか? | MathJaxを無効にする (MathJaxとは?)