HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Kimi Linear: 表現力豊かで効率的なAttentionアーキテクチャ

Kimi Linear: An Expressive, Efficient Attention Architecture (arxiv.org)

290 pointsby ronfriedhaber123 コメント

要約

本論文では、Kimi Linearというハイブリッド線形Attentionアーキテクチャを提案する。これは、短・長コンテキスト、強化学習(RL)のスケーリング領域など、様々なシナリオにおいて、公平な比較のもとで初めてフルAttentionを上回る性能を示した。Kimi Delta Attention(KDA)を中核とし、Gated DeltaNetを拡張してよりきめ細やかなゲーティングメカニズムを導入している。このアーキテクチャは、KVキャッシュ使用量を最大75%削減し、1Mコンテキストで最大6倍のデコーディングスループットを達成しつつ、フルAttentionアーキテクチャのドロップインリプレイスメントとして優れた性能と効率を提供する。

全文翻訳

Computer Science > Computation and Language

arXiv:2510.26692 (cs)

[Submitted on 30 Oct 2025 (v1), last revised 1 Nov 2025 (this version, v2)]

タイトル: Kimi Linear: 表現力豊かで効率的なアテンションアーキテクチャ

著者: Kimi Team: Yu Zhang, Zongyu Lin, Xingcheng Yao, Jiaxi Hu, Fanqing Meng, Chengyin Liu, Xin Men, Songlin Yang, Zhiyuan Li, Wentao Li, Enzhe Lu, Weizhou Liu, Yanru Chen, Weixin Xu, Longhui Yu, Yejie Wang, Yu Fan, Longguang Zhong, Enming Yuan, Dehao Zhang, Yizhi Zhang, T.Y. Liu, Haiming Wang, Shengjun Fang, Weiran He, Shaowei Liu, Yiwei Li, Jianlin Su, Jiezhong Qiu, Bo Pang, Junjie Yan, Zhejun Jiang, Weixiao Huang, Bohong Yin, Jiacheng You, Chu Wei, Zhengtao Wang, Chao Hong, Yutian Chen, Guanduo Chen, Yucheng Wang, Huabin Zheng, Feng Wang, Yibo Liu, Mengnan Dong, Zheng Zhang, Siyuan Pan, Wenhao Wu, Yuhao Wu, Longyu Guan, Jiawen Tao, Guohong Fu, Xinran Xu, Yuzhi Wang, Guokun Lai, Yuxin Wu, Xinyu Zhou, Zhilin Yang, Yulun Du

Kimi Team: Yu Zhangと他の58名の著者によるKimi Linear: An Expressive, Efficient Attention Architectureというタイトルの論文のPDFを表示

PDFを表示 HTML (実験的)

要旨: Kimi Linearは、短コンテキスト、長コンテキスト、強化学習(RL)のスケーリング領域を含む様々なシナリオで、公平な比較において初めてフルアテンションを上回るハイブリッド線形アテンションアーキテクチャです。その中核には、Gated DeltaNetをよりきめ細やかなゲーティングメカニズムで拡張した表現力豊かな線形アテンションモジュールであるKimi Delta Attention(KDA)があり、限られた有限状態RNNメモリの効果的な利用を可能にします。我々の特注のチャンクワイズアルゴリズムは、Diagonal-Plus-Low-Rank(DPLR)遷移行列の特殊なバリアントを通じて高いハードウェア効率を達成し、一般的なDPLR定式化と比較して計算量を大幅に削減しつつ、古典的なデルタルールとの整合性をより高く保ちます。
我々は、KDAとMulti-Head Latent Attention(MLA)の層ごとのハイブリッドに基づいた、30億アクティブパラメータおよび480億トータルパラメータのKimi Linearモデルを事前学習しました。実験によると、同一の学習レシピで、Kimi Linearは評価された全タスクにおいて、MLAを大幅に上回る性能を示し、KVキャッシュ使用量を最大75%削減し、100万コンテキストで最大6倍のデコーディングスループットを達成しました。これらの結果は、Kimi Linearが、長い入力および出力長を持つタスクを含む、より優れた性能と効率を持つフルアテンションアーキテクチャのドロップインリプレイスメントとなり得ることを示しています。
さらなる研究を支援するため、KDAカーネルとvLLMの実装をオープンソース化し、事前学習済みおよび指示チューニング済みのモデルチェックポイントをリリースします。

コメント:Kimi Linear技術レポート
件名:Computation and Language (cs.CL); Machine Learning (cs.LG)
引用:arXiv:2510.26692 [cs.CL]
(またはこのバージョンについては arXiv:2510.26692v2 [cs.CL])
https://doi.org/10.48550/arXiv.2510.26692 arXiv発行DOI (DataCite経由)

投稿履歴

From: Yulun Du
v1 Thu, 30 Oct 2025 16:59:43 UTC (645 KB)
v2 Sat, 1 Nov 2025 12:05:18 UTC (691 KB)

全文リンク:

論文にアクセス

Kimi Team: Yu Zhangと他の58名の著者によるKimi Linear: An Expressive, Efficient Attention Architectureというタイトルの論文のPDFを表示

[画像: license icon]ライセンスを表示

追加機能
現在の閲覧コンテキスト:

cs.CL

< 前   |   次 >

新しいもの | 最近のもの | 2025-10

以下で閲覧を変更:

cs
cs.LG

参考文献と引用

Loading...

BibTeX形式の引用

loading...

提供元:

ブックマーク

[画像: BibSonomy][画像: Reddit]

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (Explorerとは?)

Connected Papers Toggle

Connected Papers (Connected Papersとは?)

Litmaps Toggle

Litmaps (Litmapsとは?)

scite.ai Toggle

scite Smart Citations (Smart Citationsとは?)

Code, Data, Media

コード、データ、メディア

alphaXiv Toggle

alphaXiv (alphaXivとは?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (CatalyzeXとは?)

DagsHub Toggle

DagsHub (DagsHubとは?)

GotitPub Toggle

Gotit.pub (GotitPubとは?)

Huggingface Toggle

Hugging Face (Hugging Faceとは?)

ScienceCast Toggle

ScienceCast (ScienceCastとは?)

Demos

デモ

Replicate Toggle

Replicate (Replicateとは?)

Spaces Toggle

Hugging Face Spaces (Spacesとは?)

Spaces Toggle

TXYZ.AI (TXYZ.AIとは?)

Related Papers

推奨事項と検索ツール

Link to Influence Flower

Influence Flower (Influence Flowersとは?)

Core recommender toggle

CORE Recommender (COREとは?)

  • 著者
  • 会場
  • 機関
  • トピック

About arXivLabs

arXivLabs: コラボレーターとの実験プロジェクト

arXivLabsは、コラボレーターがarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。

arXivLabsと協力する個人および組織は、オープンさ、コミュニティ、卓越性、ユーザーデータプライバシーという我々の価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それに準拠するパートナーのみと協力します。

arXivコミュニティに価値をもたらすプロジェクトのアイデアがありますか? arXivLabsについてもっと知る。

この論文の著者のうち、誰が推薦者ですか? | MathJaxを無効にする (MathJaxとは?)