キャッシュ・トゥ・キャッシュ: 大規模言語モデル間の直接的な意味論的通信
Cache-to-Cache: Direct Semantic Communication Between Large Language Models (arxiv.org)
要約
本論文では、大規模言語モデル（LLM）間の直接的な意味論的通信を実現する新しいパラダイム「Cache-to-Cache（C2C）」を提案しています。C2Cは、テキスト生成を介さずに、モデルのKVキャッシュを直接投影・融合することで、よりリッチな意味情報と高速な通信を可能にします。実験の結果、C2Cは単一モデルやテキスト通信方式と比較して、精度向上と大幅なレイテンシ削減を達成しました。
全文翻訳
Computer Science > Computation and Language
arXiv:2510.03215 (cs)
[Submitted on 3 Oct 2025 (v1), last revised 2 Mar 2026 (this version, v2)]
Title: Cache-to-Cache: Direct Semantic Communication Between Large Language Models
Authors:Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang
View a PDF of the paper titled Cache-to-Cache: Direct Semantic Communication Between Large Language Models, by Tianyu Fu and 6 other authors
Abstract: Multi-LLMシステムは、多様な大規模言語モデル（LLM）の補完的な強みを活用し、単一のモデルでは達成できない性能と効率の向上を実現します。既存の設計では、LLMはテキストを介して通信するため、内部表現を出力トークンシーケンスに変換する必要があります。このプロセスは、豊かな意味情報を失わせるだけでなく、トークンごとの生成遅延を招きます。これらの限界に着想を得て、私たちは「LLMはテキストを超えて通信できるか？」と問いかけます。Oracle実験は、KV-Cacheの意味論を豊かにすることが、キャッシュサイズを増やさずに応答品質を向上させることを示しており、KV-Cacheがモデル間通信の効果的な媒体であることを支持しています。したがって、私たちはLLM間の直接的な意味的通信のための新しいパラダイムであるCache-to-Cache（C2C）を提案します。C2Cは、ニューラルネットワークを使用して、ソースモデルのKV-cacheをターゲットモデルのものに投影・融合し、直接的な意味転送を可能にします。学習可能なゲーティングメカニズムは、キャッシュ通信から恩恵を受けるターゲットレイヤーを選択します。テキスト通信と比較して、C2Cは明示的な中間テキスト生成を回避しながら、両モデルの深い専門的な意味論を活用します。実験では、C2Cが個々のモデルよりも平均精度で6.4〜14.2%高い精度を達成することが示されました。さらに、テキスト通信パラダイムを約3.1〜5.4%上回り、平均2.5倍の遅延短縮を実現しました。私たちのコードはこちらで利用可能です。
| Comments: | Published in ICLR'26 |
| Subjects: | Computation and Language (cs.CL); Machine Learning (cs.LG) |
| MSC classes: | 68T07, 68T50 |
| ACM classes: | I.2.7 |
| Cite as: | arXiv:2510.03215 [cs.CL] |
| (or arXiv:2510.03215v2 [cs.CL] for this version) | |
| https://doi.org/10.48550/arXiv.2510.03215 arXiv-issued DOI via DataCite |
Submission history
From: Tianyu Fu [view email]
v1 Fri, 3 Oct 2025 17:52:32 UTC (484 KB)
[v2] Mon, 2 Mar 2026 19:24:02 UTC (546 KB)
Full-text links:
Access Paper:
View a PDF of the paper titled Cache-to-Cache: Direct Semantic Communication Between Large Language Models, by Tianyu Fu and 6 other authors
Additional Features
Current browse context:
cs.CL
Change to browse by:
References & Citations
Loading...
BibTeX formatted citation
loading...
Data provided by:
Bookmark
Bibliographic Tools
Bibliographic and Citation Tools
Bibliographic Explorer Toggle
Bibliographic Explorer (What is the Explorer?)
Connected Papers Toggle
Connected Papers (What is Connected Papers?)
Litmaps Toggle
Litmaps (What is Litmaps?)
scite.ai Toggle
scite Smart Citations (What are Smart Citations?)
Code, Data, Media
Code, Data and Media Associated with this Article
alphaXiv Toggle
alphaXiv (What is alphaXiv?)
Links to Code Toggle
CatalyzeX Code Finder for Papers (What is CatalyzeX?)
DagsHub Toggle
DagsHub (What is DagsHub?
GotitPub Toggle
Gotit.pub (What is GotitPub?)
Huggingface Toggle
Hugging Face (What is Huggingface?)
ScienceCast Toggle
ScienceCast (What is ScienceCast?)
Demos
Demos
Replicate Toggle
Replicate (What is Replicate?)
Spaces Toggle
Hugging Face Spaces (What is Spaces?)
Spaces Toggle
TXYZ.AI (What is TXYZ.AI?)
Related Papers
Recommenders and Search Tools
Link to Influence Flower
Influence Flower (What are Influence Flowers?)
Core recommender toggle
CORE Recommender (What is CORE?)
- Author
- Venue
- Institution
- Topic
About arXivLabs
arXivLabs: experimental projects with community collaborators
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.
Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)