キャッシュ・トゥ・キャッシュ: 大規模言語モデル間の直接的な意味論的通信

コンピュータサイエンス > 計算と言語 arXiv:2510.03215 (cs) [2025年10月3日提出 (v1)、最終改訂2026年3月2日 (本版、v2)] タイトル: Cache-to-Cache: Direct Semantic Communication Between Large Language Models 著者: Tianyu Fu, Zihan Min, Hanling Zhang, Jichao Yan, Guohao Dai, Wanli Ouyang, Yu Wang "Cache-to-Cache: Direct Semantic Communication Between Large Language Models"と題された論文のPDFを表示します。著者はTianyu Fu他6名です。 PDFを表示 HTML (実験的) 概要: マルチLLMシステムは、多様な大規模言語モデル（LLM）の相補的な強みを活用し、単一モデルでは達成できない性能と効率の向上を実現します。既存の設計では、LLMはテキストを介して通信するため、内部表現をトークンシーケンスに変換する必要があります。このプロセスは、リッチな意味情報を失うだけでなく、トークンごとの生成レイテンシを招きます。これらの限界に着想を得て、私たちは「LLMはテキストを超えて通信できるか？」と問いかけます。Oracle実験は、KVキャッシュの意味論を豊かにすることが、キャッシュサイズを増やさずに応答品質を向上させることを示しており、KVキャッシュがモデル間通信の効果的な媒体であることを支持しています。そこで、私たちはLLM間の直接的な意味論的通信のための新しいパラダイム、Cache-to-Cache（C2C）を提案します。C2Cは、ニューラルネットワークを使用してソースモデルのKVキャッシュをターゲットモデルのKVキャッシュに投影・融合し、直接的な意味転送を可能にします。学習可能なゲーティングメカニズムは、キャッシュ通信の恩恵を受けるターゲットレイヤーを選択します。テキスト通信と比較して、C2Cは明示的な中間テキスト生成を回避しながら、両モデルの深い専門的な意味論を活用します。実験の結果、C2Cは個々のモデルよりも平均精度が6.4～14.2%高くなりました。さらに、テキスト通信パラダイムを約3.1～5.4%上回り、平均2.5倍のレイテンシ短縮を実現しました。コードは、このhttps URLで入手可能です。 コメント: ICLR'26で発表 主題: 計算と言語 (cs.CL); 機械学習 (cs.LG) MSCクラス: 68T07, 68T50 ACMクラス: I.2.7 引用形式: arXiv:2510.03215 [cs.CL] (または本版の場合は arXiv:2510.03215v2 [cs.CL]) https://doi.org/10.48550/arXiv.2510.03215 詳細はこちらをご覧ください arXiv発行DOI (DataCite経由) 投稿履歴 送信者: Tianyu Fu [メールを表示] [v1] 金, 2025年10月3日 17:52:32 UTC (484 KB) [v2] 月, 2026年3月2日 19:24:02 UTC (546 KB) 全文リンク: 論文にアクセス: "Cache-to-Cache: Direct Semantic Communication Between Large Language Models"と題された論文のPDFを表示します。著者はTianyu Fu他6名です。 PDFを表示 HTML (実験的) TeXソース 表示ライセンス 現在の閲覧コンテキスト: cs.CL < 前 | 次 > 新規 | 最近 | 2025-10 以下のカテゴリで閲覧に変更: cs cs.LG 参考文献と引用 NASA ADS Google Scholar Semantic Scholar エクスポート BibTeX引用 読み込み中... BibTeX形式の引用 × 読み込み中... 提供データ: ブックマーク 書誌ツール 書誌・引用ツール 書誌エクスプローラー 書誌エクスプローラーを切り替える (Explorerとは？) Connected Papers Connected Papersを切り替える (Connected Papersとは？) Litmaps Litmapsを切り替える (Litmapsとは？) scite.ai sciteスマート引用を切り替える (Smart Citationsとは？) コード、データ、メディア 本論文に関連するコード、データ、メディア alphaXiv alphaXivを切り替える (alphaXivとは？) コードへのリンク CatalyzeX Papers用コードファインダー (CatalyzeXとは？) DagsHub DagsHubを切り替える (DagsHubとは？) GotitPub GotitPubを切り替える (GotitPubとは？) Huggingface Hugging Faceを切り替える (Huggingfaceとは？) ScienceCast ScienceCastを切り替える (ScienceCastとは？) デモ デモ Replicate Replicateを切り替える (Replicateとは？) Spaces Hugging Face Spacesを切り替える (Spacesとは？) Spaces TXYZ.AIを切り替える (TXYZ.AIとは？) 関連論文 レコメンダーおよび検索ツール Influence Flowerへのリンク Influence Flower (Influence Flowersとは？) Core recommender CORE Recommenderを切り替える (COREとは？) 著者 会場 機関 トピック arXivLabsについて arXivLabs: コミュニティ共同開発者との実験プロジェクト arXivLabsは、共同開発者がarXivの新しい機能を直接ウェブサイト上で開発・共有できるフレームワークです。arXivLabsと協力する個人および組織は、オープンネス、コミュニティ、卓越性、ユーザーデータプライバシーという価値観を受け入れ、遵守しています。arXivはこの価値観にコミットしており、それらを遵守するパートナーのみと協力します。 コミュニティに価値をもたらすプロジェクトのアイデアがありますか？ arXivLabsについてもっと知る。 この論文の著者は誰ですか？ 数式表示を無効にする (MathJaxとは？)