AI・機械学習
ブラックボックス大規模言語モデルの知識蒸留
Knowledge Distillation of Black-Box Large Language Models (arxiv.org)
要約
GPT-4のようなプロプライエタリな大規模言語モデル(LLMs)の優れた性能を背景に、研究者たちは、これら強力なブラックボックスモデルを教師として、知識蒸留(KD)を通じてより小型なモデルの能力向上に注力しています。本研究では、教師モデルの内部状態が利用できないという制約を克服するため、プロキシモデルを用いて知識転送を効率化するProxy-KDという新しい手法を提案します。実験結果は、Proxy-KDがブラックボックス教師モデルからのKD性能を向上させるだけでなく、従来のホワイトボックスKD技術をも凌駕することを示しています。
全文翻訳
Computer Science > Computation and Language arXiv:2401.07013 (cs) [2024年1月13日提出 (v1), 2024年11月9日最終改訂 (このバージョン, v2)] タイトル:ブラックボックス大規模言語モデルの知識蒸留 著者: Hongzhan Chen, Ruijun Chen, Yuqi Yi, Xiaojun Quan, Chenliang Li, Ming Yan, Ji Zhang Hongzhan Chenと他の5人の著者による、ブラックボックス大規模言語モデルの知識蒸留と題された論文のPDFを表示する PDF HTML (実験的)
要旨: GPT-4のようなプロプライエタリな大規模言語モデル（LLMs）の卓越した性能を鑑み、最近の研究では、これら強力でありながらブラックボックスである教師モデルからの知識蒸留（KD）を通じて、より小型なモデルの能力を向上させることにますます焦点が当てられています。これらの教師モデルの高品質な出力を活用することは有利ですが、内部状態にアクセスできないことが効果的な知識転送をしばしば制限します。この制限を克服するため、我々はProxy-KDを導入します。これは、プロキシモデルを使用してブラックボックスLLMsからより小型なモデルへの知識の効率的な転送を促進する新しい方法です。我々の実験は、Proxy-KDがブラックボックス教師モデルからのKDの性能を向上させるだけでなく、従来のホワイトボックスKD技術をも凌駕することを示しています。このアプローチは、高度なLLMsからの知識蒸留のための説得力のある新しい道筋を提示します。 主題: 計算と言語 (cs.CL) 引用方法: arXiv:2401.07013 [cs.CL] (またはこのバージョンについては arXiv:2401.07013v2 [cs.CL]) https://doi.org/10.48550/arXiv.2401.07013 詳細を学ぶことに焦点を当てる arXiv発行DOI（DataCite経由） 提出履歴 差出人: Hongzhan Chen [メールを表示] [v1] 2024年1月13日土曜日 08:43:32 UTC (359 KB) [v2] 2024年11月9日土曜日 01:35:32 UTC (8,288 KB) 全文リンク: 論文にアクセス: Hongzhan Chenと他の5人の著者による、ブラックボックス大規模言語モデルの知識蒸留と題された論文のPDFを表示する PDF HTML (実験的) TeXソース ライセンスを表示 現在のブラウズコンテキスト: cs.CL < prev | next > new | recent | 2024-01 変更してブラウズ: cs 参考文献と引用 NASA ADS Google Scholar Semantic Scholar BibTeX引用をエクスポート 読み込み中... BibTeX形式の引用 × 読み込み中... 提供データ: ブックマーク 書誌ツール 書誌・引用ツール 書誌エクスプローラー 書誌エクスプローラーの切り替え (エクスプローラーとは？) 関連論文 関連論文の切り替え (関連論文とは？) Litmaps Litmapsの切り替え (Litmapsとは？) scite.ai sciteスマート引用の切り替え (スマート引用とは？) コード、データ、メディア この記事に関連するコード、データ、メディア alphaXiv alphaXivの切り替え (alphaXivとは？) コードへのリンク 論文用CatalyzeXコードファインダーの切り替え (CatalyzeXとは？) DagsHub DagsHubの切り替え (DagsHubとは？) GotitPub Gotit.pubの切り替え (GotitPubとは？) Huggingface Hugging Faceの切り替え (Huggingfaceとは？) ScienceCast ScienceCastの切り替え (ScienceCastとは？) デモ デモ Replicate Replicateの切り替え (Replicateとは？) Spaces Hugging Face Spacesの切り替え (Spacesとは？) Spaces TXYZ.AIの切り替え (TXYZ.AIとは？) 関連論文 レコメンダーと検索ツール インフルエンスフラワーへのリンク インフルエンスフラワー (インフルエンスフラワーとは？) Coreレコメンダー COREレコメンダーの切り替え (COREとは？) 著者 会場 機関 トピック arXivLabsについて arXivLabs: コミュニティ協力者との実験的プロジェクト arXivLabsは、協力者が新しいarXiv機能を当社のウェブサイト上で直接開発し共有することを可能にするフレームワークです。arXivLabsと協力する個人および組織は、オープンネス、コミュニティ、卓越性、およびユーザーデータプライバシーという当社の価値観を受け入れ、賛同しています。arXivはこれらの価値観にコミットしており、これらに従うパートナーとのみ協力しています。arXivのコミュニティに価値を加えるプロジェクトのアイデアがありますか？arXivLabsについて詳しくはこちら。 この論文の著者のうち、誰が推薦者ですか？ | MathJaxを無効にする (MathJaxとは？)