ブラックボックス大規模言語モデルの知識蒸留
Knowledge Distillation of Black-Box Large Language Models (arxiv.org)
要約
GPT-4のようなプロプライエタリな大規模言語モデル(LLMs)の優れた性能を背景に、研究者たちは、これら強力なブラックボックスモデルを教師として、知識蒸留(KD)を通じてより小型なモデルの能力向上に注力しています。本研究では、教師モデルの内部状態が利用できないという制約を克服するため、プロキシモデルを用いて知識転送を効率化するProxy-KDという新しい手法を提案します。実験結果は、Proxy-KDがブラックボックス教師モデルからのKD性能を向上させるだけでなく、従来のホワイトボックスKD技術をも凌駕することを示しています。
全文翻訳
Computer Science > Computation and Language
arXiv:2401.07013 (cs)
[Submitted on 13 Jan 2024 (v1), last revised 9 Nov 2024 (this version, v2)]
Title:ブラックボックス大規模言語モデルの知識蒸留
Authors:Hongzhan Chen, Ruijun Chen, Yuqi Yi, Xiaojun Quan, Chenliang Li, Ming Yan, Ji Zhang
View a PDF of the paper titled Knowledge Distillation of Black-Box Large Language Models, by Hongzhan Chen and 5 other authors
Abstract:GPT-4のようなプロプライエタリな大規模言語モデル(LLM)の卓越した性能を考慮すると、近年の研究では、これらの強力でありながらブラックボックスであるティーチャーからの知識蒸留(KD)を通じて、より小さなモデルの能力を向上させることにますます焦点が当てられています。これらのティーチャーの高品質な出力を活用することは有利ですが、その内部状態へのアクセス不可能性は、効果的な知識転移をしばしば制限します。この制限を克服するために、我々はProxy-KDを導入します。これは、ブラックボックスLLMから小さなモデルへの知識の効率的な転移を促進するためにプロキシモデルを使用する新しい手法です。我々の実験は、Proxy-KDがブラックボックスティーチャーモデルからのKDの性能を向上させるだけでなく、従来のホワイトボックスKD技術をも凌駕することを示しています。このアプローチは、高度なLLMから知識を蒸留するための説得力のある新しい方向性を示しています。
| Subjects: | Computation and Language (cs.CL) |
| Cite as: | arXiv:2401.07013 [cs.CL] |
| (or arXiv:2401.07013v2 [cs.CL] for this version) | |
| https://doi.org/10.48550/arXiv.2401.07013 arXiv-issued DOI via DataCite |
Submission history
From: Hongzhan Chen [view email]
v1 Sat, 13 Jan 2024 08:43:32 UTC (359 KB)
[v2] Sat, 9 Nov 2024 01:35:32 UTC (8,288 KB)
Full-text links:
Access Paper:
View a PDF of the paper titled Knowledge Distillation of Black-Box Large Language Models, by Hongzhan Chen and 5 other authors
[画像: license icon] view license
Additional Features
Current browse context:
cs.CL
Change to browse by:
References & Citations
Loading...
BibTeX formatted citation
loading...
Data provided by:
Bookmark
Bibliographic Tools
Bibliographic and Citation Tools
Bibliographic Explorer Toggle
Bibliographic Explorer (What is the Explorer?)
Connected Papers Toggle
Connected Papers (What is Connected Papers?)
Litmaps Toggle
Litmaps (What is Litmaps?)
scite.ai Toggle
scite Smart Citations (What are Smart Citations?)
Code, Data, Media
Code, Data and Media Associated with this Article
alphaXiv Toggle
alphaXiv (What is alphaXiv?)
Links to Code Toggle
CatalyzeX Code Finder for Papers (What is CatalyzeX?)
DagsHub Toggle
DagsHub (What is DagsHub?)
GotitPub Toggle
Gotit.pub (What is GotitPub?)
Huggingface Toggle
Hugging Face (What is Huggingface?)
ScienceCast Toggle
ScienceCast (What is ScienceCast?)
Demos
Demos
Replicate Toggle
Replicate (What is Replicate?)
Spaces Toggle
Hugging Face Spaces (What is Spaces?)
Spaces Toggle
TXYZ.AI (What is TXYZ.AI?)
Related Papers
Recommenders and Search Tools
Link to Influence Flower
Influence Flower (What are Influence Flowers?)
Core recommender toggle
CORE Recommender (What is CORE?)
- Author
- Venue
- Institution
- Topic
About arXivLabs
arXivLabs: experimental projects with community collaborators
arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.
Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.
Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.
Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)