HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ブラックボックス大規模言語モデルの知識蒸留

Knowledge Distillation of Black-Box Large Language Models (arxiv.org)

115 pointsby babelfish22 コメント

要約

GPT-4のようなプロプライエタリな大規模言語モデル(LLMs)の優れた性能を背景に、研究者たちは、これら強力なブラックボックスモデルを教師として、知識蒸留(KD)を通じてより小型なモデルの能力向上に注力しています。本研究では、教師モデルの内部状態が利用できないという制約を克服するため、プロキシモデルを用いて知識転送を効率化するProxy-KDという新しい手法を提案します。実験結果は、Proxy-KDがブラックボックス教師モデルからのKD性能を向上させるだけでなく、従来のホワイトボックスKD技術をも凌駕することを示しています。

全文翻訳

Computer Science > Computation and Language

arXiv:2401.07013 (cs)

[Submitted on 13 Jan 2024 (v1), last revised 9 Nov 2024 (this version, v2)]

Title:ブラックボックス大規模言語モデルの知識蒸留

Authors:Hongzhan Chen, Ruijun Chen, Yuqi Yi, Xiaojun Quan, Chenliang Li, Ming Yan, Ji Zhang

View a PDF of the paper titled Knowledge Distillation of Black-Box Large Language Models, by Hongzhan Chen and 5 other authors

View PDF HTML (experimental)

Abstract:GPT-4のようなプロプライエタリな大規模言語モデル(LLM)の卓越した性能を考慮すると、近年の研究では、これらの強力でありながらブラックボックスであるティーチャーからの知識蒸留(KD)を通じて、より小さなモデルの能力を向上させることにますます焦点が当てられています。これらのティーチャーの高品質な出力を活用することは有利ですが、その内部状態へのアクセス不可能性は、効果的な知識転移をしばしば制限します。この制限を克服するために、我々はProxy-KDを導入します。これは、ブラックボックスLLMから小さなモデルへの知識の効率的な転移を促進するためにプロキシモデルを使用する新しい手法です。我々の実験は、Proxy-KDがブラックボックスティーチャーモデルからのKDの性能を向上させるだけでなく、従来のホワイトボックスKD技術をも凌駕することを示しています。このアプローチは、高度なLLMから知識を蒸留するための説得力のある新しい方向性を示しています。

Subjects:Computation and Language (cs.CL)
Cite as:arXiv:2401.07013 [cs.CL]
(or arXiv:2401.07013v2 [cs.CL] for this version)
https://doi.org/10.48550/arXiv.2401.07013 arXiv-issued DOI via DataCite

Submission history

From: Hongzhan Chen [view email]
v1 Sat, 13 Jan 2024 08:43:32 UTC (359 KB)
[v2] Sat, 9 Nov 2024 01:35:32 UTC (8,288 KB)

Full-text links:

Access Paper:

View a PDF of the paper titled Knowledge Distillation of Black-Box Large Language Models, by Hongzhan Chen and 5 other authors

[画像: license icon] view license

Additional Features
Current browse context:

cs.CL

< prev | next >

new | recent | 2024-01

Change to browse by:

cs

References & Citations

Loading...

BibTeX formatted citation

loading...

Data provided by:

Bookmark

[画像: BibSonomy][画像: Reddit]

Bibliographic Tools

Bibliographic and Citation Tools

Bibliographic Explorer Toggle

Bibliographic Explorer (What is the Explorer?)

Connected Papers Toggle

Connected Papers (What is Connected Papers?)

Litmaps Toggle

Litmaps (What is Litmaps?)

scite.ai Toggle

scite Smart Citations (What are Smart Citations?)

Code, Data, Media

Code, Data and Media Associated with this Article

alphaXiv Toggle

alphaXiv (What is alphaXiv?)

Links to Code Toggle

CatalyzeX Code Finder for Papers (What is CatalyzeX?)

DagsHub Toggle

DagsHub (What is DagsHub?)

GotitPub Toggle

Gotit.pub (What is GotitPub?)

Huggingface Toggle

Hugging Face (What is Huggingface?)

ScienceCast Toggle

ScienceCast (What is ScienceCast?)

Demos

Demos

Replicate Toggle

Replicate (What is Replicate?)

Spaces Toggle

Hugging Face Spaces (What is Spaces?)

Spaces Toggle

TXYZ.AI (What is TXYZ.AI?)

Related Papers

Recommenders and Search Tools

Link to Influence Flower

Influence Flower (What are Influence Flowers?)

Core recommender toggle

CORE Recommender (What is CORE?)

  • Author
  • Venue
  • Institution
  • Topic

About arXivLabs

arXivLabs: experimental projects with community collaborators

arXivLabs is a framework that allows collaborators to develop and share new arXiv features directly on our website.

Both individuals and organizations that work with arXivLabs have embraced and accepted our values of openness, community, excellence, and user data privacy. arXiv is committed to these values and only works with partners that adhere to them.

Have an idea for a project that will add value for arXiv's community? Learn more about arXivLabs.

Which authors of this paper are endorsers? | Disable MathJax (What is MathJax?)