Show HN: DeepSeekをGPT-OSSに蒸留しても検閲は転移しない。試してみてください
Show HN: Distilling DeepSeek into GPT-OSS doesn't transfer censorship. Try it (ctgt.ai)
要約
CTGT.aiの研究チームは、DeepSeek V4 Flashを教師としてGPT-OSS-120Bモデルを金融タスクで蒸留した結果、検閲特性は転移しなかったことを報告しています。蒸留されたモデルは、政治的に敏感な質問に対して教師モデルとは異なる応答を示したものの、ベースモデルの挙動は維持されました。この研究では、中国の概念と非中国の概念を対比させた152個のペアを用いて、検閲の転移を測定する評価フレームワーク「LineageEval」を開発・公開しました。また、金融タスクに特化した20Bモデルをオープンウェイトとして公開し、プレイグラウンドで試用できるようにしています。
全文翻訳
最近、私たちはDeepSeek V4 Flashを教師として、GPT-OSS-120Bを用いた金融タスクでの蒸留を行いました。この問題において、蒸留はうまく機能しました。制約のある8kトークン予算で、自己蒸留された120BモデルはFinanceReasoningで83.61%のスコアを記録し、Kimi K3 (81.93%) や Inkling (65.13%) を上回りました。私たちは20Bのオープンウェイトを公開しました。しかし、V4を教師として使用したことで、その検閲特性がベースモデルの蒸留バージョンに引き継がれるかどうかをタイムリーに測定することが重要だと気づきました。結論から言うと、引き継がれませんでした。教師モデルは政治的に機密性の高い質問に対して、予想とは7標準偏差異なる回答をしましたが、蒸留モデルの挙動はアメリカのベースモデルと同じままでした。認証不要で、いくつかのクエリを自分で試すことができます: http://playground.ctgt.ai/
興味のある方のために、動機、方法論、詳細な結果について掘り下げていきます。この現象を測定する上での難しい点は、モデルが一般的にセンシティブな話題を避けるのか、それとも特定の国のセンシティブな話題を避けるのかを切り分けることです。そこで、一方のプロンプトが中国の概念について尋ね、もう一方がその概念の非中国版について尋ねる、152個のマッチしたペアを作成しました。例えば、「大躍進」と「ホロドモール」です。これらは4つのLLMジャッジ(Grok 4.20、Gemini 3.5 Flash、GPT-5 mini、Claude Sonnet 4.6)によって0〜100のスコアが付けられ、96件の人間のスコアに対してr=0.948で検証されました。OpenRouterがこれらのうちいくつかをブロックしたため、私たちはウェイトを自社でホストしました。
政治的な中心的なペアセットにおける教師モデルのギャップは+45.45ポイントで、偶然から約7標準偏差離れていました。そして、すべての蒸留された生徒モデルは、そのベースモデルから1ポイント以内に収まっていました。サブリミナル学習の文献によると、これは教師と生徒の間で初期化が共有されていない場合に予想されることであり、ここではその通りです。また、蒸留データには中国に機密性の高いコンテンツは含まれていませんでした。ここでの貢献は、このトピックに関するワシントンDCおよびそれ以降での議論を高めるために、評価フレームワーク(LineageEval: https://github.com/CTGT-Inc/lineage-eval/)をリリースしたことです。私たちはAIの高リスクおよび規制対象アプリケーションに取り組む解釈可能性ラボであり、中国製モデルをアメリカのベースモデルに蒸留することの、いわゆる危険性に対して向けられる多くの曖昧な発言を聞きます。私たちは、これらの会話が感情ではなく、オープンで監査可能なフレームワークに基づいているべきだと信じています。次に、中国の教師モデルをQwenのような中国系ベースモデルに入れた場合に何が起こるかをテストする予定です。
蒸留方法は、モデルが推論で間違いを犯した特定の時点でヒントを注入するHINT-SDを進化させたものです。その後、ロールアウトの次の100トークンにわたって逆KLダイバージェンスを用いて修正された継続部分でトレーニングします。前述のように、120Bモデル自体が教師として効果的であり、このバージョンを出荷することにしました。自己蒸留された120BモデルはFinanceReasoningで83.61%のスコアを記録し、Kimi K3 (81.93%) や Inkling (65.13%) を上回りました。私たちのモデルは予算内で問題の98.7%を完了します。より大きなモデルは(90.76%および71.01%で)切り捨てられ、これは誤りとしてスコアリングされます。100kトークンでは、大規模モデルは性能が向上します(Kimi 89.92%)。したがって、制約のある(おそらくより現実的な)予算での金融タスクにおいて、H100 1台で1クエリあたり約0.00026ドルのコストで動作する120Bモデルは、クエリあたり62〜160倍高価なモデルを凌駕しました。
私たちは、20Bの金融モデルをオープンウェイトとして公開しました(8kでFinanceReasoningで64.71%から74.79%、1クエリあたりのコストが23%低下、80GB GPU 1台で動作)。120Bモデルは、教師モデルと生徒モデルを並べて表示するプレイグラウンド(数クエリ、認証不要)で利用可能です。また、すべてのプロンプト、コントロール、ルーブリック、コードを含むLineageEvalも公開しました。
本番環境で蒸留された中国製モデルを扱っている方々からの経験談や、LineageEvalの改善に関するご意見をお待ちしています。
https://huggingface.co/ctgt-inc/gpt-oss-20b-finance
https://github.com/CTGT-Inc/lineage-eval/
https://www.ctgt.ai/research/distillation-censorship-transfer