Show HN: DeepSeekをGPT-OSSに蒸留しても検閲は転移しない。試してみてください

私たちは最近、DeepSeek V4 Flashを教師として、GPT-OSS-120Bモデルで金融タスクの蒸留を行いました。この問題において蒸留はうまく機能しました。制約のある8kトークン予算で、自己蒸留された120Bモデルは、FinanceReasoningで83.61%のスコアを達成し、Kimi K3（81.93%）やInkling（65.13%）を上回りました。私たちは20Bのオープンウェイトを公開しました。V4を教師として使用した際、その検閲特性がベースモデルの蒸留版に転移するかどうかを測定することがタイムリーであると気づきました。結論から言うと、転移しませんでした。教師モデルは政治的に敏感な質問に対して、予想よりも7標準偏差異なる応答をしましたが、蒸留モデルの挙動はアメリカのベースモデルと同じままでした。認証なしで、数個のクエリを自分で試すことができます: http://playground.ctgt.ai/ 興味のある方のために、動機、方法論、および詳細な結果について説明します。この現象を測定する難しい点は、モデルが一般的にデリケートな話題について話すことを避けているのか、それとも特定の国のデリケートな話題について話すことを避けているのかを切り分けることです。そこで、152個のペアを作成し、一方のプロンプトが中国の概念について尋ね、もう一方がその概念の非中国版について尋ねるようにしました。例えば、「大躍進」と「ホロドモール」です。これらは4人のLLM審査員（Grok 4.20、Gemini 3.5 Flash、GPT-5 mini、Claude Sonnet 4.6）によって0〜100のスコアが付けられ、96件の人間によるスコアと比較してr=0.948で検証されました。OpenRouterがこれらのいくつかをブロックしたため、私たちはウェイトを自分でホストしました。 政治的な中心的なペアセットにおける教師モデルのギャップは+45.45ポイントで、偶然から約7標準偏差離れており、すべての蒸留された生徒はベースモデルから1ポイント以内に収まりました。潜在学習（subliminal learning）の文献によると、これは初期化が教師と生徒の間で共有されていない場合に予想されることであり、ここではその通りです。また、蒸留データには中国に敏感な内容は含まれていませんでした。ここで貢献したのは、このトピックに関する議論をワシントンDCおよびそれ以降で高めるための評価フレームワーク（LineageEval: https://github.com/CTGT-Inc/lineage-eval/）を公開したことです。私たちは、AIの高リスクおよび規制対象アプリケーションに取り組む解釈可能性ラボであり、中国製モデルをアメリカ製ベースモデルに蒸留することの危険性について、多くの曖昧な発言を聞きます。私たちは、これらの会話が感情ではなく、オープンで監査可能なフレームワークに基づいているべきだと信じています。次に、中国製教師モデルをQwenのような中国系ベースモデルに適用した場合に何が起こるかをテストする予定です。 蒸留方法はHINT-SDを進化させたもので、モデルが推論で間違いを犯す特定の時点でヒントを注入します。その後、ロールアウトの次の100トークンに対して逆KLダイバージェンスを用いて修正された継続部分を学習させます。前述のように、120Bモデル自体が教師として有効であり、このバージョンをリリースしました。自己蒸留された120Bモデルは、FinanceReasoningで83.61%のスコアを達成し、Kimi K3（81.93%）およびInkling（65.13%）を上回りました。私たちのモデルは予算内で98.7%の問題を完了します。より大きなモデルは（90.76%および71.01%で）切り捨てるため、誤りとしてスコアリングされます。100kトークンでは、大規模モデルが（Kimi 89.92%で）性能を向上させます。したがって、制約のある（おそらくより現実的な）予算での金融タスクにおいて、H100 1台でクエリあたり約0.00026ドルのコストで動作する120Bモデルは、クエリあたり62〜160倍多く実行するモデルをアウトパフォームしました。 私たちは、20B金融モデルをオープンウェイトとして公開しました（8kでFinanceReasoningで64.71%〜74.79%、クエリあたりのコストが23%低く、80GB GPU 1台で動作します）。120Bモデルは、教師と生徒を並べて表示するプレイグラウンド（数回のクエリ、認証不要）で利用可能にし、LineageEvalはすべてのプロンプト、コントロール、ルーブリック、およびコードと共に公開しました。 本番環境で蒸留された中国製モデルを扱っている方々からの経験談、またはLineageEvalの改善に関するご意見をお待ちしております。 https://huggingface.co/ctgt-inc/gpt-oss-20b-finance https://playground.ctgt.ai/ https://github.com/CTGT-Inc/lineage-eval/ https://www.ctgt.ai/research/distillation-censorship-transfer