HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: Cactus Hybrid - Gemma 4に間違いを認識させる方法を学習させる

Show HN: Cactus Hybrid: We taught Gemma 4 to know when it's wrong (github.com)

168 pointsby HenryNdubuaku36 コメント

要約

Cactusは、Gemma 4モデルをポストトレーニングし、応答の確信度スコアを付与できるようにしました。これにより、オンデバイスモデルで高確信度の応答を処理し、低確信度の場合はより大規模なクラウドモデルにオフロードすることが可能になります。この新しいプローブレイヤーは、従来のトークンエントロピーよりも大幅に高い精度で誤りを予測します。

全文翻訳

皆さん、こんにちは。CactusのHenryとRomanです。

小規模なオンデバイスモデルは高速でプライベートですが、時に間違いを犯します。一方、最先端のモデルは急速に高価になっています。そこで、私たちはGemma 4 E2Bを追加学習させ、間違いを認識できるようにしました。すべての応答には0から1の信頼度スコアが付属します。開発者は、信頼度が高い場合はオンデバイスモデルを使用し、低い場合はより大きなクラウドモデルに処理を委譲できます。Gemini 3.1 Flash-Liteへのクエリのわずか15〜35%をルーティングするだけで、Gemma-4-E2BはほとんどのベンチマークでGemini 3.1 Flash-Liteに匹敵します。

  • ChartQA: 15-20%
  • LibriSpeech: 25-30%
  • MMBench, GigaSpeech, MMAU: 30-35%
  • MMLU-Pro: 45-55%

ハイブリッドアプリが依存するルーティングシグナルには常に不満を感じていました。モデル自身にテキストで評価させる(信頼性が低く、文章を解析する必要がある)か、トークンエントロピーのヒューリスティック(テストではコイン投げとほとんど変わらない)かです。そこで、私たちは小規模モデル、特にGemma 4のメカニズム研究を行い、さまざまな状況で意味のある自己認識シグナルを異なる層の隠れ状態が運んでいることを発見しました。

そこで、68kパラメータのプローブ層(LayerNorm、低ランク射影、アテンションプーリング、小規模MLPヘッド)でモデルを拡張しました。これはデコーディング中に中間層を1つ読み取り、p(wrong)を予測します。信頼度 = 1 - p(wrong) で、構造化データとして返され、回答テキストから解析されることはありません。

テキスト、ビジョン、オーディオにまたがる12のホールドアウトベンチマーク全体で、プローブの平均AUROCは0.814ですが、トークンエントロピーでは0.549でした。これが本物だと確信させてくれた結果は、プローブはオーディオデータで一切学習していないにもかかわらず、エントロピーがランダムに近いかそれ以下(0.32-0.52)の4つのオーディオベンチマークで0.79-0.88のAUROCを記録したことです。これは、学習データからのパターンを記憶しているのではなく、隠れ状態からモダリティに依存しない正しさのシグナルを読み取っています。

すべての重みをHuggingFaceで公開し、Transformers、MLX、Llama.cpp、またはCactusで実行するためのコピー&ペーストコードを提供しています。Ollama、vLLM、SGLangなども作業中です。llama.cppについては、コンパイル時に組み込むパッチシリーズを提供しています(アップストリーミングを計画中です)。コードはMITライセンスです。Gemmaモデルの使用は、引き続きGemmaの利用規約に従います。

GitHub: https://github.com/cactus-compute/cactus-hybrid

Weights: https://huggingface.co/collections/Cactus-Compute/cactus-hyb...

いくつかの注意点があります:

  • プローブは、最初の1024トークンまでの単一シーケンスデコーディングのみをスコアリングします。
  • ハンドオフは、ステップごとではなく、マルチステッププロセスでタスクごとにルーティングする場合に最も効果的です。
  • 階層的ルーティングはまだ開発中です。オンデバイス、次にDeepSeek v4 Flash、その後Fable/GPT5.5/Gemini/Muse/Grokを試します。
  • この技術はモデルごとにカスタマイズが必要なため、ロールアウトごとに重みを共有します。

これらの問題は現在Cactusで取り組んでおり、更新された重みはHuggingFaceコレクションとGitHubリポジトリに直接出荷されます。ご意見をお聞かせください。設計を段階的に改善する方法を見つけるのに役立ちます。

どうもありがとうございました!