Show HN: Cactus Hybrid - Gemma 4に間違いを認識させる方法を学習させる

皆さん、こんにちは。CactusのHenryとRomanです。 小型のオンデバイスモデルは高速でプライベートですが、時には間違いを犯します。しかし、最先端のモデルは急速に高価になっています。そこで、私たちはGemma 4 E2Bをポストトレーニングし、間違いを犯したときにそれを認識できるようにしました。すべての応答には0から1の間の確信度スコアが付随します。開発者は、確信度が高い場合はオンデバイスモデルを使用し、低い場合はより大きなクラウドモデルに処理を委譲できます。Gemini 3.1 Flash-Liteへのクエリの15〜35%のみをルーティングすることで、Gemma-4-E2BはほとんどのベンチマークでGemini 3.1 Flash-Liteに匹敵します。 - ChartQA: 15-20% - LibriSpeech: 25-30% - MMBench, GigaSpeech, MMAU: 30-35% - MMLU-Pro: 45-55% ハイブリッドアプリが依存するルーティングシグナルには常に不満を感じていました。モデル自身にテキストで評価させる（信頼性が低く、文章を解析する必要がある）か、トークンエントロピーのヒューリスティクス（テストではコインフリップよりもほとんど良くない）です。そこで、私たちは小型モデル、特にGemma 4のメカニズム研究を行い、さまざまな状況で意味のある自己認識シグナルを運ぶ隠れ状態を発見しました。 そのため、私たちはモデルに68kパラメータのプローブレイヤーを拡張しました（LayerNorm、低ランク射影、アテンションプーリング、小型MLPヘッド）。これはデコード中に中間層を読み取り、p(wrong)を予測します。確信度 = 1 - p(wrong)であり、構造化データとして返され、回答テキストから解析されることはありません。 テキスト、ビジョン、オーディオにわたる12のホールドアウトベンチマーク全体で、プローブはトークンエントロピーの0.549に対して平均0.814のAUROCを達成しました。これが本物だと確信させてくれた結果は、プローブはオーディオデータで一切トレーニングされていないにもかかわらず、エントロピーがランダムに近いかそれ以下（0.32-0.52）の4つのオーディオベンチマークで0.79-0.88のAUROCを記録したことです。これは、トレーニングデータからのパターンを記憶しているのではなく、隠れ状態からモダリティに依存しない正しさのシグナルを読み取っています。 すべてのウェイトをHuggingFaceに公開し、Transformers、MLX、Llama.cpp、またはCactusで実行するためのコピー＆ペーストコードを提供しています。Ollama、vLLM、SGLangなども開発中です。llama.cppについては、一度コンパイルして組み込むパッチシリーズを提供しています（アップストリーミングを計画中です）。コードはMITライセンスで提供されます。Gemmaモデルの使用は、Gemmaの利用規約に従います。 GitHub: https://github.com/cactus-compute/cactus-hybrid ウェイト: https://huggingface.co/collections/Cactus-Compute/cactus-hybrid-6a60da4551074db058e8bb64 いくつかの注意点があります。 - プローブは、最初の1024トークン生成まで、単一シーケンスのデコードのみをスコアリングします。 - オフロードは、マルチステッププロセスでタスクごとにルーティングする場合に最も効果的であり、ステップごとにではありません。 - 階層的ルーティングはまだ開発中です。オンデバイス、次にDeepSeek v4 Flash、その後Fable/GPT5.5/Gemini/Muse/Grokを試してください。 - この技術は各モデルに特化しているため、ロールアウトごとにウェイトを共有します。 これらの問題は現在Cactusで取り組んでおり、更新されたウェイトはHuggingFaceコレクションとGitHubリポジトリに直接出荷されます。皆様のご意見をお聞かせください。設計を段階的に改善する方法を見つけるのに役立ちます。 ありがとうございます！