Show HN: Cactus Needle 3: 8-29MBの自動化モデルがDeepSeek V4 Flashに匹敵

皆さん、こんにちは。CactusのHenryです。

数週間前にNeedle 2をこちらに投稿しましたが、ディスカッションスレッドでのフィードバックは非常に貴重でした。ありがとうございます！そのフィードバックのおかげで、Needle 3を迅速にリリースすることができ、皆様の意見を再び伺いたいと思っています。

主な特徴は以下の通りです。

1. 自動化（ツール呼び出しと構造化JSON出力）：Needleは設計上、意図的にチャット機能を持たせていません。このような小型モデルに汎用的な能力を詰め込むのは非常に難しいため、ツール呼び出しと構造化JSONに焦点を当てています。宣言したツールがリクエストに合わない場合は、空のリストが返されます（デモでの注意点です）。

2. インテリジェンスラダーリング：各レイヤー（2から20）はデプロイ可能なサブネットワークであり、単一の重みセットで、2500万から1億2100万パラメータを2ビットで、バイナリとして8MBから29MBで提供します。Raspberry Pi 5では、最大4kトークン/秒でデコードし、最大10kトークン/秒でプリフィルします。

3. Monarch Hadamard MLP：密なFFNを、学習可能なWalsh-Hadamard初期化されたKronecker（Monarch）因数ペア3つに置き換え、チャネルごとの対角スケーリング、固定順列、SiLU非線形性、ランク8の入力条件付きゲートとインターリーブしています。これにより、各トークンは、密な4倍拡張MLPが必要とするO(d²)ではなく、O(d√d)のパラメータと計算量で、そのd_modelチャネルの完全に混合された非線形変換を得られます。

4. パフォーマンス：Mobile Actions（電話コマンド、正確な呼び出しでスコアリング）において、20層モデルは出荷される2ビットバイナリで86.0を達成しました。f16では、LFM2.5 1.2Bが82.4、Qwen3.5 0.8Bが76.0、Appleのオンデバイスモデルが57.6です。リンク先にさらに多くの結果がありますが、もちろん全てで勝っているわけではありません。

5. 多言語対応：Needle 3は現在、英語、フランス語、スペイン語、ドイツ語、オランダ語、イタリア語、ポーランド語をサポートしており、さらに多くの言語が追加される予定です。

6. ファインチューニング：狭いタスクであれば、わずか4層でDeepSeek v4 Flashグレードのパフォーマンスを達成できます。「狭いタスク」を強調しています。プロダクションユーザーは、本番環境投入前にチューニングすることを好むことがよくあります。

7. トリガー：ツール呼び出しにおけるグラウンディングは、少なくともNeedle 2では一般的な課題でした。そのため、各リクエストに対して大文字小文字を区別しない正規表現にマッチさせて、偽陰性をゲートするサポートを追加しました。

8. 信頼度：すべての応答には、キャリブレーションされた信頼度スコアも含まれます。これは、完了した呼び出しの判定とデコード確率の判定の最小値です。しきい値を超えたら実行し、しきい値以下なら呼び出しを表示して、より大きなモデルにエスカレートするように求めてください。

9. サポートプラットフォーム：macOS、Linux（x86-64、ARM64、ARMv7、RISC-V、MIPS32）、Windows（x64、ARM）、Android、iOS、watchOS、tvOS、ブラウザ（WebAssembly）、WASIコンポーネントをサポートしています。

お読みいただきありがとうございました。いつものように、ご意見をお待ちしております！