Neutrino-1 8B
Neutrino-1 8B (fermionresearch.com)
要約
Fermion Researchは、独自の三項ファミリー形式を採用したNeutrino-1モデルを発表しました。これらのモデルは、データセンターGPU、Apple Silicon、デスクトップCPUなど、様々なハードウェアで動作する単一のエンジンから提供されます。同時に、これらのモデルをサポートするランタイムであるNeutrino Engineも紹介されました。
全文翻訳
Neutrino-1 8B
[画像: 利用可能]
ダウンロードサイズ2.56 GB、パラメータ数8.19Bのオープンウェイトモデル。5-shot MMLUで72.1、BFCL v3で68.9を記録し、CUDA、Apple Silicon、x86での実行に対応しています。
このページで
概要
Neutrino-1 8Bは、チャット、ツール呼び出し、OpenAI互換アプリケーション向けのローカル8.19Bパラメータモデルです。Fermionランタイムは、同じ3.88 GBのアーティファクトからCUDA、Apple Silicon、x86上でこれをサーブし、ストリーミングと永続的なKVセッションがデフォルトで有効になっています。
測定された挙動は、多肢選択式の記憶にとどまりません。BFCLでは、単純、複数、並列、並列複数といった関数呼び出しを生成し、無関係な関数を呼び出すのを、正しい関数を選択するのとほぼ同等に確実に拒否します。GSM8Kでは、柔軟な抽出と厳密な指定形式の評価で1.67ポイントの差が出ました。
その252個のトランスフォーマー射影行列は、パックされた三項系ファミリー形式で格納されています。重みは静止時にはビットパックされたままですが、マトリックスカーネル内でデコードされます。同じコンテナが、変換パスなしで各サポートプラットフォームにサーブされます。
ベースはQwen3-8Bです。Fermion Researchは、三項系量子化対応トレーニングでこれを継続したため、射影重みはトレーニング後に一度丸められるのではなく、出荷時ランタイムで使用される表現に適応しました。ベースモデルはクレジットされており、トレーニング手法は我々のものです。
アーキテクチャ
密なデコーダーオンリートランスフォーマーです。Grouped-Query Attentionは、クエリ幅の1/4でKVキャッシュを保持します。Fermion 0.1.10はデフォルトでfp16でKVキャッシュを1トークンあたり144 KiBで格納するため、8Kトークンセッションは、重み3.88 GBの他に1.13 GiBを占有します。
ベースモデル
Apache-2.0、Alibaba Cloud
Qwen3-8B
パラメータ数
6.95B コード化された射影重み、1.24B int8埋め込み、0.3M正規化
8,190,735,360
デコーダーレイヤー数
36
隠れ層幅
4,096
フィードフォワード幅
ゲート付き(SwiGLU)、レイヤーあたり3つの線形層
12,288
アテンション
Grouped-Query 4:1、ヘッド幅128
32クエリヘッド、8キーバリューヘッド
KVキャッシュ
デフォルトfp16;8Kコンテキストで1.13 GiB、40,960で5.6 GiB
144 KiB/トークン
位置エンコーディング
幅128のヘッド全体に適用
ロータリー、ベース1,000,000
正規化
アテンション内の各ヘッドクエリ/キーRMSNormに加えて
RMSNorm、eps 1e-6
コンテキスト長
40,960トークン
語彙数
151,936
埋め込み
入力埋め込みと出力ヘッドは別々のテンソル
非結合
出荷コンテナのヘッダーから読み取られたジオメトリ。
アーティファクトバイト構成
トランスフォーマーの線形層のみがコード化された形式を運びます。2つの埋め込みテンソルは、その行が一度に1トークンずつ読み取られ、アクティベーションストリーム全体と乗算されないため、int8のままです。また、正規化重みは小さすぎてコード化する価値がありません。ファイルの1/3は語彙です。
252個のトランスフォーマー線形層
コード化された三項系ファミリーレーン、ファイルサイズの67.2%:レイヤーあたり7つのプロジェクション(クエリ、キー、バリュー、出力)とフィードフォワード(ゲート、アップ、ダウン)線形層、レイヤーあたり72,351,744バイト
2,605 MB
トークン埋め込み
ファイルサイズの32.1%:151,936 × 4,096の非結合int8テンソル2つ(入力埋め込みと出力ヘッド)、行あたり1つのスケール
1,245 MB
行ごとのメタデータ
ファイルサイズの0.6%:行の次元、スケール、行合計
25 MB
正規化重み
145個のテンソル、float32で保持:レイヤーあたり4つ+最終正規化
1.2 MB
コンテナヘッダー
60バイト
3,875,404,812バイトのコンテナのバイト予算、テンソルクラス別。
ゼロ状態占有率
6.95Bのコード化された重みのうち、62.63%がゼロです。占有率は深さによって異なります。レイヤー1から3にかけて、ゲートおよびダウンフィードフォワード射影は70~72%のゼロに達しますが、4つのアテンション射影はレイヤー0からレイヤー35まで約1ポイントの62%以内に収まります。
ゲート
アップ
ダウン
クエリ、キー、バリュー、出力
60%
65%
70%
0
8
16
24
35
60%
65%
70%
0
8
16
24
35
36レイヤー全体で、射影ごとのゼロのコード化重みの割合。
フォーマット
2.56 GBのダウンロードは、3.88 GBのサービングアーティファクトのロスレスコード化された転送です。展開はビット単位で正確であり、サポートされている各ランタイムは同じ格納済みモデルウェイトをロードします。
ウェイト、マニフェスト、GGUFパック、MLX実装、llama.cppフォークは、それぞれのオープンソースライセンスの下で公開されています。最適化されたFermionカーネルはクローズドです。マニフェストは、ローダーが実行前にアーティファクトを検証できるように、テンソルレイアウト、サイズ、ハッシュをバインドします。
ダウンロード
コード化された転送、2,559,822,594バイト;展開はビット単位で正確
2.56 GB
ディスク上
リリースされたアーティファクト、3,875,404,812バイト
3.88 GB
配布サーフェス
pipエンジン
ネイティブCPUパスで24.9 tok/s、9スレッド
fermion-researchをインストールすると、ローダーとプラットフォームに合わせたネイティブバイナリが提供されます。CPUランタイムはmacOS arm64およびLinux x86-64で利用可能で、ビット単位で正確なtorch参照実装が含まれています。
GGUFパック+ llama.cppフォーク
NVIDIA L4で30.7 tok/s、4.68 GiB(4kコンテキスト時)
コンテナをFV5テンソルタイプでGGUFに変換したものです。公開されているFermion Researchのllama.cppフォークが必要です。標準のllama.cpp、Ollama、LM Studioではこのテンソルタイプはロードできません。fermion-fv5ブランチはCPU/CUDAで動作し、fermion-fv5-metalはApple GPUカーネルを搭載しています。
MLXパック
最適化されたMLXパスで33.7 tok/s
カスタムMetalカーネルを備えたPythonネイティブのApple Silicon実装です。アーティファクトはメモリマッピングされ、パックされたプレーンはGEMVカーネル内でデコードされます。
評価
リリースバッテリーは、思考無効で公開されているアーティファクト上で実行されます。各行は、ショット数、評価モード、項目数を示します。
MMLU
5-shot、全57科目、14,042項目
72.1
MMLU-Redux
生成、再注釈付きサブセット、思考オフ
67.8
IFEval、プロンプト厳密
生成、思考オフ
77.2
IFEval、指示厳密
同じ実行、指示ごとの評価
80.2
IFEval、プロンプト緩い
同じ実行、緩い抽出
76.3
BFCL v3
13サブセットのマクロ、思考オフ
68.9
GSM8K、柔軟な抽出
0-shot生成、貪欲、256トークンキャップ
53.4
GSM8K、指定形式
同じ実行、要求された形式でのみ回答を受け入れる
51.73
標準的な公開ハーネスで測定、2026年7月。モデルカードに方法論を記載。
BFCLの結果は、単一の関数呼び出しテンプレートではなく、13のスイートをカバーしています。モデルは、公開APIスキーマに対して、多様な引数名とネストされたフィールドを持つ、単純、複数、並列、並列複数の呼び出しを処理します。その関連性スイートは、逆の動作もテストします:関数が適用されない場合に提供された関数を拒否することです。
GSM8Kは、出力規律を明らかにするために2回報告されています。柔軟な抽出は最後の数値を採用し、53.4をスコアします。指定形式の抽出は、要求された回答位置のみを受け入れ、51.73をスコアします。1.67ポイントのギャップは、フォーマットエラーと算術エラーを1つの数値に折りたたむのではなく、分離します。
スループット
これらの測定値は、1回の生成アクティブなシングルストリームデコードを使用しています。各行は、異なるランタイムバックエンドを介して、同一のモデルウェイトを使用しています。
H100 80 GB、ドラフト
0.6Bドラフト+ 8B検証、出力はプレーンデコードと同一;最速プロンプトクラス
763 tok/s
H100 80 GB
プレーンシングルストリーム貪欲
396 tok/s
NVIDIA L4、CUDAフォーク
GGUFパック、フルオフロード、4.68 GiB VRAM(4kコンテキスト時);8 GBカードに収まる
30.7 tok/s
MLXドラフト&検証パス
事実プロンプト、6 GiBキャップ下での同一プロセスでの0.6Bドラフト
25.7 tok/s
最適化されたMLXパス
出荷コンテナ上のシングルストリームデコード
33.7 tok/s
ネイティブCPUパス
出荷ネイティブバイナリ、9スレッド
24.9 tok/s
プラットフォームとサーフェス別のシングルストリームデコードレート、2026年7月。
最適化されたMLXパスは毎秒33.7トークンに達し、ネイティブCPUパスは毎秒24.9トークンに達します。同じウェイトは、ドラフトなしでH100上で毎秒396トークンに達します。これらは、個別に変換されたチェックポイントではなく、同じ3.88 GBモデルに対する異なるカーネルです。
推論的デコーディング
Neutrino-1 0.6Bはトークンのシーケンスをドラフトし、8Bはシーケンス全体を1回のフォワードパスでスコアリングし、一致したプレフィックスが保持されます。ドラフトトークンは、8B自身のargmaxと一致した場合にのみ受け入れられるため、出力ストリームはプレーンな貪欲ストリームです。出荷構成では、27,648個の連続したトークンが無 divergencyで一致しました。
推論的デコーディングの速度は、8Bが提案されたトークンのうちいくつを受け入れるかに依存するため、結果はプロンプトクラスごとに、396 tok/sのプレーンレートに対して報告されます。カウントプロンプトでは、8Bは各パスで6トークンのドラフト全体を受け入れ、8Bのフォワードパスあたり約7トークンが出力されます。事実プロンプトでは、受け入れ率は96.5%を維持します。動的コントローラーが最近の受け入れ率に基づいて各ドラフトのサイズを調整します。測定されたすべてのクラスがプレーンデコードレートを超えています。
カウントとリスト
763 tok/s
×1.93
事実の短い回答
613 tok/s
×1.55
散文の継続
532 tok/s
×1.34
会話の説明
447 tok/s
×1.13
コード
426 tok/s
×1.07
H100、3ラウンド中央値/プロンプトクラス、396 tok/sプレーンデコード超。
メモリ要件
両モデルは同じフォーマットとランタイムバイナリを使用します。ドラフトは変換ステップなしで検証プロセスにロードされます。ドラフトアーティファクトは、8Bの3.88 GBに加えて328 MBを使用し、共有コンテキストの4kトークンはペア全体で正確に1ギビバイトのキャッシュを割り当てます。
共有プロセスとランタイムバイナリ
Neutrino-1 8B
3.88 GB、検証者
Neutrino-1 0.6B
328 MB、ドラフト
6つの提案トークン
受け入れられたプレフィックス
出力された
共有プロセスとランタイムバイナリ
Neutrino-1 0.6B、328 MB
Neutrino-1 8B、3.88 GB
6つの提案トークン
受け入れられたプレフィックス
常駐ウェイト
3.88 GB(検証者)+ 328 MB(ドラフト)、1プロセス
4.20 GB
ドラフト追加コスト
ペアリングがコストする追加バイト数
8.46%
共有キャッシュ
8Bで288 KiB、ドラフトで224 KiB;4kコンテキストで2 GiB
512 KiB/トークン
認定実行
ドラフトと検証対プレーン貪欲、ゼロ divergency
27,648トークン
ドラフトペアをバイトスケールで描画、各サイドの常駐コスト。
MLX経由のドラフト
両モデルは1つのMLXプロセスにロードされ、合計で4.3 GiBにピークしますが、ドラフトは0.53 GiBを占めます。正確性ゲートは、ドラフトのオン/オフで6/6のプロンプトがトークン単位で同一であることを返します。事実プロンプトでは、ドラフトレートは25.71 tok/s対プレーンの22.00 tok/s(受け入れ率0.744)です。
実行する
Neutrino-1 8Bのインストールと実行。
最初の8B実行時に、Fermionは2.56 GBのコード化された転送をプログレスバー付きでダウンロードし、SHA-256を検証してローカルに展開します。後続の実行はキャッシュからロードされます。
- 長いコンテキストと制限付きKVメモリ
ネイティブウィンドウは40,960トークンです。--yarn-factor 4は、アーティファクトを変更せずにロードされたウィンドウを160Kに近づけます。--kv-dtype int8は、約9.3 GiBで131,072トークンを保持します。fp16はデフォルトであり、fp32はバイト単位で正確な0.1.9出力を保持し、--yarn-factor 1.0は正確な同一性です。
- ローカルOpenAI互換サーバー
http://127.0.0.1:8000/v1でサーブします。任意のOpenAIクライアントをそのベースURLに向け、キーは任意の文字列で構いません。ツール呼び出し、ストリーミング、永続的なKVセッションはデフォルトでオンになっています。
- プレーンTransformers
まずfermionをインポートしてtrtc_v4モデルタイプを登録します。ダウンロードされたローカルディレクトリからロードします。from_pretrainedに直接HubリポジトリIDを渡しても機能しません。
- GGUF、当社のllama.cppフォーク経由のみ
パックはFV5テンソルタイプを使用します:標準のllama.cpp、Ollama、LM Studioはロードできません。fermion-fv5ブランチはCPU/CUDAビルドであり、-DGGML_METAL=OFFが必要です。Apple GPUカーネルの場合は、ライブfermion-fv5-metalブランチを使用し、そのフラグを省略してください。
- MLX、Apple Silicon上で
リポジトリをダウンロードした後、この正確なシーケンスを実行してください。作業ディレクトリと相対モデルパスが必要です。
完全なCLI
すべてのコマンドは、モデル名(Hub IDまたはローカルパス)を指定します。
モデルを入手する
ウェイト、ネイティブバイナリ、GGUFパック、MLX実装、インストール手順。
Hugging Face
Neutrino-1 8Bを実行する
初回実行時に、2.56 GBのコード化された転送がダウンロードされ、進捗が表示され、SHA-256が検証され、ローカルに展開されます。後続の実行はキャッシュからロードされます。
ドラフトモデルであり、それ自体でも高速なモデルです。
Hugging Face
Neutrino-1 0.6Bを実行する
初回実行時に、0.24 GBのコード化された転送がダウンロードされ、進捗が表示され、SHA-256が検証され、ローカルに展開されます。後続の実行はキャッシュからロードされます。
会話用の小型モデルです。
Hugging Face
Neutrino-1 0.6B-Chatを実行する
初回実行時に、約0.33 GBの生のモデルファイルが進捗とともにダウンロードされ、検証されます。このモデルはコード化された転送を使用しません。後続の実行はキャッシュからロードされます。
エンジン、ローダー、チャットフロントエンド。
PyPI
llama.cppツールチェーンにフォーマットを追加します。
GitHub
利用可能性
Neutrino-1 8Bは、モデルアーティファクト、マニフェスト、GGUFパック、MLX実装、インストール手順を含む公開リポジトリで出荷されます。pipパッケージによって配布される最適化されたFermionカーネルはクローズドです。
利用可能
公開モデルリポジトリ
オープンウェイト、Apache 2.0
ライセンス
Apache License 2.0の下でのオープンウェイト。商用利用、改変、ファインチューニング、再配布が許可されており、アクセスリクエストや承諾フォームは不要です。このモデルはQwen3-8Bの派生であり、Qwen3-8B自体もApache 2.0です。pipパッケージもApache 2.0であり、llama.cppフォークはMITライセンス(アップストリームllama.cppに準拠)です。
引用
@misc{fermionresearch2026neutrino,
title = {Neutrino-1 8B},
author = {{Fermion Research}},
year = {2026},
url = {https://www.fermionresearch.com/models/neutrino-8b/}
}