HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Neutrino-1 8B

Neutrino-1 8B (fermionresearch.com)

102 pointsby handfuloflight36 コメント

要約

Fermion Researchは、独自の三項ファミリー形式を採用したNeutrino-1モデルを発表しました。これらのモデルは、データセンターGPU、Apple Silicon、デスクトップCPUなど、様々なハードウェアで動作する単一のエンジンから提供されます。同時に、これらのモデルをサポートするランタイムであるNeutrino Engineも紹介されました。

全文翻訳

Neutrino-1 8B

[画像: 利用可能]

ダウンロードサイズ2.56 GB、パラメータ数8.19Bのオープンウェイトモデル。5-shot MMLUで72.1、BFCL v3で68.9を記録し、CUDA、Apple Silicon、x86での実行に対応しています。

このページで

概要

Neutrino-1 8Bは、チャット、ツール呼び出し、OpenAI互換アプリケーション向けのローカル8.19Bパラメータモデルです。Fermionランタイムは、同じ3.88 GBのアーティファクトからCUDA、Apple Silicon、x86上でこれをサーブし、ストリーミングと永続的なKVセッションがデフォルトで有効になっています。

測定された挙動は、多肢選択式の記憶にとどまりません。BFCLでは、単純、複数、並列、並列複数といった関数呼び出しを生成し、無関係な関数を呼び出すのを、正しい関数を選択するのとほぼ同等に確実に拒否します。GSM8Kでは、柔軟な抽出と厳密な指定形式の評価で1.67ポイントの差が出ました。

その252個のトランスフォーマー射影行列は、パックされた三項系ファミリー形式で格納されています。重みは静止時にはビットパックされたままですが、マトリックスカーネル内でデコードされます。同じコンテナが、変換パスなしで各サポートプラットフォームにサーブされます。

ベースはQwen3-8Bです。Fermion Researchは、三項系量子化対応トレーニングでこれを継続したため、射影重みはトレーニング後に一度丸められるのではなく、出荷時ランタイムで使用される表現に適応しました。ベースモデルはクレジットされており、トレーニング手法は我々のものです。

アーキテクチャ

密なデコーダーオンリートランスフォーマーです。Grouped-Query Attentionは、クエリ幅の1/4でKVキャッシュを保持します。Fermion 0.1.10はデフォルトでfp16でKVキャッシュを1トークンあたり144 KiBで格納するため、8Kトークンセッションは、重み3.88 GBの他に1.13 GiBを占有します。

ベースモデル
Apache-2.0、Alibaba Cloud

Qwen3-8B

パラメータ数
6.95B コード化された射影重み、1.24B int8埋め込み、0.3M正規化

8,190,735,360

デコーダーレイヤー数
36

隠れ層幅
4,096

フィードフォワード幅
ゲート付き(SwiGLU)、レイヤーあたり3つの線形層

12,288

アテンション
Grouped-Query 4:1、ヘッド幅128

32クエリヘッド、8キーバリューヘッド

KVキャッシュ
デフォルトfp16;8Kコンテキストで1.13 GiB、40,960で5.6 GiB

144 KiB/トークン

位置エンコーディング
幅128のヘッド全体に適用

ロータリー、ベース1,000,000

正規化
アテンション内の各ヘッドクエリ/キーRMSNormに加えて

RMSNorm、eps 1e-6

コンテキスト長
40,960トークン

語彙数
151,936

埋め込み
入力埋め込みと出力ヘッドは別々のテンソル

非結合

出荷コンテナのヘッダーから読み取られたジオメトリ。

アーティファクトバイト構成

トランスフォーマーの線形層のみがコード化された形式を運びます。2つの埋め込みテンソルは、その行が一度に1トークンずつ読み取られ、アクティベーションストリーム全体と乗算されないため、int8のままです。また、正規化重みは小さすぎてコード化する価値がありません。ファイルの1/3は語彙です。

252個のトランスフォーマー線形層
コード化された三項系ファミリーレーン、ファイルサイズの67.2%:レイヤーあたり7つのプロジェクション(クエリ、キー、バリュー、出力)とフィードフォワード(ゲート、アップ、ダウン)線形層、レイヤーあたり72,351,744バイト

2,605 MB

トークン埋め込み
ファイルサイズの32.1%:151,936 × 4,096の非結合int8テンソル2つ(入力埋め込みと出力ヘッド)、行あたり1つのスケール

1,245 MB

行ごとのメタデータ
ファイルサイズの0.6%:行の次元、スケール、行合計

25 MB

正規化重み
145個のテンソル、float32で保持:レイヤーあたり4つ+最終正規化

1.2 MB

コンテナヘッダー
60バイト

3,875,404,812バイトのコンテナのバイト予算、テンソルクラス別。

ゼロ状態占有率

6.95Bのコード化された重みのうち、62.63%がゼロです。占有率は深さによって異なります。レイヤー1から3にかけて、ゲートおよびダウンフィードフォワード射影は70~72%のゼロに達しますが、4つのアテンション射影はレイヤー0からレイヤー35まで約1ポイントの62%以内に収まります。

ゲート
アップ
ダウン
クエリ、キー、バリュー、出力

60%
65%
70%
0
8
16
24
35

60%
65%
70%
0
8
16
24
35

36レイヤー全体で、射影ごとのゼロのコード化重みの割合。

フォーマット

2.56 GBのダウンロードは、3.88 GBのサービングアーティファクトのロスレスコード化された転送です。展開はビット単位で正確であり、サポートされている各ランタイムは同じ格納済みモデルウェイトをロードします。

ウェイト、マニフェスト、GGUFパック、MLX実装、llama.cppフォークは、それぞれのオープンソースライセンスの下で公開されています。最適化されたFermionカーネルはクローズドです。マニフェストは、ローダーが実行前にアーティファクトを検証できるように、テンソルレイアウト、サイズ、ハッシュをバインドします。

ダウンロード
コード化された転送、2,559,822,594バイト;展開はビット単位で正確

2.56 GB

ディスク上
リリースされたアーティファクト、3,875,404,812バイト

3.88 GB

配布サーフェス
pipエンジン

ネイティブCPUパスで24.9 tok/s、9スレッド

fermion-researchをインストールすると、ローダーとプラットフォームに合わせたネイティブバイナリが提供されます。CPUランタイムはmacOS arm64およびLinux x86-64で利用可能で、ビット単位で正確なtorch参照実装が含まれています。

GGUFパック+ llama.cppフォーク

NVIDIA L4で30.7 tok/s、4.68 GiB(4kコンテキスト時)

コンテナをFV5テンソルタイプでGGUFに変換したものです。公開されているFermion Researchのllama.cppフォークが必要です。標準のllama.cpp、Ollama、LM Studioではこのテンソルタイプはロードできません。fermion-fv5ブランチはCPU/CUDAで動作し、fermion-fv5-metalはApple GPUカーネルを搭載しています。

MLXパック

最適化されたMLXパスで33.7 tok/s

カスタムMetalカーネルを備えたPythonネイティブのApple Silicon実装です。アーティファクトはメモリマッピングされ、パックされたプレーンはGEMVカーネル内でデコードされます。

評価

リリースバッテリーは、思考無効で公開されているアーティファクト上で実行されます。各行は、ショット数、評価モード、項目数を示します。

MMLU
5-shot、全57科目、14,042項目

72.1

MMLU-Redux
生成、再注釈付きサブセット、思考オフ

67.8

IFEval、プロンプト厳密
生成、思考オフ

77.2

IFEval、指示厳密
同じ実行、指示ごとの評価

80.2

IFEval、プロンプト緩い
同じ実行、緩い抽出

76.3

BFCL v3
13サブセットのマクロ、思考オフ

68.9

GSM8K、柔軟な抽出
0-shot生成、貪欲、256トークンキャップ

53.4

GSM8K、指定形式
同じ実行、要求された形式でのみ回答を受け入れる

51.73

標準的な公開ハーネスで測定、2026年7月。モデルカードに方法論を記載。

BFCLの結果は、単一の関数呼び出しテンプレートではなく、13のスイートをカバーしています。モデルは、公開APIスキーマに対して、多様な引数名とネストされたフィールドを持つ、単純、複数、並列、並列複数の呼び出しを処理します。その関連性スイートは、逆の動作もテストします:関数が適用されない場合に提供された関数を拒否することです。

GSM8Kは、出力規律を明らかにするために2回報告されています。柔軟な抽出は最後の数値を採用し、53.4をスコアします。指定形式の抽出は、要求された回答位置のみを受け入れ、51.73をスコアします。1.67ポイントのギャップは、フォーマットエラーと算術エラーを1つの数値に折りたたむのではなく、分離します。

スループット

これらの測定値は、1回の生成アクティブなシングルストリームデコードを使用しています。各行は、異なるランタイムバックエンドを介して、同一のモデルウェイトを使用しています。

H100 80 GB、ドラフト
0.6Bドラフト+ 8B検証、出力はプレーンデコードと同一;最速プロンプトクラス

763 tok/s

H100 80 GB
プレーンシングルストリーム貪欲

396 tok/s

NVIDIA L4、CUDAフォーク
GGUFパック、フルオフロード、4.68 GiB VRAM(4kコンテキスト時);8 GBカードに収まる

30.7 tok/s

MLXドラフト&検証パス
事実プロンプト、6 GiBキャップ下での同一プロセスでの0.6Bドラフト

25.7 tok/s

最適化されたMLXパス
出荷コンテナ上のシングルストリームデコード

33.7 tok/s

ネイティブCPUパス
出荷ネイティブバイナリ、9スレッド

24.9 tok/s

プラットフォームとサーフェス別のシングルストリームデコードレート、2026年7月。

最適化されたMLXパスは毎秒33.7トークンに達し、ネイティブCPUパスは毎秒24.9トークンに達します。同じウェイトは、ドラフトなしでH100上で毎秒396トークンに達します。これらは、個別に変換されたチェックポイントではなく、同じ3.88 GBモデルに対する異なるカーネルです。

推論的デコーディング

Neutrino-1 0.6Bはトークンのシーケンスをドラフトし、8Bはシーケンス全体を1回のフォワードパスでスコアリングし、一致したプレフィックスが保持されます。ドラフトトークンは、8B自身のargmaxと一致した場合にのみ受け入れられるため、出力ストリームはプレーンな貪欲ストリームです。出荷構成では、27,648個の連続したトークンが無 divergencyで一致しました。

推論的デコーディングの速度は、8Bが提案されたトークンのうちいくつを受け入れるかに依存するため、結果はプロンプトクラスごとに、396 tok/sのプレーンレートに対して報告されます。カウントプロンプトでは、8Bは各パスで6トークンのドラフト全体を受け入れ、8Bのフォワードパスあたり約7トークンが出力されます。事実プロンプトでは、受け入れ率は96.5%を維持します。動的コントローラーが最近の受け入れ率に基づいて各ドラフトのサイズを調整します。測定されたすべてのクラスがプレーンデコードレートを超えています。

カウントとリスト
763 tok/s

×1.93

事実の短い回答
613 tok/s

×1.55

散文の継続
532 tok/s

×1.34

会話の説明
447 tok/s

×1.13

コード
426 tok/s

×1.07

H100、3ラウンド中央値/プロンプトクラス、396 tok/sプレーンデコード超。

メモリ要件

両モデルは同じフォーマットとランタイムバイナリを使用します。ドラフトは変換ステップなしで検証プロセスにロードされます。ドラフトアーティファクトは、8Bの3.88 GBに加えて328 MBを使用し、共有コンテキストの4kトークンはペア全体で正確に1ギビバイトのキャッシュを割り当てます。

共有プロセスとランタイムバイナリ
Neutrino-1 8B
3.88 GB、検証者
Neutrino-1 0.6B
328 MB、ドラフト
6つの提案トークン
受け入れられたプレフィックス
出力された
共有プロセスとランタイムバイナリ
Neutrino-1 0.6B、328 MB
Neutrino-1 8B、3.88 GB
6つの提案トークン
受け入れられたプレフィックス

常駐ウェイト
3.88 GB(検証者)+ 328 MB(ドラフト)、1プロセス

4.20 GB

ドラフト追加コスト
ペアリングがコストする追加バイト数

8.46%

共有キャッシュ
8Bで288 KiB、ドラフトで224 KiB;4kコンテキストで2 GiB

512 KiB/トークン

認定実行
ドラフトと検証対プレーン貪欲、ゼロ divergency

27,648トークン

ドラフトペアをバイトスケールで描画、各サイドの常駐コスト。

MLX経由のドラフト

両モデルは1つのMLXプロセスにロードされ、合計で4.3 GiBにピークしますが、ドラフトは0.53 GiBを占めます。正確性ゲートは、ドラフトのオン/オフで6/6のプロンプトがトークン単位で同一であることを返します。事実プロンプトでは、ドラフトレートは25.71 tok/s対プレーンの22.00 tok/s(受け入れ率0.744)です。

実行する

Neutrino-1 8Bのインストールと実行。

最初の8B実行時に、Fermionは2.56 GBのコード化された転送をプログレスバー付きでダウンロードし、SHA-256を検証してローカルに展開します。後続の実行はキャッシュからロードされます。

  • 長いコンテキストと制限付きKVメモリ

ネイティブウィンドウは40,960トークンです。--yarn-factor 4は、アーティファクトを変更せずにロードされたウィンドウを160Kに近づけます。--kv-dtype int8は、約9.3 GiBで131,072トークンを保持します。fp16はデフォルトであり、fp32はバイト単位で正確な0.1.9出力を保持し、--yarn-factor 1.0は正確な同一性です。

  • ローカルOpenAI互換サーバー

http://127.0.0.1:8000/v1でサーブします。任意のOpenAIクライアントをそのベースURLに向け、キーは任意の文字列で構いません。ツール呼び出し、ストリーミング、永続的なKVセッションはデフォルトでオンになっています。

  • プレーンTransformers

まずfermionをインポートしてtrtc_v4モデルタイプを登録します。ダウンロードされたローカルディレクトリからロードします。from_pretrainedに直接HubリポジトリIDを渡しても機能しません。

  • GGUF、当社のllama.cppフォーク経由のみ

パックはFV5テンソルタイプを使用します:標準のllama.cpp、Ollama、LM Studioはロードできません。fermion-fv5ブランチはCPU/CUDAビルドであり、-DGGML_METAL=OFFが必要です。Apple GPUカーネルの場合は、ライブfermion-fv5-metalブランチを使用し、そのフラグを省略してください。

  • MLX、Apple Silicon上で

リポジトリをダウンロードした後、この正確なシーケンスを実行してください。作業ディレクトリと相対モデルパスが必要です。

完全なCLI

すべてのコマンドは、モデル名(Hub IDまたはローカルパス)を指定します。

Fermionドキュメント

モデルを入手する

Neutrino-1 8B

ウェイト、ネイティブバイナリ、GGUFパック、MLX実装、インストール手順。

Hugging Face

Neutrino-1 8Bを実行する

初回実行時に、2.56 GBのコード化された転送がダウンロードされ、進捗が表示され、SHA-256が検証され、ローカルに展開されます。後続の実行はキャッシュからロードされます。

Neutrino-1 0.6B

ドラフトモデルであり、それ自体でも高速なモデルです。

Hugging Face

Neutrino-1 0.6Bを実行する

初回実行時に、0.24 GBのコード化された転送がダウンロードされ、進捗が表示され、SHA-256が検証され、ローカルに展開されます。後続の実行はキャッシュからロードされます。

Neutrino-1 0.6B-Chat

会話用の小型モデルです。

Hugging Face

Neutrino-1 0.6B-Chatを実行する

初回実行時に、約0.33 GBの生のモデルファイルが進捗とともにダウンロードされ、検証されます。このモデルはコード化された転送を使用しません。後続の実行はキャッシュからロードされます。

fermion-research

エンジン、ローダー、チャットフロントエンド。

PyPI

llama.cppフォーク

llama.cppツールチェーンにフォーマットを追加します。

GitHub

利用可能性

Neutrino-1 8Bは、モデルアーティファクト、マニフェスト、GGUFパック、MLX実装、インストール手順を含む公開リポジトリで出荷されます。pipパッケージによって配布される最適化されたFermionカーネルはクローズドです。

利用可能
公開モデルリポジトリ
オープンウェイト、Apache 2.0

ライセンス

Apache License 2.0の下でのオープンウェイト。商用利用、改変、ファインチューニング、再配布が許可されており、アクセスリクエストや承諾フォームは不要です。このモデルはQwen3-8Bの派生であり、Qwen3-8B自体もApache 2.0です。pipパッケージもApache 2.0であり、llama.cppフォークはMITライセンス(アップストリームllama.cppに準拠)です。

引用
@misc{fermionresearch2026neutrino,
  title  = {Neutrino-1 8B},
  author = {{Fermion Research}},
  year   = {2026},
  url    = {https://www.fermionresearch.com/models/neutrino-8b/}
}