Nvidia Nemotron 3.5 Lightning
Nvidia Nemotron 3.5 Lightning (huggingface.co)
要約
Nvidiaは、Model Optimizerで推論用に量子化および最適化された生成モデルのコレクションであるNemotron 3.5 Lightningを発表しました。このコレクションには、85個のアイテムが含まれており、本番環境で利用可能なエンタープライズモデルが183個、さらに28個のアイテムも含まれています。
全文翻訳
Nvidia Nemotron 3.5 Lightning
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
[画像: Chat][画像: Homepage] [画像: Discord]
モデル概要
| 総パラメータ数 | 300億 (アクティブ30億) |
| アーキテクチャ | MoE - Mamba-2 + MoE + Attention ハイブリッド |
| コンテキスト長 | 最大100万トークン |
| シングルGPUデプロイメント | 1× DGX Spark (GB10) または 1× H100 |
| サポートハードウェア | NVIDIA Blackwell (DGX Spark / GB10, GB200, GeForce RTX 5090); NVIDIA Hopper (H100, H200); NVIDIA Ampere (W4A16経由) |
| サポート言語 | 英語 (およびプログラミング言語)、スペイン語、フランス語、ドイツ語、イタリア語、日本語 |
| 投機的デコーディング | 低コンカレンシーのデータセンターおよびDGX Sparkワークフロー向けDSpark — 詳細は以下を参照、MTP (Multi-Token Prediction) および DFlash も提供 |
| 推奨サンプリング | 温度 1.0, Top_P 0.95 |
| 最適な用途 | 長時間実行される自律エージェント、サブエージェントのワークホースデプロイメント、個人ハードウェアでの効率的なローカル推論 |
| ライセンス | OpenMDWライセンス契約、バージョン1.1 |
| リリース日 | 2026年8月11日 |
ハードウェアマトリックス
| ハードウェア | 格納精度 | コンピュートパス | MoEバックエンド (レシピごと) | ネイティブFP4テンソルコアパス | 検証済みコンテキスト |
|---|---|---|---|---|---|
| Blackwell — GB200 | NVFP4 | FP4 | デフォルト | はい | 100万 (デフォルト) |
| Blackwell — DGX Spark (GB10) | NVFP4 | W4A16 | marlin | いいえ — Marlin経由で実行 | |
| Blackwell — GeForce RTX 5090 | NVFP4 | 確認中 | レシピ未公開 | ハードウェア: はい | 確認中 |
| Hopper — H100 / H200 | NVFP4 | W4A16 | humming (最大スループット) / デフォルト | いいえ — HopperにはFP4テンソルコアがない | |
| Ampere — A100 など | NVFP4 | W4A16 | humming | いいえ | 100万 (デフォルト) |
モデル概要
モデル開発者: NVIDIA Corporation
モデル日付: 2025年12月 - 2026年5月
データ鮮度:
- 事前学習データのカットオフ日は2025年9月です。
- 事後学習データのカットオフ日は2026年5月です。
Nemotronとは?
NVIDIA Nemotron™は、オープンなモデル、ウェイト、トレーニングデータ、レシピを備えたオープンモデルファミリーであり、専門化されたAIエージェント構築のための効率性と精度をリードしています。
説明
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 は、NVIDIAによってトレーニングされた大規模言語モデル (LLM) です。
このモデルは、インターリーブされたMamba-2およびMoEレイヤーと、選択されたAttentionレイヤーを利用するハイブリッド Mixture-of-Experts アーキテクチャを採用しています。Lightning 3.5モデルは、高速なテキスト生成のための多くの投機的デコーディング手法とともにリリースされました。このモデルは 30億のアクティブパラメータ と 総計300億のパラメータ を持ちます。
このモデルは商用利用可能です。
クイックスタート
DGX Spark (GB10) で迅速に開始するには、以下のコマンドを使用できます。
モデルを取得:
export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
export DSPARK_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark
vLLM で実行 — このレシピはDGX Spark向けにチューニングされたDSpark投機的デコーディングを使用します。(vLLMバージョン: vllm/vllm-openai:v0.27.1)
vllm serve --model $MODEL_CKPT \
--moe-backend marlin \
--kv-cache-dtype fp8 \
--enable-prefix-caching \
--gpu-memory-utilization 0.85 \
--speculative_config.num_speculative_tokens 3 \
--mamba-backend flashinfer \
--mamba-cache-mode align \
--reasoning-parser nemotron_v3 \
--speculative_config.model $DSPARK_CKPT \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (デフォルト)。
モデルのデプロイと使用方法の詳細については、以下のクイックスタートガイドを参照してください!
ライセンス/利用規約
適用されるダウンロード規約: このモデルの使用は、OpenMDW-1.1モデルライセンスに従います。
ベンチマーク
推論ベンチマーク評価
以下のベンチマークでモデルを評価しました:
| タスク | Nemotron-3.5-Lightning-30B-A3B-BF16 | Nemotron-3.5-Lightning-30B-A3B-NVFP4 |
|---|---|---|
| 一般知識 | ||
| MMLU Pro | 81.94 | 81.62 |
| AA-Omniscience | 17.50 | 16.63 |
| 推論 | ||
| GPQA Diamond (ツールなし) | 75.44 | 75.57 |
| HLE (テキストのみ、ツールなし) | 11.72 | 10.47 |
| SciCode | 32.60 | 31.38 |
| コーディング & エージェント | ||
| SWE-bench Verified | 51.56 | 52.80 |
| SWE-bench Multilingual | 39.33 | 36.47 |
| Terminal-Bench 2.1 | 24.58 | 23.46 |
| PinchBench | 85.37 | 83.43 |
| BrowseComp | 36.97 | 36.81 |
| τ³-bench (Banking) | 9.28 | 9.48 |
| GDPval-AA-V2 | 832 | 865 |
| 指示追従 | ||
| IFBench (緩い) | 71.88 | 72.88 |
| 長コンテキスト | ||
| AA-LCR | 52.00 | 49.19 |
NVIDIAによる一貫したハーネス (NeMo Gym / Nemo Evaluator SDK) で測定された精度。ベンダーの自己申告値とは異なる場合があります。
再現性のために、評価レシピ、インストール手順、およびNVIDIA Nemotron 3.5 Lightningのコマンドは収集され、NeMo Gym に公開されました。報告された結果は、知識と推論、指示追従、コーディング、エージェント、ツール使用、長コンテキストを含むリリース評価スイートをカバーしています。ほとんどの評価はNeMo Gymネイティブハーネスを使用していますが、SWE-BenchやTerminal-Benchを含む一部のサブセットは、ネイティブでNeMo Evaluatorを使用しました。公開されたレシピは、結果を生成するために使用されたベンチマーク固有のコンテナ、プロンプト、推論パラメータ、パーサー設定、およびスコアリング設定を指定します。
これらの数値は公式のNVFP4チェックポイントで測定されたもので、それに適用されます。
エージェントコーディングベンチマーク
SWE-Bench VerifiedおよびTerminal-Bench 2.1の追加のハーネスレベルコーディングエージェント結果を以下に示します。
[画像: Agentic Coding Benchmarks]
デプロイメント地理: グローバル
ユースケース
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4は、英語およびプログラミング言語での使用を意図した汎用推論およびチャットモデルです。その他の非英語言語 (スペイン語、フランス語、ドイツ語、イタリア語、日本語) もサポートされています。AIエージェントシステム、チャットボット、RAGシステム、その他のAI搭載アプリケーションを設計する開発者を対象としています。一般的な指示追従タスクにも適しています。
リリース日
Hugging Face — 2026/08/11
モデルアーキテクチャ
- アーキテクチャタイプ: Mixture-of-Experts ハイブリッド (Mamba + Transformer)
- ネットワークアーキテクチャ: Nemotron-3-Lightning + Multi-Token Prediction (MTP)
- モデルパラメータ数: 総計300億 / アクティブ30億
モデル設計
このモデルは20兆トークン以上のデータで事前学習され、最大100万トークンのコンテキスト長をサポートします。事前学習フェーズではNVFP4レシピが使用されました。モデルには、より豊かなトレーニングシグナルを提供するために複数の将来のトークンを予測する Multi-Token Prediction (MTP) レイヤーが含まれています。
トレーニング方法論
ステージ1: 事前学習
- NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4モデルは、NVFP4レシピを使用して、クロールされた合成コード、数学、科学、一般知識データで事前学習されました。
- 事前学習に使用されたソフトウェア: Megatron-LM
ステージ2: Multi-Token Prediction (MTP) のための継続的な事前学習
- モデルは、Multi-Token Prediction (MTP) レイヤーをトレーニングするために、継続的な事前学習フェーズを経ました。このステージでは、MTPヘッドはベースモデルの分布にMTPレイヤーを適合させるために、各位置で1つだけでなく複数の将来のトークンを予測することを学習します。
ステージ3: 教師ありファインチューニング
- モデルは、合成コード、数学、科学、ツール呼び出し、指示追従、構造化出力、および一般知識データでさらにファインチューニングされました。このステージでは、長距離検索と複数ドキュメント集約をサポートするように設計されたデータが組み込まれました。
ステージ4: 強化学習
- モデルは、数学、コード、科学、指示追従、マルチステップツール使用、マルチターン会話、および構造化出力環境全体でGRPO (Group Relative Policy Optimization) を使用したマルチ環境強化学習を経ました。トレーニングと推論を分離し、MTPを活用してロールアウト生成を加速する非同期RLアーキテクチャを使用しました。
- 強化学習に使用されたソフトウェア: NeMo RL, NeMo Gym
ステージ5: 事後学習量子化 (PTQ)
- Nvidia Model Optimizerを使用して、以下のレシピで事後学習量子化 (PTQ) を実行しました: ルーティングおよび共有エキスパートに対するFour Over Six NVFP4 (静的MSEキャリブレーションのバリアント) W4A16。Mambaのin_proj/out_projおよびKVキャッシュにはFP8のパーテンソルダイナミックスケールを使用しました。キャリブレーションには、32kトークン長で1000サンプルを使用したNemotron Ultra検証セットのサブセットを使用しました。
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 は上記の作業の結果です。
入力
- 入力タイプ: テキスト
- 入力フォーマット: 文字列
- 入力パラメータ: 一次元 (1D): シーケンス
- その他の入力関連プロパティ: 最大コンテキスト長100万トークン。サポート言語には英語、スペイン語、フランス語、ドイツ語、イタリア語、日本語が含まれます。
出力
- 出力タイプ: テキスト
- 出力フォーマット: 文字列
- 出力パラメータ: 一次元 (1D): シーケンス
- その他の出力関連プロパティ: 最大コンテキスト長100万トークン
当社のAIモデルは、NVIDIA GPUアクセラレーテッドシステムで実行するように設計および/または最適化されています。NVIDIAのハードウェア (例: GPUコア) とソフトウェアフレームワーク (例: CUDAライブラリ) を活用することで、CPUのみのソリューションと比較して、トレーニングと推論の時間を短縮できます。
ソフトウェア統合
- ランタイムエンジン: PyTorch
- サポートハードウェアマイクロアーキテクチャ互換性: NVIDIA Blackwell; NVIDIA Hopper (NVFP4 / W4A16); NVIDIA Ampere (W4A16)
- 推奨/サポートOS: Linux
基盤モデルとファインチューニング済みモデルをAIシステムに統合するには、安全で効果的なデプロイメントを確保するために、ユースケース固有のデータを使用した追加テストが必要です。Vモデルの方法論に従い、デプロイメント前のリスク軽減、技術的および機能的要件の満たし、安全性および倫理基準への準拠を確保するために、ユニットレベルとシステムレベルの両方で反復的なテストと検証が不可欠です。
モデルバージョン
- GA (2026/08/11)
クイックスタートガイド
デプロイメントを選択
| セットアップと目標 | 推奨パス | 投機的デコーディング | 検証済みコンテキスト |
|---|---|---|---|
| DGX Spark (GB10) | vLLM + DSpark | DSpark (num_speculative_tokens 3) | 100万 |
| 1× H100 — 最大スループット (バッチ) | vLLM、投機的デコーディングなし (humming バックエンド) | なし | 100万 (デフォルト) |
| 1× H100 — インタラクティブ (40+ TPS/ユーザー) | vLLM + DSpark、コンカレンシー ≤ 128 | DSpark (num_speculative_tokens 3) | 100万 (デフォルト) |
| 8× H100 — 長コンテキスト | vLLM, TP8 + エキスパート並列 | なし | 100万 |
| 1× GB200 | vLLM + DSpark | DSpark (num_speculative_tokens 5) | 100万 (デフォルト) |
| Ampere (A100 など) | vLLM, W4A16 カーネル | なし | 100万 (デフォルト) |
| ローカル — llama.cpp | llama-server ... | — | 約4万サンプル、VRAMバウンド |
| ローカル — Ollama / LM Studio / Jan… | ollama run nemotron-3.5-lightning | 内蔵 | 変動あり |
以下のデプロイメントスニペットはすべて以下を前提としています:
export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
DSpark の場合:
export DSPARK_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark
投機的デコーディング戦略
Lightning 3.5は、投機的デコーディングのための2つの外部ドラフトモデルと、MTP (Multi-Token Prediction) を提供します。DSparkは推奨デフォルトですが (「デプロイメントを選択」を参照)、一部のワークロードは投機的デコーディングなし、またはDFlashやMTPの方が適しています。
- DSpark: 並列バックボーンから一度のフォワードパスで候補トークンのブロック全体を提案する、半自動回帰的な投機的デコーディングドラフター。DGX Spark、および低コンカレンシーのデータセンターデプロイメントに推奨されます。
- DFlash: 軽量ブロック拡散モデルを使用して、一度のフォワードパスで完全なドラフトブロックを生成する投機的デコーディングドラフター。
- MTP: 各位置で次のトークンだけでなく、複数の将来のトークンを予測するようにネットワークをトレーニングするモデリング技術。
DSparkはDGX Sparkおよびレイテンシに敏感な低コンカレンシーサービングの推奨デフォルトです。H100での最大スループットバッチサービングには、投機的デコーディングなしが最速です。
vLLM
vLLM を介したデプロイ方法の詳細については、こちら を参照してください。
- vLLM バージョン:
vllm/vllm-openai:v0.27.1
1x DGX Spark (GB10)
vllm serve --model $MODEL_CKPT \
--moe-backend marlin \
--kv-cache-dtype fp8 \
--enable-prefix-caching \
--gpu-memory-utilization 0.85 \
--speculative_config.num_speculative_tokens 3 \
--mamba-backend flashinfer \
--mamba-cache-mode align \
--reasoning-parser nemotron_v3 \
--speculative_config.model $DSPARK_CKPT \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (デフォルト)。
1x H100 (最大スループット)
最大スループットデプロイメントの場合、以下の設定を使用します。このサービング設定では投機的デコーディング戦略は不要であり、メモリ制約のためMambaキャッシュ dtype は FP16 に設定されています。
VLLM_HUMMING_MOE_GEMM_TYPE=indexed \
vllm serve --model $MODEL_CKPT \
--max-num-seqs 256 \
--max-num-batched-tokens 16384 \
--enable-prefix-caching \
--async-scheduling \
--mamba-backend flashinfer \
--moe-backend humming \
--linear-backend humming \
--mamba-ssu-algorithm horizontal \
--mamba-cache-mode align \
--mamba-ssm-cache-dtype float16 \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5 \
--reasoning-parser nemotron_v3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (デフォルト)。
1x H100 (インタラクティブ)
インタラクティブな使用シナリオ (40+ TPS/ユーザー達成) では、低コンカレンシー (≤128) とDSparkを使用します。
vllm serve --model $MODEL_CKPT \
--max-num-seqs 128 \
--enable-prefix-caching \
--async-scheduling \
--speculative_config.model $DSPARK_CKPT \
--speculative_config.num_speculative_tokens 3 \
--mamba-backend flashinfer \
--mamba-ssm-cache-dtype float16 \
--mamba-cache-mode align \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5 \
--reasoning-parser nemotron_v3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (デフォルト)。高コンカレンシーでは、KVキャッシュのヘッドルームを増やすために --max-model-len を低く設定してください。
8x H100 (vLLM)
長コンテキスト、マルチGPUサービング (TP8とエキスパート並列) の場合:
vllm serve --model $MODEL_CKPT \
--mamba-backend flashinfer \
--async-scheduling \
--enable-prefix-caching \
--mamba-cache-mode align \
--enable-expert-parallel \
--tensor-parallel-size 8 \
--reasoning-parser nemotron_v3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (TP8 + エキスパート並列)。
1x GB200 (vLLM)
vllm serve --model $MODEL_CKPT \
--max-num-batched-tokens 10240 \
--no-enable-prefix-caching \
--async-scheduling \
--speculative_config.model $DSPARK_CKPT \
--speculative_config.num_speculative_tokens 5 \
--mamba-backend flashinfer \
--reasoning-parser nemotron_v3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (デフォルト)。
W4A16 (vLLM)
同じチェックポイントがW4A16カーネルでも提供され、A100 80GBのようなAmpereクラスGPUへのカバレッジが拡張されます。
VLLM_HUMMING_MOE_GEMM_TYPE=indexed \
vllm serve --model nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \
--moe-backend humming \
--linear-backend humming \
--max-num-seqs 256 \
--max-num-batched-tokens 32768 \
--enable-prefix-caching \
--async-scheduling \
--quantization modelopt_fp4 \
--mamba-backend flashinfer \
--mamba-cache-mode align \
--mamba-ssu-algorithm simple \
--reasoning-parser nemotron_v3 \
--tool-call-parser qwen3_coder \
--enable-auto-tool-choice
検証済みコンテキスト: 100万トークン (デフォルト)
- コンテキスト長: 上記のH100およびGB200スニペットは、デフォルトでモデルの完全な100万トークンコンテキストウィンドウを提供します。メモリが限られている場合、または高コンカレンシーでKVキャッシュのヘッドルームを増やしたい場合は、ワークロードに合わせて
--max-model-lenを低く設定してください。
TensorRT-LLM
TensorRT-LLM を介したデプロイ方法の詳細については、こちら を参照してください。
コンテナ: nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc24
1x H100 (TensorRT-LLM)
cat > nemotron-35-lightning-nvfp4-mtp.yaml << EOF
kv_cache_config:
dtype: fp8
enable_block_reuse: false
mamba_state_config:
periodic_snapshot_interval: 8192
free_gpu_memory_fraction: 0.8
mamba_ssm_cache_dtype: float16
mamba_ssm_stochastic_rounding: true
mamba_ssm_philox_rounds: 5
moe_config:
backend: MARLIN
nvfp4_gemm_config:
allowed_backends: [marlin, cutlass, cublaslt, cuda_core]
cuda_graph_config:
enable_padding: true
max_batch_size: 8
speculative_config:
decoding_type: MTP
max_draft_len: 3
allow_advanced_sampling: true
enable_chunked_prefill: true
num_postprocess_workers: 4
print_iter_log: true
stream_interval: 10
disable_overlap_scheduler: false
EOF
trtllm-serve \
$MODEL_CKPT \
--max_batch_size 8 \
--max_num_tokens 8192 \
--reasoning_parser nemotron-v3 \
--tool_parser qwen3_coder \
--config nemotron-35-lightning-nvfp4-mtp.yaml
検証済みコンテキスト: デフォルトで100万トークン。メモリ制約がある場合は、--max_seq_len を低く設定してください。
SGLang
SGLang を介したデプロイ方法の詳細については、こちら または SGLang クックブック を参照してください。
- コンテナ:
lmsysorg/sglang:dev-nemotron3-5-lightning
1x B200
バランス — 投機的デコーディングなし:
sglang serve \
--model-path $MODEL_CKPT \
--mamba-backend flashinfer \
--mamba-ssm-dtype float16 \
--enable-mamba-cache-stochastic-rounding \
--mamba-cache-philox-rounds 5 \
--mem-fraction-static 0.85 \
--cuda-graph-max-bs-decode 16 \
--reasoning-parser nemotron_3 \
--tool-call-parser qwen3_coder \
--port 8000
1x H100
Hopper では、NVFP4 ウェイトは W4A16 カーネル経由で実行されます。flashinfer Mamba バックエンドは不要です (FA3 ターゲットアテンションがデフォルトで選択されます)。
sglang serve \
--model-path $MODEL_CKPT \
--mamba-ssm-dtype float16 \
--mem-fraction-static 0.85 \
--cuda-graph-max-bs-decode 16 \
--reasoning-parser nemotron_3 \
--tool-call-parser qwen3_coder \
--port 8000
1x DGX Spark (GB10)
メモリ予算が小さい — --mem-fraction-static と --cuda-graph-max-bs-decode もそれに応じて低く設定されます。
sglang serve \
--model-path $MODEL_CKPT \
--mamba-ssm-dtype float16 \
--mem-fraction-static 0.78 \
--cuda-graph-max-bs-decode 4 \
--reasoning-parser nemotron_3 \
--tool-call-parser qwen3_coder \
--port 8000
投機的デコーディング
上記のブロックはバランスベースラインを実行します。上記の投機的デコーディング戦略のいずれかを有効にするには、対応するフラグを任意のコマンドに追加します。
MTP — ドラフトヘッドはターゲットチェックポイントに埋め込まれています (別個のダウンロードは不要):
--speculative-algorithm EAGLE \
--speculative-draft-model-path $MODEL_CKPT \
--speculative-num-steps 5 \
--speculative-eagle-topk 1 \
--speculative-num-draft-tokens 6
DFlash — 別個のドラフトモデル (--speculative-dflash-block-size は B200 では 6、H100 / DGX Spark では 4):
--speculative-algorithm DFLASH \
--speculative-draft-model-path nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash \
--speculative-dflash-block-size 6
DSpark — 別個のドラフトモデル:
--speculative-algorithm DSPARK \
--speculative-draft-model-path $DSPARK_CKPT \
--speculative-dspark-block-size 3
- コンテキスト長: 上記のコマンドはデフォルトでモデルの完全なコンテキストウィンドウを提供します。メモリ制約がある場合や、高コンカレンシーでKVキャッシュのヘッドルームを増やしたい場合は、
--context-lengthをより小さい値に設定してください。
ローカルAI (RTX 5090, DGX Spark, および RTX 6000 Pro)
以下のレシピは、素晴らしいパートナーによって検証および提供されています。
Ollama
- ollama バージョン: 0.32.9
ローカルでの単一コマンド使用のために、Nemotron 3.5 Lightning は Ollama で利用可能で、ツール呼び出しと思考が有効になっています。
ollama run nemotron-3.5-lightning
検証済みコンテキスト: Ollama は利用可能な VRAM に基づいて動的にコンテキストを設定します (24GB 未満 -> 4K、24-48GB -> 32K、48GB+ -> 256K)。より高いコンテキスト制限のために CPU オフロードが発生する可能性がある /set parameter num_ctx DESIRED_CONTEXT_LENGTH を使用できます。
llama.cpp
公式 GGUF ウェイト: ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF。
- llama.cpp バージョン: https://github.com/ggml-org/llama.cpp/releases/latest
最も簡単な開始方法:
llama-server -hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF \
--port 8000
推奨サンプリングを使用した完全なサーバーレシピ:
llama-server \
-hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF:Q4_K_M \
--temp 1.0 --top-p 0.95 \
-np 1 \
-c 40960 \
--port 8000 \
-ngl 99 \
-fa on \
--jinja \
--no-webui \
--fit off
検証済みコンテキスト: 例では -c 40960 (~4万) を設定しています。VRAM が許す限り高くしてください。
LM Studio
このリソース から LM Studio を介して Nemotron 3.5 Lightning 30B A3B を実行することもできます!
APIクライアント
以下の例は OpenAI 互換クライアントを使用しており、上記のどのサービングバックエンドでも動作します。すべてのバックエンドはポート 8000 でサービングします (vLLM と TRT-LLM はデフォルト、SGLang は --port 8000 経由)。そのため、base_url はそのまま機能します。推奨サンプリング設定は 温度 1.0 と Top_P 0.95 です。
上記の vLLM スニペットはチェックポイントを --model $MODEL_CKPT に渡しており、vLLM は同じ識別子 (nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4) でモデルを登録します — コマンドのいずれも --served-model-name を設定していません。他のバックエンドの場合、または独自の --served-model-name を追加した場合は、GET /v1/models から返された識別子を MODEL にコピーしてください。
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
MODEL = "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4"
Lightning 3.5 は、チャットテンプレートの kwargs を介して推論制御を公開します: 思考が有効 (デフォルト)、および直接応答のために思考が無効になります。
思考のON/OFFとストリーミング例: クリックして展開!
思考ON (デフォルト)
response = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "Write a haiku about GPUs"}],
max_tokens=16000,
temperature=1.0,
top_p=0.95,
extra_body={"chat_template_kwargs": {"enable_thinking": True}}
)
print(response.choices[0].message.content)
思考OFF
response = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "What is the capital of Japan?"}],
max_tokens=16000,
temperature=1.0,
top_p=0.95,
extra_body={"chat_template_kwargs": {"enable_thinking": False}}
)
print(response.choices[0].message.content)
ストリーミング
stream = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "Explain speculative decoding in two sentences"}],
max_tokens=16000,
temperature=1.0,
top_p=0.95,
stream=True,
)
for chunk in stream:
print(chunk.choices[0].delta.content or "", end="", flush=True)
ツール呼び出し
上記の TRT-LLM スニペットは、必要なパーサー (--reasoning_parser nemotron-v3 --tool_parser qwen3_coder) を使用して既に起動しています。vLLM の場合、上記のいずれかのサーブコマンドに以下を追加します。
--enable-auto-tool-choice \
--tool-call-parser qwen3_coder \
--reasoning-parser nemotron_v3
注意: コーディングエージェントの場合、API呼び出しに extra_body={"chat_template_kwargs": {"force_nonempty_content": True}} を追加します。以下に例を示します。
tools = [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather for a city",
"parameters": {
"type": "object",
"properties": {"city": {"type": "string"}},
"required": ["city"],
},
},
}
]
response = client.chat.completions.create(
model=MODEL,
messages=[{"role": "user", "content": "What's the weather in Santa Clara?"}],
tools=tools,
max_tokens=16000,
temperature=1.0,
top_p=0.95,
extra_body={"chat_template_kwargs": {"force_nonempty_content": True}},
)
print(response.choices[0].message.tool_calls)
トレーニング、テスト、および評価データセット
トレーニング
データモダリティ: テキスト トレーニングデータサイズ: 20兆トークン超 データセット分割: トレーニング [100%]、テスト [0%]、検証 [0%] トレーニングデータ収集期間: 2013年〜2025年12月 テストデータ収集期間: 2013年〜2025年12月 検証データ収集期間: 2013年〜2025年12月 データ収集方法 (データセット別): ハイブリッド: 自動、手動収集、合成 ラベリング方法 (データセット別): ハイブリッド: 自動、手動ラベリング、合成
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 は、高品質にキュレーションされ、合成生成されたデータの広範なコーパスで事前学習されています。英語に加え、19の他の話し言葉と43のプログラミング言語でトレーニングされています。ソースは、ウェブページ、対話、記事、その他の書面資料など、さまざまなドキュメントタイプをカバーしています。コーパスは、法律、数学、科学、金融などのドメインに及びます。モデルの精度を向上させるために、質問応答およびアライメントスタイルのデータも少量含まれています。モデルは20兆トークン以上で事前学習されました。
NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 の事後学習コーパスは、高品質にキュレーションされ、合成生成されたデータで構成されています。事後学習に使用された主な言語には、英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語が含まれます。
FinePDFs、EssentialWeb、HotpotQA、SQuAD、HelpSteer3などのこれらのデータセットは、集合的または網羅的にすべての人口統計グループ (およびその比率) を表すものではありません。例えば、これらのデータセットには、ソースによって異なりますが、年齢、性別、または人種といった人口統計クラスの明示的な言及が64〜99%のサンプルに含まれていません。そのような用語が含まれるサブセットでは、ドキュメントベースのデータセット (FinePDFsおよびEssentialWeb) には、「男性」が「女性」よりも多く参照される、「白人」が民族識別子のうち最も頻繁に使用される (民族識別子の言及の43〜44%を占める) などの代表性の偏りがあります。これらの不均衡を軽減するために、バイアス監査、人口統計学的にバランスの取れたデータセットでのファインチューニング、および望ましいモデルの動作に適合させるための対照データ拡張などの緩和戦略のような評価技術を検討することを推奨します。この評価では、埋め込みモデルの精度を最大化するための最適な閾値として特定された、データセットあたり3,000サンプルのサブセットを使用しました。
事後学習中、教師モデルやエージェントシステムから得られた軌跡、ソリューション、翻訳を蒸留して合成データを生成します。これらはしばしば実際のタスクやドキュメントに基づき、品質のために積極的にフィルタリングされます。数学、コード、科学については、キュレーションされた問題セットから開始し、GPT-OSS-120Bのようなオープンソースの許可ライセンスモデルを使用して、ステップバイステップの推論トレース、候補ソリューション、ベストオブN選択トレース、および検証済みのCUDAカーネルを生成します。長コンテキストと科学については、長いドキュメントからパッセージを検索し、MCQ/OpenQAの質問と回答を生成し、多様性を確保するために複数のプロンプト/応答形式に言い換えることで、合成QAおよび推論データを構築します。すべてのパイプライン全体で、コンパイラ、数値チェック、言語識別などの自動検証を積み重ねて、データが高品質であることを保証します。
すべてのドメインについて、高品質でライセンス準拠かつ検証可能なサンプルのみが事後学習に使用されることを保証するために、統一されたデータフィルタリングパイプラインを適用します。まず、構造チェック (例: ツール呼び出しが存在する場合のツール定義の欠落) を使用して、不正な形式の例を破棄します。次に、スライディングウィンドウ内またはトレース全体で繰り返しnグラムを繰り返すなどの病的な繰り返しを示す推論トレースを積極的にフィルタリングします。これは不正な形式または低品質の推論の強力な指標であることがわかりました。最後に、合成生成データセットの内部監査に基づいて、一部の教師モデルが特定の政治的エンティティに暗黙的に適合したり、国家主義的な物語を促進したりする推論トレースと最終応答を時折生成することに気づきました。これを軽減するために、ターゲットを絞ったキーワードおよび正規表現ベースのフィルターを適用し、そのような動作に一致するすべてのトレースを削除します。
モデルと並行して、このセクションで概説されている最終的な事前学習および事後学習データをリリースします。分析を容易にするために、ゲートなしのサンプルセットがあります。残りのすべてのコード、数学、多言語データについては、ゲートと承認が必要であり、データセットはモデルトレーニング目的で許可ライセンスされています。
このモデルのトレーニングに使用されたデータセットの詳細については、トレーニングコンテンツの公開概要 を参照してください。
詳細なデータセット情報については: ここをクリック!
ベース事前学習コーパス (Nemotron 3 Foundation)
モデルの基盤は、Nemotron Pretraining Datasets コレクション の以下のデータセットで構成される Nemotron 3 コーパスでトレーニングされています。
| データセットコレクション | トークン数 | 説明 |
|---|---|---|
| Nemotron-CC-v2 & v2.1 | 9.1兆 | Common Crawl からフィルタリングされた英語ウェブデータの巨大なコレクション。2.5兆トークン超の新しいオーガニック、翻訳、合成的に再フレーズされたコンテンツを含む。 |
| Nemotron-CC-Code-v1 | 4279億 | Lynx + LLM パイプラインを使用して Common Crawl から抽出された高品質コードトークン。構造と数式を保持。 |
| Nemotron-Pretraining-Code-v1 & v2 & v3 | 1.7兆 | マルチステージフィルタリング、重複排除、および大規模な合成コードデータを使用したキュレーションされたGitHubコード参照。 |
| Nemotron-CC-Math-v1 | 1333億 | LaTeXフォーマットと数学構造を保持した高品質な数学事前学習データセット。 |
| Nemotron-Pretraining-Specialized-v1 & v1.1 & v1.2 & Nemotron-Pretraining-SFT-v1 | 6600億 | STEM推論や科学コーディングなどの専門ドメインをターゲットにした合成データセット。 |
| Nemotron-Pretraining-Legal-v1 | 43億 | 法律ドメインをターゲットにした合成データセット。 |
公開データセット
NVIDIAによるクロールおよびスクレイピング
英語のCommon Crawlデータは、Common Crawl Foundationからダウンロードされました (クロールに関するFAQを参照)。これには、CC-MAIN-2013-20からCC-MAIN-2025-13までのスナップショットが含まれています。その後、Nemotron-CC論文で説明されているさまざまな方法で、データは重複排除およびフィルタリングされました。さらに、以下の3つのCommon Crawlスナップショットから15言語のデータを抽出しました: CC-MAIN-2024-51、CC-MAIN-2025-08、CC-MAIN-2025-18。対象となった15言語は、アラビア語、中国語、デンマーク語、オランダ語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スウェーデン語、タイ語です。信頼できる多言語モデルベースの品質分類器が利用できなかったため、Nemotron-CCパイプラインの低品質英語データと同様のヒューリスティックフィルタリングを適用しましたが、一部の言語ではうまく機能しなかったフィルターを選択的に削除しました。重複排除はNemotron-CCと同じ方法で行われました。
GitHubクロールは、GitHub REST APIとAmazon S3 APIを使用して収集されました。各クロールは、GitHubまたはS3のいずれかのソースによって設定されたレート制限に従って操作されました。ソースコードを収集し、許可ライセンスセットに存在しないライセンスを持つものはすべて削除しました。
| データセット | モダリティ | データセットサイズ | コレクション期間 | 収集組織 |
|---|---|---|---|---|
| English Common Crawl | テキスト | 3.36兆 | 2025/04/08 | NVIDIA Advanced Deep Learning Research |
| English Common Crawl 1.1 | テキスト | 非公開 | 2025/10/02 | NVIDIA Advanced Deep Learning Research |
| Multilingual Common Crawl | テキスト | 8127億 | 2025/05/01 | NVIDIA Advanced Deep Learning Research |
| GitHub Crawl | テキスト | 7474億 | 2025/04/29 | NVIDIA Advanced Deep Learning Research |
| GitHub Crawl 1.1 | テキスト | 1727億 | 2025/09/30 | NVIDIA Advanced Deep Learning Research |
第三者のプライベート非公開アクセス可能データセット
| データセット | モデル(群) |
|---|---|
| Global Regulation | 不明 |
| TAUS Translation Memory | 不明 |
| Scale HLE | 不明 |
| HackerRank Coding | 不明 |
| RL data for Search | Gemini 3; GPT-5 |
| Mercor SWE-AgentsV1 | 非公開 |
NVIDIAによるプライベート非公開アクセス可能データセット
| データセット | モデル(群) |
|---|---|
| Simple Minesweeper | 非公開 |
| Simple Sudoku | 非公開 |
| Multitool Typewriter Hard | 非公開 |
| Machine Translation of News Commentary and TAUS Translation Memory | 非公開 |
| Machine Translation of STEM - | Qwen2.5-14B-Instruct |
| Competitive Coding RL data from Nemotron Cascade | 非公開 |
| Long context RL | 非公開 |
| Single-step SWE RL for patch generation | 非公開 |
| OpenHands SWE | 非公開 |
NVIDIA提供の合成データセット (事前学習)
| データセット | モダリティ | データセットサイズ | シードデータセット | 生成に使用されたモデル(群) |
|---|---|---|---|---|
| Nemotron-Pretraining-Fact-Seeking | テキスト | 350億 | FineWiki | Qwen3-30B-A3B-Instruct-2507 |
| Nemotron-Pretraining-Legal | テキスト | 43億 | CommonPile (caselaw_access_project_filtered); California Code of Regulations; Judicial Ethics Opinions; GLOBALCIT; CUAD; Nemotron Personas; ToSDR Terms of Service Corpus; CodeHima/TOS_Dataset; ContractNLI; CaseHOLD; Code of Federal Regulations; Canadian Case Law (商用利用可能なサブセット) | Qwen3-235B-A22B-Thinking-2507 |
| Nemotron-Pretraining-Formal-Logic | テキスト | 1億2800万 | Nemotron Personas | Qwen3-235B-A22B-Thinking-2507 |
| Nemotron-Pretraining-Economics | テキスト | 7340万 | - | Qwen3-235B-A22B-Thinking-2507 |
| Nemotron-Pretraining-Multiple-Choice | テキスト | 16億 | MMLU Auxiliary Train | DeepSeek-V3; Qwen3-235B-A22B |
| Nemotron-Pretraining-Code-Concepts | テキスト | 73億 | - | gpt-oss-20b; gpt-oss-120b |
| Nemotron-Pretraining-Unconditional-Algorithmic | テキスト | 1億9650万 | - | gpt-oss-120b; Qwen3-235B-A22B |
| More Synthetic Tasks from DeepSeek-V3 and Qwen3-235B-A22B | テキスト | 11億 | train splits of acp_bench; ai2_arc; babi; gsm8k; hendrycks_math; IFEval; MedText; mediqa_qa; mlqa; MMLU-Pro; mmlu-pro-plus; MMLU-ProX; nq_open; tinyGSM8k; truthful_qa; truthfulqa-multi; MATH-lighteval; mmlu; awesome-chatgpt-prompts; super_glue | DeepSeek v3; Qwen3-235B-A22B |
| Synthetic Tasks from DeepSeek-V3 and Qwen3-235B-A22B | テキスト | 67億 | train splits of Into the Unknown; AI2 ARC (AI2 Reasoning Challenge); BLiMP (Benchmark of Linguistic Minimal Pairs); CommonSenseQA; GLUE; HeadQA; Hendrycks Ethics; Memo Trap; modus-tollens; NeQA; pattern-matching-suppression; mastermind_24_mcq_random; mastermind_24_mcq_close; quote-repetition; redefine-math; Repetitive Algebra; sig-figs; MMLU-Pro; MC-TACO; MedConceptsQA; MMLU_dataset; OpenbooksQA; PIQA (Physical Interaction Question Answering); SocialIQA; SuperGLUE; tinyAI2_arc; tinyMMLU; tinyWinogrande; TruthfulQA; WebQuestions; Winogrande; GPQA; MBPP | DeepSeek v3; Qwen3-235B-A22B |
| Synthetic Art of Problem Solving from DeepSeek-R1 | テキスト | 400億 | Art of Problem Solving; American Mathematics Competitions 8; American Mathematics Competitions 10 | DeepSeek-R1 |
| Synthetic Moral Stories and Social Chemistry from Qwen3-235B-A22B-Thinking-2507 and Mixtral-8x22B-v0.1 | テキスト | 1520万 | social-chemestry-101; Moral Stories | Qwen3-235B-A22B-Thinking-2507; Mixtral-8x22B-v0.1 |
| Synthetic Moral Stories and Social Chemistry from Mixtral-8x22B-v0.1 | テキスト | 3億2700万 | social-chemestry-101; Moral Stories | Mixtral-8x22B-v0.1 |
| Synthetic Social Sciences seeded with OpenStax from DeepSeek-V3, Mixtral-8x22B-v0.1, and Qwen2.5-72B | テキスト | 8360万 | OpenStax - CC BY-SA subset | DeepSeek-V3; Mixtral-8x22B-v0.1; Qwen2.5-72B |
| Synthetic Health Sciences seeded with OpenStax from DeepSeek-V3, Mixtral-8x22B-v0.1, and Qwen2.5-72B | テキスト | 970万 | OpenStax - CC BY-SA subset | DeepSeek-V3; Mixtral-8x22B-v0.1; Qwen2.5-72B |
| Synthetic STEM seeded with OpenStax, Open Textbook Library, and GSM8K from DeepSeek-R1, DeepSeek-V3, DeepSeek-V3-0324, and Qwen2.5-72B | テキスト | 1億7500万 | OpenStax - CC BY-SA subset; GSM8K; Open Textbook Library - CC BY-SA & GNU subset | DeepSeek-R1, DeepSeek-V3; DeepSeek-V3-0324; Qwen2.5-72B |
| Nemotron-PrismMath | テキスト | 46億 | Big-Math-RL-Verified; OpenR1-Math-220k | Qwen2.5-0.5B-instruct, Qwen2.5-Math-72B-Instruct; DeepSeek-R1-Distill-Qwen-32B |
| Synthetic Question Answering Data from Papers and Permissible Books from Qwen2.5-72B-Instruct | テキスト | 3億5000万 | arXiv; National Institutes of Health ExPorter; BioRxiv; PMC Article; USPTO Backgrounds; peS2o; Global Regulation; CORE; PG-19; DOAB CC BY & CC BY-SA subset; NDLTD | Qwen2.5-72B-Instruct |
| Synthetic Rephrased Math Data from Common Crawl from phi-4 | テキスト | 730億 | Common Crawl | phi-4 |
| Synthetic Math Data from Common Crawl 4plus | テキスト | 523億 | Common Crawl | phi-4 |
| Synthetic Math Data from Common Crawl 3 | テキスト | 809億 | Common Crawl | phi-4 |
| Synthetic AGIEval seeded with AQUA-RAT, LogiQA, and AR-LSAT from DeepSeek-V3 and DeepSeek-V3-0324 | テキスト | 40億 | AQUA-RAT; LogiQA; AR-LSAT | DeepSeek-V3; DeepSeek-V3-0324 |
| Synthetic AGIEval seeded with AQUA-RAT, LogiQA, and AR-LSAT from Qwen3-30B-A3B | テキスト | 42億 | AQUA-RAT; LogiQA; AR-LSAT | Qwen3-30B-A3B |
| Synthetic Art of Problem Solving from Qwen2.5-32B-Instruct, Qwen2.5-Math-72B, Qwen2.5-Math-7B, and Qwen2.5-72B-Instruct | テキスト | 非公開 | Art of Problem Solving; American Mathematics Competitions 8; American Mathematics Competitions 10; GSM8K; PRM800K | Qwen2.5-32B-Instruct; Qwen2.5-Math-72B; Qwen2.5-Math-7B; Qwen2.5-72B-Instruct |
| Synthetic MMLU Auxiliary Train from DeepSeek-R1 | テキスト | 5億 | MMLU Auxiliary Train | DeepSeek-R1 |
| Synthetic Long Context Continued Post-Training Data from Papers and Permissible Books from Qwen2.5-72B-Instruct | テキスト | 非公開 | arXiv; National Institutes of Health ExPorter; BioRxiv; PMC Article; USPTO Backgrounds; peS2o; Global Regulation; CORE; PG-19; DOAB CC BY & CC BY-SA subset; NDLTD | Qwen2.5-72B-Instruct |
| Synthetic Common Crawl from Qwen3-30B-A3B and Mistral-Nemo-12B-Instruct | テキスト | 4158億 | Common Crawl | Qwen3-30B-A3B; Mistral-NeMo-12B-Instruct |
| Synthetic Multilingual Data from Common Crawl from Qwen3-30B-A3B | テキスト | 非公開 | Common Crawl | Qwen3-30B-A3B |
| Synthetic Multilingual Data from Wikimedia from Qwen3-30B-A3B | テキスト | 非公開 | Wikimedia | Qwen3-30B-A3B |
| Synthetic Math Data from Wikimedia from Nemotron-4-340B-Instruct | テキスト | 非公開 | - | Nemotron-4-340B-Instruct |
| Synthetic Common Crawl Code from phi-4 | テキスト | 4279億 | Common Crawl | phi-4 |
| Synthetic Scientific Coding from Qwen3-235B-A22B | テキスト | 12億 | Wikimedia | Qwen3-235B-A22B-Instruct-2507 |
| Tool Calling Data | テキスト | 262億 | - | Qwen3-235B-A22B-2507; gpt-oss-120b |
| Synthetic Essential-Web from QwQ-32B | テキスト | 281億 | Essential-Web | QwQ-32B |
| Translated Synthetic Crawl | テキスト | 3899億 | Common Crawl | Qwen3-30B-A3B |
| Translated Synthetic Wikipedia | テキスト | 79億 | Wikimedia | Qwen3-30B-A3B |
| Synthetic Long Context from Qwen3-235B-A22B-Instruct-2507 | テキスト | 非公開 | CORE; PG-19; DOAB CC BY & CC BY-SA subset; NDLTD | Qwen3-235B-A22B-Instruct-2507 |
| Synthetic Search STEM OPENQ from DeepSeek-R1-0528 | テキスト | 非公開 | - | DeepSeek-R1-0528 |
| Synthetic MCQ from Qwen2.5-32B-Instruct and DeepSeek-R1-0528 | テキスト | 非公開 | - | Qwen2.5-32B-Instruct; DeepSeek-R1-0528 |
| Synthetic Offline Search MCQA HLE from DeepSeek-R1-0528 | テキスト | 非公開 | - | DeepSeek-R1-0528 |
| Synthetic Offline Search MCQA GPQA from Qwen3-235B and DeepSeek-R1-0528 | テキスト | 非公開 | - | Qwen3-235B; DeepSeek-R1-0528 |
| Synthetic Human Preference from QwQ-32B, Qwen3-30B-A3B, Qwen3-235B-A22B, Qwen3-235B-A22B-Instruct-2507, Mistral-Small-3.1-24B-Instruct-2503, Mistral-Small-3.2-24B-Instruct-2506, MiniMax-M1-80k, MiniMax-M1-40k, Kimi-K2-Instruct, DeepSeek-V3-0324, DeepSeek-R1-0528 | テキスト | 非公開 | - | QwQ-32B; Qwen3-30B-A3B; Qwen3-235B-A22B; Qwen3-235B-A22B-Instruct-2507; Mistral-Small-3.1-24B-Instruct-2503; Mistral-Small-3.2-24B-Instruct-2506; MiniMax-M1-80k; MiniMax-M1-40k; Kimi-K2-Instruct; DeepSeek-V3-0324; DeepSeek-R1-0528 |
| Synthetic Code from Qwen3-32B | テキスト | 非公開 | English Common Crawl; English Common Crawl 1.1 | Qwen3-32B |
| Synthetic OpenCodeReasoning from DeepSeek-R1 | テキスト | 非公開 | OpenCodeReasoning | DeepSeek-R1 |
| Synthetic OpenCodeReasoning from DeepSeek-R1-0528 | テキスト | 非公開 | OpenCodeReasoning | DeepSeek-R1-0528 |
| Synthetic HackerRank Coding from DeepSeek-R1-0528 | テキスト | 非公開 | HackerRank Coding Dataset | DeepSeek-R1-0528 |
| Synthetic LIMO from DeepSeek-R1-0528 | テキスト | 非公開 | LIMO | DeepSeek-R1-0528 |
| Synthetic SCP from DeepSeek-R1-0528 | テキスト | 非公開 | SCP-116K | DeepSeek-R1-0528 |
| Synthetic Stack Exchange from DeepSeek-R1-0528 | テキスト | 非公開 | Stack Exchange | DeepSeek-R1-0528 |
| Synthetic Stack Exchange from gpt-oss-120b and Qwen2.5-32B-Instruct | テキスト | 非公開 | Stack Exchange | gpt-oss-120b; Qwen2.5-32B-Instruct |
| Synthetic Stack Exchange from gpt-oss-120b | テキスト | 非公開 | Stack Exchange | gpt-oss-120b |
| Synthetic Art of Problem Solving from gpt-oss-120b and Qwen2.5-32B-Instruct | テキスト | 非公開 | Art of Problem Solving; American Mathematics Competitions 8; American Mathematics Competitions 10 | gpt-oss-120b; Qwen2.5-32B-Instruct |
| Synthetic Common Crawl from Qwen3-30B-A3B | テキスト | 非公開 | Common Crawl | Qwen3-30B-A3B |
| Synthetic Wikipedia from Qwen3-30B-A3B | テキスト | 非公開 | Wikimedia | Qwen3-30B-A3B |
| Synthetic Essential-Web from Qwen3-30B-A3B and Qwen3-235B-A22B-Thinking-2507 | テキスト | 非公開 | Essential-Web | Qwen3-30B-A3B; Qwen3-235B-A22B-Thinking-2507 |
| Synthetic Essential-Web from gpt-oss-120b | テキスト | 非公開 | Essential-Web | gpt-oss-120b |
| Synthetic Textbook Math from Qwen3-30B-A3B, Qwen3-235B-A22B, phi-4 | テキスト | 非公開 | Common Crawl; FineMath | Qwen3-30B-A3B; Qwen3-235B-A22B; phi-4 |
| Synthetic Math and Code from DeepSeek-R1 and DeepSeek-R1-0528 | テキスト | 非公開 | Magicoder-Evol-Instruct-110K; opc-sft-stage2; TACO; OpenCodeReasoning; OpenMathReasoning; NuminaMath CoT | DeepSeek-R1; DeepSeek-R1-0528 |
| Synthetic Math from gpt-oss-120b and Qwen2.5-32B-Instruct | テキスト | 非公開 | - | gpt-oss-120b; Qwen2.5-32B-Instruct |
| Synthetic OpenMathReasoning from gpt-oss-120b and Qwen2.5-32B-Instruct | テキスト | 非公開 | OpenMathReasoning | gpt-oss-120b; Qwen2.5-32B-Instruct |
| Synthetic KernelBook from DeepSeek-R1-0528 | テキスト | 非公開 | KernelBook | DeepSeek-R1-0528 |
| Synthetic Scale HLE from gpt-oss-120b | テキスト | 非公開 | Scale HLE | gpt-oss-120b |
| Synthetic CDQuestions from gpt-oss-120b | テキスト | 非公開 | CDQuestions | gpt-oss-120b |
| Synthetic GPQA from gpt-oss-120b and Qwen2.5-32B-Instruct | テキスト | 非公開 | Stack Exchange | gpt-oss-120b; Qwen2.5-32B-Instruct |
| Synthetic Vedantu from gpt-oss-120b | テキスト | 非公開 | Vedantu | gpt-oss-120b |
| Synthetic Search STEM MCQ from Qwen3-235B-A22B and DeepSeek-R1-0528 | テキスト | 非公開 | - | Qwen3-235B-A22B; DeepSeek-R1-0528 |
| Synthetic OpenSTEM from Qwen2.5-32B-Instruct and DeepSeek-R1-0528 | テキスト | 非公開 | - | Qwen2.5-32B-Instruct; DeepSeek-R1-0528 |
| Synthetic MCQ10 from DeepSeek-R1-0528 | テキスト | 非公開 | - | DeepSeek-R1-0528 |
| Synthetic MCQ4 from Qwen3-235B-A22B, DeepSeek-R1-0528, and Qwen3-235B-A22B-Instruct-2507 | テキスト | 非公開 | - | Qwen3-235B-A22B; DeepSeek-R1-0528; Qwen3-235B-A22B-Instruct-2507 |
NVIDIA提供の合成データセット (事後学習)
| データセット | モダリティ | データセットサイズ | シードデータセット | 生成に使用されたモデル(群) |
|---|---|---|---|---|
| Synthetic Competitive MATH Proofs from DeepSeek-V4-Pro | テキスト | 非公開 | [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions] | [deepseek-ai/DeepSeek-V4-Pro] |
| Synthetic Hermes Agent Reasoning Traces | テキスト | 非公開 | [lambda/hermes-agent-reasoning-traces] | [hermes-agent-generator] |
| Synthetic Competitive Coding from DeepSeek-V4-Pro | テキスト | 非公開 | [NVCompetitiveCodingV1] | [deepseek-ai/DeepSeek-V4-Pro] |
| Synthetic Competitive Science Reasoning from DeepSeek-V4-Pro | テキスト | 非公開 | [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [EssentialAI/essential-web-v1.0]; [cdquestions.com]; [Pile-FreeLaw]; [Vedantu]; [askfilo]; [doubtnut]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)]; [AAPT]; [ChemData 700K]; [oMeBench]; [Flavor Analysis and Recognition Transformer]; [ChemCoTBench]; [Llama Nemotron Dataset] | [deepseek-ai/DeepSeek-V4-Pro] |
| Synthetic Competitive MATH CoT and TIR from Nemotron 5.5 | テキスト | 非公開 | [Pile-FreeLaw]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions] | [Nemotron 5.5] |
| Vendor Terminal Bench-like Tasks from Mercor | テキスト | 非公開 | [Terminal bench like tasks curated by the vendor] | 非公開 — 購入済みデータセット |
| Turing Math Data Pack | テキスト | 非公開 | [Turing Math Data Pack dataset] | 非公開 — 購入済みデータセット |
| Synthetic Holdout, Skywork, DAPO, and Turing Math from GPT-5.5 | テキスト | 非公開 | [DocQA-RL-1.6K]; [DAPO-Math-17k] | [GPT-5.5] |
| Synthetic Long Context RL from QwenLong L1 and DocQA-RL-1.6K | テキスト | 非公開 | [DocQA-RL-1.6K] | 非公開 |
| Synthetic Competitive Coding Gym Tasks | テキスト | 非公開 | [NVCompetitiveCodingV1.1] | 非公開 |
| Synthetic Finance SEC Search Agent from GPT-OSS-120B and Qwen3 | テキスト | 非公開 | [SEC filings from sec.gov] | [GPT-OSS-120B]; [Qwen3-235B-A22B-Instruct]; [Qwen3-4B-Instruct] |
| Synthetic Structured Outputs from Qwen3-30B-A3B-Instruct-2507, Qwen3-30B-A3B-Thinking-2507, Qwen3-235B-A22B-Instruct-2507, and Qwen3-235B-A22B-Thinking-2507 | テキスト | 非公開 | [Nemotron-RL-agent-structured-outputs-v1] | [Qwen3-30B-A3B-Instruct-2507]; [Qwen3-235B-A22B-Instruct-2507] |
| Synthetic Long Context Equivalence Rule from Qwen3-235B-A22B-Thinking-2507 and DeepSeek-R1 | テキスト | 非公開 | [Long-context SFT data] | [Qwen/Qwen3-235B-A22B-Thinking-2507]; [Deepseek-ai/DeepSeek-R1] |
| Synthetic Science RL Data Blend from Qwen2.5-32B | テキスト | 非公開 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [Qwen2.5-32B] |
| Synthetic Abstention Data from Nemotron Super v3 | テキスト | 非公開 | [Go abstention Dataset] | [nvidia/nvidia/nemotron-3-super-v3] |
| Synthetic Chemistry Data from Nemotron Super v3 | テキスト | 非公開 | [ChemData 700K] | [Nemotron Super v3] |
| Synthetic Tool Call Schema for RL | テキスト | 469,983 | [UltraTool]; [ToolEyes]; [AutoTools]; [API-Bank]; [Nemotron-Personas-USA]; [Salesforce xLAM function-calling]; [Glaive function-calling-v2]; [Agent-Ark/Toucan-1.5M] | [DeepSeek-V3.2]; [GLM-4.6]; [gpt-oss-120b]; [Kimi-K2-Instruct] |
| Synthetic Freeform Text Formatting from GPT-OSS-120B | テキスト | 非公開 | [In-house data] | [GPT OSS 120B - Apache 2.0] |
| Synthetic Citation Formatting from GPT-OSS-120B | テキスト | 非公開 | [In-house data] | [GPT OSS 120B - Apache 2.0] |
| Droid Harness Pivot Vendor Data | テキスト | 非公開 | [Droid Harness Pivot vendor data] | 非公開 |
| Synthetic HotpotQA Training Data from Qwen3-235B | テキスト | 非公開 | [HotpotQA] | [Qwen3-235B] |
| Synthetic Natural Language Math Proofs from Nemotron 5.5 | テキスト | 非公開 | [AMC8, AMC10, and AIME problem sets hosted on Art of Problem Solving]; [Pile-StackExchange] | [Nemotron 5.5] |
| Synthetic Stack Overflow OpenQ | テキスト | 非公開 | [Pile-FreeLaw] | 非公開 |
| Chemistry Ether0 Vendor Data | テキスト | 非公開 | [Chemistry ether0 vendor data] | 非公開 |
| Synthetic Litmus-Bench Chemistry from ChEMBL | テキスト | 非公開 | [ChEMBL]; [Nemo Gym RL dataset generated from ChEMBL with RDKit] | 非公開 |
| Synthetic ZINC Chemistry from Nemotron Super v3 | テキスト | 非公開 | [ZINC] | [Nemotron Super v3] |
| ARC-AGI Gym Environment | テキスト | 非公開 | [ARC-AGI-2] | [ARC-AGI-2] |
| Synthetic Agentic Search Tool-Use from DeepSeek-V3.2 | テキスト | 非公開 | [Mercor Data] | [DeepSeek-V3.2] |
| Synthetic Text-To-SQL | テキスト | 96,564 | [In-house Text-to-SQL data] | [gpt-oss-120b] |
| Dialog Memory Vendor Data | テキスト | 非公開 | [Patronus external vendor agreement] | 非公開 |
| Synthetic Indirect Prompt Injection from Nemotron Super v3 and Qwen3-Next-80B-A3B-Instruct | テキスト | 非公開 | [In-house indirect prompt injection data] | [nvidia/nemotron-3-super-v3, qwen/qwen3-next-80b-a3b-instruct] |
| Synthetic Malicious Code and Agentic Security | テキスト | 非公開 | [In-house malicious-code / agentic-security data] | 非公開 |
| Synthetic Single-Step SWE Patch Selection | テキスト | 非公開 | [SWE-Gym Dataset]; [SWE Bench Verified Benchmark] | [ground truth and task checks] |
| Synthetic Natural Language Math Final Answers from Nemotron 5.5 | テキスト | 非公開 | [AMC8, AMC10, and AIME problem sets hosted on Art of Problem Solving]; [Pile-StackExchange] | [nemotron 5.5] |
| Synthetic Simple Math Prompts for Token Efficiency | テキスト | 非公開 | [In-house simple math prompts] | 非公開 |
| Synthetic Abstention Data from Nemotron Super v3 (CRAG) | テキスト | 非公開 | [CRAG] | [nvidia/nvidia/nemotron-3-super-v3] |
| Synthetic Agentless SWE | テキスト | 242,536 | [SWE-Rebench-V2]; [SWEbench Training Set]; [R2E-Gym/R2E-Gym-Subset]; [SWE-Gym/SWE-Gym]; [SWE-Rebench] | [openai/gpt-oss-120b] |
| Synthetic Agentless SWE from DeepSeek-R1-0528 | テキスト | 209,976 | [SWE-Bench-Train]; [SWE-Fixer-Train]; [SWE-reBench]; [SWE-Smith] | [deepseek-ai/DeepSeek-R1-0528] |
| Synthetic Agentic CUDA Traces from GLM-4.7 | テキスト | 2,276 | [Internal CUDA task data] | [GLM-4.7] |
| Synthetic Math Proofs from DeepSeek-V3.2-Speciale | テキスト | 820,772 | [Nemotron-Math-Proofs-v1] | [SDG: DeepSeek-V3.2-Speciale]; [Filter: proof validation] |
| Synthetic Multilingual SFT from DeepSeek-V3 | テキスト | 1,245,284 | [Nano v3 SFT data] | [DeepSeek-V3] |
| Synthetic Agentic Code from gpt-oss-120b | テキスト | 109,086 | [NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1] | [openai/gpt-oss-120b] |
| Synthetic Agentic CLI and Web Skills from gpt-oss-120b | テキスト | 27,418 | [NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1] | [openai/gpt-oss-120b] |
| Synthetic Agentic Coding from gpt-oss-120b | テキスト | 160,531 | [NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1] | [openai/gpt-oss-120b] |
| Synthetic OpenCode Agentic Tasks from gpt-oss-120b | テキスト | 614,773 | [NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1] | [openai/gpt-oss-120b] |
| Synthetic SWE Unverified | テキスト | 非公開 | [NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1] | [gpt-oss-120b]; [Qwen/Qwen3-Coder-480B-A35B-Instruct]; [GLM-4.7-Flash] |
| Synthetic ARC-AGI Ultra Data | テキスト | 192,016 | [ARC-AGI-2]; [arc dataset collection] | [ARC-AGI-2] |
| Synthetic LiveCodeBench TIR from DeepSeek-R1-0528 | テキスト | 1,283,398 | [Nemotron-X training datasets] | [DeepSeek-R1-0528] |
| Synthetic Verilog and SystemVerilog Code from DeepSeek-R1-0528 and GPT-OSS-120B | テキスト | 1,233,247 | [Verilog/SystemVerilog seed code] | [SDR: DeepSeek R1 0528 and GPT-OSS-120B]; [Filtering: Claude 4 Sonnet] |
| Synthetic Aider Python Tasks from DeepSeek-R1-0528 | テキスト | 236,099 | [Exercism (GitHub Python)] | [Deepseek R1 0528] |
| Synthetic Chat Reasoning-Off Data from GLM-5 | テキスト | 646,738 | [lmarena-ai/repochat-arena-preference-4k user prompts] | [Multi-turn conversations generated by GLM-5 with best-of-4 selection via Qwen3-Nemotron-235B-A22B-GenRM] |
| Synthetic Chat Reasoning-On Data from GLM-5 | テキスト | 644,286 | [lmarena-ai/repochat-arena-preference-4k user prompts]; [lmarena-ai/arena-expert-5k user prompts]; [lmarena-ai/arena-human-preference-55k user prompts]; [lmarena-ai/arena-human-preference-100k user prompts]; [lmarena-ai/arena-human-preference-140k user prompts] | [Multi-turn conversations generated by GLM-5 with best-of-4 selection via Qwen3-Nemotron-235B-A22B-GenRM] |
| Synthetic Multilingual Safety from Riva-Translate-4B-Instruct-v1.1 | テキスト | 132,067 | [Safety SFT Data: Ultra] | [nvidia/Riva-Translate-4B-Instruct-v1.1] |
| Synthetic Science Reasoning Effort Medium | テキスト | 502,722 | [science-reasoning-effort-medium-v0] | 非公開 |
| Synthetic Telecom Tool-Use Trajectories from gpt-oss-120b | テキスト | 12,455 | [Existing Tau2 telecom trajectories originally generated with DeepSeek V3.2] | [gpt-oss-120b] |
| Synthetic Terminal Bench Data from OpenReasoningv2 | テキスト | 非公開 | [OpenCodeReasoningv2]; [OpenMathReasoning]; [nemo-swe-bench-repos]; [SWE-Rebench]; [SWE-Fixer-110K] | [OpenReasoningv2] |
| Synthetic Tulu Instruction Following from DeepSeek-R1-0528 | テキスト | 105,361 | [Nemotron-X training datasets] | [DeepSeek-R1-0528] |
| Synthetic Instruction Following from gpt-oss-120b | テキスト | 151,988 | [IFEval]; [IFEvalG] | [gpt-oss-120b] |
| Synthetic Instruction Following for RL | テキスト | 非公開 | [WildChat-1M]; [LMSYS-340B-Eval Dataset]; [LMSYS-Chat-1M Prompts]; [IFEval]; [IFEvalG] | [Qwen/Qwen3-235B-A22B-Thinking-2507]; [gpt-oss-120b]; [Qwen3-235B-A22B-Instruct-2507] |
| Synthetic Identity Data from Qwen3-Next-80B-A3B-Instruct and Qwen3-235B-A22B-Instruct-2507 | テキスト | 25,992 | [Hand-written prompts] | [Qwen3-Next-80B-A3B-Instruct]; [Qwen3-235B-A22B-Instruct-2507] |
| Synthetic Terminus Ultra Agentic Reasoning Blend | テキスト | 96,881 | [ARC-AGI-2]; [OpenCodeReasoningv2]; [OpenMathReasoning]; [SWE-Fixer-110K]; [SWE-Rebench]; [SWE-Smith] | [DeepSeek-V3.2]; [Qwen3-235B-A22B-Thinking-2507]; [Ring-1T]; [Kimi-K2.5]; [GLM-4.7-FP8]; [Qwen3-Next-80B-A3B-Thinking]; [gpt-oss-120b]; [Ministral-3-14B-Reasoning-2512]; [LM-4.5-Air-FP8] |
| Synthetic STEM from Qwen3-235B-A22B-Thinking-2507 | テキスト | 1,174,694 | [IChO-IPhO-RL-v2]; [Physics-Big Dataset]; Scale HLE; [OpenMathReasoning]; [OpenCodeReasoning] | [Qwen3-235B-A22B-Thinking-2507] |
| Synthetic STEM from Qwen3-235B-A22B-Instruct-2507 and gpt-oss-120b | テキスト | 非公開 | [arXiv]; [National Institutes of Health ExPorter]; [BioRxiv]; [PMC Article]; [USPTO Backgrounds]; [peS2o]; Global Regulation; [CORE]; [PG-19]; [DOAB CC BY & CC BY-SA subset]; [NDLTD] | [Qwen3-235B-A22B-Instruct-2507]; [gpt-oss-120b] |
| Translation Data from TAUS | テキスト | 1,618,055 | [TAUS proprietary dataset] | 非公開 |
| Synthetic Art of Problem Solving and Stack Exchange from gpt-oss-120b, Qwen2.5-32B-Instruct, and Goedel-Prover-V2-32B | テキスト | 860,469 | [Nemotron-Math-Proofs-v1] | [Goedel-Prover-V2-32B] |
| Synthetic Art of Problem Solving and Stack Exchange from gpt-oss-120b | テキスト | 1,201,815 | [Upstream released math dataset]; [AoPS]; [StackOverflow / StackExchange] | [gpt-oss-120b] |
| Synthetic Multilingual Science and Code data from DeepSeek-R1, DeepSeek-R1-0528, Qwen2.5-32B-Instruct, and Qwen3-235B-A22B, translated with Qwen2.5-32B-Instruct and Qwen2.5-14B-Instruct | テキスト | 非公開 | [Nano-V3 SFT Data (without tool call)] | [Qwen/Qwen2.5-14B-Instruct]; [Qwen3-4B-Thinking-2507] |
| Synthetic Multilingual Science and Code data from DeepSeek-R1, DeepSeek-R1-0528, Qwen2.5-32B-Instruct, and Qwen3-235B-A22B, translated with Qwen2.5-32B-Instruct and Qwen2.5-14B-Instruct (Stack Exchange lineage) | テキスト | 非公開 | [Stack Exchange]; [SCP-116K]; [LIMO]; [TACO]; Code Contest; Codeforces | [DeepSeek-R1]; [DeepSeek-R1-0528]; [Qwen2.5-32B-Instruct]; [Qwen3-235B-A22B] |
| Synthetic Search Graph Walk | テキスト | 6,977 | [Wikidata / Wikipedia KnowledgeBase] | [MiniMaxAI/MiniMax-M2] |
| Synthetic Agentic Diverse Domains | テキスト | 281,537 | [Handwritten prompts (synthetic; no external seed data used)] | [SDG model: deepseek-ai/DeepSeek-V3.2, deepseek-ai/DeepSeek-R1-0528, Qwen/Qwen3-235B-A22B-Thinking-2507, Qwen/Qwen3-32B]; [Filtering model: openai/gpt-oss-120b, Qwen/Qwen3-32B, Qwen/Qwen3-235B-A22B-Instruct-2507] |
| Synthetic Long Context from Qwen3-235B-A22B-Instruct-2507 | テキスト | 非公開 | [Long-context SFT seed blend (pre-training blend + nano-v1 post-training data)]; [Long-context SFT data: lc_nothink 256k, MRCR 200k, RULER 256k]; [AALCR seed blend: SEC Filings, CC, Wikipedia, FinePDFs, ArXiv, Pile-NIH ExPorter, BioRxiv, PMC Article, USPTO Backgrounds, peS2o, Global Regulations, CORE, Gutenberg (PG-19), DOAB CC-BY, NDLTD, Amps, StackExchange, MathPile, Numinas] | [Qwen/Qwen3-235B-A22B-Thinking-2507]; [deepseek-ai/DeepSeek-R1]; [Qwen3-30B-A3B] |
| Synthetic Nemotron Math SFT from DeepSeek-V3.2-Speciale | テキスト | 1,900,553 | [Nemotron-Math-v2 (AOPS and StackExchange-math problems)] | [DeepSeek-V3.2-Speciale] |
| Synthetic Nemotron Math TIR from DeepSeek-V3.2 | テキスト | 1,789,258 | [Nemotron-Math-v2 (AOPS and StackExchange-math problems)] | [DeepSeek-V3.2] |
| Synthetic NemoCascade OCR Distillation from gpt-oss-120b | テキスト | 682,864 | [Nemotron-X training datasets] | [gpt-oss-120b] |
| Synthetic CUDA 100k | テキスト | 93,086 | [KernelBook]; [HuggingFace Transformers]; [FlashInfer] | [gpt-oss-120b]; [DeepSeek-R1-0528] |
| Synthetic Science MCQ and QA Diversity from GPT-OSS and Kimi-K2 | テキスト | 532,942 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Science HLE with Python from GPT-OSS and Kimi-K2 | テキスト | 85,184 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Science Search and Python from GPT-OSS and Kimi-K2 | テキスト | 6,179 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Science Search from GPT-OSS and Kimi-K2 | テキスト | 32,554 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Finance Reasoning from GPT-OSS-120B and Qwen3-235B-A22B-Instruct-2507 | テキスト | 326,700 | [SEC filings] | [GPT-OSS-120B, Qwen3-235B-A22B-Instruct-2507] |
| Synthetic Science Diversity MCQ from GPT-OSS and Kimi-K2 | テキスト | 532,942 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Science Diversity OpenQ from GPT-OSS and Kimi-K2 | テキスト | 131,045 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Science Reasoning No-Tool from GPT-OSS and Kimi-K2 | テキスト | 2,085,600 | [doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)] | [GPT-OSS]; [Kimi-K2] |
| Synthetic Text-To-SQL from gpt-oss-120b | テキスト | 非公開 | [In-house Text-to-SQL data] | [gpt-oss-120b] |
| Synthetic Tool Call Schema for RL (extended) | テキスト | 707,967 | [UltraTool]; [ToolEyes]; [AutoTools]; [API-Bank]; [Nemotron-Personas-USA]; [Salesforce xLAM function-calling]; [Glaive function-calling-v2]; [Agent-Ark/Toucan-1.5M] | [DeepSeek-V3.2]; [GLM-4.6]; [gpt-oss-120b]; [Kimi-K2-Instruct] |
| Synthetic Safety from gemma-3-4b-it, Nemotron-Nano-9B-v2, and gpt-oss-120b | テキスト | 44,091 | [Safety SFT Data] | [google/gemma-3-4b-it]; [Nemotron-Nano-9B-v2]; [gpt-oss-120b] |
| Synthetic Safety from DeepSeek-R1-0528, gpt-oss-120b, DeepSeek-R1-Distill-Qwen-7B, and Mixtral-8x7B-v0.1 | テキスト | 非公開 | [Nemotron Content Safety Dataset V2]; [Gretel Synthetic Safety Alignment Dataset]; [RedTeam-2K]; [Malicious Tasks]; [Nemotron-Personas-USA] | [DeepSeek-R1-0528]; [gpt-oss-120b]; [DeepSeek-R1-Distill-Qwen-7B]; [Qwen3-30B-A3B-Thinking-2507]; [Qwen3-235B-A22B-Instruct-2507]; [Mixtral-8x7B-v0.1] |
| Synthetic Tool Calling from Qwen3-235B-A22B-Thinking-2507 and Qwen3-Next-80B-A3B-Thinking | テキスト | 非公開 | [ToolBench]; [glaive-function-calling-v2]; [APIGen Function-Calling]; [Nemotron-Personas-USA] | [Qwen3-235B-A22B-Thinking-2507]; [Qwen3-Next-80B-A3B-Thinking] |
| Synthetic Chat from gpt-oss-120b, Mixtral-8x22B-Instruct-v0.1, Qwen3-235B-A22B-Instruct-2507, and Qwen3-235B-A22B-Thinking-2507 | テキスト | 非公開 | [C4]; [LMSYS-Chat-1M]; [ShareGPT]; [GSM8K]; [PRM800K]; [FinQA]; [WikiTableQuestions]; [Riddles]; [glaive-function-calling-v2]; [SciBench]; [tigerbot-kaggle-leetcodesolutions-en-2k]; [OpenBookQA]; [Advanced Reasoning Benchmark]; Software Heritage; [Khan Academy Math Keywords]; [WildChat-1M]; [Nemotron-Personas-USA] | [gpt-oss-120b]; [Mixtral-8x22B-Instruct-v0.1]; [Qwen3-235B-A22B-Instruct-2507]; [Qwen3-235B-A22B-Thinking-2507] |
| Synthetic Tool Use Interactive Agent from gpt-oss-120b, DeepSeek-R1-0528, Qwen3-32B, and Qwen3-235B-A22B-Thinking-2507 | テキスト | 非公開 | NVIDIA Internal | [gpt-oss-120b]; [DeepSeek-R1-0528]; [Qwen3-32B]; [Qwen3-235B-A22B-Thinking-2507] |
| Synthetic DocFinQA and SWE-smith from Qwen3-Coder-480B-A35B-Instruct and Kimi-K2-Thinking | テキスト | 非公開 | [DocFinQA]; [SWE-smith] | [Qwen3-Coder-480B-A35B-Instruct]; [Kimi-K2-Thinking] |
| Synthetic SWE-Gym from Qwen3-Coder-480B-A35B-Instruct | テキスト | 非公開 | [SWE-Gym] | [Qwen3-Coder-480B-A35B-Instruct] |
| Synthetic SWE-Gym and R2E-Gym-Subset from Qwen3-Coder-480B-A35B-Instruct | テキスト | 非公開 | [SWE-Gym]; [R2E-Gym-Subset] | [Qwen3-Coder-480B-A35B-Instruct] |
| Synthetic SWE-Gym and R2E-Gym-Subset from DeepSeek-R1-0528 | テキスト | 非公開 | [SWE-Gym]; [R2E-Gym-Subset] | [DeepSeek-R1-0528] |
| Synthetic HelpSteer, LMSYS-Chat-1M, and Nemotron-Personas-USA from gpt-oss-120b, Qwen3-235B-A22B-Instruct-2507, and Qwen3-235B-A22B-Thinking-2507 | テキスト | 非公開 | [HelpSteer2]; [HelpSteer3]; [LMSYS-Chat-1M]; [Nemotron-Personas-USA] | [gpt-oss-120b]; [Qwen3-235B-A22B-Instruct-2507]; [Qwen3-235B-A22B-Thinking-2507] |
| Synthetic Nemotron-Personas-USA from gpt-oss-120b and Qwen3-8B | テキスト | 非公開 | [Nemotron-Personas-USA] | [gpt-oss-120b]; [Qwen3-8B] |
| Vendor Terminal Bench-like Tasks (Droid) | テキスト | 非公開 | [Droid Harness Pivot vendor data] | 非公開 |
事後学習における言語分布
事後学習レシピでは、英語に加えて以下の言語に焦点を当てました: フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語。これらの言語は、多言語推論および翻訳タスクの形式で表現されました。
テストデータセット:
データ収集方法 (データセット別)
-
ハイブリッド: 自動、手動収集、合成 ラベリング方法 (データセット別):
-
ハイブリッド: 自動、手動ラベリング、合成 プロパティ: このコーパスは、高品質な標準ベンチマークと最新のエージェントAIのためのテストスイートの混合で構成されています。これらのベンチマークは、ツール呼び出しや指示追従などのタスクにおけるモデルの能力をテストします。
評価データセット:
データ収集方法 (データセット別)
-
ハイブリッド: 自動、手動収集、合成 ラベリング方法 (データセット別):
-
ハイブリッド: 自動、手動ラベリング、合成 プロパティ: このコーパスは、高品質な標準ベンチマークと最新のエージェントAIのためのテストスイートの混合で構成されています。これらのベンチマークは、ツール呼び出しや指示追従などのタスクにおけるモデルの能力をテストします。
推論
- アクセラレーションエンジン: PyTorch
- テストハードウェア:
- NVIDIA Hopper
- 1-8x H100
- 1-8x H200
- NVIDIA Blackwell
- GB200
- DGX Spark (GB10)
- GeForce RTX 5090
- NVIDIA Hopper
倫理的考慮事項
NVIDIAは、信頼できるAIは共同責任であると信じており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。開発者は、内部モデルチームと協力して、このモデルが関連する業界およびユースケースの要件を満たし、予期しない製品の誤用に対処していることを確認する必要があります。
モデルに含まれる安全ガードレールの回避は、適切な代替ガードレールなしでは推奨されません。詳細については: Safety および Explainability サブカードを参照してください。
このモデルの倫理的考慮事項に関する詳細については、モデルカード++の Bias および Privacy サブカードを参照してください。
モデルの品質、リスク、セキュリティ脆弱性、またはNVIDIA AIに関する懸念については、こちら から報告してください。