HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Nvidia Nemotron 3.5 Lightning

Nvidia Nemotron 3.5 Lightning (huggingface.co)

101 pointsby beklein23 コメント

要約

Nvidiaは、Model Optimizerで推論用に量子化および最適化された生成モデルのコレクションであるNemotron 3.5 Lightningを発表しました。このコレクションには、85個のアイテムが含まれており、本番環境で利用可能なエンタープライズモデルが183個、さらに28個のアイテムも含まれています。

全文翻訳

Nvidia Nemotron 3.5 Lightning

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

[画像: Chat][画像: Homepage] [画像: Discord]

[画像: License]

[画像]

モデル概要

総パラメータ数300億 (アクティブ30億)
アーキテクチャMoE - Mamba-2 + MoE + Attention ハイブリッド
コンテキスト長最大100万トークン
シングルGPUデプロイメント1× DGX Spark (GB10) または 1× H100
サポートハードウェアNVIDIA Blackwell (DGX Spark / GB10, GB200, GeForce RTX 5090); NVIDIA Hopper (H100, H200); NVIDIA Ampere (W4A16経由)
サポート言語英語 (およびプログラミング言語)、スペイン語、フランス語、ドイツ語、イタリア語、日本語
投機的デコーディング低コンカレンシーのデータセンターおよびDGX Sparkワークフロー向けDSpark — 詳細は以下を参照、MTP (Multi-Token Prediction) および DFlash も提供
推奨サンプリング温度 1.0, Top_P 0.95
最適な用途長時間実行される自律エージェント、サブエージェントのワークホースデプロイメント、個人ハードウェアでの効率的なローカル推論
ライセンスOpenMDWライセンス契約、バージョン1.1
リリース日2026年8月11日

ハードウェアマトリックス

ハードウェア格納精度コンピュートパスMoEバックエンド (レシピごと)ネイティブFP4テンソルコアパス検証済みコンテキスト
Blackwell — GB200NVFP4FP4デフォルトはい100万 (デフォルト)
Blackwell — DGX Spark (GB10)NVFP4W4A16marlinいいえ — Marlin経由で実行
Blackwell — GeForce RTX 5090NVFP4確認中レシピ未公開ハードウェア: はい確認中
Hopper — H100 / H200NVFP4W4A16humming (最大スループット) / デフォルトいいえ — HopperにはFP4テンソルコアがない
Ampere — A100 などNVFP4W4A16hummingいいえ100万 (デフォルト)

モデル概要

モデル開発者: NVIDIA Corporation

モデル日付: 2025年12月 - 2026年5月

データ鮮度:

  • 事前学習データのカットオフ日は2025年9月です。
  • 事後学習データのカットオフ日は2026年5月です。
Nemotronとは?

NVIDIA Nemotron™は、オープンなモデル、ウェイト、トレーニングデータ、レシピを備えたオープンモデルファミリーであり、専門化されたAIエージェント構築のための効率性と精度をリードしています。

説明

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 は、NVIDIAによってトレーニングされた大規模言語モデル (LLM) です。

このモデルは、インターリーブされたMamba-2およびMoEレイヤーと、選択されたAttentionレイヤーを利用するハイブリッド Mixture-of-Experts アーキテクチャを採用しています。Lightning 3.5モデルは、高速なテキスト生成のための多くの投機的デコーディング手法とともにリリースされました。このモデルは 30億のアクティブパラメータ と 総計300億のパラメータ を持ちます。

このモデルは商用利用可能です。

クイックスタート

DGX Spark (GB10) で迅速に開始するには、以下のコマンドを使用できます。

モデルを取得:

export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4
export DSPARK_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark

vLLM で実行 — このレシピはDGX Spark向けにチューニングされたDSpark投機的デコーディングを使用します。(vLLMバージョン: vllm/vllm-openai:v0.27.1)

vllm serve --model $MODEL_CKPT \
  --moe-backend marlin \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --gpu-memory-utilization 0.85 \
  --speculative_config.num_speculative_tokens 3 \
  --mamba-backend flashinfer \
  --mamba-cache-mode align \
  --reasoning-parser nemotron_v3 \
  --speculative_config.model $DSPARK_CKPT \
  --tool-call-parser qwen3_coder \
  --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (デフォルト)。

モデルのデプロイと使用方法の詳細については、以下のクイックスタートガイドを参照してください!

ライセンス/利用規約

適用されるダウンロード規約: このモデルの使用は、OpenMDW-1.1モデルライセンスに従います。

ベンチマーク

推論ベンチマーク評価

以下のベンチマークでモデルを評価しました:

タスクNemotron-3.5-Lightning-30B-A3B-BF16Nemotron-3.5-Lightning-30B-A3B-NVFP4
一般知識
MMLU Pro81.9481.62
AA-Omniscience17.5016.63
推論
GPQA Diamond (ツールなし)75.4475.57
HLE (テキストのみ、ツールなし)11.7210.47
SciCode32.6031.38
コーディング & エージェント
SWE-bench Verified51.5652.80
SWE-bench Multilingual39.3336.47
Terminal-Bench 2.124.5823.46
PinchBench85.3783.43
BrowseComp36.9736.81
τ³-bench (Banking)9.289.48
GDPval-AA-V2832865
指示追従
IFBench (緩い)71.8872.88
長コンテキスト
AA-LCR52.0049.19

NVIDIAによる一貫したハーネス (NeMo Gym / Nemo Evaluator SDK) で測定された精度。ベンダーの自己申告値とは異なる場合があります。

再現性のために、評価レシピ、インストール手順、およびNVIDIA Nemotron 3.5 Lightningのコマンドは収集され、NeMo Gym に公開されました。報告された結果は、知識と推論、指示追従、コーディング、エージェント、ツール使用、長コンテキストを含むリリース評価スイートをカバーしています。ほとんどの評価はNeMo Gymネイティブハーネスを使用していますが、SWE-BenchやTerminal-Benchを含む一部のサブセットは、ネイティブでNeMo Evaluatorを使用しました。公開されたレシピは、結果を生成するために使用されたベンチマーク固有のコンテナ、プロンプト、推論パラメータ、パーサー設定、およびスコアリング設定を指定します。

これらの数値は公式のNVFP4チェックポイントで測定されたもので、それに適用されます。

エージェントコーディングベンチマーク

SWE-Bench VerifiedおよびTerminal-Bench 2.1の追加のハーネスレベルコーディングエージェント結果を以下に示します。

[画像: Agentic Coding Benchmarks]

デプロイメント地理: グローバル
ユースケース

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4は、英語およびプログラミング言語での使用を意図した汎用推論およびチャットモデルです。その他の非英語言語 (スペイン語、フランス語、ドイツ語、イタリア語、日本語) もサポートされています。AIエージェントシステム、チャットボット、RAGシステム、その他のAI搭載アプリケーションを設計する開発者を対象としています。一般的な指示追従タスクにも適しています。

リリース日

Hugging Face — 2026/08/11

モデルアーキテクチャ

  • アーキテクチャタイプ: Mixture-of-Experts ハイブリッド (Mamba + Transformer)
  • ネットワークアーキテクチャ: Nemotron-3-Lightning + Multi-Token Prediction (MTP)
  • モデルパラメータ数: 総計300億 / アクティブ30億

モデル設計

このモデルは20兆トークン以上のデータで事前学習され、最大100万トークンのコンテキスト長をサポートします。事前学習フェーズではNVFP4レシピが使用されました。モデルには、より豊かなトレーニングシグナルを提供するために複数の将来のトークンを予測する Multi-Token Prediction (MTP) レイヤーが含まれています。

トレーニング方法論

ステージ1: 事前学習

  • NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4モデルは、NVFP4レシピを使用して、クロールされた合成コード、数学、科学、一般知識データで事前学習されました。
  • 事前学習に使用されたソフトウェア: Megatron-LM

ステージ2: Multi-Token Prediction (MTP) のための継続的な事前学習

  • モデルは、Multi-Token Prediction (MTP) レイヤーをトレーニングするために、継続的な事前学習フェーズを経ました。このステージでは、MTPヘッドはベースモデルの分布にMTPレイヤーを適合させるために、各位置で1つだけでなく複数の将来のトークンを予測することを学習します。

ステージ3: 教師ありファインチューニング

  • モデルは、合成コード、数学、科学、ツール呼び出し、指示追従、構造化出力、および一般知識データでさらにファインチューニングされました。このステージでは、長距離検索と複数ドキュメント集約をサポートするように設計されたデータが組み込まれました。

ステージ4: 強化学習

  • モデルは、数学、コード、科学、指示追従、マルチステップツール使用、マルチターン会話、および構造化出力環境全体でGRPO (Group Relative Policy Optimization) を使用したマルチ環境強化学習を経ました。トレーニングと推論を分離し、MTPを活用してロールアウト生成を加速する非同期RLアーキテクチャを使用しました。
  • 強化学習に使用されたソフトウェア: NeMo RL, NeMo Gym

ステージ5: 事後学習量子化 (PTQ)

  • Nvidia Model Optimizerを使用して、以下のレシピで事後学習量子化 (PTQ) を実行しました: ルーティングおよび共有エキスパートに対するFour Over Six NVFP4 (静的MSEキャリブレーションのバリアント) W4A16。Mambaのin_proj/out_projおよびKVキャッシュにはFP8のパーテンソルダイナミックスケールを使用しました。キャリブレーションには、32kトークン長で1000サンプルを使用したNemotron Ultra検証セットのサブセットを使用しました。

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 は上記の作業の結果です。

入力

  • 入力タイプ: テキスト
  • 入力フォーマット: 文字列
  • 入力パラメータ: 一次元 (1D): シーケンス
  • その他の入力関連プロパティ: 最大コンテキスト長100万トークン。サポート言語には英語、スペイン語、フランス語、ドイツ語、イタリア語、日本語が含まれます。

出力

  • 出力タイプ: テキスト
  • 出力フォーマット: 文字列
  • 出力パラメータ: 一次元 (1D): シーケンス
  • その他の出力関連プロパティ: 最大コンテキスト長100万トークン

当社のAIモデルは、NVIDIA GPUアクセラレーテッドシステムで実行するように設計および/または最適化されています。NVIDIAのハードウェア (例: GPUコア) とソフトウェアフレームワーク (例: CUDAライブラリ) を活用することで、CPUのみのソリューションと比較して、トレーニングと推論の時間を短縮できます。

ソフトウェア統合

  • ランタイムエンジン: PyTorch
  • サポートハードウェアマイクロアーキテクチャ互換性: NVIDIA Blackwell; NVIDIA Hopper (NVFP4 / W4A16); NVIDIA Ampere (W4A16)
  • 推奨/サポートOS: Linux

基盤モデルとファインチューニング済みモデルをAIシステムに統合するには、安全で効果的なデプロイメントを確保するために、ユースケース固有のデータを使用した追加テストが必要です。Vモデルの方法論に従い、デプロイメント前のリスク軽減、技術的および機能的要件の満たし、安全性および倫理基準への準拠を確保するために、ユニットレベルとシステムレベルの両方で反復的なテストと検証が不可欠です。

モデルバージョン

  • GA (2026/08/11)

クイックスタートガイド

デプロイメントを選択

セットアップと目標推奨パス投機的デコーディング検証済みコンテキスト
DGX Spark (GB10)vLLM + DSparkDSpark (num_speculative_tokens 3)100万
1× H100 — 最大スループット (バッチ)vLLM、投機的デコーディングなし (humming バックエンド)なし100万 (デフォルト)
1× H100 — インタラクティブ (40+ TPS/ユーザー)vLLM + DSpark、コンカレンシー ≤ 128DSpark (num_speculative_tokens 3)100万 (デフォルト)
8× H100 — 長コンテキストvLLM, TP8 + エキスパート並列なし100万
1× GB200vLLM + DSparkDSpark (num_speculative_tokens 5)100万 (デフォルト)
Ampere (A100 など)vLLM, W4A16 カーネルなし100万 (デフォルト)
ローカル — llama.cppllama-server ...—約4万サンプル、VRAMバウンド
ローカル — Ollama / LM Studio / Jan…ollama run nemotron-3.5-lightning内蔵変動あり

以下のデプロイメントスニペットはすべて以下を前提としています:

export MODEL_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4

DSpark の場合:

export DSPARK_CKPT=nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DSpark
投機的デコーディング戦略

Lightning 3.5は、投機的デコーディングのための2つの外部ドラフトモデルと、MTP (Multi-Token Prediction) を提供します。DSparkは推奨デフォルトですが (「デプロイメントを選択」を参照)、一部のワークロードは投機的デコーディングなし、またはDFlashやMTPの方が適しています。

  • DSpark: 並列バックボーンから一度のフォワードパスで候補トークンのブロック全体を提案する、半自動回帰的な投機的デコーディングドラフター。DGX Spark、および低コンカレンシーのデータセンターデプロイメントに推奨されます。
  • DFlash: 軽量ブロック拡散モデルを使用して、一度のフォワードパスで完全なドラフトブロックを生成する投機的デコーディングドラフター。
  • MTP: 各位置で次のトークンだけでなく、複数の将来のトークンを予測するようにネットワークをトレーニングするモデリング技術。

DSparkはDGX Sparkおよびレイテンシに敏感な低コンカレンシーサービングの推奨デフォルトです。H100での最大スループットバッチサービングには、投機的デコーディングなしが最速です。

vLLM

vLLM を介したデプロイ方法の詳細については、こちら を参照してください。

  • vLLM バージョン: vllm/vllm-openai:v0.27.1
1x DGX Spark (GB10)
vllm serve --model $MODEL_CKPT \
  --moe-backend marlin \
  --kv-cache-dtype fp8 \
  --enable-prefix-caching \
  --gpu-memory-utilization 0.85 \
  --speculative_config.num_speculative_tokens 3 \
  --mamba-backend flashinfer \
  --mamba-cache-mode align \
  --reasoning-parser nemotron_v3 \
  --speculative_config.model $DSPARK_CKPT \
  --tool-call-parser qwen3_coder \
  --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (デフォルト)。

1x H100 (最大スループット)

最大スループットデプロイメントの場合、以下の設定を使用します。このサービング設定では投機的デコーディング戦略は不要であり、メモリ制約のためMambaキャッシュ dtype は FP16 に設定されています。

VLLM_HUMMING_MOE_GEMM_TYPE=indexed \
vllm serve --model $MODEL_CKPT \
    --max-num-seqs 256 \
    --max-num-batched-tokens 16384 \
    --enable-prefix-caching \
    --async-scheduling \
    --mamba-backend flashinfer \
    --moe-backend humming \
    --linear-backend humming \
    --mamba-ssu-algorithm horizontal \
    --mamba-cache-mode align \
    --mamba-ssm-cache-dtype float16 \
    --enable-mamba-cache-stochastic-rounding \
    --mamba-cache-philox-rounds 5 \
    --reasoning-parser nemotron_v3 \
    --tool-call-parser qwen3_coder \
    --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (デフォルト)。

1x H100 (インタラクティブ)

インタラクティブな使用シナリオ (40+ TPS/ユーザー達成) では、低コンカレンシー (≤128) とDSparkを使用します。

vllm serve --model $MODEL_CKPT \
    --max-num-seqs 128 \
    --enable-prefix-caching \
    --async-scheduling \
    --speculative_config.model $DSPARK_CKPT \
    --speculative_config.num_speculative_tokens 3 \
    --mamba-backend flashinfer \
    --mamba-ssm-cache-dtype float16 \
    --mamba-cache-mode align \
    --enable-mamba-cache-stochastic-rounding \
    --mamba-cache-philox-rounds 5 \
    --reasoning-parser nemotron_v3 \
    --tool-call-parser qwen3_coder \
    --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (デフォルト)。高コンカレンシーでは、KVキャッシュのヘッドルームを増やすために --max-model-len を低く設定してください。

8x H100 (vLLM)

長コンテキスト、マルチGPUサービング (TP8とエキスパート並列) の場合:

vllm serve --model $MODEL_CKPT \
    --mamba-backend flashinfer \
    --async-scheduling \
    --enable-prefix-caching \
    --mamba-cache-mode align \
    --enable-expert-parallel \
    --tensor-parallel-size 8 \
    --reasoning-parser nemotron_v3 \
    --tool-call-parser qwen3_coder \
    --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (TP8 + エキスパート並列)。

1x GB200 (vLLM)
vllm serve --model $MODEL_CKPT \
    --max-num-batched-tokens 10240 \
    --no-enable-prefix-caching \
    --async-scheduling \
    --speculative_config.model $DSPARK_CKPT \
    --speculative_config.num_speculative_tokens 5 \
    --mamba-backend flashinfer \
    --reasoning-parser nemotron_v3 \
    --tool-call-parser qwen3_coder \
    --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (デフォルト)。

W4A16 (vLLM)

同じチェックポイントがW4A16カーネルでも提供され、A100 80GBのようなAmpereクラスGPUへのカバレッジが拡張されます。

VLLM_HUMMING_MOE_GEMM_TYPE=indexed \
vllm serve --model nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 \
    --moe-backend humming \
    --linear-backend humming \
    --max-num-seqs 256 \
    --max-num-batched-tokens 32768 \
    --enable-prefix-caching \
    --async-scheduling \
    --quantization modelopt_fp4 \
    --mamba-backend flashinfer \
    --mamba-cache-mode align \
    --mamba-ssu-algorithm simple \
    --reasoning-parser nemotron_v3 \
    --tool-call-parser qwen3_coder \
    --enable-auto-tool-choice

検証済みコンテキスト: 100万トークン (デフォルト)

  • コンテキスト長: 上記のH100およびGB200スニペットは、デフォルトでモデルの完全な100万トークンコンテキストウィンドウを提供します。メモリが限られている場合、または高コンカレンシーでKVキャッシュのヘッドルームを増やしたい場合は、ワークロードに合わせて--max-model-lenを低く設定してください。
TensorRT-LLM

TensorRT-LLM を介したデプロイ方法の詳細については、こちら を参照してください。

コンテナ: nvcr.io/nvidia/tensorrt-llm/release:1.3.0rc24

1x H100 (TensorRT-LLM)
cat > nemotron-35-lightning-nvfp4-mtp.yaml << EOF
kv_cache_config:
  dtype: fp8
  enable_block_reuse: false
  mamba_state_config:
     periodic_snapshot_interval: 8192
  free_gpu_memory_fraction: 0.8
  mamba_ssm_cache_dtype: float16
  mamba_ssm_stochastic_rounding: true
  mamba_ssm_philox_rounds: 5
moe_config:
   backend: MARLIN
nvfp4_gemm_config:
  allowed_backends: [marlin, cutlass, cublaslt, cuda_core]
cuda_graph_config:
    enable_padding: true
    max_batch_size: 8
speculative_config:
  decoding_type: MTP
  max_draft_len: 3
  allow_advanced_sampling: true
enable_chunked_prefill: true
num_postprocess_workers: 4
print_iter_log: true
stream_interval: 10
disable_overlap_scheduler: false
EOF

trtllm-serve \
$MODEL_CKPT \
--max_batch_size 8 \
--max_num_tokens 8192 \
--reasoning_parser nemotron-v3 \
--tool_parser qwen3_coder \
--config nemotron-35-lightning-nvfp4-mtp.yaml

検証済みコンテキスト: デフォルトで100万トークン。メモリ制約がある場合は、--max_seq_len を低く設定してください。

SGLang

SGLang を介したデプロイ方法の詳細については、こちら または SGLang クックブック を参照してください。

  • コンテナ: lmsysorg/sglang:dev-nemotron3-5-lightning
1x B200

バランス — 投機的デコーディングなし:

sglang serve \
    --model-path $MODEL_CKPT \
    --mamba-backend flashinfer \
    --mamba-ssm-dtype float16 \
    --enable-mamba-cache-stochastic-rounding \
    --mamba-cache-philox-rounds 5 \
    --mem-fraction-static 0.85 \
    --cuda-graph-max-bs-decode 16 \
    --reasoning-parser nemotron_3 \
    --tool-call-parser qwen3_coder \
    --port 8000
1x H100

Hopper では、NVFP4 ウェイトは W4A16 カーネル経由で実行されます。flashinfer Mamba バックエンドは不要です (FA3 ターゲットアテンションがデフォルトで選択されます)。

sglang serve \
    --model-path $MODEL_CKPT \
    --mamba-ssm-dtype float16 \
    --mem-fraction-static 0.85 \
    --cuda-graph-max-bs-decode 16 \
    --reasoning-parser nemotron_3 \
    --tool-call-parser qwen3_coder \
    --port 8000
1x DGX Spark (GB10)

メモリ予算が小さい — --mem-fraction-static と --cuda-graph-max-bs-decode もそれに応じて低く設定されます。

sglang serve \
    --model-path $MODEL_CKPT \
    --mamba-ssm-dtype float16 \
    --mem-fraction-static 0.78 \
    --cuda-graph-max-bs-decode 4 \
    --reasoning-parser nemotron_3 \
    --tool-call-parser qwen3_coder \
    --port 8000
投機的デコーディング

上記のブロックはバランスベースラインを実行します。上記の投機的デコーディング戦略のいずれかを有効にするには、対応するフラグを任意のコマンドに追加します。

MTP — ドラフトヘッドはターゲットチェックポイントに埋め込まれています (別個のダウンロードは不要):

    --speculative-algorithm EAGLE \
    --speculative-draft-model-path $MODEL_CKPT \
    --speculative-num-steps 5 \
    --speculative-eagle-topk 1 \
    --speculative-num-draft-tokens 6

DFlash — 別個のドラフトモデル (--speculative-dflash-block-size は B200 では 6、H100 / DGX Spark では 4):

    --speculative-algorithm DFLASH \
    --speculative-draft-model-path nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4-DFlash \
    --speculative-dflash-block-size 6

DSpark — 別個のドラフトモデル:

    --speculative-algorithm DSPARK \
    --speculative-draft-model-path $DSPARK_CKPT \
    --speculative-dspark-block-size 3
  • コンテキスト長: 上記のコマンドはデフォルトでモデルの完全なコンテキストウィンドウを提供します。メモリ制約がある場合や、高コンカレンシーでKVキャッシュのヘッドルームを増やしたい場合は、--context-length をより小さい値に設定してください。

ローカルAI (RTX 5090, DGX Spark, および RTX 6000 Pro)

以下のレシピは、素晴らしいパートナーによって検証および提供されています。

Ollama
  • ollama バージョン: 0.32.9

ローカルでの単一コマンド使用のために、Nemotron 3.5 Lightning は Ollama で利用可能で、ツール呼び出しと思考が有効になっています。

ollama run nemotron-3.5-lightning

検証済みコンテキスト: Ollama は利用可能な VRAM に基づいて動的にコンテキストを設定します (24GB 未満 -> 4K、24-48GB -> 32K、48GB+ -> 256K)。より高いコンテキスト制限のために CPU オフロードが発生する可能性がある /set parameter num_ctx DESIRED_CONTEXT_LENGTH を使用できます。

llama.cpp

公式 GGUF ウェイト: ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF。

最も簡単な開始方法:

llama-server -hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF \
  --port 8000

推奨サンプリングを使用した完全なサーバーレシピ:

llama-server \
  -hf ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF:Q4_K_M \
  --temp 1.0 --top-p 0.95 \
  -np 1 \
  -c 40960 \
  --port 8000 \
  -ngl 99 \
  -fa on \
  --jinja \
  --no-webui \
  --fit off

検証済みコンテキスト: 例では -c 40960 (~4万) を設定しています。VRAM が許す限り高くしてください。

LM Studio

このリソース から LM Studio を介して Nemotron 3.5 Lightning 30B A3B を実行することもできます!

APIクライアント

以下の例は OpenAI 互換クライアントを使用しており、上記のどのサービングバックエンドでも動作します。すべてのバックエンドはポート 8000 でサービングします (vLLM と TRT-LLM はデフォルト、SGLang は --port 8000 経由)。そのため、base_url はそのまま機能します。推奨サンプリング設定は 温度 1.0 と Top_P 0.95 です。

上記の vLLM スニペットはチェックポイントを --model $MODEL_CKPT に渡しており、vLLM は同じ識別子 (nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4) でモデルを登録します — コマンドのいずれも --served-model-name を設定していません。他のバックエンドの場合、または独自の --served-model-name を追加した場合は、GET /v1/models から返された識別子を MODEL にコピーしてください。

from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="EMPTY")
MODEL = "nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4"

Lightning 3.5 は、チャットテンプレートの kwargs を介して推論制御を公開します: 思考が有効 (デフォルト)、および直接応答のために思考が無効になります。

思考のON/OFFとストリーミング例: クリックして展開!

思考ON (デフォルト)

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Write a haiku about GPUs"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={"chat_template_kwargs": {"enable_thinking": True}}
)
print(response.choices[0].message.content)

思考OFF

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "What is the capital of Japan?"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={"chat_template_kwargs": {"enable_thinking": False}}
)
print(response.choices[0].message.content)

ストリーミング

stream = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "Explain speculative decoding in two sentences"}],
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    stream=True,
)
for chunk in stream:
    print(chunk.choices[0].delta.content or "", end="", flush=True)
ツール呼び出し

上記の TRT-LLM スニペットは、必要なパーサー (--reasoning_parser nemotron-v3 --tool_parser qwen3_coder) を使用して既に起動しています。vLLM の場合、上記のいずれかのサーブコマンドに以下を追加します。

    --enable-auto-tool-choice \
    --tool-call-parser qwen3_coder \
    --reasoning-parser nemotron_v3

注意: コーディングエージェントの場合、API呼び出しに extra_body={"chat_template_kwargs": {"force_nonempty_content": True}} を追加します。以下に例を示します。

tools = [
    {
        "type": "function",
        "function": {
            "name": "get_weather",
            "description": "Get the current weather for a city",
            "parameters": {
                "type": "object",
                "properties": {"city": {"type": "string"}},
                "required": ["city"],
            },
        },
    }
]

response = client.chat.completions.create(
    model=MODEL,
    messages=[{"role": "user", "content": "What's the weather in Santa Clara?"}],
    tools=tools,
    max_tokens=16000,
    temperature=1.0,
    top_p=0.95,
    extra_body={"chat_template_kwargs": {"force_nonempty_content": True}},
)
print(response.choices[0].message.tool_calls)

トレーニング、テスト、および評価データセット

トレーニング

データモダリティ: テキスト トレーニングデータサイズ: 20兆トークン超 データセット分割: トレーニング [100%]、テスト [0%]、検証 [0%] トレーニングデータ収集期間: 2013年〜2025年12月 テストデータ収集期間: 2013年〜2025年12月 検証データ収集期間: 2013年〜2025年12月 データ収集方法 (データセット別): ハイブリッド: 自動、手動収集、合成 ラベリング方法 (データセット別): ハイブリッド: 自動、手動ラベリング、合成

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 は、高品質にキュレーションされ、合成生成されたデータの広範なコーパスで事前学習されています。英語に加え、19の他の話し言葉と43のプログラミング言語でトレーニングされています。ソースは、ウェブページ、対話、記事、その他の書面資料など、さまざまなドキュメントタイプをカバーしています。コーパスは、法律、数学、科学、金融などのドメインに及びます。モデルの精度を向上させるために、質問応答およびアライメントスタイルのデータも少量含まれています。モデルは20兆トークン以上で事前学習されました。

NVIDIA-Nemotron-3.5-Lightning-30B-A3B-NVFP4 の事後学習コーパスは、高品質にキュレーションされ、合成生成されたデータで構成されています。事後学習に使用された主な言語には、英語、フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語が含まれます。

FinePDFs、EssentialWeb、HotpotQA、SQuAD、HelpSteer3などのこれらのデータセットは、集合的または網羅的にすべての人口統計グループ (およびその比率) を表すものではありません。例えば、これらのデータセットには、ソースによって異なりますが、年齢、性別、または人種といった人口統計クラスの明示的な言及が64〜99%のサンプルに含まれていません。そのような用語が含まれるサブセットでは、ドキュメントベースのデータセット (FinePDFsおよびEssentialWeb) には、「男性」が「女性」よりも多く参照される、「白人」が民族識別子のうち最も頻繁に使用される (民族識別子の言及の43〜44%を占める) などの代表性の偏りがあります。これらの不均衡を軽減するために、バイアス監査、人口統計学的にバランスの取れたデータセットでのファインチューニング、および望ましいモデルの動作に適合させるための対照データ拡張などの緩和戦略のような評価技術を検討することを推奨します。この評価では、埋め込みモデルの精度を最大化するための最適な閾値として特定された、データセットあたり3,000サンプルのサブセットを使用しました。

事後学習中、教師モデルやエージェントシステムから得られた軌跡、ソリューション、翻訳を蒸留して合成データを生成します。これらはしばしば実際のタスクやドキュメントに基づき、品質のために積極的にフィルタリングされます。数学、コード、科学については、キュレーションされた問題セットから開始し、GPT-OSS-120Bのようなオープンソースの許可ライセンスモデルを使用して、ステップバイステップの推論トレース、候補ソリューション、ベストオブN選択トレース、および検証済みのCUDAカーネルを生成します。長コンテキストと科学については、長いドキュメントからパッセージを検索し、MCQ/OpenQAの質問と回答を生成し、多様性を確保するために複数のプロンプト/応答形式に言い換えることで、合成QAおよび推論データを構築します。すべてのパイプライン全体で、コンパイラ、数値チェック、言語識別などの自動検証を積み重ねて、データが高品質であることを保証します。

すべてのドメインについて、高品質でライセンス準拠かつ検証可能なサンプルのみが事後学習に使用されることを保証するために、統一されたデータフィルタリングパイプラインを適用します。まず、構造チェック (例: ツール呼び出しが存在する場合のツール定義の欠落) を使用して、不正な形式の例を破棄します。次に、スライディングウィンドウ内またはトレース全体で繰り返しnグラムを繰り返すなどの病的な繰り返しを示す推論トレースを積極的にフィルタリングします。これは不正な形式または低品質の推論の強力な指標であることがわかりました。最後に、合成生成データセットの内部監査に基づいて、一部の教師モデルが特定の政治的エンティティに暗黙的に適合したり、国家主義的な物語を促進したりする推論トレースと最終応答を時折生成することに気づきました。これを軽減するために、ターゲットを絞ったキーワードおよび正規表現ベースのフィルターを適用し、そのような動作に一致するすべてのトレースを削除します。

モデルと並行して、このセクションで概説されている最終的な事前学習および事後学習データをリリースします。分析を容易にするために、ゲートなしのサンプルセットがあります。残りのすべてのコード、数学、多言語データについては、ゲートと承認が必要であり、データセットはモデルトレーニング目的で許可ライセンスされています。

このモデルのトレーニングに使用されたデータセットの詳細については、トレーニングコンテンツの公開概要 を参照してください。

詳細なデータセット情報については: ここをクリック!

ベース事前学習コーパス (Nemotron 3 Foundation)

モデルの基盤は、Nemotron Pretraining Datasets コレクション の以下のデータセットで構成される Nemotron 3 コーパスでトレーニングされています。

データセットコレクショントークン数説明
Nemotron-CC-v2 & v2.19.1兆Common Crawl からフィルタリングされた英語ウェブデータの巨大なコレクション。2.5兆トークン超の新しいオーガニック、翻訳、合成的に再フレーズされたコンテンツを含む。
Nemotron-CC-Code-v14279億Lynx + LLM パイプラインを使用して Common Crawl から抽出された高品質コードトークン。構造と数式を保持。
Nemotron-Pretraining-Code-v1 & v2 & v31.7兆マルチステージフィルタリング、重複排除、および大規模な合成コードデータを使用したキュレーションされたGitHubコード参照。
Nemotron-CC-Math-v11333億LaTeXフォーマットと数学構造を保持した高品質な数学事前学習データセット。
Nemotron-Pretraining-Specialized-v1 & v1.1 & v1.2 & Nemotron-Pretraining-SFT-v16600億STEM推論や科学コーディングなどの専門ドメインをターゲットにした合成データセット。
Nemotron-Pretraining-Legal-v143億法律ドメインをターゲットにした合成データセット。
公開データセット
データセットコレクション期間
GSM8K2025/04/23
CC-NEWS2025/04/23
Common Crawl2025/04/23
Wikimedia2025/04/23
Bespoke-Stratos-17k2025/04/23
tigerbot-kaggle-leetcodesolutions-en-2k2025/04/23
glaive-function-calling-v22025/04/23
APIGen Function-Calling2025/04/23
LMSYS-Chat-1M2025/04/23
Open Textbook Library - CC BY-SA & GNU subset and OpenStax - CC BY-SA subset2025/04/23
Advanced Reasoning Benchmark, tigerbot-kaggle-leetcodesolutions-en-2k, PRM800K, and SciBench2025/04/23
FineWeb-22025/04/23
Court Listenerレガシーダウンロード
peS2oレガシーダウンロード
OpenWebMathレガシーダウンロード
BioRxivレガシーダウンロード
PMC Open Access Subsetレガシーダウンロード
OpenWebText2レガシーダウンロード
Stack Exchange Data Dumpレガシーダウンロード
PubMed Abstractsレガシーダウンロード
NIH ExPorterレガシーダウンロード
arXivレガシーダウンロード
BigScience Workshop Datasetsレガシーダウンロード
Reddit Datasetレガシーダウンロード
SEC's Electronic Data Gathering, Analysis, and Retrieval (EDGAR)レガシーダウンロード
Advanced Mathematical Problem Solvingレガシーダウンロード
MathPileレガシーダウンロード
NuminaMath CoTレガシーダウンロード
PMC Articleレガシーダウンロード
FLANレガシーダウンロード
Advanced Reasoning Benchmarkレガシーダウンロード
SciBenchレガシーダウンロード
WikiTableQuestionsレガシーダウンロード
FinQAレガシーダウンロード
Riddlesレガシーダウンロード
Problems in Elementary Mathematics for Home Studyレガシーダウンロード
MedMCQAレガシーダウンロード
Cosmos QAレガシーダウンロード
MCTestレガシーダウンロード
AI2's Reasoning Challengeレガシーダウンロード
OpenBookQAレガシーダウンロード
MMLU Auxiliary Trainレガシーダウンロード
social-chemestry-101レガシーダウンロード
Moral Storiesレガシーダウンロード
The Common Pile v0.1レガシーダウンロード
FineMathレガシーダウンロード
MegaMathレガシーダウンロード
MultiverseMathHard2025/10/02
SWE-Gym2025/10/02
WorkBench2025/10/02
WildChat-1M2025/10/02
OpenCodeReasoning-22025/10/02
HelpSteer32025/10/02
opc-sft-stage22025/10/02
Big-Math-RL-Verified2025/10/02
MetaMathQA2025/10/02
simple-arithmetic-problems2025/10/02
arithmetic2025/10/02
Skywork-OR1-RL-Data2025/10/02
FastChat2025/10/02
News Commentary2025/10/02
Essential-Web2025/10/02
finepdfs2025/10/02
HotpotQA2025/10/02
SQuAD2.02025/10/02
NLTK Words Lists2025/10/02
NVIDIAによるクロールおよびスクレイピング

英語のCommon Crawlデータは、Common Crawl Foundationからダウンロードされました (クロールに関するFAQを参照)。これには、CC-MAIN-2013-20からCC-MAIN-2025-13までのスナップショットが含まれています。その後、Nemotron-CC論文で説明されているさまざまな方法で、データは重複排除およびフィルタリングされました。さらに、以下の3つのCommon Crawlスナップショットから15言語のデータを抽出しました: CC-MAIN-2024-51、CC-MAIN-2025-08、CC-MAIN-2025-18。対象となった15言語は、アラビア語、中国語、デンマーク語、オランダ語、フランス語、ドイツ語、イタリア語、日本語、韓国語、ポーランド語、ポルトガル語、ロシア語、スペイン語、スウェーデン語、タイ語です。信頼できる多言語モデルベースの品質分類器が利用できなかったため、Nemotron-CCパイプラインの低品質英語データと同様のヒューリスティックフィルタリングを適用しましたが、一部の言語ではうまく機能しなかったフィルターを選択的に削除しました。重複排除はNemotron-CCと同じ方法で行われました。

GitHubクロールは、GitHub REST APIとAmazon S3 APIを使用して収集されました。各クロールは、GitHubまたはS3のいずれかのソースによって設定されたレート制限に従って操作されました。ソースコードを収集し、許可ライセンスセットに存在しないライセンスを持つものはすべて削除しました。

データセットモダリティデータセットサイズコレクション期間収集組織
English Common Crawlテキスト3.36兆2025/04/08NVIDIA Advanced Deep Learning Research
English Common Crawl 1.1テキスト非公開2025/10/02NVIDIA Advanced Deep Learning Research
Multilingual Common Crawlテキスト8127億2025/05/01NVIDIA Advanced Deep Learning Research
GitHub Crawlテキスト7474億2025/04/29NVIDIA Advanced Deep Learning Research
GitHub Crawl 1.1テキスト1727億2025/09/30NVIDIA Advanced Deep Learning Research

第三者のプライベート非公開アクセス可能データセット

データセットモデル(群)
Global Regulation不明
TAUS Translation Memory不明
Scale HLE不明
HackerRank Coding不明
RL data for SearchGemini 3; GPT-5
Mercor SWE-AgentsV1非公開

NVIDIAによるプライベート非公開アクセス可能データセット

データセットモデル(群)
Simple Minesweeper非公開
Simple Sudoku非公開
Multitool Typewriter Hard非公開
Machine Translation of News Commentary and TAUS Translation Memory非公開
Machine Translation of STEM -Qwen2.5-14B-Instruct
Competitive Coding RL data from Nemotron Cascade非公開
Long context RL非公開
Single-step SWE RL for patch generation非公開
OpenHands SWE非公開

NVIDIA提供の合成データセット (事前学習)

データセットモダリティデータセットサイズシードデータセット生成に使用されたモデル(群)
Nemotron-Pretraining-Fact-Seekingテキスト350億FineWikiQwen3-30B-A3B-Instruct-2507
Nemotron-Pretraining-Legalテキスト43億CommonPile (caselaw_access_project_filtered); California Code of Regulations; Judicial Ethics Opinions; GLOBALCIT; CUAD; Nemotron Personas; ToSDR Terms of Service Corpus; CodeHima/TOS_Dataset; ContractNLI; CaseHOLD; Code of Federal Regulations; Canadian Case Law (商用利用可能なサブセット)Qwen3-235B-A22B-Thinking-2507
Nemotron-Pretraining-Formal-Logicテキスト1億2800万Nemotron PersonasQwen3-235B-A22B-Thinking-2507
Nemotron-Pretraining-Economicsテキスト7340万-Qwen3-235B-A22B-Thinking-2507
Nemotron-Pretraining-Multiple-Choiceテキスト16億MMLU Auxiliary TrainDeepSeek-V3; Qwen3-235B-A22B
Nemotron-Pretraining-Code-Conceptsテキスト73億-gpt-oss-20b; gpt-oss-120b
Nemotron-Pretraining-Unconditional-Algorithmicテキスト1億9650万-gpt-oss-120b; Qwen3-235B-A22B
More Synthetic Tasks from DeepSeek-V3 and Qwen3-235B-A22Bテキスト11億train splits of acp_bench; ai2_arc; babi; gsm8k; hendrycks_math; IFEval; MedText; mediqa_qa; mlqa; MMLU-Pro; mmlu-pro-plus; MMLU-ProX; nq_open; tinyGSM8k; truthful_qa; truthfulqa-multi; MATH-lighteval; mmlu; awesome-chatgpt-prompts; super_glueDeepSeek v3; Qwen3-235B-A22B
Synthetic Tasks from DeepSeek-V3 and Qwen3-235B-A22Bテキスト67億train splits of Into the Unknown; AI2 ARC (AI2 Reasoning Challenge); BLiMP (Benchmark of Linguistic Minimal Pairs); CommonSenseQA; GLUE; HeadQA; Hendrycks Ethics; Memo Trap; modus-tollens; NeQA; pattern-matching-suppression; mastermind_24_mcq_random; mastermind_24_mcq_close; quote-repetition; redefine-math; Repetitive Algebra; sig-figs; MMLU-Pro; MC-TACO; MedConceptsQA; MMLU_dataset; OpenbooksQA; PIQA (Physical Interaction Question Answering); SocialIQA; SuperGLUE; tinyAI2_arc; tinyMMLU; tinyWinogrande; TruthfulQA; WebQuestions; Winogrande; GPQA; MBPPDeepSeek v3; Qwen3-235B-A22B
Synthetic Art of Problem Solving from DeepSeek-R1テキスト400億Art of Problem Solving; American Mathematics Competitions 8; American Mathematics Competitions 10DeepSeek-R1
Synthetic Moral Stories and Social Chemistry from Qwen3-235B-A22B-Thinking-2507 and Mixtral-8x22B-v0.1テキスト1520万social-chemestry-101; Moral StoriesQwen3-235B-A22B-Thinking-2507; Mixtral-8x22B-v0.1
Synthetic Moral Stories and Social Chemistry from Mixtral-8x22B-v0.1テキスト3億2700万social-chemestry-101; Moral StoriesMixtral-8x22B-v0.1
Synthetic Social Sciences seeded with OpenStax from DeepSeek-V3, Mixtral-8x22B-v0.1, and Qwen2.5-72Bテキスト8360万OpenStax - CC BY-SA subsetDeepSeek-V3; Mixtral-8x22B-v0.1; Qwen2.5-72B
Synthetic Health Sciences seeded with OpenStax from DeepSeek-V3, Mixtral-8x22B-v0.1, and Qwen2.5-72Bテキスト970万OpenStax - CC BY-SA subsetDeepSeek-V3; Mixtral-8x22B-v0.1; Qwen2.5-72B
Synthetic STEM seeded with OpenStax, Open Textbook Library, and GSM8K from DeepSeek-R1, DeepSeek-V3, DeepSeek-V3-0324, and Qwen2.5-72Bテキスト1億7500万OpenStax - CC BY-SA subset; GSM8K; Open Textbook Library - CC BY-SA & GNU subsetDeepSeek-R1, DeepSeek-V3; DeepSeek-V3-0324; Qwen2.5-72B
Nemotron-PrismMathテキスト46億Big-Math-RL-Verified; OpenR1-Math-220kQwen2.5-0.5B-instruct, Qwen2.5-Math-72B-Instruct; DeepSeek-R1-Distill-Qwen-32B
Synthetic Question Answering Data from Papers and Permissible Books from Qwen2.5-72B-Instructテキスト3億5000万arXiv; National Institutes of Health ExPorter; BioRxiv; PMC Article; USPTO Backgrounds; peS2o; Global Regulation; CORE; PG-19; DOAB CC BY & CC BY-SA subset; NDLTDQwen2.5-72B-Instruct
Synthetic Rephrased Math Data from Common Crawl from phi-4テキスト730億Common Crawlphi-4
Synthetic Math Data from Common Crawl 4plusテキスト523億Common Crawlphi-4
Synthetic Math Data from Common Crawl 3テキスト809億Common Crawlphi-4
Synthetic AGIEval seeded with AQUA-RAT, LogiQA, and AR-LSAT from DeepSeek-V3 and DeepSeek-V3-0324テキスト40億AQUA-RAT; LogiQA; AR-LSATDeepSeek-V3; DeepSeek-V3-0324
Synthetic AGIEval seeded with AQUA-RAT, LogiQA, and AR-LSAT from Qwen3-30B-A3Bテキスト42億AQUA-RAT; LogiQA; AR-LSATQwen3-30B-A3B
Synthetic Art of Problem Solving from Qwen2.5-32B-Instruct, Qwen2.5-Math-72B, Qwen2.5-Math-7B, and Qwen2.5-72B-Instructテキスト非公開Art of Problem Solving; American Mathematics Competitions 8; American Mathematics Competitions 10; GSM8K; PRM800KQwen2.5-32B-Instruct; Qwen2.5-Math-72B; Qwen2.5-Math-7B; Qwen2.5-72B-Instruct
Synthetic MMLU Auxiliary Train from DeepSeek-R1テキスト5億MMLU Auxiliary TrainDeepSeek-R1
Synthetic Long Context Continued Post-Training Data from Papers and Permissible Books from Qwen2.5-72B-Instructテキスト非公開arXiv; National Institutes of Health ExPorter; BioRxiv; PMC Article; USPTO Backgrounds; peS2o; Global Regulation; CORE; PG-19; DOAB CC BY & CC BY-SA subset; NDLTDQwen2.5-72B-Instruct
Synthetic Common Crawl from Qwen3-30B-A3B and Mistral-Nemo-12B-Instructテキスト4158億Common CrawlQwen3-30B-A3B; Mistral-NeMo-12B-Instruct
Synthetic Multilingual Data from Common Crawl from Qwen3-30B-A3Bテキスト非公開Common CrawlQwen3-30B-A3B
Synthetic Multilingual Data from Wikimedia from Qwen3-30B-A3Bテキスト非公開WikimediaQwen3-30B-A3B
Synthetic Math Data from Wikimedia from Nemotron-4-340B-Instructテキスト非公開-Nemotron-4-340B-Instruct
Synthetic Common Crawl Code from phi-4テキスト4279億Common Crawlphi-4
Synthetic Scientific Coding from Qwen3-235B-A22Bテキスト12億WikimediaQwen3-235B-A22B-Instruct-2507
Tool Calling Dataテキスト262億-Qwen3-235B-A22B-2507; gpt-oss-120b
Synthetic Essential-Web from QwQ-32Bテキスト281億Essential-WebQwQ-32B
Translated Synthetic Crawlテキスト3899億Common CrawlQwen3-30B-A3B
Translated Synthetic Wikipediaテキスト79億WikimediaQwen3-30B-A3B
Synthetic Long Context from Qwen3-235B-A22B-Instruct-2507テキスト非公開CORE; PG-19; DOAB CC BY & CC BY-SA subset; NDLTDQwen3-235B-A22B-Instruct-2507
Synthetic Search STEM OPENQ from DeepSeek-R1-0528テキスト非公開-DeepSeek-R1-0528
Synthetic MCQ from Qwen2.5-32B-Instruct and DeepSeek-R1-0528テキスト非公開-Qwen2.5-32B-Instruct; DeepSeek-R1-0528
Synthetic Offline Search MCQA HLE from DeepSeek-R1-0528テキスト非公開-DeepSeek-R1-0528
Synthetic Offline Search MCQA GPQA from Qwen3-235B and DeepSeek-R1-0528テキスト非公開-Qwen3-235B; DeepSeek-R1-0528
Synthetic Human Preference from QwQ-32B, Qwen3-30B-A3B, Qwen3-235B-A22B, Qwen3-235B-A22B-Instruct-2507, Mistral-Small-3.1-24B-Instruct-2503, Mistral-Small-3.2-24B-Instruct-2506, MiniMax-M1-80k, MiniMax-M1-40k, Kimi-K2-Instruct, DeepSeek-V3-0324, DeepSeek-R1-0528テキスト非公開-QwQ-32B; Qwen3-30B-A3B; Qwen3-235B-A22B; Qwen3-235B-A22B-Instruct-2507; Mistral-Small-3.1-24B-Instruct-2503; Mistral-Small-3.2-24B-Instruct-2506; MiniMax-M1-80k; MiniMax-M1-40k; Kimi-K2-Instruct; DeepSeek-V3-0324; DeepSeek-R1-0528
Synthetic Code from Qwen3-32Bテキスト非公開English Common Crawl; English Common Crawl 1.1Qwen3-32B
Synthetic OpenCodeReasoning from DeepSeek-R1テキスト非公開OpenCodeReasoningDeepSeek-R1
Synthetic OpenCodeReasoning from DeepSeek-R1-0528テキスト非公開OpenCodeReasoningDeepSeek-R1-0528
Synthetic HackerRank Coding from DeepSeek-R1-0528テキスト非公開HackerRank Coding DatasetDeepSeek-R1-0528
Synthetic LIMO from DeepSeek-R1-0528テキスト非公開LIMODeepSeek-R1-0528
Synthetic SCP from DeepSeek-R1-0528テキスト非公開SCP-116KDeepSeek-R1-0528
Synthetic Stack Exchange from DeepSeek-R1-0528テキスト非公開Stack ExchangeDeepSeek-R1-0528
Synthetic Stack Exchange from gpt-oss-120b and Qwen2.5-32B-Instructテキスト非公開Stack Exchangegpt-oss-120b; Qwen2.5-32B-Instruct
Synthetic Stack Exchange from gpt-oss-120bテキスト非公開Stack Exchangegpt-oss-120b
Synthetic Art of Problem Solving from gpt-oss-120b and Qwen2.5-32B-Instructテキスト非公開Art of Problem Solving; American Mathematics Competitions 8; American Mathematics Competitions 10gpt-oss-120b; Qwen2.5-32B-Instruct
Synthetic Common Crawl from Qwen3-30B-A3Bテキスト非公開Common CrawlQwen3-30B-A3B
Synthetic Wikipedia from Qwen3-30B-A3Bテキスト非公開WikimediaQwen3-30B-A3B
Synthetic Essential-Web from Qwen3-30B-A3B and Qwen3-235B-A22B-Thinking-2507テキスト非公開Essential-WebQwen3-30B-A3B; Qwen3-235B-A22B-Thinking-2507
Synthetic Essential-Web from gpt-oss-120bテキスト非公開Essential-Webgpt-oss-120b
Synthetic Textbook Math from Qwen3-30B-A3B, Qwen3-235B-A22B, phi-4テキスト非公開Common Crawl; FineMathQwen3-30B-A3B; Qwen3-235B-A22B; phi-4
Synthetic Math and Code from DeepSeek-R1 and DeepSeek-R1-0528テキスト非公開Magicoder-Evol-Instruct-110K; opc-sft-stage2; TACO; OpenCodeReasoning; OpenMathReasoning; NuminaMath CoTDeepSeek-R1; DeepSeek-R1-0528
Synthetic Math from gpt-oss-120b and Qwen2.5-32B-Instructテキスト非公開-gpt-oss-120b; Qwen2.5-32B-Instruct
Synthetic OpenMathReasoning from gpt-oss-120b and Qwen2.5-32B-Instructテキスト非公開OpenMathReasoninggpt-oss-120b; Qwen2.5-32B-Instruct
Synthetic KernelBook from DeepSeek-R1-0528テキスト非公開KernelBookDeepSeek-R1-0528
Synthetic Scale HLE from gpt-oss-120bテキスト非公開Scale HLEgpt-oss-120b
Synthetic CDQuestions from gpt-oss-120bテキスト非公開CDQuestionsgpt-oss-120b
Synthetic GPQA from gpt-oss-120b and Qwen2.5-32B-Instructテキスト非公開Stack Exchangegpt-oss-120b; Qwen2.5-32B-Instruct
Synthetic Vedantu from gpt-oss-120bテキスト非公開Vedantugpt-oss-120b
Synthetic Search STEM MCQ from Qwen3-235B-A22B and DeepSeek-R1-0528テキスト非公開-Qwen3-235B-A22B; DeepSeek-R1-0528
Synthetic OpenSTEM from Qwen2.5-32B-Instruct and DeepSeek-R1-0528テキスト非公開-Qwen2.5-32B-Instruct; DeepSeek-R1-0528
Synthetic MCQ10 from DeepSeek-R1-0528テキスト非公開-DeepSeek-R1-0528
Synthetic MCQ4 from Qwen3-235B-A22B, DeepSeek-R1-0528, and Qwen3-235B-A22B-Instruct-2507テキスト非公開-Qwen3-235B-A22B; DeepSeek-R1-0528; Qwen3-235B-A22B-Instruct-2507

NVIDIA提供の合成データセット (事後学習)

データセットモダリティデータセットサイズシードデータセット生成に使用されたモデル(群)
Synthetic Competitive MATH Proofs from DeepSeek-V4-Proテキスト非公開[AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions][deepseek-ai/DeepSeek-V4-Pro]
Synthetic Hermes Agent Reasoning Tracesテキスト非公開[lambda/hermes-agent-reasoning-traces][hermes-agent-generator]
Synthetic Competitive Coding from DeepSeek-V4-Proテキスト非公開[NVCompetitiveCodingV1][deepseek-ai/DeepSeek-V4-Pro]
Synthetic Competitive Science Reasoning from DeepSeek-V4-Proテキスト非公開[AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [EssentialAI/essential-web-v1.0]; [cdquestions.com]; [Pile-FreeLaw]; [Vedantu]; [askfilo]; [doubtnut]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)]; [AAPT]; [ChemData 700K]; [oMeBench]; [Flavor Analysis and Recognition Transformer]; [ChemCoTBench]; [Llama Nemotron Dataset][deepseek-ai/DeepSeek-V4-Pro]
Synthetic Competitive MATH CoT and TIR from Nemotron 5.5テキスト非公開[Pile-FreeLaw]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions][Nemotron 5.5]
Vendor Terminal Bench-like Tasks from Mercorテキスト非公開[Terminal bench like tasks curated by the vendor]非公開 — 購入済みデータセット
Turing Math Data Packテキスト非公開[Turing Math Data Pack dataset]非公開 — 購入済みデータセット
Synthetic Holdout, Skywork, DAPO, and Turing Math from GPT-5.5テキスト非公開[DocQA-RL-1.6K]; [DAPO-Math-17k][GPT-5.5]
Synthetic Long Context RL from QwenLong L1 and DocQA-RL-1.6Kテキスト非公開[DocQA-RL-1.6K]非公開
Synthetic Competitive Coding Gym Tasksテキスト非公開[NVCompetitiveCodingV1.1]非公開
Synthetic Finance SEC Search Agent from GPT-OSS-120B and Qwen3テキスト非公開[SEC filings from sec.gov][GPT-OSS-120B]; [Qwen3-235B-A22B-Instruct]; [Qwen3-4B-Instruct]
Synthetic Structured Outputs from Qwen3-30B-A3B-Instruct-2507, Qwen3-30B-A3B-Thinking-2507, Qwen3-235B-A22B-Instruct-2507, and Qwen3-235B-A22B-Thinking-2507テキスト非公開[Nemotron-RL-agent-structured-outputs-v1][Qwen3-30B-A3B-Instruct-2507]; [Qwen3-235B-A22B-Instruct-2507]
Synthetic Long Context Equivalence Rule from Qwen3-235B-A22B-Thinking-2507 and DeepSeek-R1テキスト非公開[Long-context SFT data][Qwen/Qwen3-235B-A22B-Thinking-2507]; [Deepseek-ai/DeepSeek-R1]
Synthetic Science RL Data Blend from Qwen2.5-32Bテキスト非公開[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][Qwen2.5-32B]
Synthetic Abstention Data from Nemotron Super v3テキスト非公開[Go abstention Dataset][nvidia/nvidia/nemotron-3-super-v3]
Synthetic Chemistry Data from Nemotron Super v3テキスト非公開[ChemData 700K][Nemotron Super v3]
Synthetic Tool Call Schema for RLテキスト469,983[UltraTool]; [ToolEyes]; [AutoTools]; [API-Bank]; [Nemotron-Personas-USA]; [Salesforce xLAM function-calling]; [Glaive function-calling-v2]; [Agent-Ark/Toucan-1.5M][DeepSeek-V3.2]; [GLM-4.6]; [gpt-oss-120b]; [Kimi-K2-Instruct]
Synthetic Freeform Text Formatting from GPT-OSS-120Bテキスト非公開[In-house data][GPT OSS 120B - Apache 2.0]
Synthetic Citation Formatting from GPT-OSS-120Bテキスト非公開[In-house data][GPT OSS 120B - Apache 2.0]
Droid Harness Pivot Vendor Dataテキスト非公開[Droid Harness Pivot vendor data]非公開
Synthetic HotpotQA Training Data from Qwen3-235Bテキスト非公開[HotpotQA][Qwen3-235B]
Synthetic Natural Language Math Proofs from Nemotron 5.5テキスト非公開[AMC8, AMC10, and AIME problem sets hosted on Art of Problem Solving]; [Pile-StackExchange][Nemotron 5.5]
Synthetic Stack Overflow OpenQテキスト非公開[Pile-FreeLaw]非公開
Chemistry Ether0 Vendor Dataテキスト非公開[Chemistry ether0 vendor data]非公開
Synthetic Litmus-Bench Chemistry from ChEMBLテキスト非公開[ChEMBL]; [Nemo Gym RL dataset generated from ChEMBL with RDKit]非公開
Synthetic ZINC Chemistry from Nemotron Super v3テキスト非公開[ZINC][Nemotron Super v3]
ARC-AGI Gym Environmentテキスト非公開[ARC-AGI-2][ARC-AGI-2]
Synthetic Agentic Search Tool-Use from DeepSeek-V3.2テキスト非公開[Mercor Data][DeepSeek-V3.2]
Synthetic Text-To-SQLテキスト96,564[In-house Text-to-SQL data][gpt-oss-120b]
Dialog Memory Vendor Dataテキスト非公開[Patronus external vendor agreement]非公開
Synthetic Indirect Prompt Injection from Nemotron Super v3 and Qwen3-Next-80B-A3B-Instructテキスト非公開[In-house indirect prompt injection data][nvidia/nemotron-3-super-v3, qwen/qwen3-next-80b-a3b-instruct]
Synthetic Malicious Code and Agentic Securityテキスト非公開[In-house malicious-code / agentic-security data]非公開
Synthetic Single-Step SWE Patch Selectionテキスト非公開[SWE-Gym Dataset]; [SWE Bench Verified Benchmark][ground truth and task checks]
Synthetic Natural Language Math Final Answers from Nemotron 5.5テキスト非公開[AMC8, AMC10, and AIME problem sets hosted on Art of Problem Solving]; [Pile-StackExchange][nemotron 5.5]
Synthetic Simple Math Prompts for Token Efficiencyテキスト非公開[In-house simple math prompts]非公開
Synthetic Abstention Data from Nemotron Super v3 (CRAG)テキスト非公開[CRAG][nvidia/nvidia/nemotron-3-super-v3]
Synthetic Agentless SWEテキスト242,536[SWE-Rebench-V2]; [SWEbench Training Set]; [R2E-Gym/R2E-Gym-Subset]; [SWE-Gym/SWE-Gym]; [SWE-Rebench][openai/gpt-oss-120b]
Synthetic Agentless SWE from DeepSeek-R1-0528テキスト209,976[SWE-Bench-Train]; [SWE-Fixer-Train]; [SWE-reBench]; [SWE-Smith][deepseek-ai/DeepSeek-R1-0528]
Synthetic Agentic CUDA Traces from GLM-4.7テキスト2,276[Internal CUDA task data][GLM-4.7]
Synthetic Math Proofs from DeepSeek-V3.2-Specialeテキスト820,772[Nemotron-Math-Proofs-v1][SDG: DeepSeek-V3.2-Speciale]; [Filter: proof validation]
Synthetic Multilingual SFT from DeepSeek-V3テキスト1,245,284[Nano v3 SFT data][DeepSeek-V3]
Synthetic Agentic Code from gpt-oss-120bテキスト109,086[NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1][openai/gpt-oss-120b]
Synthetic Agentic CLI and Web Skills from gpt-oss-120bテキスト27,418[NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1][openai/gpt-oss-120b]
Synthetic Agentic Coding from gpt-oss-120bテキスト160,531[NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1][openai/gpt-oss-120b]
Synthetic OpenCode Agentic Tasks from gpt-oss-120bテキスト614,773[NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1][openai/gpt-oss-120b]
Synthetic SWE Unverifiedテキスト非公開[NVAgenticCLIPrompts-v1]; [NVAgenticSkills-v1]; [NVAgenticCLIMultiTurnPrompts-v1]; [NVAgenticCLIPrompts-Web-v1][gpt-oss-120b]; [Qwen/Qwen3-Coder-480B-A35B-Instruct]; [GLM-4.7-Flash]
Synthetic ARC-AGI Ultra Dataテキスト192,016[ARC-AGI-2]; [arc dataset collection][ARC-AGI-2]
Synthetic LiveCodeBench TIR from DeepSeek-R1-0528テキスト1,283,398[Nemotron-X training datasets][DeepSeek-R1-0528]
Synthetic Verilog and SystemVerilog Code from DeepSeek-R1-0528 and GPT-OSS-120Bテキスト1,233,247[Verilog/SystemVerilog seed code][SDR: DeepSeek R1 0528 and GPT-OSS-120B]; [Filtering: Claude 4 Sonnet]
Synthetic Aider Python Tasks from DeepSeek-R1-0528テキスト236,099[Exercism (GitHub Python)][Deepseek R1 0528]
Synthetic Chat Reasoning-Off Data from GLM-5テキスト646,738[lmarena-ai/repochat-arena-preference-4k user prompts][Multi-turn conversations generated by GLM-5 with best-of-4 selection via Qwen3-Nemotron-235B-A22B-GenRM]
Synthetic Chat Reasoning-On Data from GLM-5テキスト644,286[lmarena-ai/repochat-arena-preference-4k user prompts]; [lmarena-ai/arena-expert-5k user prompts]; [lmarena-ai/arena-human-preference-55k user prompts]; [lmarena-ai/arena-human-preference-100k user prompts]; [lmarena-ai/arena-human-preference-140k user prompts][Multi-turn conversations generated by GLM-5 with best-of-4 selection via Qwen3-Nemotron-235B-A22B-GenRM]
Synthetic Multilingual Safety from Riva-Translate-4B-Instruct-v1.1テキスト132,067[Safety SFT Data: Ultra][nvidia/Riva-Translate-4B-Instruct-v1.1]
Synthetic Science Reasoning Effort Mediumテキスト502,722[science-reasoning-effort-medium-v0]非公開
Synthetic Telecom Tool-Use Trajectories from gpt-oss-120bテキスト12,455[Existing Tau2 telecom trajectories originally generated with DeepSeek V3.2][gpt-oss-120b]
Synthetic Terminal Bench Data from OpenReasoningv2テキスト非公開[OpenCodeReasoningv2]; [OpenMathReasoning]; [nemo-swe-bench-repos]; [SWE-Rebench]; [SWE-Fixer-110K][OpenReasoningv2]
Synthetic Tulu Instruction Following from DeepSeek-R1-0528テキスト105,361[Nemotron-X training datasets][DeepSeek-R1-0528]
Synthetic Instruction Following from gpt-oss-120bテキスト151,988[IFEval]; [IFEvalG][gpt-oss-120b]
Synthetic Instruction Following for RLテキスト非公開[WildChat-1M]; [LMSYS-340B-Eval Dataset]; [LMSYS-Chat-1M Prompts]; [IFEval]; [IFEvalG][Qwen/Qwen3-235B-A22B-Thinking-2507]; [gpt-oss-120b]; [Qwen3-235B-A22B-Instruct-2507]
Synthetic Identity Data from Qwen3-Next-80B-A3B-Instruct and Qwen3-235B-A22B-Instruct-2507テキスト25,992[Hand-written prompts][Qwen3-Next-80B-A3B-Instruct]; [Qwen3-235B-A22B-Instruct-2507]
Synthetic Terminus Ultra Agentic Reasoning Blendテキスト96,881[ARC-AGI-2]; [OpenCodeReasoningv2]; [OpenMathReasoning]; [SWE-Fixer-110K]; [SWE-Rebench]; [SWE-Smith][DeepSeek-V3.2]; [Qwen3-235B-A22B-Thinking-2507]; [Ring-1T]; [Kimi-K2.5]; [GLM-4.7-FP8]; [Qwen3-Next-80B-A3B-Thinking]; [gpt-oss-120b]; [Ministral-3-14B-Reasoning-2512]; [LM-4.5-Air-FP8]
Synthetic STEM from Qwen3-235B-A22B-Thinking-2507テキスト1,174,694[IChO-IPhO-RL-v2]; [Physics-Big Dataset]; Scale HLE; [OpenMathReasoning]; [OpenCodeReasoning][Qwen3-235B-A22B-Thinking-2507]
Synthetic STEM from Qwen3-235B-A22B-Instruct-2507 and gpt-oss-120bテキスト非公開[arXiv]; [National Institutes of Health ExPorter]; [BioRxiv]; [PMC Article]; [USPTO Backgrounds]; [peS2o]; Global Regulation; [CORE]; [PG-19]; [DOAB CC BY & CC BY-SA subset]; [NDLTD][Qwen3-235B-A22B-Instruct-2507]; [gpt-oss-120b]
Translation Data from TAUSテキスト1,618,055[TAUS proprietary dataset]非公開
Synthetic Art of Problem Solving and Stack Exchange from gpt-oss-120b, Qwen2.5-32B-Instruct, and Goedel-Prover-V2-32Bテキスト860,469[Nemotron-Math-Proofs-v1][Goedel-Prover-V2-32B]
Synthetic Art of Problem Solving and Stack Exchange from gpt-oss-120bテキスト1,201,815[Upstream released math dataset]; [AoPS]; [StackOverflow / StackExchange][gpt-oss-120b]
Synthetic Multilingual Science and Code data from DeepSeek-R1, DeepSeek-R1-0528, Qwen2.5-32B-Instruct, and Qwen3-235B-A22B, translated with Qwen2.5-32B-Instruct and Qwen2.5-14B-Instructテキスト非公開[Nano-V3 SFT Data (without tool call)][Qwen/Qwen2.5-14B-Instruct]; [Qwen3-4B-Thinking-2507]
Synthetic Multilingual Science and Code data from DeepSeek-R1, DeepSeek-R1-0528, Qwen2.5-32B-Instruct, and Qwen3-235B-A22B, translated with Qwen2.5-32B-Instruct and Qwen2.5-14B-Instruct (Stack Exchange lineage)テキスト非公開[Stack Exchange]; [SCP-116K]; [LIMO]; [TACO]; Code Contest; Codeforces[DeepSeek-R1]; [DeepSeek-R1-0528]; [Qwen2.5-32B-Instruct]; [Qwen3-235B-A22B]
Synthetic Search Graph Walkテキスト6,977[Wikidata / Wikipedia KnowledgeBase][MiniMaxAI/MiniMax-M2]
Synthetic Agentic Diverse Domainsテキスト281,537[Handwritten prompts (synthetic; no external seed data used)][SDG model: deepseek-ai/DeepSeek-V3.2, deepseek-ai/DeepSeek-R1-0528, Qwen/Qwen3-235B-A22B-Thinking-2507, Qwen/Qwen3-32B]; [Filtering model: openai/gpt-oss-120b, Qwen/Qwen3-32B, Qwen/Qwen3-235B-A22B-Instruct-2507]
Synthetic Long Context from Qwen3-235B-A22B-Instruct-2507テキスト非公開[Long-context SFT seed blend (pre-training blend + nano-v1 post-training data)]; [Long-context SFT data: lc_nothink 256k, MRCR 200k, RULER 256k]; [AALCR seed blend: SEC Filings, CC, Wikipedia, FinePDFs, ArXiv, Pile-NIH ExPorter, BioRxiv, PMC Article, USPTO Backgrounds, peS2o, Global Regulations, CORE, Gutenberg (PG-19), DOAB CC-BY, NDLTD, Amps, StackExchange, MathPile, Numinas][Qwen/Qwen3-235B-A22B-Thinking-2507]; [deepseek-ai/DeepSeek-R1]; [Qwen3-30B-A3B]
Synthetic Nemotron Math SFT from DeepSeek-V3.2-Specialeテキスト1,900,553[Nemotron-Math-v2 (AOPS and StackExchange-math problems)][DeepSeek-V3.2-Speciale]
Synthetic Nemotron Math TIR from DeepSeek-V3.2テキスト1,789,258[Nemotron-Math-v2 (AOPS and StackExchange-math problems)][DeepSeek-V3.2]
Synthetic NemoCascade OCR Distillation from gpt-oss-120bテキスト682,864[Nemotron-X training datasets][gpt-oss-120b]
Synthetic CUDA 100kテキスト93,086[KernelBook]; [HuggingFace Transformers]; [FlashInfer][gpt-oss-120b]; [DeepSeek-R1-0528]
Synthetic Science MCQ and QA Diversity from GPT-OSS and Kimi-K2テキスト532,942[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Science HLE with Python from GPT-OSS and Kimi-K2テキスト85,184[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Science Search and Python from GPT-OSS and Kimi-K2テキスト6,179[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Science Search from GPT-OSS and Kimi-K2テキスト32,554[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Finance Reasoning from GPT-OSS-120B and Qwen3-235B-A22B-Instruct-2507テキスト326,700[SEC filings][GPT-OSS-120B, Qwen3-235B-A22B-Instruct-2507]
Synthetic Science Diversity MCQ from GPT-OSS and Kimi-K2テキスト532,942[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Science Diversity OpenQ from GPT-OSS and Kimi-K2テキスト131,045[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Science Reasoning No-Tool from GPT-OSS and Kimi-K2テキスト2,085,600[doubtnut]; [Pile-FreeLaw]; [Llama Nemotron Dataset]; [askfilo]; [EssentialAI/essential-web-v1.0]; [Vedantu]; [auxiliary_train]; [cdquestions.com]; [AMC 8 Problems and Solutions, AMC 10 Problems and Solution, and AIME Problems and Solutions]; [AAPT]; [ICHO-IPH0 Dataset]; [LIMO dataset (Less is More for Reasoning)][GPT-OSS]; [Kimi-K2]
Synthetic Text-To-SQL from gpt-oss-120bテキスト非公開[In-house Text-to-SQL data][gpt-oss-120b]
Synthetic Tool Call Schema for RL (extended)テキスト707,967[UltraTool]; [ToolEyes]; [AutoTools]; [API-Bank]; [Nemotron-Personas-USA]; [Salesforce xLAM function-calling]; [Glaive function-calling-v2]; [Agent-Ark/Toucan-1.5M][DeepSeek-V3.2]; [GLM-4.6]; [gpt-oss-120b]; [Kimi-K2-Instruct]
Synthetic Safety from gemma-3-4b-it, Nemotron-Nano-9B-v2, and gpt-oss-120bテキスト44,091[Safety SFT Data][google/gemma-3-4b-it]; [Nemotron-Nano-9B-v2]; [gpt-oss-120b]
Synthetic Safety from DeepSeek-R1-0528, gpt-oss-120b, DeepSeek-R1-Distill-Qwen-7B, and Mixtral-8x7B-v0.1テキスト非公開[Nemotron Content Safety Dataset V2]; [Gretel Synthetic Safety Alignment Dataset]; [RedTeam-2K]; [Malicious Tasks]; [Nemotron-Personas-USA][DeepSeek-R1-0528]; [gpt-oss-120b]; [DeepSeek-R1-Distill-Qwen-7B]; [Qwen3-30B-A3B-Thinking-2507]; [Qwen3-235B-A22B-Instruct-2507]; [Mixtral-8x7B-v0.1]
Synthetic Tool Calling from Qwen3-235B-A22B-Thinking-2507 and Qwen3-Next-80B-A3B-Thinkingテキスト非公開[ToolBench]; [glaive-function-calling-v2]; [APIGen Function-Calling]; [Nemotron-Personas-USA][Qwen3-235B-A22B-Thinking-2507]; [Qwen3-Next-80B-A3B-Thinking]
Synthetic Chat from gpt-oss-120b, Mixtral-8x22B-Instruct-v0.1, Qwen3-235B-A22B-Instruct-2507, and Qwen3-235B-A22B-Thinking-2507テキスト非公開[C4]; [LMSYS-Chat-1M]; [ShareGPT]; [GSM8K]; [PRM800K]; [FinQA]; [WikiTableQuestions]; [Riddles]; [glaive-function-calling-v2]; [SciBench]; [tigerbot-kaggle-leetcodesolutions-en-2k]; [OpenBookQA]; [Advanced Reasoning Benchmark]; Software Heritage; [Khan Academy Math Keywords]; [WildChat-1M]; [Nemotron-Personas-USA][gpt-oss-120b]; [Mixtral-8x22B-Instruct-v0.1]; [Qwen3-235B-A22B-Instruct-2507]; [Qwen3-235B-A22B-Thinking-2507]
Synthetic Tool Use Interactive Agent from gpt-oss-120b, DeepSeek-R1-0528, Qwen3-32B, and Qwen3-235B-A22B-Thinking-2507テキスト非公開NVIDIA Internal[gpt-oss-120b]; [DeepSeek-R1-0528]; [Qwen3-32B]; [Qwen3-235B-A22B-Thinking-2507]
Synthetic DocFinQA and SWE-smith from Qwen3-Coder-480B-A35B-Instruct and Kimi-K2-Thinkingテキスト非公開[DocFinQA]; [SWE-smith][Qwen3-Coder-480B-A35B-Instruct]; [Kimi-K2-Thinking]
Synthetic SWE-Gym from Qwen3-Coder-480B-A35B-Instructテキスト非公開[SWE-Gym][Qwen3-Coder-480B-A35B-Instruct]
Synthetic SWE-Gym and R2E-Gym-Subset from Qwen3-Coder-480B-A35B-Instructテキスト非公開[SWE-Gym]; [R2E-Gym-Subset][Qwen3-Coder-480B-A35B-Instruct]
Synthetic SWE-Gym and R2E-Gym-Subset from DeepSeek-R1-0528テキスト非公開[SWE-Gym]; [R2E-Gym-Subset][DeepSeek-R1-0528]
Synthetic HelpSteer, LMSYS-Chat-1M, and Nemotron-Personas-USA from gpt-oss-120b, Qwen3-235B-A22B-Instruct-2507, and Qwen3-235B-A22B-Thinking-2507テキスト非公開[HelpSteer2]; [HelpSteer3]; [LMSYS-Chat-1M]; [Nemotron-Personas-USA][gpt-oss-120b]; [Qwen3-235B-A22B-Instruct-2507]; [Qwen3-235B-A22B-Thinking-2507]
Synthetic Nemotron-Personas-USA from gpt-oss-120b and Qwen3-8Bテキスト非公開[Nemotron-Personas-USA][gpt-oss-120b]; [Qwen3-8B]
Vendor Terminal Bench-like Tasks (Droid)テキスト非公開[Droid Harness Pivot vendor data]非公開

事後学習における言語分布

事後学習レシピでは、英語に加えて以下の言語に焦点を当てました: フランス語、ドイツ語、イタリア語、日本語、スペイン語、中国語。これらの言語は、多言語推論および翻訳タスクの形式で表現されました。

テストデータセット:

データ収集方法 (データセット別)

  • ハイブリッド: 自動、手動収集、合成 ラベリング方法 (データセット別):

  • ハイブリッド: 自動、手動ラベリング、合成 プロパティ: このコーパスは、高品質な標準ベンチマークと最新のエージェントAIのためのテストスイートの混合で構成されています。これらのベンチマークは、ツール呼び出しや指示追従などのタスクにおけるモデルの能力をテストします。

評価データセット:

データ収集方法 (データセット別)

  • ハイブリッド: 自動、手動収集、合成 ラベリング方法 (データセット別):

  • ハイブリッド: 自動、手動ラベリング、合成 プロパティ: このコーパスは、高品質な標準ベンチマークと最新のエージェントAIのためのテストスイートの混合で構成されています。これらのベンチマークは、ツール呼び出しや指示追従などのタスクにおけるモデルの能力をテストします。

推論

  • アクセラレーションエンジン: PyTorch
  • テストハードウェア:
    • NVIDIA Hopper
      • 1-8x H100
      • 1-8x H200
    • NVIDIA Blackwell
      • GB200
      • DGX Spark (GB10)
      • GeForce RTX 5090

倫理的考慮事項

NVIDIAは、信頼できるAIは共同責任であると信じており、幅広いAIアプリケーションの開発を可能にするためのポリシーと実践を確立しています。開発者は、内部モデルチームと協力して、このモデルが関連する業界およびユースケースの要件を満たし、予期しない製品の誤用に対処していることを確認する必要があります。

モデルに含まれる安全ガードレールの回避は、適切な代替ガードレールなしでは推奨されません。詳細については: Safety および Explainability サブカードを参照してください。

このモデルの倫理的考慮事項に関する詳細については、モデルカード++の Bias および Privacy サブカードを参照してください。

モデルの品質、リスク、セキュリティ脆弱性、またはNVIDIA AIに関する懸念については、こちら から報告してください。