HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Nvidia Nemotron 3.5 Lightning および NeMo Switchyard

Nvidia Nemotron 3.5 Lightning and NeMo Switchyard (blogs.nvidia.com)

242 pointsby droidjj123 コメント

要約

NVIDIAは、AIエージェントの進化に対応するため、高効率なオープンモデル「Nemotron 3.5 Lightning」と、AIモデルのスマートルーティングライブラリ「NeMo Switchyard」を発表しました。Nemotron 3.5 Lightningは、エージェント型AIワークロード向けに最適化され、カスタマイズ可能で高速な処理能力を提供します。NeMo Switchyardは、複数のAIモデルを効率的に連携させ、タスクごとに最適なモデルを自動で選択することで、コスト削減と精度向上を実現します。

全文翻訳

NVIDIA Nemotron 3.5 LightningとNeMo Switchyard、より高速でスマート、効率的なエージェントAIを実現

AIがチャットボットから自律型エージェントへとシフトするにつれて、オープンモデルは、AIの実行場所、デプロイメント、進化を完全に制御したいという市場の要求に応えています。

本日、NVIDIAはNemotron 3モデルファミリーを拡張し、長時間稼働するエージェントAIワークロード向けのクラス最高効率モデルであるNemotron 3.5 Lightningを発表しました。このリリースはNemotron 3 Nanoに続くもので、NVIDIAのオープンモデルの精度と速度の継続的な改善へのコミットメントを反映しています。

より大きなマルチエージェントシステム内の専門タスク向けに構築された、300億パラメータのMixture-of-ExpertsモデルであるNemotron 3.5 Lightningは、よりスマートで効率的なエージェントアプリケーションの作成を支援します。

また、NVIDIAは、一般的なエージェントツール内のスマートルーティングのためのオープンソースライブラリであるNeMo Switchyardをリリースします。企業はこれを使用して、特定のニーズに基づいたルーターを構築できます。デプロイされると、NeMo Switchyardは、開発者がアプリケーションを書き直す必要なしに、開発者自身のオープン、プロプライエタリ、NVIDIAモデルのミックス全体で、各リクエストをそのジョブに最も能力があり適切なモデルにインテリジェントに誘導できます。

Nemotron 3.5 LightningとNeMo Switchyardを組み合わせることで、PC、ワークステーション、データセンター、クラウド全体で、AIのデプロイ方法、実行場所、および効率性をより細かく制御できるようになります。

[画像: Nemotron 3.5 Lightningは、大量のエージェントワークフロー向けに構築された、カスタマイズ可能な小型オープンモデルで、最先端レベルの知能を提供します。]

常時稼働エージェントにはモデルシステムが必要

最新のエージェントシステム — 常時稼働エージェント — は、ますますモデルシステム(モデルアンサンブル)として機能し、異なるモデルが異なるタスクに特化しています。

NVIDIA Nemotronオープンモデルは、このアーキテクチャのために設計されています。Nemotron 3 UltraやGPT-5.6のような最先端の推論モデルがワークフローを計画・オーケストレーションする一方で、Nemotron 3.5 Lightningのような小型の専門モデルは、コードレビュー、ツール使用、セキュリティアラート監視、請求に関する質問への回答といったターゲットタスクを実行できます。

Nemotron 3.5 Lightningによる大量の専門タスクの実行

NVIDIA Nemotron 3.5 Lightningは、常時稼働エージェントを支える大量のタスク向けに構築された、完全にカスタマイズ可能なオープンモデルです。このモデルは、Nemotron Coalitionのメンバーからの評価方法論、推論ソフトウェア、データセットの提供による貢献を受けて開発され、モデルの進歩を支援しました。

このモデルは、同クラスの他のモデルと比較して最大4倍高速な出力速度を実現し、エージェントタスクの完了時間を30%短縮します。また、オープンでカスタマイズ可能であるため、Nemotron 3.5 Lightningは、組織独自のドメインデータ、ツール、ワークフローでNVIDIA NeMoを使用して簡単にポストトレーニングでき、専門タスクの精度を向上させることができます。

[画像: PinchBenchベンチマークは、Nemotron 3.5 Lightningが同クラスの他のモデルと比較して、最先端レベルの精度でエージェントタスクの完了を高速化することを示しています。]

業界をリードするAI企業は、サイバーセキュリティのCrowdStrike、法律サービスのHarvey with Trajectory、コードレビューのCodeRabbit with Basetenなど、Nemotron 3.5 Lightningを自身のワークロードに合わせてカスタマイズしており、ドメイン固有のエージェントタスクの精度向上に貢献しています。さらに、Lila Sciencesは、物理科学および生命科学全体のエージェントタスクの推論能力向上を支援しており、Fastino Labsはモデルをカスタマイズし、ソフトウェア開発、金融、ヘルスケアのワークロードで最先端の精度を達成しています。

[画像: 企業はNemotron 3.5 Lightningをカスタマイズし、エージェントワークフローにおける専門タスクで最先端の精度を達成しています。]

Nemotron 3.5 Lightningは、組織にプライバシーとデプロイメントの制御も提供します。これは、NVIDIA RTX PC、NVIDIA DGX Spark、NVIDIA DGX Station、NVIDIA Jetsonを含むローカルAIシステムで実行でき、ユーザーは既存のインフラストラクチャ投資を最大化できます。また、エッジAIデバイス、NVIDIA RTX PROワークステーション、データセンター、クラウド環境全体にスケールアップしてエンタープライズユースケースに対応できます。Nemotron 3.5 Lightningは、高速応答を必要とする大量の専門タスクのために、ローカルまたはオンプレミスで実行できます。

また、すべてのNemotronリリースと同様に、NVIDIAはライセンスで許可される範囲でトレーニングデータと手法の多くを公開しており、トレーサビリティ、監査、他のモデルのトレーニングを可能にしています。Lightningと並行して、NVIDIAはコーディングエージェント機能のためにポストトレーニングに使用されるエージェント型強化学習データセットであるNemotron-RL-Agentic-Terminal-Pivotをリリースします。

モデルルーティングによるAIアプリケーションの効率化

一部のモデルはコーディングに優れ、一部は推論に優れ、一部は軽量タスクに優れ、一部はプライバシーと効率性を高めるためにローカル実行に最適化されています。顧客が1つのデフォルトモデルに依存すると、過剰なコストがかかるか品質が低下する可能性があります。手動でルーティングを管理すると、デプロイメントを遅らせる可能性のある統合作業になります。

NVIDIA NeMo Switchyardは、AIエージェント向けのオープンソースモデルルーティングライブラリです。この技術は、特定のニーズに基づいて、エージェントワークフローの各ステップで最も能力があり効率的なモデルにプロンプトを自動的にルーティングします。エージェントアプリケーション開発者は、品質、レイテンシ、コスト要件などの優先順位に合わせて、さまざまなルーティングアルゴリズムでルーターを調整または変更できます。モデルシステムにおいて、企業はトークノミクスを改善した強力なAIエージェントを作成できます。

内部ベンチマークによると、NeMo Switchyardは最先端レベルの精度を維持しながら、Opus 4.8単独の場合と比較してタスク完了コストを約3分の1に削減します。

[画像: NVIDIAの内部ベンチマークは、NeMo Switchyardが最先端レベルの精度を維持しながら、Opus 4.8単独の場合と比較してタスク完了コストを約3分の1に削減することを示しています。]

NVIDIAは、AIエコシステム全体でパートナーと協力し、開発者がすでに使用しているツールやプラットフォームにインテリジェントなモデルルーティングを導入しています。

  • Boomi: 5つのルーティング機能でSwitchyardを評価し、100%のドメインルーティング精度を達成し、トラフィックの59%を5倍高速なファインチューニング済みモデルに誘導し、後続のターンでのレイテンシを21%削減しました。
  • Cadence: フォーマル検証ユースケースでChipStack AI Super Agentを使用することで、効率を9.9%向上させました。
  • Classmethod: NeMo Switchyardを内部でopencodeおよびFireworksワークロードに使用しており、初期テストでは品質を維持しながら27%のコスト削減を示しています。
  • Cognition: NVIDIA内部使用のためにDevin DesktopにNVIDIA NeMo Switchyardステージングルーターを統合し、単一の基盤となる最先端モデルにすべてのリクエストをルーティングした場合と比較して、FrontierCode Mainで最先端に近いパフォーマンスを達成し、平均コストを28%削減しました。
  • Kong (https://konghq.com/blog/preview/6a6cd1d40364e90001c019a5): Kong AI Gatewayを通じて、NeMo Switchyardによるルーティングをネイティブに提供します。
  • LangChain (http://www.langchain.com/blog/switchyard-agent-routing-benchmark): NeMo Switchyardを使用し、最先端モデルへの呼び出しを7%にのみルーティングし、精度トレードオフを6%に抑えることで、145のマルチターンDeep Agentsタスクでコストを74%削減しました。
  • LiteLLM: 開発者が既存のスタックを変更せずにこれらのメリットにアクセスできるように、NeMo Switchyardをプロキシレイヤーにプラグインとして追加しています。
  • Nous Research: 開発者に設定が容易なルーティングシステムを提供し、エージェントの効率を向上させるために、HermesにNeMo Switchyardを統合しました。
  • Ramp (https://x.com/RampLabs/status/2087163448513765449?s=20): NeMo Switchyardを使用して、Ramp SWE-Benchで最先端モデルのパフォーマンスに匹敵させながら、コストを58%、実行時間を33%削減しました。
  • Siemens: Fuse EDA AI Agentの効率を向上させるためにベンチマークを実施しています。

*Nemotron 3.5 Lightningは、Hugging Face、ModelScope、OpenRouter、およびbuild.nvidia.comでNVIDIA NIMマイクロサービスとして、また、幅広いNVIDIA Cloudパートナー、ポストトレーニングプラットフォーム、推論プラットフォーム、クラウドサービスプロバイダーのエコシステムを通じて利用可能です。NeMo SwitchyardはGitHubで利用可能であり、まもなくパートナープラットフォームにも提供される予定です。