HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Mercury 3: Diffusionモデルのスケーリング

Mercury 3: Diffusion at scale (inceptionlabs.ai)

214 pointsby cmrdporcupine84 コメント

要約

Inception Labsは、GPT-6 LunaやClaude Haiku 5.5を凌駕し、毎秒1,000トークン以上で動作する、これまでで最も高性能な拡散ベースLLM「Mercury 3」を発表しました。このモデルは、前モデルから40倍以上のパラメータを持ちながらも同等の速度を維持し、音声・チャットサポート、リアルタイム教育、データエンジニアリング、Webナビゲーションなどの低遅延アプリケーションに活用されています。100万トークンあたり0.20ドルの入力、0.70ドルの出力という価格設定（ローンチ記念で半額）で、拡散モデルのスケーラビリティを証明しています。

全文翻訳

ディフュージョンモデルのスケーリング：Mercury 3の紹介

本日、これまでにリリースされた中で最も高性能なディフュージョンベースLLMであるMercury 3を発表します。Mercury 3は、様々なベンチマークにおいてGPT-6 LunaやClaude Haiku 5.5を上回る性能を発揮し、毎秒1,000トークン以上で動作するため、4〜8倍高速です。

Mercury 3は、テキストディフュージョンがスケーリング可能であることを実証しています。Mercury 1と比較して40倍以上のサイズであり、知能も大幅に向上していますが、速度は同等です。

［画像: Model Quality vs. Model Size］

アーリーアクセスパートナーは、すでにMercury 3を音声・チャットサポート、リアルタイムチュータリング、データエンジニアリング、Webナビゲーションなどに活用しています。

Mercury 3の概要

  • 品質: GPT-6 LunaやClaude Haiku 5.5のような最先端の速度最適化モデルと同等かそれ以上。

  • 速度: NVIDIA GPU上で毎秒1,068トークン。

  • コンテキスト: Mercury 2.5の260Kから1Mトークンに増加。

  • 価格: 入力トークン100万あたり0.20ドル、出力トークン100万あたり0.70ドル。

    • リリース記念として、Mercury 3は50%オフの、入力トークン100万あたり0.10ドル、出力トークン100万あたり0.35ドルで提供されます。キャッシュされたトークンは入力価格の90%オフです。

［画像: Mercury 3 benchmark］

ディフュージョンモデルのスケーリング

Mercury 1をローンチした際、私たちはディフュージョンLLMが商用アプリケーション向けに構築可能であることを初めて証明しました。AIコミュニティにおける未解決の疑問は、ディフュージョンLLMが複雑なユースケースにおいてオートリグレッシブモデルと競合できるまでスケーリングできるか、という点でした。

Mercury 3はその疑問に答えます：可能です。私たちはMercuryを総パラメータ数で40倍以上にスケーリングし、標準的なベンチマーク群における知能はMercury 1 (mini) からMercury 3にかけて3倍に向上しました。オートリグレッシブモデルの進歩を推進したスケーリング則は、ディフュージョンモデルにも当てはまります。

［画像: Model Quality vs. Model Size］

Mercury 3の本番運用

アーリーアクセスパートナーはすでにMercury 3を、ブラウザ操作エージェント、インタラクティブ教育、リアルタイム検索エージェント、カスタマーサポートなどのレイテンシに敏感なアプリケーションの基盤として稼働させています。

ブラウザ操作エージェント

エージェントは各ステップでモデルの応答を待つため、わずかな遅延も急速に蓄積します。Mercuryは、エージェントがウェブサイトをナビゲートしている場合でも、複数のソースを調査している場合でも、ログを分析してインシデントを追跡している場合でも、各パスを高速に保ちます。エージェントはより早くタスクを完了し、回答前に多くの手法を試す時間を確保できます。

私たちは、50件の実際のMind2Webナビゲーションタスクに対して、最先端モデルを相手にMercury 3を本番Webエージェントハーネス内で実行しました。Mercury 3は、GPT-6.1.Solよりも大幅に多い50%のタスクを完了しました。これは、最先端モデルと同じトークン量とエージェントステップ数を使用し、トークンあたりのコストはごく一部でした。

Shuhao Zhang, Cofounder, TinyFish AI

インタラクティブ教育

学習は高速なフィードバックループで進行し、遅延は学習者を教材から引き離してしまいます。Mercuryは各リクエストを推論し、音声チューターが会話を続けている場合でも、アシスタントが採点している場合でも、あるいはアプリが学生の間違いに合わせて次の質問を調整している場合でも、ほぼリアルタイムで応答します。

Mercury 3により、推論能力を犠牲にすることなく、すべての学生に即時フィードバックを提供できるようになりました。ヒント、採点済みの回答、定義が約1秒で返ってくるようになり、以前実行していたモデルと同等かそれ以上の品質を実現しました。学生が問題につまずいたとき、その速度は彼らを待たせるのではなく、学習を続けさせます。これは既存のスタックへのドロップイン交換でした。

Michael Tong, Co-founder/CTO, General Learning aka RevisionDojo

リアルタイム検索エージェント

検索アプリケーションは、わずか数秒の遅延でも応答性が低下し始めます。Mercury 3は、数十件のドキュメントを処理しても、ユーザーが操作している間に回答できるほど高速に動作します。

スマートグラスでは、5秒かかる回答は壊れているように感じられます。当社のSense APIテストでは、Octen検索は約80msでしたが、モデル生成がボトルネックでした。Mercury 3は、テストした高速モデルの中で速度と品質の最適なバランスを提供し、中央値生成時間は0.9秒、中央値エンドツーエンド応答時間は2.2秒でした。

Kuan Zou, Founder & CEO, Octen AI

カスタマーサポート

サポートエージェントは迅速に応答する必要があり、特に誤った回答がコストのかかる規制産業では重要です。Mercuryは、正確性を犠牲にすることなく、会話的な応答を維持します。

Lorikeetでは、複雑で規制のある企業が、音声、チャット、メールで対応できるコンシェルジュを構築するのを支援しています。チャットや音声では、顧客は迅速な応答を必要としますが、正確性やタスクの完了度を妥協することはできません。初期テストでは、Mercury 3はレイテンシで他のモデルを凌駕し、評価および本番環境でも高いパフォーマンスを発揮しました。

Michael Gribben, Member of Technical Staff, Lorikeet

リアルタイム製品ポートフォリオ

Mercury 3は、リアルタイムAIを可能にする製品群を拡大する中でのフラッグシップモデルです。

  • Mercury Voice: Mercury Voiceは、音声アプリケーションの極端な低レイテンシ要件と、エンドツーエンドのレイテンシだけでなく、最初の応答トークンまでの時間（TTFAT）を最小限に抑えるようにカスタマイズされています。すでにAudivi AI、Altur、OpenCallのエージェントで稼働しています。

  • Mercury Decide: Mercury Decideは、高ボリュームの分類向けに構築された意思決定モデルです。JevBenchやLegalBenchを含むベンチマークでJevを上回っています。

開始方法

Mercury 3は、本日よりInception API Platform、OpenRouter、Baseten、Vercelを通じて利用可能です。OpenAI API互換であるため、既存のスタックに書き換えなしで組み込むことができます。エンタープライズデプロイメントは、専用容量、オートスケーリング、コンプライアンス管理、設定可能なデータ保持をサポートします。

Mercury 3が稼働開始。ディフュージョンはスケーリングする。