HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Ember-1

Ember-1 (fireworks.ai)

589 pointsby gmays249 コメント

要約

Fireworks Researchは、Kimi K3の品質を維持しつつトークン数を40%削減した新しい特化型モデル「Ember-1」を発表しました。これは、不要な推論をカットし、重要な思考プロセスのみを残すように学習させたモデルです。様々なベンチマークや実際のA/Bテストで品質が維持されていることが確認されており、開発者が求める低コストで高性能なモデルの提供を目指しています。

全文翻訳

Ember-1の紹介

Ember-1: トークン数は半分、回答は同じ

Ember-1は、Fireworks Researchによる新しい専門モデルで、Kimi K3の品質を維持しながらトークン数を40%削減します。Kimi K3を基盤として構築されており、不要な推論を削減しつつ、重要な思考プロセスを保持するように学習しました。外部ベンチマーク、顧客によるライブA/Bテスト、および社内のコーディングやエージェントワークロードでテストした結果、あらゆる設定で品質が維持されていることを確認しました。本日より提供開始されるEmber-1は、開発者が次に求めるものに基づいて形成された、Fireworksによる専門モデルシリーズの始まりです。Emberは、Fireworks Trainingプラットフォームで構築できるもののほんの始まりに過ぎません。

Fireworks ResearchはどのようにEmber-1を構築したか

ユーザーからは、K3のコーディング能力をより低コストで利用したいという要望がありました。なぜなら、その長い推論トレースは、大規模な自動コーディングをコスト高にしていたからです。K3の推論努力を低下させても、この問題は解決しませんでした。品質を維持しつつトークンを削減するには、モデルはより効率的に推論することを学ぶ必要があり、それはトレーニングを意味しました。

これを実現するには、真剣な研究が必要でした。私たちのチームは50回以上のトレーニング実験と200回以上の評価を実施し、精度を損なうことなく推論を短縮するための新しいトレーニングアルゴリズムを開発しました。これらはすべてFireworks Serverless Training上で行われました。GPUをプロビジョニングしたり管理したりする必要がなかったため、アイデアが浮かんだらすぐに実験を開始でき、実行した分だけを支払い、通常よりもはるかに短い時間とコストで研究からローンチまで移行できました。

トークン削減の効果が多くのワークロードに波及するように、広範なタスクセットでトレーニングを行いました。顧客データは使用せず、独自のデータを使用してこのモデルをトレーニングしました。その後、Specialized Intelligence Index、公開ベンチマーク、およびライブプロダクショントラフィックでEmber-1を評価し、品質の低下なしにトークン使用量が少ないことを確認しました。Ember-1はFireworks独自のモデルであり、Fireworks Researchによるモデルシリーズの最初のものです。

問題点: 思考モデルは考えすぎる

Kimi K3のような推論モデルは、生成されるトークンの大部分、時には90%以上を、回答そのものではなく内部的な推論に費やします。この思考構造は単一のリクエストでは高コストですが、マルチターンのエージェントワークロードではさらに悪化します。各ターンで、以前のすべての推論がモデルに再再生されるため、コンテキストはターンの数に対してほぼ二次関数的に増加します。初期ターンの長い推論トレースは、後続の各呼び出しで再読(および再請求)されます。

その推論のすべてが本当に必要なのでしょうか?私たちの実験は「いいえ」と答えました。Kimi K3が出力する推論は、タスクが必要とする量よりもはるかに長く、その excess は回答に触れることなく削除できます。これが、専門的な知性から構築されたKimi K3の経済的なバージョンであるEmber-1を作成した方法です。

観察からプレミアムモデルへ

K3の推論のすべてが無駄なわけではありません。その一部は自己反省です。仮説の再検討、フィードバックへの応答、または以前の決定への結果の追跡は、モデルが間違いから回復するのに役立ちます。機会は、この能力を維持しながら、不要な推論を削減し、非生産的なループから抜け出すことです。タスクや環境フィードバックから学習することで、モデルは能力を維持しながらより効率的に推論することを学ぶことができると信じています。

エージェントタスクの場合、この学習はインタラクション全体に及びます。モデルは可能なアクションを探索し、新しい観測を取り込み、進行中に推論を洗練させます。フィードバックは決定とその結果を結びつけ、タスク全体で有用な反省を促します。

これらの洞察を、数学、コーディング、指示追従、会話、検索、ツール使用、ソフトウェアエンジニアリングを網羅するトレーニングコレクションに落とし込みました。これには、スタンドアロンの問題と、観測および結果への適応を強制するための拡張インタラクションの両方が含まれます。タスクフィードバックは、オンポリシー計画と学習をガイドし、これらの設定範囲全体で能力を維持することに重点を置いています。

公開ベンチマークおよびライブA/Bテストの結果は、この方向性を支持しています。7つのベンチマークと2つの顧客のプロダクショントラフィック全体で、Kimi K3の推論は、精度を犠牲にすることなく35〜50%短縮できました。内部化された動作は、失敗した試行でのトークン使用量も抑制し、長引く非生産的な推論を削減します。

Specialized Intelligence Index: Ember-1がBedside Benchでパレートフロンティアを確立

今週初め、私たちはSpecialized Intelligence Index (SII)を導入し、オープン、クローズド、および専門モデルを業界の専門家が作成した実世界のタスクに対してベンチマークしました。

私たちは、医師が検証した500の臨床症例を10の専門カテゴリにわたってカバーするDoximityのBedside BenchでEmber-1を評価しました。

結果は? Ember-1は、GPT-5.6 Sol、GPT-6 Astra、およびClaude Opus 5を含む、オープンおよびクローズドモデル全体で、コスト/タスクにおいてBedside Benchの新しいパレートフロンティアを確立しました。

[画像: Figure of Cost/Task SII]

図1: Bedside BenchにおけるSIIからのパレートフロンティア

[画像: Figure 2: Score vs. Duration Chart on Bedside Bench SII]

図2: Bedside Bench SIIにおけるスコア対所要時間チャート

より多くの業界ベンチマークにおけるパレートの評価

また、いくつかの他の業界ベンチマークにおける品質対コストのフロンティアでEmber-1を評価しました。公開されているKimi K3 API価格(キャッシュなし入力 $3/M トークン、キャッシュあり入力 $0.30/M、出力 $15/M)を使用してベンチマークごとのコストを計算し、3つのアーム(K3 (推論努力低)、K3 (推論努力高)、K3 (推論努力最大、デフォルト)、およびEmber-1)の合格率に対してプロットしました。50以上のテストサンプルを持つすべてのベンチマークで、Ember-1はパレートフロンティア上またはその近くに位置し、コストのほんの一部でK3-maxと同等の品質を実現し、K3-lowを厳密に支配しています。GPT-6 Astra、Claude Opus-5、およびGLM 5.3も分析しましたが、Ember-1がパレートフロンティアのリーダーであることがわかりました。

[画像: Figure 3: Average of 5 Industry Benchmarks on Open and Closed Model Cost/Task]

図3: オープンおよびクローズドモデルのコスト/タスクにおける5つの業界ベンチマークの平均

Ember-1と元のK3を直接比較した結果をさらに詳しく分析したところ、以下の結果が得られました。

業界ベンチマーク

NK3 LowK3 HighK3 maxEmber-1Ember-1 vs. K3 Max
Terminal Bench 2.18976.4%77.6%80.9%82.0%
SWE-bench Verified50080.4%86.0%93.2%92.2%
SWE-Interact756.7%13.3%21.3%20.0%
DeepSWE 1.111355.8%62.8%66.4%75.2%
τ-2 Bench Airline5064%64%64%66%

K3を実行する最もコスト最適化された方法は、推論を少なくすることではなく、効率的に思考することを学んだモデルであるEmber-1を実行することです。

顧客検証: ライブA/Bテスト

ベンチマークはすべてを語るわけではありません。Specialized Intelligence Indexの結果で見つけたように、より多くの実ワークロードでモデルをテストし、プロダクショントラフィックを使用してモデルをテストしたいと考えました。実際のテストは、モデルがプロダクショントラフィック、ユーザーが依存する製品でどれだけ通用するかであることが多いです。

2つの顧客のプロダクションコーディングワークロードでライブA/Bテストを実施しました。どちらの場合も、Ember-1は印象的なトークン削減を実現し、同等の品質でタスクあたり約35%少ないトークンでした。タスク完了率、成功スコア、失敗率など、ほとんどの下流製品メトリクスは、大幅に低いトークンコストで正しい方向に進み、維持または改善されました。A/Bテストの後、ある顧客は現在、Ember-1をライブプロダクションで実行しており、ベースモデル全体を置き換える計画があります。

スコアステップ数出力トークン数推論トークン削減率総トークン削減率
Kimi K30.75123.849.3K-
Ember-10.75321.429.9K71.3%

内部検証: 私たちの開発者も気づかなかった

Fireworksの内部コーディング/共同作業トラフィックの大部分は、自社の推論サービスによって支えられています。顧客がモデルを見る前に、Ember-1を内部で稼働させ、開発者が日常的なコーディング作業、例えば実際のタスクでの大規模なバイブテストなどに使用できるようにしました。

私たちが最も誇りに思っている結果は、「ニュースがない」ことです。ニュースがないのは良いニュースです。開発者は、トークン消費量が大幅に少ない一方で、コーディングワークロードを問題なく続行しました。そのバリュープロポジション全体が「同じ回答、少ないトークン」であるモデルにとって、内部トラフィックでの目立たないロールアウトは、可能な限り強力なシグナルです。

今後の展望

Ember-1は、Serverless上でResearch Previewリリースとして、ベースのKimi K3モデルと並んで提供オプションとして展開されます。急速に成長するオープンソースエコシステムをサポートするため、開発者に新しいリサーチモデルへの2週間のサーバーレスアクセスを提供するリサーチリリースを導入し、コミュニティの需要に基づいてそれらを永続化します。エージェントコーディングや、推論トークンがコストの大半を占めるその他のワークロードでは、約半分のトークンコストで同等の品質を提供します。

Fireworks Researchは、より多くのEmberモデルに専門的な知性をもたらすことで、モデル効率のフロンティアを押し広げ続け、最も経済的なモデルを展開し、トークン支出を削減できるようにします。トークン効率はFireworksのテーマになりつつあります。

Ember-1をさらに一歩進め、ユースケースに合わせて最適化したいとお考えですか?Ember-1のトレーニングサポートも開始しており、企業は独自のデータを使用して、カスタマイズされたトークン効率の高いモデルを構築できるようになります。オープンモデルの未来は、特定のワークロードでトレーニングされた専門モデルです。

ワークロードでEmber-1を試していますか?皆様の経験をお聞かせいただければ幸いです。X(@FireworksAI_HQ)で私たちをタグ付けし、何を作っているか教えてください!