HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

>10倍効率的な事前学習

>10x More Efficient Pretraining (magic.dev)

106 pointsby ronfriedhaber59 コメント

要約

Magic.devは、AIモデルの事前学習における計算効率を大幅に向上させる新しいレシピを開発しました。この技術により、DeepSeek V4 Pro Baseモデルと同等の性能を約50分の1のFLOPs（計算量）で達成し、GPT-3の事前学習コストの半分、約50万ドルに相当します。さらに、約400万ドルのコストでスケールアップし、公開されているオープンベースモデルを大幅に上回る性能を示しました。同社は、この効率化された事前学習が、超人的なコーディングエージェントの構築とAI研究開発の自動化に不可欠であると考えています。

全文翻訳

>10x More Efficient Pretraining

計算効率の高い事前学習と、兆パラメータモデルへのスケーリングに関する研究アップデート。

最先端の事前学習は、大規模ラボ限定のゲームだと言われています。私たちはまだ10万チップを持っていませんが、道は一つしかありません。それはアルゴリズムの効率化です。しばらくの間、積み重ねた結果、私たちの事前学習レシピは、主要なオープンウェイトベースモデルのそれと比較して、現在10倍以上の計算効率を達成しています。

私たちは、DeepSeek V4 Pro Baseと同等の性能を、約50分の1のFLOPsで達成しました。これはGPT3の事前学習計算量の約半分、GB200でのコストに換算すると約50万ドルに相当します。さらに10倍スケールアップ（約400万ドル）を続け、パープレキシティ評価において、公開されているすべてのオープンベースモデルを有意に上回りました。図1のスケール則によれば、DeepSeek V4 Proのレシピでこれほど高性能なモデルを訓練するには1億ドル以上かかるでしょう（これは利用可能なデータ量を考慮していません）。もちろん、私たちはそこでスケーリングを止めるつもりはありません。

私たちは、事前学習、エージェント型RL、および長コンテキストが、超人的なコーディングエージェントを構築し、AIの研究開発を自動化するのに十分であると信じています。私たちは長コンテキストから始めました。本日のブログ記事は事前学習についてです。

bits per byte（低いほど良い）

プライベートコードリポジトリ

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.206 bpb

  • DeepSeek V4 Pro: 0.202 bpb

  • Kimi K2: 0.205 bpb

  • Nemotron 3 Ultra: 0.203 bpb

  • V5 e21: 0.246 bpb

  • V5 e22: 0.222 bpb

  • V5 e23: 0.202 bpb

  • V5 e24: 0.194 bpb

  • 29x DSv4 Flash

  • 48x DSv4 Pro

  • 31x Kimi K2

  • 47x Nemotron 3 Ultra

Heldout Research Papers

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.415 bpb

  • DeepSeek V4 Pro: 0.404 bpb

  • Kimi K2: 0.421 bpb

  • Nemotron 3 Ultra: 0.406 bpb

  • V5 e21: 0.527 bpb

  • V5 e22: 0.463 bpb

  • V5 e23: 0.407 bpb

  • V5 e24: 0.383 bpb

  • 24x DSv4 Flash

  • 45x DSv4 Pro

  • 41x Kimi K2

  • 35x Nemotron 3 Ultra

推論（Heldout Math Problems）

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.710 bpb

  • DeepSeek V4 Pro: 0.678 bpb

  • Kimi K2: 0.695 bpb

  • Nemotron 3 Ultra: 0.619 bpb

  • V5 e21: 0.890 bpb

  • V5 e22: 0.770 bpb

  • V5 e23: 0.647 bpb

  • V5 e24: 0.587 bpb

  • 72x DSv4 Flash

  • 127x DSv4 Pro

  • 58x Kimi K2

  • 15x Nemotron 3 Ultra

6·N·D 学習FLOPs

図1: 学習計算量に対する事前学習スケール則。主要な公開ウェイトベースモデルとの比較。

1

私たちは、トークナイザーの違いを正規化するメトリックであるbits-per-byteロスを、heldoutデータで測定し、特定の能力レベルに到達するために必要な計算量を予測するためにスケール則を適合させました。より良い学習計算効率は、すべての予算でより強力なモデルを意味します。

私たちは、DeepSeek、Moonshot (Kimi)、NVIDIAから最新の公開ウェイトベースモデル2を評価しました。Claude、Gemini、GPT-nなどのベースモデルは公開されていませんが、Kimi K3とMetaのMuse Sparkは、それぞれKimi K2を2.5倍および3.3倍上回る性能を示しています。私たちは、vLLMとSGLangの両方で、GB200とGB300の両方でオープンモデルのlogprobsを評価し、その過程でいくつかのバックエンドに問題があることを発見しました。さらなる確認のため、私たちはFireworksと提携し、自社の推論エンジンでベースラインlogprobsを検証しました。モデルは学習時のパーサーの特徴を学習する可能性があるため、私たちは事前学習パイプラインが使用するものとは異なるパーサー/OCRを使用して評価セットを構築しました。

一般化能力の評価

一般化能力を測定するために、私たちはheldoutデータでのロスを評価しました（図1）。私たちのコード評価は、独自のコードベースと、他のスタートアップから取得したプライベートコードベースで構成されています。推論評価では、Kimi K3を使用してheldoutのプライベート数学問題に対するCoTとステップバイステップのウォークスルーを生成し、正解をフィルタリングしました。テキストと研究については、最近の引用数の少ない研究論文を使用しました。ベンダー提供のOSSコードと、トレーニングデータと比較して、96文字ウィンドウで正規化されたテキストまたはJaccard類似度がしきい値を超えたドキュメントは削除しました。3

知識の評価

一般化能力に加えて、私たちはモデルの知識を主要なドメインでテストし、データセットのギャップを特定することに関心があります。例えば、heldout研究テキスト評価セットを主題別に分解することができます。

bits per byte（低いほど良い）

Heldout Computer Science Papers

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.450 bpb

  • DeepSeek V4 Pro: 0.437 bpb

  • Kimi K2: 0.458 bpb

  • Nemotron 3 Ultra: 0.434 bpb

  • V5 e21: 0.548 bpb

  • V5 e22: 0.481 bpb

  • V5 e23: 0.425 bpb

  • V5 e24: 0.400 bpb

  • 62x DSv4 Flash

  • 120x DSv4 Pro

  • 108x Kimi K2

  • 69x Nemotron 3 Ultra

Heldout Engineering Papers

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.413 bpb

  • DeepSeek V4 Pro: 0.403 bpb

  • Kimi K2: 0.421 bpb

  • Nemotron 3 Ultra: 0.405 bpb

  • V5 e21: 0.517 bpb

  • V5 e22: 0.456 bpb

  • V5 e23: 0.405 bpb

  • V5 e24: 0.383 bpb

  • 26x DSv4 Flash

  • 48x DSv4 Pro

  • 49x Kimi K2

  • 38x Nemotron 3 Ultra

Heldout Math Papers

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.365 bpb

  • DeepSeek V4 Pro: 0.354 bpb

  • Kimi K2: 0.367 bpb

  • Nemotron 3 Ultra: 0.360 bpb

  • V5 e21: 0.492 bpb

  • V5 e22: 0.426 bpb

  • V5 e23: 0.367 bpb

  • V5 e24: 0.342 bpb

  • 12x DSv4 Flash

  • 21x DSv4 Pro

  • 16x Kimi K2

  • 22x Nemotron 3 Ultra

Heldout Physics Papers

低いbits per byteがより良い結果を示します。学習計算量は対数軸上のFLOPsで示されています。曲線は現在のレシピに適合しており、破線部分は最大の実行を超えた場合の予測です。

  • DeepSeek V4 Flash: 0.433 bpb

  • DeepSeek V4 Pro: 0.422 bpb

  • Kimi K2: 0.440 bpb

  • Nemotron 3 Ultra: 0.425 bpb

  • V5 e21: 0.552 bpb

  • V5 e22: 0.487 bpb

  • V5 e23: 0.431 bpb

  • V5 e24: 0.406 bpb

  • 16x DSv4 Flash

  • 29x DSv4 Pro

  • 29x Kimi K2

  • 24x Nemotron 3 Ultra

6·N·D 学習FLOPs

図2: 研究分野ごとの実効計算量。

特定のソフトウェアツールのドキュメントや、アライメント研究の主要論文など、詳細なコンテンツのバケットを収集することで、さらに正確なシグナルを得ることができます。一般化評価とは異なり、これらの情報（例えば、分野の主要論文）の多くを事前学習コーパスから完全に削除したくはありませんが、シーケンスの記憶4を報酬対象としないようにする必要があります。これを実現するために、サードパーティのフロンティアLLMを使用してこれらのドキュメントを言い換え/要約しました。詳細な評価への過学習を避けるため、モデル生成ごとに一度だけ作成・評価しました。以下のものは先週作成されたものです。

Magicの目標は、コーディングと自律AI研究開発のための最高のモデルを構築することです。データ混合のトレードオフを意図的にバランスさせるために、優先度の低いドメイン（例：著名人に関する事実、ローカルニュース、スポーツ/イベント）も評価します。

私たちのレシピ vs.

実効計算量乗数 vs.

評価ごとの最良のオープンモデル

評価乗数は、各パネル内で対数軸上にランク付けされています。1を超える値は現在のレシピを支持し、1未満の値はベースラインを支持します。

  • SWE & AI R&D
    • SWE
    • AI R&D
  • Local news, world knowledge & law
    • Local news
    • World knowledge
    • Law

図3: ドメイン横断での実効計算量乗数。

私たちは167のドメインにわたる評価セットでスケール則を適合させ、データセットごとの計算効率の向上を示しています。

近道なし

2024年後半、私たちは非常に長いコンテキストウィンドウ向けに設計されたアーキテクチャを持つ小規模な密モデルを訓練しました。初期の事前学習スケールアップは、さまざまな方法で失敗し続けました。私たちは、まず安定した基盤を構築する必要があることをすぐに学びました。スムーズな収束、FP32と同等の低精度学習品質、高速で安定したインフラ、正しいハイパーパラメータのスケーリングルール。そして最も重要なこと：バグを huntsすること。

それが整った後、私たちはより少ない計算量でフロンティアとのギャップを埋めるために、十分な計算効率の改善を見つける必要がありました。当初はいくつかの大きな賭けがありましたが、私たちの進歩は、モデルアーキテクチャ、オプティマイザー、学習目的、データキュレーション全体にわたる数十の変更の乗算結果となりました。

NanoGPT speedrunsは、新しいアイデアを評価するための迅速なフィードバックサイクルを提供しますが、小さなモデルを改善する多くのことが、大きなモデルを改善しないことがわかりました。同様に、ほとんどのLLMに存在するいくつかの機能は、大規模なパフォーマンスを損なうことなく削除できることがわかりました。

各モデル、オプティマイザー、またはデータ変更を評価するために、私たちは計算量の2桁にわたる3つのモデルを訓練します。私たちは、そのべき乗則適合がスケールでの助けを示唆する場合、変更を保持する価値があると見なします。数週間ごとに、私たちはヒーロースケールの1/10までスケールアップし、数ヶ月ごとに完全スケールのヒーローラン（図4のV3、V4、V5）を実行しました。

V2に対する計算効率、競合他社の参照線付き。

  • V2

  • Late '24

  • V3

  • Early '26

  • V4

  • July '26

  • V5

  • Sep '26

  • 計算効率（V2比）

    • Nemotron 3 · 24x
    • Kimi K2 · 10x
    • DSv4 Pro · 5.6x
    • 1.9x
    • 11x
    • 24505x vs V2

図4: 事前学習研究の進捗の加速。

事前学習ロスがRL後のパフォーマンスにどのように変換されるかを検証するために、私たちは16k CoT予算で短い数学RLランを実行しました（図5）。すべてのRLは、SFTや蒸留なしでベースモデルから直接開始します。

RL学習計算量に対する数学パス率、競合他社の参照線付き。

  • パス率
    • GPT-6 Astra · 100%
    • Claude 5.1 · 98%
    • Muse Spark 1.3 · 88%
    • Gemini 3.8 · 83%
    • Kimi K3 · 75%
    • Grok 4.6 · 71%
    • DSv4 Pro · 65%
    • Inkling · 50%
    • Qwen 3.8 · 45%
    • GLM-5.3 · 45%
    • Nemotron 3 · 27%
    • V5 (e24) · 72%
    • V5 (e23) · 31%

図5: 低計算量RL中のheldout競技数学問題に対するPass@1。

5 FLOPsは図1と同様に6·N·Dです。

次のステップ

私たちの事前学習と長コンテキストの作業は、現在かなり成熟しています。今後は、長コンテキストでデプロイ後も学習を続けるエージェントを訓練する、長ホライゾンRLをスケールアップします。また、堅牢な理論的特性を持つアライメントトレーニング技術にも多大な労力を注いでいます。そして最後に、最も重要なことですが、私たちはその成果をリリースすることを楽しみにしています！

私たちが取り組んでいる具体的な問題には以下が含まれます。

  • 長ホライゾンRLにおける探索とクレジット割り当て（およびスケールアップのためのシステム作業）。
  • 狭く誘発された潜在知識に対するアライメントトレーニング。6
  • 事前学習のさらなる改善。

私たちは、おそらく世界で最も小規模なチームで兆パラメータモデルを訓練しています。強力な判断力を持つ個人の影響力は、かつてないほど高まっています。アライメントされた超知能の構築に貢献したい場合は、応募を検討してください。

フッター

  1. 私たちは、Nがアクティブなパラメータ数、Dが事前学習トークン数である6·N·Dを、各レポートが示す正確な学習FLOPsの代わりに報告します。これらのモデル（および私たちのモデル）では、シーケンス次元（例：アテンションなど）のコストがFLOPsの大部分を占めますが、使用される正確なシーケンス長の分布に依存します。これらはすべての公開モデルで報告されているわけではないため、推測を避けるために6·N·Dの近似を選択しました。「6」は、(add+mul) * (fwd+bwd*2) に由来します。アクティブなパラメータ数は、HuggingFaceからチェックポイントのsafetensorsヘッダーをダウンロードし、各テンソルの形状を読み取り、トークン埋め込みとMTPヘッドを除いたすべてのアクティブなパラメータのサイズを合計することで導出しました。各モデルの6·N·D：

    ModelND6·N·D
    Current_e24 (ours)--1.63e24
    Current_e23 (ours)--1.58e23
    Current_e22 (ours)--1.12e22
    V4 (ours)--1.91e24
    V3 (ours)--3.85e24
    V2 (ours)--7.20e23
    DeepSeek V4 Pro48,852,265,05433T9.67e24
    DeepSeek V4 Flash13,270,025,81032T2.55e24
    Kimi K231,687,072,76815.5T2.95e24
    Nemotron 3 Ultra54,985,076,73620T6.60e24

    ソース：Kimi K2: 31.6Bパラメータ、15.5Tトークン（技術レポート、セクション2.5）。DeepSeek V4 Flash: 13.2Bパラメータ、32Tトークン（技術レポート、セクション4.2.2）およびDeepSeek V4 Pro: 48.8Bパラメータ、33Tトークン（セクション4.2.2）。Nemotron 3 Ultra: 55Bパラメータ、20Tトークン（技術レポート、要旨）。↩

  2. 「ベースモデル」とは、まだ強化学習、SFT、その他のポストトレーニングを受けていない事前学習済みモデルを指します。これらはプロンプトに非常に敏感であるため、サンプリングベースの評価は信頼性が低いです。代わりに、私たちはheldoutデータでbits-per-byteロスを測定しました。これはプロンプト感度に影響されず、創発的な能力の測定を平滑化します。ちなみに、Nemotron 3がすべての評価でDeepSeek V4 Proを上回ったことに驚きましたが、これはドメインや推論エンジン全体で一貫していました。これは、NemotronのRL後のベンチマークでのパフォーマンスが低いのは、ポストトレーニングが弱いことに起因する可能性を示唆していますが、事前学習は中国のオープンウェイト競合他社を上回っていました。↩

  3. もちろん、私たちは自社モデルの評価のみを脱汚染できます。オープンウェイトモデルの評価はできません。これは、heldoutインターネットベースの評価データの一部が、自然にそれらのトレーニングデータに含まれている可能性があることを意味しますが、それらの側での汚染は、私たちのモデルではなく、オープンモデルを有利にするでしょう。↩

  4. ソースからの記憶が結果を歪めていると思われる外れ値がいくつかあります。例えば、Nemotronは、医療/健康の世界知識カテゴリのソースドキュメントから特定の数字やフレーズを記憶しており、ドキュメントのLLMによる書き換え後でも驚くほどうまく予測します。これらの外れ値はプロットに含めました。すべての知識評価は、現在の世代の事前学習実行が開始された後に作成され、ほとんどのカテゴリは新しいものですが（つまり、実行に直接的なフィードバックループはありませんでした）、知識評価は意図的に、誰かのトレーニングデータに頻繁に（そして意図的に）出現すると予想される意味論的コンテンツを対象としています。↩

  5. 私たちは、AIMEよりも難しいプライベートheldout競技数学評価（400問）でパス率を評価しました。ベースラインモデルは、おそらく桁違いに多くのRL計算量を使用しています。e24モデルのAIME26 pass@1は、平均約6k CoTトークンを使用し、事前学習計算量予算の約0.2%で90%（pass@16では100%）を超え、対数線形的な上昇を続けています。私たちは、一部のサードパーティモデルでAIMEが汚染されていることが判明したため、代わりにheldoutデータセットでのパフォーマンスを報告します。↩

  6. デプロイゲート、RLトレーニング中の安全要件、およびアライメント研究へのアプローチ方法をカバーする、更新されたAGI Readiness Policyをリリースする予定です。↩