クアドリリオンパラメータのトランスフォーマーとその訓練方法

クアドリリオンパラメータのトランスフォーマーとその訓練方法

Q Labs Research

目次

要約 1 はじめに 2 パラメータこそがすべて 3 より多くのエポックのためのより大きなモデル 4 (高速) アンサンブルをスケーリング軸として 5 結論 参考文献

TL;DR

$$L = \underbrace{E\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}_\text{ irreducible} + \underbrace{\frac{A}{N^{\alpha}}\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}_\text{ small model} + \underbrace{\frac{B}{(UR)^{\beta}}\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}_\text{ tokens seen} + \underbrace{P,(R-1)^{\delta}\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}_\text{ overfitting} - \underbrace{\frac{F}{N^{\nu},U^{\epsilon},R^{\rho}}\left(1-\frac{1}{M}\right)^{\mu}}_\text{ ensembling}$$

1. はじめに

AIと人間の間の100万倍にも及ぶサンプル効率のギャップは、この分野の中心的な謎の一つであり、明確な説明がありません。その手がかりの一つはモデルサイズです。Chinchillaの処方箋では、30兆トークンに対して約1.5兆パラメータのモデルが推奨されていますが、これはパラメータあたりのトークン数が20:1です（Hoffmann et al., 2022）。対照的に、人間は約100兆のパラメータ（各シナプスを重みとカウント）を持ち、わずか約2億トークンから学習します。これはパラメータあたりのトークン数が1:500,000となります。したがって、AIと人間の間のパラメータあたりのトークン数のギャップは1000万倍であり、サンプル効率のギャップを埋めるための重要な一歩は、このギャップを縮めることかもしれません。30兆トークンに対しては、クアドリリオン（10の18乗）パラメータのニューラルネットワークを訓練すべきです。現在のネットワークは、7桁も小さすぎます。

私たちの新しい論文（Baron et al., 2026）は、このビジョンに向けた進歩をもたらします。そのスケーリング則を5兆トークンのデータセットに外挿すると、計算最適パラメータ数は、標準的なChinchillaの処方箋の約7000倍、すなわち10^29 FLOPsに達します。十分な計算能力があれば、クアドリリオンパラメータのネットワークを訓練するための処方箋を提供します。

［画像: 5兆トークンデータセットに対する訓練計算量と推奨総パラメータ数］

図1. 5兆トークンデータセットに対する計算最適パラメータ数の外挿値。各モデルの合計値です。点は各計算予算における法則の処方箋、線はその上のべき乗則フィットです。Chinchillaは250Bパラメータで停止しますが、私たちの法則は計算量とともに増加し続けます。

2. パラメータこそがすべて

私たちの新しい論文（Baron et al., 2026）では、データセットが固定されている場合、計算最適モデルサイズは計算予算とともに増加し続けることがわかっています。このレジームでは、計算予算とともにエポック数とアンサンブルメンバー数を増やすことも望まれます。対照的に、Chinchillaは固定データセットに対して固定モデルサイズ（パラメータあたり20トークン）を処方します。私たちの論文の処方箋を5兆トークンに外挿すると、10^29 FLOPsにおいて、アンサンブルはトークンあたり300以上のパラメータを保持し、Chinchillaのパラメータあたりトークン比率のほぼ7000倍となり、その数は計算量とともに増加し続けます。最適なパフォーマンスを達成するためには、パラメータ数を桁違いに増やすべきです。

計算能力は、高品質な言語訓練データの供給よりもはるかに速く増加しています（Villalobos et al., 2024）。そのため、言語モデルはますますマルチエポックのデータ制約下で訓練されるようになります。このレジームを直接研究するために、固定データセット上で、様々なデータサイズ、モデルサイズ、エポック数でトランスフォーマーを訓練し、損失がそれぞれにどのように依存するかをフィットさせます。各実行では、訓練中に保存されたチェックポイントの予測を平均するスナップショットアンサンブルも使用します（Huang et al., 2017; Mandal et al., 2026）。これは追加の訓練計算コストなしで損失を低減します。スナップショットアンサンブルは少し珍しいですが、データ制約下でアンサンブルを第一級の技術として統合することが重要であるとわかっています。

具体的には、損失 $L$ を4つの量から予測する単一のスケーリング則をフィットさせます。データセットのユニークなトークン数 $U$、モデルサイズ $N$、エポック数 $R$、アンサンブルメンバー数 $M$ です。この法則は、1つの新しいアンサンブル項で既存のデータ制約下スケーリング則（Muennighoff et al., 2023; Lovelace et al., 2026）を拡張します。

$$\begin{aligned} L(U, N, R, M) ={}& \underbrace{E\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}_\text{ irreducible} + \underbrace{\frac{A}{N^{\alpha}}\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}_\text{ small model} + \underbrace{\frac{B}{(UR)^{\beta}}\vphantom{\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}}_\text{ tokens seen} + \underbrace{P,(R-1)^{\delta}\left(\frac{N}{U^{\gamma}}\right)^{\kappa}}_\text{ overfitting} \［10pt］ &- \underbrace{\frac{F}{N^{\nu},U^{\epsilon},R^{\rho}}\left(1-\frac{1}{M}\right)^{\mu}}_\text{ ensembling} \end{aligned}$$

最初の3つの項はChinchillaに由来します。 irreducible cost、モデルサイズ、データセットサイズの項があります。4番目の項はLovelace et al. (2026)に従った過学習ペナルティ、5番目の項はアンサンブルからのゲインです。これは単一モデルではゼロであり、メンバーが増えるにつれて上限に向かって増加します。定数と指数は私たちの実行結果からフィットされています。

3. より多くのエポックのためのより大きなモデル

以前のデータ制約下スケーリング則は、スケール全体で重み減衰を固定しています（Lovelace et al., 2026）。これらの既存の法則は、計算量とともに損失が増加すると予測し、より多くの正則化を持つより大きなモデルを使用できることを考慮していません。既存の転移ルールはこの問題を解決しません。MuPは学習率をカバーしますが、重み減衰はカバーしません（Yang et al., 2022）。重み減衰のヒューリスティックは互いに矛盾しており（Wang and Aitchison, 2025; Bergsma et al., 2025; Qiu et al., 2025）、どれもエポック数を考慮していません。

そこで、ユニークデータ、モデルサイズ、エポック数の関数としてこれらのハイパーパラメータがどのようにスケールすべきかについて、べき乗則をフィットさせます。最適な重み減衰は、エポック数とモデルサイズとともに急激に増加することがわかりました。より大きな計算予算と固定データセットでは、より大きなモデルをより多くのエポックで訓練すべきです。これはKim et al. (2026)の発見に従いますが、訓練パラメータの具体的な処方箋を提供することでさらに進んでいます。

［画像: ハイパーパラメータのべき乗則のフィットと外挿］

図2. ハイパーパラメータの処方箋の構築方法。左：各グリッドセルで、実効学習率と重み減衰に対する二次フィットが最適値を見つけます。中央：それらの最適値を通るべき乗則。ここでは、50Mトークンで3つのモデルサイズに対するエポック数に対する重み減衰。右：フィットされた計算量の16倍で、私たちの法則は最適値の近くに着地しますが、固定ハイパーパラメータのルールは外れます。

さらに、この法則はうまく外挿できます。フィットされた計算量の16倍で最適値に近く、テストしたすべての軸で最適損失から0.01 nats以内に収まることがわかりました。以前のヒューリスティックは、少なくとも1つの軸で外れることがわかりました。

5兆トークンに外挿すると、データ制約下スケーリング則が処方するパラメータ数は、10^29 FLOPsにおけるChinchillaの予測よりも約7000倍大きく、モデルはそれぞれ数エポック訓練されます。

4. (高速) アンサンブルをスケーリング軸として

私たちのモデルはChinchillaが処方するものよりもはるかに大きいですが、サンプル効率を向上させるために、さらにパラメータ数をスケールさせたいと考えています。q0のスナップショットアンサンブル（Mandal et al., 2026）とディープアンサンブル（Lakshminarayanan et al., 2017）を通じてアンサンブルを調査します。

スナップショットアンサンブルでは、単一の訓練実行から異なる時点のチェックポイントを保存し、それらの予測を平均します（Huang et al., 2017; Mandal et al., 2026）。チェックポイントは1回の実行から来るため、追加の訓練計算コストはかかりません。チェックポイントを多様化するために、訓練後半でサイクリック学習率を使用し、1エポックサイクルで学習率を繰り返し上げ下げします。各サイクルの最も低い学習率で、モデルが良い解に収束することを確認します。学習率をサイクリングすることは、学習率をピーク値に維持するよりも優れており、スナップショットの予測を平均するとさらに損失が低下することがわかりました。この手順はモード連結性（Garipov et al., 2018）により機能すると仮説を立てています。良い解は低損失パスで接続されているため、短いサイクルでも多くの訓練なしで異なる強力なモデルに到達できます。

ディープアンサンブルもスケーリング則に含めます。ディープアンサンブルは、異なるシードで独立したモデルを訓練し、それらの予測を平均します（Lakshminarayanan et al., 2017）。そのため、各メンバーは完全な訓練実行を必要とします。各実行からのスナップショットは1つのアンサンブルにプールされます。パラメータを追加すると過学習が増加するのとは対照的に、アンサンブルメンバーを追加すると過学習が減少するため、データ制約下スケーリング則にアンサンブル専用の項を設けます。この項は単一モデルではゼロであり、メンバーが追加されるにつれてゲインは上限に向かって増加します。この法則は、Kim et al. (2026)からの実行結果も含め、代替案よりも適合し、外挿性が優れています。

ディープアンサンブルは、計算予算がデータセットに対して大きい場合に計算最適になることがわかりました。この点を過ぎると、最適なメンバー数は計算量にほぼ線形に増加します。したがって、データが限られている場合の処方箋は、スケールされた重み減衰でモデルサイズとエポック数をまず増やし、マルチエポック訓練にスナップショットアンサンブルを含めることです。次に、追加の計算量をディープアンサンブルメンバーに割り当てます。このように、損失は計算量が増えるにつれて改善し続けますが、以前のレシピは最終的に悪化します。

［画像: 事前レシピ、ハイパーパラメータ転移、アンサンブル、および両方の検証損失対訓練計算量］

図3. 1億トークンでの検証損失対計算量。事前レシピは計算量とともに悪化します。ハイパーパラメータ転移とアンサンブルはそれぞれ役立ち、両方を組み合わせると損失は下がり続けます。破線は各法則の予測最適値、点線はフィット範囲の上限を示します。

5. 結論

AIと人間の間のサンプル効率のギャップを埋めるために、今日のモデルよりも大きなネットワークを訓練することが動機となります。脳との比較から、現在のモデルサイズを7桁増加させたいと考えるかもしれません。私たちの最新の論文（Baron et al., 2026）では、限定的なデータセットでネットワークサイズを4桁増加させる処方箋を提供し、それらを訓練する方法を示す処方箋を提供しています。データ効率をさらに改善できると考えていますが、そのためには新しいアルゴリズム、ハードウェア、そしてそれ以上が必要になります。この件については、まもなくさらに共有する予定です。

参考文献

1. Ethan Baron, Shmuel Berman, Anirudh Satheesh, Akshay Vegesna, Samip Dahal, Andrew Gordon Wilson. Improving Data-Constrained Scaling with Hyperparameter Transfer and Ensembling. arXiv:2610.37842, 2026.
2. Shane Bergsma, Nolan Dey, Gurpreet Gosal, Gavia Gray, Daria Soboleva, Joel Hestness. Power Lines: Scaling Laws for Weight Decay and Batch Size in LLM Pre-training. arXiv:2505.13738, 2025.
3. Timur Garipov, Pavel Izmailov, Dmitrii Podoprikhin, Dmitry Vetrov, Andrew Gordon Wilson. Loss Surfaces, Mode Connectivity, and Fast Ensembling of DNNs. NeurIPS, 2018.
4. Jordan Hoffmann, Sebastian Borgeaud, Arthur Mensch, Elena Buchatskaya, Trevor Cai, Eliza Rutherford, Diego de Las Casas, Lisa Anne Hendricks, Johannes Welbl, Aidan Clark, Tom Hennigan, Eric Noland, Katie Millican, George van den Driessche, Bogdan Damoc, Aurelia Guy, Simon Osindero, Karen Simonyan, Erich Elsen, Jack W. Rae, Oriol Vinyals, Laurent Sifre. Training Compute-Optimal Large Language Models. arXiv:2203.15556, 2022.
5. Gao Huang, Yixuan Li, Geoff Pleiss, Zhuang Liu, John E. Hopcroft, Kilian Q. Weinberger. Snapshot Ensembles: Train 1, Get M for Free. ICLR, 2017.
6. Konwoo Kim, Suhas Kotha, Percy Liang, Tatsunori Hashimoto. Pre-training under Infinite Compute. ICLR, 2026.
7. Balaji Lakshminarayanan, Alexander Pritzel, Charles Blundell. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles. NeurIPS, 2017.
8. Justin Lovelace, Christian Belardi, Srivatsa Kundurthy, Shriya Sudhakar, Kilian Q. Weinberger. Prescriptive Scaling Laws for Data Constrained Training. arXiv:2605.01640, 2026.
9. Bishwas Mandal, Shmuel Berman, Akshay Vegesna, Samip Dahal. q0: Primitives for Hyper-Epoch Pretraining. arXiv:2606.03938, 2026.
10. Niklas Muennighoff, Alexander M. Rush, Boaz Barak, Teven Le Scao, Aleksandra Piktus, Nouamane Tazi, Sampo Pyysalo, Thomas Wolf, Colin Raffel. Scaling Data-Constrained Language Models. NeurIPS, 2023.
11. Shikai Qiu, Zixi Chen, Hoang Phan, Qi Lei, Andrew Gordon Wilson. Hyperparameter Transfer Enables Consistent Gains of Matrix-Preconditioned Optimizers Across Scales. arXiv:2512.05620, 2025.
12. Pablo Villalobos, Anson Ho, Jaime Sevilla, Tamay Besiroglu, Lennart Heim, Marius Hobbhahn. Will We Run Out of Data? Limits of LLM Scaling Based on Human-Generated Data. ICML, 2024.
13. Xi Wang, Laurence Aitchison. How to Set AdamW's Weight Decay as You Scale Model and Dataset Size. ICML, 2025.
14. Greg Yang, Edward J. Hu, Igor Babuschkin, Szymon Sidor, Xiaodong Liu, David Farhi, Nick Ryder, Jakub Pachocki, Weizhu Chen, Jianfeng Gao. Tensor Programs V: Tuning Large Neural Networks via Zero-Shot Hyperparameter Transfer. NeurIPS, 2021.

← Back to Q