HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

スケーリング則を慎重に

Scaling Laws, Carefully (lilianweng.github.io)

54 pointsby tehnub15 コメント

要約

ディープラーニングにおけるスケーリング則は、モデルサイズ、データセットサイズ、計算量を増やした際に、訓練損失が予測可能に減少するという重要な経験的知見です。この記事では、このスケーリング則がどのように発展してきたか、KaplanとChinchillaの法則、そしてデータが無限の領域と限定された領域でのスケーリング挙動を詳細に解説しています。スケーリング則は、より大規模なモデルのトークンと計算要件を推定するための実践的なフレームワークを提供します。

全文翻訳

スケーリング則を注意深く理解する

スケーリング則は、深層学習における最も重要な経験的発見の一つです。その観測は単純な形式をとります。モデルサイズ $N$、データセットサイズ $D$、計算量 $C$ をスケールアップすると、学習損失 $L$ は対数・対数プロット上で直線として現れるべき乗則曲線に従って予測可能に減少します。スケーリング則は、計算量、損失、モデルサイズ、データの関係を記述するフレームワークとして見ることができます。その核心は、貴重な計算量を $N$ と $D$ の間でどのように最適に配分するかということです。

この予測可能性は、スケーリング則を実用上非常に価値あるものにしています。一般的なワークフローは、少数の小規模な実行でスケーリング則を適合させ、その後、大規模モデルに必要なトークンと計算量の要件を推定するために外挿することです。

記号注釈
$N$パラメータ数で測定されるモデルサイズ。
$D$通常トークン数で測定される学習データセットサイズ。
$C$FLOPsでの学習計算量。有用な近似として、$C \approx 6ND$ (Kaplan et al. 2020) であり、ここで $2ND$ はフォワードパス、 $4ND$ はバックプロパゲーションに対応します。
$E$不可避な損失
$L, \hat{L}(.)$テスト損失 / テスト損失予測関数。学習損失とも呼ばれることがあります。なぜなら、それらは強く相関しているからです。
$\epsilon$一般化誤差。

初期:機械学習損失の予測可能性

スケーリング則が主流の概念になる前から、スケールに伴う一般化誤差の予測可能性はすでに調査されていました。

Amari et al. (1992) は、ベイズ的アプローチとアニール近似を用いて4種類の学習曲線を描きました。

  1. 決定論的学習アルゴリズム、ノイズのないデータ、単一の解: $\epsilon \sim c \cdot D^{-1}$、ここで $c$ はある定数です。
  2. 決定論的学習アルゴリズム、ノイズのないデータ、複数の同等な解: $\epsilon \sim c \cdot D^{-2}$。モデルは単一の解点を見つけるのではなく、パラメータの最適な多様体のみを学習するため、各データポイントごとに学習は速くなります。
  3. 決定論的学習アルゴリズム、ノイズのあるデータ: $\epsilon \sim c \cdot D^{-1/2}$。データ中のノイズは学習を困難にします。
  4. 確率的学習アルゴリズム、ノイズのあるデータ: $\epsilon \sim c \cdot D^{-1} + E$。ここで不可避な損失 $E$ は、確率的学習者がそれ以上減らすことができない残差誤差です。例えば、モデルが大規模データで容量不足になった場合などです。4種類すべての学習曲線はべき乗則に従います:

$$ \epsilon \sim c \cdot D^\alpha + E $$

ここで $E$ は 0 であり、$\alpha = -2, -1, -1/2$ です。それらの理論的設定は単純な二項分類タスクに基づいていますが、経験的な機械学習損失予測モデルを構築するための有用な方向性を示しています。

Hestness et al. (2017) による初期の経験的研究の一つは、一般化誤差、モデルサイズ、データの関係を説明しました。特定の学習データサイズに対して、グリッドサーチによって最適なモデルサイズを特定し、損失を学習データセットサイズに対してプロットしました。深層学習の4つの異なるドメイン(ニューラル機械翻訳、画像分類、言語モデリング、音声認識)全体で、次のような繰り返しパターンが観察されました:

  • 一般化誤差は、一連の要因(例:データサイズ)にわたってべき乗則としてスケールします。
  • モデルの改善は誤差曲線をシフトさせますが、べき乗則の指数に影響を与えるようには見えません。
  • 興味深いことに、アーキテクチャはべき乗則適合のオフセット($E$)を変更しますが、指数($\alpha$)は変更しません。べき乗則の傾きは、モデルアーキテクチャではなく、問題ドメインの特性であるようです。
  • サイズ $N$ のモデルパラメータ数は、サイズ $D$ のデータセットを適合させるためにもべき乗則としてスケールします。

[画像: (左) Deep-Speech-2 (DS2) およびアテンション音声モデル、(右) 様々なサイズのDS2モデルの学習曲線。学習データが大きくなると、小規模モデルの損失はプラトーに達します。(画像ソース: Hestness et al. 2017)]

概念的なイラストは、学習曲線を3つの段階に分解します。小規模データ領域では、学習信号が十分にない場合、モデルの性能はランダム推測よりもわずかに優れるだけです。中間(「べき乗則領域」)では、損失、データ、モデルサイズの間にべき乗則の関係が観察されます。最終的な不可避誤差領域は、データ中のノイズなどの要因に起因すると考えられます。

[画像: べき乗則学習曲線のフェーズのイラスト。(画像ソース: Hestness et al. 2017)]

Rosenfeld et al. (2020) は、多様なアーキテクチャ(ResNet、WRN、LSTM、Transformer)とオプティマイザ(Adam、SGDバリアント)全体で、誤差をモデルサイズ $N$ とデータサイズ $D$ の両方の同時関数としてモデル化しようとすることで、これをさらに進めました。経験的に、一方の軸を固定すると、誤差はもう一方の軸のべき乗則として減衰することが観察されました:

$$ \hat{L}(D,N) \approx \frac{A}{N^{\alpha}} + E_N,\quad \hat{L}(D,N) \approx \frac{B}{D^{\beta}} + E_D $$

これは同時形式に組み合わせることができます:

$$ \hat{L}(D, N) \approx \frac{A}{N^{\alpha}} + \frac{B}{D^{\beta}} + E $$

ここで $A > 0, B > 0, \alpha \geq 0, \beta \geq 0$ はスカラー定数であり、$E$ は $N$ または $D$ に依存しません。

[画像: データサイズ、モデルサイズ、一般化誤差の3Dコンタープロット(対数・対数・対数スケール)。青い点は経験的実験から導出され、表面は青い点間の線形補間です。(画像ソース: Rosenfeld et al. 2020)]

したがって、それらは $\boldsymbol{\theta} = \langle A, B, E, \alpha, \beta \rangle$ を持つ単純なパラメトリック関数の形式で予測モデルを構築し、特定のしきい値より大きい $(D, N)$ の期待損失を、特定のしきい値より小さい $(D, N)$ の小規模な学習構成のセットのみで学習することによって予測できます。

[画像: 小規模構成でのパラメトリック誤差モデルの適合と、大規模モデル/データ領域への外挿:(a) 実験設定のイラスト;(b) ImageNet、(c) WikiText-103、(d) CIFAR100での実験結果。3つのアーキテクチャ(WRN、VGG、DenseNet)と2つのオプティマイザ(SGD、Adam)を使用した誤差推定。(画像ソース: Rosenfeld et al. 2020)]

補足:これらの初期の研究は、容量の代理として VC次元(モデルがシャッフルできる最大の点の集合の基数)のような古典的な学習理論の直感に依存していますが、現代の深層学習の研究ではVC次元は振る舞いを説明するには粗すぎることが多く、経験的なべき乗則は理論が提供する最悪ケースの境界よりもはるかにクリーンで実用的であることが判明しました。

データ無限領域におけるスケーリング則

Kaplanらのスケーリング則

Kaplan et al. (2020) は、言語モデリングコミュニティでスケーリング則の概念を広めました。彼らは、クロスエントロピーテスト損失 $L$ が、モデルサイズ $N$(埋め込み層を除く)、データセットサイズ $D$、学習計算量 $C$ のそれぞれに対して、多くの桁にわたってべき乗則としてスケールすることを発見しました。これらの発見は、前節の初期の研究と一致していますが、KaplanらはTransformer言語モデルに焦点を当て、768Mから1.5Bの非埋め込みパラメータ、および22Mから23Bトークンのデータセットサイズで、より大規模なスケールでの経験的実験で概念を形式化しました。論文中のすべての学習実行では、3000ステップの線形ウォームアップに続いてゼロへのコサイン減衰を行う学習率スケジュールが使用されました。

主要な発見のリスト:

  • 損失 $L$ は、$N$、$D$、$C$ それぞれに対してべき乗則としてスケールします。最適な性能のためには、これら3つすべてを同時にスケールする必要があります。
  • 学習曲線は、パラメータがモデルサイズにほぼ依存しない予測可能なべき乗則に従います。
  • より大きなモデルはサンプル効率が高く、つまり、より少ない最適化ステップとより少ないデータポイントで所定の損失に到達します。
  • アーキテクチャの詳細(幅、アスペクト比など)は、純粋なスケールよりも重要ではありません。
  • 学習損失とテスト損失は正の相関があります。(自明に聞こえるかもしれませんが、これは事前学習作業の基盤です。一方で、事前学習損失の改善が事後評価に転移するかどうかは、別途研究が必要です。)
  • 固定された計算量予算が与えられた場合、収束まで学習するよりも、非常に大きなモデルを学習して収束前に停止する方が効率的です。この発見は、Chinchillaのスケーリング則(次のセクション)とは意見が異なります。Kaplanらは、適合させた指数が大きかったため、最適なモデルサイズを過大評価しました。

彼らは、$N$ と $D$ の同時依存性を単一の式で要約しています:

$$ \hat{L}(N,D) = \left[ \left(\frac{a}{N}\right)^{\frac{\alpha}{\beta}} + \frac{b}{D} \right]^{\beta} $$

この形式の興味深い結果は、過学習の程度(つまり、モデルが複雑すぎるかデータが少なすぎるか)が主に比率 $N^{\alpha / \beta} / D$ に依存することです。これは、トレーニングがデータによって制限されるのを避けるためには、モデルサイズの増加に対して特定の割合でデータが増加する必要があることを示しています。

[画像: 計算量、データサイズ、パラメータにおけるテスト損失のべき乗則。多くの桁にわたって広がっています。(画像ソース: Kaplan et al. 2020)]

最も影響力があり、後から考えると最も議論の的となった結論は、計算量最適配分でした。Kaplanらは $N_\text{opt} \propto C^{0.73}$ を発見し、モデルサイズはデータセットサイズよりも速く成長すべきだと結論付けました。具体的には、計算量が10倍増加した場合、モデルサイズは約5.5倍、トレーニングトークンはわずか約1.8倍にスケールすることを提案しました。Chinchilla論文は後にこの推奨を覆し、大規模モデルがひどくアンダートレインされていると主張しました。

Kaplanらのもう一つの有用な分析は、$D$ と $N$ に基づいた必要な学習FLOP数の近似です。各乗算・加算は約2 FLOPとしてカウントされます。

[画像: レイヤー数 $n_\text{layer}$、モデル幅 $d_\text{model}$ (= $d_\text{embed}$;元の表では表記に一貫性がない)、フィードフォワード層の次元 $d_\text{ff}$ (しばしば $4 d_\text{model}$ に等しい)、アテンション次元 $d_\text{attn}$ (しばしば $d_\text{model}$ に等しい)、コンテキスト長 $n_\text{ctx}$、語彙サイズ $n_\text{vocab}$ が与えられた場合の、異なるTransformerアーキテクチャコンポーネントのパラメータと計算量の推定。(画像ソース: Kaplan et al. 2020)]

標準的な構成で $d_\text{attn} = d_\text{model} = d_\text{ff}/4$ で、埋め込み層を $N$ から除外し、トークンあたりのフォワード計算量を考慮すると:

$$ \begin{align} N &= n_\text{layer} d_\text{model} 3 d_\text{attn} + n_\text{layer} d_\text{attn} d_\text{model} + n_\text{layer} 2 d_\text{model} d_\text{ff} & \small{\text{; 埋め込み層なし}} \ &= 2;n_\text{layer} d_\text{model}(2d_\text{attn} + d_\text{ff}) & \ &= 12;n_\text{layer} d_\text{model}^2 & \ \ C_\text{fwd} &= 2 n_\text{layer} (d_\text{model} 3 d_\text{attn} + n_\text{ctx}d_\text{attn} + d_\text{attn}d_\text{embed} + 2 d_\text{model} d_\text{ff}) & \ &= 2 n_\text{layer} (12 d_\text{model}^2 + n_\text{ctx}d_\text{attn}) & \ &= 2N + 2 n_\text{layer}n_\text{ctx}d_\text{attn} & \ &\approx 2N \quad\quad \small{\text{; }n_\text{ctx} < 12 d_\text{model} \text{ であり、}n_\text{ctx}\text{ 項が比較的}, \text{小さいと仮定。}}\ \end{align} $$

次に、バックワードパスのFLOP数をフォワードパスのFLOP数の2倍としてカウントします。なぜなら、バックプロパゲーションは、入力アクティベーションと重みに関する勾配のために、それぞれ2回の行列乗算を実行するからです。したがって、合計で、トークンあたりの学習FLOP数は約 $6N$ であり、$D$ トークン全体での総FLOP数は $C \approx 6ND$ となります。

Chinchillaスケーリング則

Chinchilla論文 (Hoffmann et al. 2022) は、より慎重な実験設計の下で、固定された計算量予算 $C$ の下での最適なモデルサイズ $N$(埋め込みを含む総パラメータ数)とトークン数 $D$ の関係を研究し、Kaplanらとはやや異なる結果に到達しました。

[画像: Chinchillaはどのように見えるか知っているはずです😊 (画像ソース: ChatGPT生成)]

中心的な問題は、制約 $\text{FLOPs}(N, D) = C \approx 6ND$ が与えられた場合に、リソースを最適に配分する戦略は何かということです。言い換えれば、限られたFLOP数(一定期間実行されるGPUの数)しかない場合、より多くのデータトークンとより多くのモデルパラメータのどちらを選択すべきでしょうか?

$$ N_\text{opt}(C), D_\text{opt}(C) = \operatorname*arg,min extbackslash_{s.t. } \text{FLOPs}(N,D) = C} \hat{L}(N, D) $$

Chinchilla論文は、スケーリング則の適合のための3つの巧妙に設計された手法を提示しました。

経験的実験は、400以上のモデルをスキャンし、サイズは70Mから16Bパラメータ超、学習トークンは5Bから500Bでした。実験は、すべての学習トークンが一意である(無限データ領域)という仮定の下で行われました。すべての実行で、学習期間中に10倍に減衰するコサイン学習率スケジュールが使用されました。モデルサイズをスイープすると、計算量最適フロンティアがトレースされます。

手法1:モデルサイズを固定し、トークン予算を変更する

各パラメータ数 $N$ について、異なるトークン予算で複数の実行を学習し、計算量予算 $C$ ごとの最小損失を記録します。

[画像: Chinchilla手法1:モデルサイズのスイープに対するFLOP予算での学習損失曲線。(画像ソース: Hoffmann et al. 2022)]

手法2:IsoFLOPプロファイル

計算量予算 $C$ を固定し、最終損失をパラメータ数 $N$ に対してプロットします。各IsoFLOP曲線は対数空間でほぼ放物線状であり、その最小値はその計算量予算の最適なモデルサイズを示します。その後、予算全体にわたって繰り返すと、プロット上にべき乗則線がトレースされます。

[画像: Chinchilla手法2:IsoFLOP放物線;各曲線の最小値はその予算の計算量最適モデルサイズです。(画像ソース: Hoffmann et al. 2022)]

手法3:パラメトリック適合

Rosenfeld et al. (2020) と同じパラメトリック関数を直接適合させます。

$$ \hat{L}(N, D) = \frac{A}{N^\alpha} + \frac{B}{D^\beta} + E $$

制約 $\text{FLOPs}(N,D) = C \approx 6ND$ の下で $\hat{L}(N, D)$ を最小化することにより、最適な $N_\text{opt}(C), D_\text{opt}(C)$ の閉形式近似を実際に得ることができます。

まず、式を $N$ のみを含むように簡略化します:

$$ \begin{align} \hat{L}(N) &= A N^{-\alpha} + B \Big(\frac{C}{6}\Big)^{-\beta}N^\beta + E \ \hat{L}'(N) &= -\alpha A N^{-\alpha-1} + \beta B \Big(\frac{C}{6}\Big)^{-\beta} N^{\beta -1} = 0 & \small{\text{; }N\text{ に関する微分がゼロになる。}} \ \text{したがって} \quad & \alpha A N^{-\alpha-1} = \beta B \Big(\frac{C}{6}\Big)^{-\beta} N^{\beta -1} \ & \alpha A = \beta B \Big(\frac{C}{6}\Big)^{-\beta} N^{\alpha + \beta} \ & N_\text{opt} = \Big(\frac{\alpha A}{\beta B}\Big)^{\frac{1}{\alpha + \beta}} \Big(\frac{C}{6}\Big)^{\frac{\beta}{\alpha+\beta}} \ & D_\text{opt} = \frac{C}{6 N_\text{opt}} = \Big(\frac{\beta B}{\alpha A}\Big)^{\frac{1}{\alpha + \beta}} \Big(\frac{C}{6}\Big)^{\frac{\alpha}{\alpha+\beta}} \end{align} $$

$\alpha \approx \beta$ の場合、モデルサイズと学習トークンは同じ速度でスケールする必要があります。

最適な $\boldsymbol{\theta} = \langle A, B, E, \alpha, \beta\rangle$ を見つけるために、Chinchilla論文は Huber損失(外れ値に対してロバスト;$\delta=10^{-3}$)と L-BFGSアルゴリズム(少数のパラメータを持つ曲線適合に有効)を採用しました。

$$ \begin{align} \min extbackslash_{A,B,E,\alpha,\beta} \sum extbackslash_{\text{runs }{i}} \text{Huber}_\delta (\log \hat{L}(N_i, D_i) - \log L_i) \ \text{ここで} \text{Huber}_\delta (x) = \begin{cases}\frac{1}{2} x^2 & \text{if }\vert x \vert \leq \delta \ \delta \cdot (\vert x \vert - \frac{1}{2}\delta), & \text{otherwise.}\end{cases} \end{align} $$

Chinchillaは、3つの相補的な手法を通じてその答えに到達し、それらの最終結果は互いに一致しており、これが結果が非常に説得力があった理由の一部です。

[画像: 3つの手法は、Kaplan et al. (2020) の予測とは異なり、$N_\text{opt} \propto C^{0.5}$ という計算量最適フロンティアで一致しています。手法3の結果は、他の2つからわずかに外れています。これは後で説明します。(画像ソース: Hoffmann et al. 2022)]

[画像: Chinchillaの予測を3つの異なるアプローチで示したプロット、およびKaplan et al. (2020) による予測。3つの手法すべてが、当時の多くの主流LLMがアンダートレインされていたことを示唆しています。(画像ソース: Hoffmann et al. 2022)]

Chinchilla論文の、ほとんどの(当時、約2022年の)大規模モデルがアンダートレインされていたという主張は、有名なデモンストレーションによって裏付けられています。Gopher (Rae et al. 2021;280Bパラメータ数、300Bトークン予算) と同じ計算量予算の下で、彼らはChinchilla (70Bパラメータ数、1.4Tトークン予算) を学習させました。これは4倍小さいモデルですが、約4倍多くのトークンで学習され、あらゆる面でGopherを上回りました。

KaplanとChinchillaの調和

Chinchillaのスケーリング則は、Kaplanらとは次のように異なります:

  • 「モデルをデータよりも速くスケールさせる」($N_\text{opt} \propto C^{0.73}$) の代わりに、モデルサイズが2倍になるごとに、トレーニングトークン数も2倍にするべきです ($N_\text{opt} \propto C^{0.5}$)。
  • 「大きなモデルを学習して収束前に停止する」のではなく、より多くのデータでより小さなモデルを学習するべきです。

両論文は同じ根本原理には同意していますが、最適なサイズ対トークンのトレードオフがどこにあるかについては意見が異なります。なぜこれほど意見が異なるのでしょうか?

違い1:Kaplanらは主に小規模モデルで実験しました。 Kaplanらは主に小規模モデルで実験しましたが、Chinchilla論文の実験は10倍以上の規模に達しました。対数・対数空間で外挿する場合、適合におけるわずかな違いが大きな違いを生む可能性があります(トイシミュレーションを参照)。

違い2:埋め込みパラメータ数は小規模モデルにとって重要です。 小規模パラメータ領域では、埋め込みパラメータは総パラメータ数の中で無視できない割合を占めるため、それらをカウントするかどうかは重要です。Pearce & Song (2024) はこの線で徹底的な分析を行いました。埋め込みを除いたモデルサイズと計算量を $N extbackslash_{\setminus E}, C extbackslash_{\setminus E}$ とし、総パラメータ数をカウントする場合を $N, C$ とします。

  • Kaplanら: $N^ extbackslash* extbackslash_{\setminus E} \propto C^{0.73} extbackslash_{\setminus E}$ (非埋め込み)
  • Chinchilla: $N^* \propto C^{0.50}$ (総計)

それらを結びつけるために、ある定数 $\omega$ を用いて、総パラメータ数 $N_T$ と非埋め込みパラメータ数 $N extbackslash_{\setminus E}$ の関係を適合させます:

$$ N = N extbackslash_{\setminus E} + \omega, N extbackslash_{\setminus E}^{1/3}. $$

この形式は、厳密に増加し、$\lim extbackslash_{N \to \infty} N = N extbackslash_{\setminus E}$ という良い特性を持っています(なぜなら $\frac{N}{N extbackslash_{\setminus E}} = 1 + \omega {N extbackslash_{\setminus E}}^{- \frac{2}{3}}, \lim extbackslash_{N extbackslash_{\setminus E} \to \infty} \frac{N}{N extbackslash_{\setminus E}} = 1$)。

これをChinchillaのスケーリング則の式に代入すると:

$$ \begin{align} L(N extbackslash_{\setminus E}, C extbackslash_{\setminus E}) &= A(N extbackslash_{\setminus E} + \omega, N extbackslash_{\setminus E}^{1/3})^{-\alpha} + B \Big(\frac{C extbackslash_{\setminus E}}{6}\Big)^{-\beta} N extbackslash_{\setminus E}^\beta + E \ L'(N extbackslash_{\setminus E}, C extbackslash_{\setminus E}) &= - \alpha A (N extbackslash_{\setminus E} + \omega N extbackslash_{\setminus E}^{1/3})^{-\alpha -1}(1 + \frac{\omega}{3}N extbackslash_{\setminus E}^{-2/3}) + \beta B \Big(\frac{C extbackslash_{\setminus E}}{6}\Big)^{-\beta} N extbackslash_{\setminus E}^{\beta -1} = 0 & \small{\text{; }N extbackslash_{\setminus E}\text{ に関する微分がゼロになる。}} \ \text{整理すると} & \alpha A (N extbackslash^{} extbackslash_{\setminus E} + \omega {N extbackslash^{} extbackslash_{\setminus E}}^{1/3})^{-\alpha -1}(1 + \frac{\omega}{3} {N extbackslash^{} extbackslash_{\setminus E}}^{-2/3}) = \beta B \Big(\frac{C extbackslash_{\setminus E}}{6}\Big)^{-\beta} {N extbackslash^{} extbackslash_{\setminus E}}^{\beta -1} \ & 6^{-\beta}\frac{\alpha A}{\beta B} ({N extbackslash^{} extbackslash_{\setminus E}} + \omega {N extbackslash^{} extbackslash_{\setminus E}}^{1/3})^{\frac{1 + \alpha}{\beta}} ({N extbackslash^{} extbackslash_{\setminus E}} + \frac{\omega}{3}{N extbackslash^{} extbackslash_{\setminus E}}^{1/3})^{-\frac{1}{\beta}} {N extbackslash^{} extbackslash_{\setminus E}} = C extbackslash_{\setminus E}^{-\beta} \ & 6 \Big(\frac{\beta B}{\alpha A}\Big)^{\frac{1}{\beta}} ({N extbackslash^{} extbackslash_{\setminus E}} + \omega {N extbackslash^{} extbackslash_{\setminus E}}^{1/3})^{\frac{1 + \alpha}{\beta}} ({N extbackslash^{} extbackslash_{\setminus E}} + \frac{\omega}{3}{N extbackslash^{} extbackslash_{\setminus E}}^{1/3})^{-\frac{1}{\beta}} {N extbackslash^{} extbackslash_{\setminus E}} = C extbackslash_{\setminus E} \ \end{align} $$

上記の式における $C extbackslash_{\setminus E}$ と $N extbackslash_{\setminus E}$ の関係は、もはやきれいなべき乗則ではありません。局所的な指数 $g$ に基づく一次微分($\overset{\propto}{\sim}$)ではなく、グローバルなべき乗則指数ではなく、局所的に近似することしかできません。ここで $g = \frac{\mathrm{d} \log C extbackslash_{\setminus E}}{\mathrm{d} \log N extbackslash_{\setminus E}}$ です。指数 $g$ がどのように近似されるかの詳細については、Pearce & Song (2024) の付録A.1を参照してください。

[画像: 局所的なべき乗則指数 $g$ が $C extbackslash_{\setminus E}$ とともにどのように増加するかの可視化。(画像ソース: Pearce & Song 2024)]

上記の可視化で示されているように、$C extbackslash_{\setminus E}$ が大きくなるにつれて、$g$ はChinchillaの推定値に収束します。上記の式を用いて合成学習曲線(768Mから1.5Bのモデルサイズ範囲、Kaplanらと同様)を生成することにより、その領域では $g$ がKaplan係数0.73に近いと推定されました。

なぜべき乗則なのか?

べき乗則は、Zipfの法則、スケールフリーネットワーク、都市のスケーリング則 など、AI以外の多くのドメインで広く観察されています。繰り返し現れるパターンは、大きなイベントはまれで、小さなイベントは一般的であり、サイズと頻度の関係は対数・対数スケールで直線になることが多いということです。

LLMのスケーリング則もべき乗則の形状をとるのはなぜでしょうか?

異なる指数を示す様々なドメイン(Hestness et al. 2017)に部分的に触発され、Sharma & Kaplan (2020) による初期の説明では、言語モデリングはデータの低次元多様体上での回帰として見なせると仮説を立てています。より多くのモデルパラメータは、データ多様体のより細かい分割を誘導でき、したがって一般化誤差を小さくすることができます。最も単純な言葉で言えば、実効サイズ $N$ のモデルが $d$ 次元多様体を $O(N)$ 個の領域に分割する場合、典型的な線形解像度は $\sim N^{-1/d}$ としてスケールします。これは上記のべき乗則と似た形式です。この理論は、無限データ、アンダーフィッティング領域で最もきれいに適用されますが、現実にはデータ多様体の固有次元を推定することは非常に困難です。

後の仮説(Michaud et al. 2023, Brill 2024)は、知識やスキルが離散的なチャンク(「量子化」)で学習され、これらのスキルの頻度分布がべき乗則に従うと仮定しています。モデルは一般的なスキルを先に学習し、まれなスキルを後に学習するため、損失は滑らかなべき乗則で減衰します。

ここでは2つの仮説のみを挙げましたが、スペクトルテール、カーネル固有値、自然言語統計、または学習ダイナミクスの相転移を通じて、べき乗則スケーリングの形状を説明する研究は他にもあります。

データ制限領域におけるスケーリング則

古典的なスケーリング則は、実質的に無限のユニークなデータ、繰り返しなし、複数エポックのトレーニングを仮定しています。モデルサイズが大幅に増加すると、十分な高品質のユニークトークンが不足してきます。実際、AIにおけるスケーリングがどれだけ続くかについての議論の一部は、「データウォール」に到達しているかどうかを中心に展開されています。

また、$D$ の背後にあるデータセットは、すでにクリーニングされていることが期待されることを強調する価値があります。事前学習データパイプラインは、しばしば効果的な事前学習パイプラインの大部分を占めます。重複排除(完全およびファジー)、品質フィルタリング、定型文除去、安全性フィルタリング、PII/著作権マスキング、ベンチマークの汚染解除、および言語、品質、コンテンツタイプなどに基づいたデータミックスコンポーネントの慎重な再重み付けなどの一般的なステップが含まれます。2つのデータセットが同じトークン数 $D$ を含んでいても、高品質のデータセットとインターネットのゴミのようなデータセットでは、計算効率が劇的に異なる可能性があります。

Hernandez et al. (2022) の研究は、制御されたバージョンに焦点を当てました。それは、少量の繰り返しデータを含む、ほとんどユニークなデータセットです。大規模データセットから開始し、データミックスは90%を非繰り返しに保ちますが、残りの10%を元のデータセットの小さな部分の繰り返しで置き換えます。Transformerモデルを100Bトークン学習させたところ、二重下降現象(double-descent phenomenon)が観察されました。つまり、テスト損失は、繰り返しデータの強調度合いに応じて、実際には悪化してから再び改善することがあり、繰り返し部分が増加するにつれてこの効果が顕著になります。

[画像: 繰り返し部分が増加するにつれてテスト損失が二重下降する様子(左は90%繰り返し、右は50%繰り返し)。(画像ソース: Hernandez et al. 2022)]

トレーニングの中間段階での平坦または増加傾向は、繰り返しデータの記憶によるものである可能性があります。このような形状の学習曲線は、スケーリング則の適合を不正確にします。また、繰り返しデータが一部のOOD評価や下流のファインチューニングを損なうと結論付けています。しかし、それらのデータミックスはより実験室的な設定で構築されており、現実世界のデータにおける繰り返しはしばしばより微妙です(例:異なるデータは異なるレベルの繰り返し、意味的な繰り返しなどを持つ)。

データ繰り返しがトレーニングを損なうと言うのではなく、ユニークで高品質なデータが無限ではなく、トレーニング中にデータを繰り返す必要があることを考えると、スケーリング則を適合させる方法に興味があります。

Muennighoff et al. (2023) は、モデルトレーニングがデータ制約下にある場合に、計算量を最適に配分する方法という研究課題に取り組みました。具体的には、約400の実験、10M~9Bパラメータ、最大900Bトークンのデータサイズ、最大1500エポックにわたるデータ繰り返しが経験的に研究されました。全く同じデータセットが各エポックで繰り返され、エポック間でシャッフルされ、保持されたテストセットで評価されました。

主要なモデリング調整は、総トークン数 $D$ を2つの部分に分解することです。(i) ユニークトークン数 $U_D$ と (ii) 繰り返し数 $R_D$(つまり、エポック数 - 1)。したがって、$D = U_D(1 + R_D)$ となります。ユニークデータ予算 $D_\text{uniq}$ に対して、定義により $U_D = \min {{ D_\text{uniq}, D}}$ および $R_D = (D / U_D) - 1$ です。彼らはChinchillaのスケーリング則を使用して、$U_D$ を適合させるための最適なモデルサイズ $U_N$ を見つけ、繰り返しによる過剰なモデルサイズを $R_N = (N / U_N) - 1$ と定義します。

次に、Chinchillaのパラメトリック適合(手法3)を更新して、生の数量の代わりに、実効的な(割引された)データ $D’$ とモデルサイズ $N’$ を使用します:

$$ \hat{L}(N, D) = \frac{A}{N'^\alpha} + \frac{B}{D'^\beta} + E \quad\text{ここで } D' = U_D + U_D, r_D\left(1 - \exp!\left(-\frac{R_D}{r_D}\right)\right). $$

直感としては、トークンの価値は繰り返されるにつれて指数関数的に減少するというものです。それらのモデリングでは、各繰り返しはトークンにその残りの価値の $(1 - 1/r_D)$ の割合をコストとして課します。ここで $r_D$ は学習可能な「半減期」パラメータです。$R_D = 0$ または $R_D \ll r_D$ の場合、$D’ \approx D$ に戻ります。

過剰なモデルサイズに対する対称的な定式化も同様に扱います。$N’ = U_N + U_N r_N(1 - \exp(-R_N / r_N))$ は、「より大きなモデルは繰り返しデータでより速く過学習する」という考え方と、「モデルがデータセットに対して大きすぎる可能性がある」ことを捉えています。このコンポーネントは直感的ではなく、なぜモデルサイズが繰り返しデータのような対称的な形式で現れる必要があるのか、満足のいく説明を見つけることができませんでした。後のLovelace et al. (2026) の研究はこの仮定を変更しました。

それらの経験的適合では、過剰なパラメータは繰り返しデータよりも速く価値を失う ($r_N < r_D$) ことが見出されたため、より多くのエポックにリソースを割り当てる方が、より多くのモデルパラメータに割り当てるよりも良いとされています。このモデリングの弱点の一つは、著者らも指摘しているように、トレーニング途中で損失が増加する失敗モデル(例:44エポック学習したモデル)の最終テスト損失を大幅に過小評価することです。

[画像: 繰り返しによるデータ制約付きスケーリングは、データ非考慮の適合よりも実験結果をより良く捉えています。繰り返しトークンの価値は指数関数的に減衰し、上限に達します。トレーニング途中でテスト損失が増加する高繰り返しはプロットに描かれていないため、エポック数が多いほど適合が悪くなります。(画像ソース: Muennighoff et al. 2023)]

最も最近では、Lovelace et al. (2026) が異なるアプローチで同じ問題に再挑戦しました。過剰適合を実効モデルサイズの収穫逓減としてモデル化するのではなく、モデルサイズ $\times$ データ繰り返しの相互作用を明示的にモデル化しています。経験的には、約300のモデルをトレーニングし、15Mから1Bパラメータ、50Mから6Bユニークトークンをカバーしました。

固定モデルサイズに対する適合残差を様々なデータ繰り返しレベルでプロットすると、その観察は直感的です。エポック数が多いほどダメージは大きく、興味深いことにより大きなモデルほど繰り返しに敏感です。これは、損失ペナルティがモデルサイズとデータサイズの関数である可能性を示唆しています。

[画像: 実効サイズ適合の残差は、エポック数とモデルサイズの増加に伴って過学習ダメージが増加することを示しています。(画像ソース: Lovelace et al. 2026)]

明示的な過学習ペナルティ項が導入され、容量比 $N / U_D$(ユニークトークンに対するパラメータ数)を中心に構築されました:

$$ \hat{L}(N, U_D, R_D) = E + \frac{A}{N^\alpha} + \frac{B}{\big(U_D (1 + R_D)\big)^\beta} + \color{red}{P \cdot R_D^\delta \cdot \left(\frac{N}{U_D}\right)^\kappa} $$

ここで:

  • $R_D$ は繰り返し回数です。
  • スカラー $P$ は学習可能なパラメータです。
  • 指数 $\kappa$(2番目の学習可能なパラメータ)は、ペナルティが容量比 $N / U_D$ に対して非線形にスケールすることを可能にします。
  • 繰り返し回数に対する独立した指数 $\delta$(3番目の学習可能なパラメータ)は、繰り返し非線形性と $\kappa$ を分離します。

追加された項(赤色)は、データの繰り返し回数と、利用可能なユニークデータに対するモデルの過剰適合度の両方で増加する直接的な過学習ペナルティです。

また、データ制限制約下でのトレーニングにウェイト減衰がどのように影響するかについてのケーススタディを行い、強いウェイト減衰がデータ繰り返しによる過学習ペナルティを軽減することを発見しました。

[画像: 強いウェイト減衰は、データ繰り返しからの過学習ペナルティを軽減します。(画像ソース: Lovelace et al. 2026)]

Muennighoff et al. と Lovelace et al. による両方のモデリングアプローチは、経験的な曲線適合から構築されているため、データ制約付きスケーリング則が正確にこれらの形式をとる理由と、各自由パラメータが必要な理由はまだ不明です。この線に沿ったさらなる理論的研究に興味があります。

現実におけるスケーリング則適合の難しさ

そのクリーンな形式にもかかわらず、実際には、パラメータの数え方、精度丸め方、損失の合計または平均の取り方など、一見些細な手順の選択にスケーリング則の適合は驚くほど敏感になることがあります。

スケーリング則は、トレーニングできる(比較的安価な)モデルにのみ適合され、予測は桁違いに大きなモデルに対して外挿されるためです。このような設定では、丸め誤差のような選択が、予測に大きな違いをもたらす可能性があります。

一方、スケーリング則の適合は、変更される唯一の要因がスケールであると仮定します。これは、モデルアーキテクチャ、オプティマイザ、学習率スケジュール、バッチランプ、データミックス、トークナイザ、その他の設計選択が同じままであるべきであることを意味します。もう一つの根本的な仮定は、これらの設定がすべて慎重に調整されているべきであるということです。なぜなら、アンダートレインされたモデルのようなケースは、異なる結論につながる可能性があるからです。

KaplanらとChinchillaの結果の不一致は、スケーリング則適合の難しさを示す一例です。

2番目の例は、Chinchillaの手法3 が他の2つの手法からわずかに外れている理由を調査したフォローアップ分析です。Besiroglu et al. (2024) は、Hoffmann et al. (2022) の図4から生の $(N, D, L)$ データポイントを抽出し、手法3のパラメトリック適合を再実行しました。彼らはいくつかの具体的な問題を発見しました:

  • L-BFGS-Bミニマイザにおける高い損失スケール。これは、Huber損失値を例ごとに平均するのではなく合計したことによって引き起こされ、最適化の早期終了につながりました。元の適合とブートストラップの両方での損失最小化の早期停止は、不整合な推定値とありえないほど狭い信頼区間を生み出しました。
  • 報告された $\alpha$ と $\beta$ は小数点以下2桁に丸められており、導出された $A, B$ が実際よりも大きくずれているように見えました。

トイシミュレーション

ここでは、3つの特定の失敗モードを実証するために設計された、ChatGPTによって作成されたトイシミュレーションウィジェットを示します。

真の関数は次のようになると仮定します:

$$ \hat{L}(N, D) = 482.01 \cdot N^{-0.3478} + 2085.43 D^{-0.3658} + 1.8172 $$

したがって、$N_\text{opt} \propto C^{0.5126}, D_\text{opt} \propto C^{0.4874}$ となります。これはBesiroglu et al. (2024) による推定値です。

シミュレーションは、損失予測 $\hat{L}$ をデータセットサイズ $D$ に対してプロットし、以下のケースを示すスライダーを提供します:

  • 損失精度:損失を高い小数点以下の桁数から低い桁数に丸めることで、適合パラメータ値が変わる可能性があります。
  • 損失ノイズ:損失値にミリ損失(0.001)単位の乗数で摂動を加えるだけで、適合が変わります。
  • 適合領域の感度:小規模モデルのみ、中規模モデルのみ、またはすべてのモデルを適合させると、異なるスケーリング則が現れます。

引用

このワークは、次のように引用してください:

Weng, Lilian. “Scaling Laws, Carefully”. Lil’Log (Jun 2026). https://lilianweng.github.io/posts/2026-06-24-scaling-laws/

またはBibTex引用を使用してください:

@article{weng2026scaling,
 title = {Scaling Laws, Carefully},
 author = {Weng, Lilian},
 journal = {lilianweng.github.io},
 year = {2026},
 month = {June},
 url = "https://lilianweng.github.io/posts/2026-06-24-scaling-laws/"
}

参考文献

[1] S. Amari, N. Fujita, and S. Shinomoto. “Four Types of Learning Curves. Neural Computation.” 4(4):605–618, 1992.

[2] Hestness et al. “Deep Learning Scaling is Predictable, Empirically.” arXiv preprint arXiv:1712.00409, 2017.

[3] Rosenfeld et al. “A Constructive Prediction of the Generalization Error Across Scales.” ICLR 2020.

[4] Kaplan et al. “Scaling Laws for Neural Language Models.” arXiv preprint arXiv:2001.08361, 2020.

[5] Hoffmann et al. “Training Compute-Optimal Large Language Models.” NeurIPS 2022.

[6] Pearce and Song. “Reconciling Kaplan and Chinchilla Scaling Laws.” TMLR 2024.

[7] Bahri et al. “Explaining Neural Scaling Laws.” arXiv preprint arXiv:2102.06701, 2021.

[8] Sharma and Kaplan. “A Neural Scaling Law from the Dimension of the Data Manifold.” arXiv preprint arXiv:2004.10802, 2020.

[9] Hernandez et al. “Scaling Laws and Interpretability of Learning from Repeated Data.” arXiv preprint arXiv:2205.10487, 2022.

[10] Muennighoff et al. “Scaling Data-Constrained Language Models.” NeurIPS 2023.

[11] Lovelace et al. “Prescriptive Scaling Laws for Data Constrained Training.” arXiv preprint arXiv:2605.01640, 2026.

[12] Besiroglu et al. “Chinchilla Scaling: A Replication Attempt.” arXiv preprint arXiv:2404.10102, 2024.

[13] Michaud et al. “The Quantization Model of Neural Scaling” NeurIPS 2023.

[14] Brill. “Neural Scaling Laws Rooted in the Data Distribution.” arXiv preprint arXiv:2412.07942, 2024.

[15] Rae et al. “Scaling Language Models: Methods, Analysis & Insights from Training Gopher.” arXiv preprint arXiv:2112.11446, 2021.