AI・機械学習
計算最適はクラスタ最適ではない
Compute-optimal is not cluster-optimal (szha.ai)
要約
最近の論文では、スケーリング則の段階にシステム段階を組み込むアプローチが提案されています。これは、トレーニングに使用するクラスタが実際に提供するリソースに基づいて各候補アーキテクチャのコストを評価するもので、特にMixture-of-Experts (MoE) モデルにおけるスパース性の最適な値は、トレーニングに使用するクラスタに依存するという結論に至っています。
全文翻訳
私たちの新しい論文では、システム構築の段階をスケーリング則の段階に統合しています。
候補となるアーキテクチャを、クラスタが実際に提供する性能に基づいて評価すると、その答えは変わります。MoE(Mixture of Experts)モデルが持つべきスパース性は、学習に使用するクラスタに依存するのです。