HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

計算最適はクラスタ最適ではない

Compute-optimal is not cluster-optimal (szha.ai)

6 pointsby yuxin_tang0 コメント

要約

最近の論文では、スケーリング則の段階にシステム段階を組み込むアプローチが提案されています。これは、トレーニングに使用するクラスタが実際に提供するリソースに基づいて各候補アーキテクチャのコストを評価するもので、特にMixture-of-Experts (MoE) モデルにおけるスパース性の最適な値は、トレーニングに使用するクラスタに依存するという結論に至っています。

全文翻訳

私たちの新しい論文では、システム構築の段階をスケーリング則の段階に統合しています。

候補となるアーキテクチャを、クラスタが実際に提供する性能に基づいて評価すると、その答えは変わります。MoE(Mixture of Experts)モデルが持つべきスパース性は、学習に使用するクラスタに依存するのです。

論文はこちら