AI・機械学習
過剰パラメータ化の不可解な成功：宝くじチケットか、それとも脱出次元か？
要約
本論文は、過剰パラメータ化されたニューラルネットワークの成功を説明する「宝くじチケット」の比喩が、直感的であるものの誤解を招く可能性があると指摘しています。代わりに、損失ランドスケープの幾何学に基づいたより正確な直感的説明を提案しており、ネットワークの幅を増やすことで最適化に利用できる次元が増え、悪い局所最適解から脱出しやすくなると主張しています。このアプローチは、良い最適解と比較して悪い最適解が稀になるという洞察も提供し、大規模ネットワークの基礎的な現象を説明するアナロジーの洗練を促しています。
全文翻訳
プレプリント：過剰パラメータ化の不可解な成功：宝くじチケットか、それとも脱出次元か？ Martinelli, Flavio • Brea, Johanni • Gerstner, Wulfram 2026年5月12日
過剰パラメータ化されたニューラルネットワークの成功を説明するために、宝くじやチケットが教育的なアナロジーとしてよく使われます。「大きなネットワークは、タスクを単独で学習できる適切に初期化されたサブネットワークをより高い確率で含んでいるため成功する。まるで、より多くの宝くじを買うことで当選確率が上がるようなものだ。」この説明は直感的ですが、誤解を招きます。なぜなら、サブネットワークがネットワークの残りの部分から独立して扱えることを示唆しているからです。この推論に従うと、ワイドなネットワークでの学習は、勾配降下法が単にサブネットワーク群を並行して探索するような、マルチスタート最適化プロセスとして解釈されることになります。
私たちは、この見方は欠陥があると主張します。なぜなら、他の理由の中でも、ネットワークの残りの部分を摂動させることで、当選チケットを機能不全に陥らせることができるからです。私たちは、損失ランドスケープの幾何学に基づいて、過剰パラメータ化の成功について、より正確な直感的説明を提案します。幅を増やすことで最適化に利用できる次元のセットが拡大し、悪い局所最適解から脱出しやすくなります。さらに、幅が広がるにつれて、良い局所最適解と比較して、悪い局所最適解はますます稀になります。
この分野が成熟するにつれて、大規模ネットワークの明らかな冗長性などの基礎的な現象を説明するために私たちが使用するアナロジーを洗練し、実務家の直感と現代の理論的洞察を調和させることが重要です。