過剰パラメータ化の不可解な成功:宝くじチケットか、それとも脱出次元か?
要約
本論文は、過剰パラメータ化されたニューラルネットワークの成功を説明する「宝くじチケット」の比喩が、直感的であるものの誤解を招く可能性があると指摘しています。代わりに、損失ランドスケープの幾何学に基づいたより正確な直感的説明を提案しており、ネットワークの幅を増やすことで最適化に利用できる次元が増え、悪い局所最適解から脱出しやすくなると主張しています。このアプローチは、良い最適解と比較して悪い最適解が稀になるという洞察も提供し、大規模ネットワークの基礎的な現象を説明するアナロジーの洗練を促しています。
全文翻訳
ロトやチケットは、過剰パラメータ化されたニューラルネットワークの成功を説明するための教育的な比喩としてよく使われます。「より大きなネットワークが成功するのは、タスクを孤立して学習できる、適切に初期化されたサブネットワークをより多く含んでいる可能性が高いためであり、これはより多くのチケットを購入することで宝くじに当たる確率が増えるようなものです。」この説明は直感的ですが、誤解を招きます。それは、サブネットワークがネットワークの他の部分から孤立して扱えることを示唆しているからです。
この推論に従うと、広いネットワークでの学習はマルチスタート最適化プロセスとして解釈されることになります。そこでは、勾配降下が単にサブネットワーク群を並列探索するだけです。私たちは、他の理由の中でも、ネットワークの他の部分を摂動することで、当選チケットを失敗させることができるため、この見方は誤りであると主張します。
私たちは、損失関数の地形の幾何学的性質に基づいた、過剰パラメータ化の成功のための、より正確な直感的な絵を提案します。幅を増やすことは、最適化のための利用可能な次元の集合を拡大し、悪い局所的最小値から脱出しやすくします。さらに、幅が成長するにつれて、悪い最小値は良い最小値と比較してますますまれになります。
この分野が成熟するにつれて、大きなネットワークの明らかな冗長性のような基本的な現象を説明するために使用する比喩を洗練し、実践者の直感と現代の理論的洞察を調和させることが重要です。