指数分布の平均の分散の爆発：最小二乗法による解決

機械学習における一般的なタスクは、$$ \log \Big( \int_{\mathcal{X}} e^{v(x)} dq(x) \Big) $$ のような（連続的に多くの）項を持つ「log-sum-exp」関数を推定または最適化することです。ここで、\(v: \mathcal{X} \to \mathbb{R}\) は何らかのポテンシャル関数であり、\(q\) は集合 \(\mathcal{X}\) 上の確率分布です。これは、データサイエンス全体にわたって、確率モデルの正規化、Transformerにおける最大値の滑らかな近似、またはエントロピー正則化を用いた強化学習など、多くの応用があります[19]。場合によっては、集合 \(\mathcal{X}\) は有限（潜在的に大きい）であり、積分は明示的な合計によって実行できますが、多くの場合、正確な計算は実行不可能であり、代わりに確率分布 \(q\) からのサンプリングが使用されます。主な困難は、このような推定値の分散にあり、特に \(v\) が大きな値をとる場合に顕著です。最も単純な例では、平均 \(\mu\) と分散 \(\sigma^2\) で正規分布する独立な \(z_1,\dots,z_n \in \mathbb{R}\) に対して、\(\mathbb{E}[e^z]\) を推定する際の相対二乗誤差は $$\frac{ {\rm var}\big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big) }{( \mathbb{E}[ e^{z} ])^2} = \frac{1}{n} \frac{ {\rm var}(e^z) }{( \mathbb{E}[ e^{z} ])^2} = \frac{ e^{\sigma^2}-1}{n}.$$ となります。これは \(n\) が増加するとゼロに収束します（大数の法則から期待されるように）、しかし \(\sigma\) が増加すると指数関数的に爆発します。対数を取っても分散の爆発は変わらず、すなわち、\({\rm var}\big( \log \big( \frac{1}{n} \sum_{i=1}^n e^{z_i} \big)\big)\) も（\(n\) が大きい場合、デルタ法から得られるように）\(\frac{ e^{\sigma^2}-1}{n}\) と同様に漸近的に増加することが示されます。推定が困難であるにもかかわらず、log-sum-exp関数は多くの優れた特性を備えています（だから人々はそれを愛しているのです）。私は特に、（1）最大値の滑らかな近似であること（例えば、この以前の投稿を参照）、および（2）確率モデルを正規化する方法であり、特に階層的確率モデルにおいて、条件付き独立性の仮定が関連する損失関数の分離につながる（確率的グラフィカルモデルで徹底的に使用されている）最大尤度推定に適しているという事実を気に入っています。この投稿で私が答えようとしている主な質問は次のとおりです。計算的・統計的な欠点への露出を減らしながら、log-sum-exp関数の最適化の利点を維持することはできるでしょうか？ 最小二乗法の魔法 スペクトルのもう一方の端には、実質的に反対の特徴を持つ最小二乗回帰があります。肯定的な側面としては、線形モデルに対する閉形式推定を線形代数を通じて得られるなど、さまざまな形で計算的・統計的な単純さを得られます。これは、固定された制御された分散を持つモーメントの計算に基づき、さまざまな設定（加速、確率的勾配降下法など）でシャープな分析につながります。例えば、加速に関するこの投稿や、平均化に関するこの投稿を参照してください。否定的な側面としては、すべての予測問題、特に離散的な出力を持つ問題に最小二乗回帰を使用すると、いくつかの人工的な結果が生じます。伝統的な例は、ガウスクラス条件付きデータ（同一の共分散行列を持つ）での分類であり、one-hotエンコーディングされた出力に対する最小二乗法は、「マスキング」（[13、セクション2.4]および以下の例を参照）や、多項ロジスティック回帰（ソフトマックス回帰とも呼ばれる）を使用する場合と比較して高い近似誤差などの問題を引き起こします。なぜなら、その場合、条件付き対数確率はアフィンだからです。それらを調和させることはできますか？言い換えれば、最小二乗法は本当に私が望むすべてでしょうか？（同僚は私の最小二乗法への愛をからかうことがあります）。最小二乗法を通じて世界を見るもう一つの（古典的な）試みがあることに注意してください。それはニュートン法を通じて直列に行われ、この文脈では反復的に重み付けされた最小二乗法につながりますが、これは計算のためだけであり、統計的な改善はありません。私たちが目指しているのは、より強力なものです。通常は凸関数の最適化（ロジスティック回帰やソフトマックス回帰など）を必要とする最大尤度問題に対して、最小二乗法ベースの閉形式推定器を得ることはできますか？興味深いことに、私の新しい試みは、次の積分方程式に要約できます。 $$ t \log t\, – t + 1 = \int_0^1 \!\! \frac{ (t-1)^2}{\rho t + 1-\rho} (1-\rho) d\rho,$$ これは通常の積分トリックで確認できます。なぜ、どのようにしてそうなるのか見てみましょう！ 相対密度推定をテストケースとして この投稿では、さまざまな推定フレームワークを研究および比較できる単純で基本的な問題に焦点を当てます。この問題は、いくつかの方法で拡張できることに注意してください（特に、相互情報量を介して、以下を参照）。2つの確率分布 \(p\) と \(q\) を \(\mathcal{X}\) 上で考えます。私たちの目標は、相対密度 \(\log \big(\frac{dp}{dq}(x)\big)\) の対数を推定することです。これは、変分定式化[1]により、カルバック・ライブラー（KL）ダイバージェンスの推定と同等であることがわかります。 $${\rm KL}(p\|q) = \int_{\mathcal{X}} \log \big(\frac{dp}{dq}(x)\big) dp(x) = \sup_{v: \mathcal{X} \to \mathbb{R}} \int_{\mathcal{X}} v(x) dp(x) + 1\, – \int_{\mathcal{X}} e^{v(x)} dq(x). \tag{1} $$ これは \(f\)-ダイバージェンスの特に重要なインスタンスです（例えば[2]を参照）。その定義と、\(f\) のフェンケル共役 \(f^\ast\) に基づく変分定式化は次のとおりです。 $$D(p\|q) = \int_{\mathcal{X}} f \big( \frac{dp}{dq}(x) \big) dq(x)= \sup_{v: \mathcal{X} \to \mathbb{R}} \int_{\mathcal{X}} v(x) dp(x) \, – \int_{\mathcal{X}} f^\ast(v(x)) dq(x),$$ この表現は、各 \(t = \frac{dp}{dq}(x)\) に \(f(t) = \sup_{ u \in \mathbb{R}} ut-f^\ast(u)\) を適用した結果です。KLダイバージェンスは \(f(t) = t \log t \, – t + 1\) および \(f^\ast(u) = e^u \, – 1\) に対応します。KLダイバージェンスの特別なケースでは、\(v\) の上に定数を最適化する場合、 Donsker-Varadhan表現[3]が得られます。 $${\rm KL}(p\|q) = \sup_{v: \mathcal{X} \to \mathbb{R}} \int_{\mathcal{X}} v(x) dp(x)\, – \log \Big( \int_{\mathcal{X}} e^{v(x)} dq(x) \Big). \tag{2}$$ ここにlog-sum-exp関数が明示的に現れます。\(p\) と \(q\) からのi.i.d.サンプルを使用してポテンシャル \(v\) を推定するために、従来の変分アプローチは積分を経験的平均に置き換えることに対応します。\(q\) の場合、サンプルのみが利用可能な場合に不安定になる可能性のある経験的平均につながります。この投稿の目的は、別の方法を探求することです（新しいフレームワークの主な原則を提示します。詳細については[7]を参照してください）。\(f\)-ダイバージェンスを通じたフレーミングは、新しいアプローチにとって本当に鍵となります。なぜなら、他のダイバージェンスも定義において重要になるからです。次に進む前に、2つのポテンシャル \(v\) と \(w\) を持つ別の（同等の）変分定式化を述べます。これは後で必要になります。 \(D(p\|q)\) は次の値に等しくなります。 $$\sup_{v,w: \mathcal{X} \to \mathbb{R}} \int_{\mathcal{X}} v(x) dp(x) + \int_{\mathcal{X}} w(x) dq(x) \quad \text{ただし} \quad \forall x \in \mathcal{X}, w(x) \leqslant -f^\ast(v(x)). \quad \tag{3}$$ 最適時には \(w(x) = -f^\ast(v(x))\) となり、KLケースでは式(1)が回復します。制約は凸ですが、\(f(t) = t \log t – t + 1\) の場合、従来の凸最適化手法が通常許可するものとはかけ離れています。この定式化は[25、定理4.4]に現れ、問題の対称性を維持するという良い特性を持っています（つまり、\(p\) と \(q\) が入れ替わると、\(f\) が \(t \mapsto t f(1/t)\) に置き換えられることに相当し、これは \(v\) と \(w\) の入れ替えに対応します）。以下では、制約 \(\forall x \in \mathcal{X}, \ w(x) \leqslant -f^\ast(v(x))\) を満たす関数 \(v\) と \(w\) の候補を得ます。通常は等号なしで得られます。 重み付きカイ二乗ダイバージェンス \(f\)-ダイバージェンスに関連するもう一つの関連関数は、パラメータ \(\rho \in [0,1]\) に対して次のようになります。 $$ f(t) = \frac{1}{2} \frac{ (t-1)^2}{ \rho t + 1-\rho}. $$ これは重み付きカイ二乗ダイバージェンスにつながります。