HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ソフトマックス関数とその導関数

The Softmax function and its derivative (eli.thegreenplace.net)

31 pointsby costco2 コメント

要約

ソフトマックス関数は、実数ベクトルを入力として受け取り、合計が1になるような(0, 1)の範囲の確率分布ベクトルを出力する関数です。この記事では、その数学的定義、機械学習における確率的解釈、そしてヤコビアン行列の導出について解説しています。さらに、計算上の数値安定性の問題とその解決策についても触れています。

全文翻訳

Softmax関数とその導関数

Softmax関数は、任意のN次元実数ベクトルを入力として受け取り、合計が1になる(0, 1)の範囲の実数値ベクトルを出力します。これは以下のように定義されます。

そして、各要素の実際の計算式は以下の通りです。

は常に正であることが容易にわかります(指数関数による)。さらに、分子が分母に他の正の数とともに合計されているため、となります。したがって、範囲は(0, 1)です。

例えば、3要素のベクトル [1.0, 2.0, 3.0] は [0.09, 0.24, 0.67] に変換されます。要素の相対的な大きさの順序は保持され、合計は1.0になります。このベクトルをわずかに変更して [1.0, 2.0, 5.0] にしてみましょう。出力は [0.02, 0.05, 0.93] となり、これらのプロパティは依然として保持されます。最後の要素が最初の2つから離れるにつれて、そのsoftmax値が出力の全体的な1.0のスライスを支配していることに注意してください。直感的には、softmax関数は最大関数(maximum function)の「ソフト」なバージョンです。単一の最大要素を選択するのではなく、softmaxはベクトルを全体(1.0)のパーツに分割し、最大の入力要素が比例して大きなチャンクを得ますが、他の要素も一部を受け取ります [1]。

確率的解釈

Softmaxのプロパティ(すべての出力値が(0, 1)の範囲にあり、合計が1.0になる)は、機械学習で非常に役立つ確率的解釈に適しています。特に、多クラス分類タスクでは、入力が複数の出力クラスのいずれかに属する確率を割り当てたいことがよくあります。

N個の出力クラスがある場合、合計が1になるN次元の確率ベクトルを探していることになります。聞き覚えがありますか?

Softmaxを次のように解釈できます。

ここで、y はクラス番号 y の出力クラスです。a は任意のN次元ベクトルです。最も基本的な例は多クラスロジスティック回帰であり、入力ベクトル x が重み行列 W と乗算され、この内積の結果がSoftmax関数にフィードされて確率が生成されます。このアーキテクチャは、後ほど詳しく検討します。

ベクトル微積分からの予備知識

Softmaxの導関数を計算する前に、ベクトル微積分からのいくつかの予備知識から始めましょう。

Softmaxは基本的にベクトル関数です。ベクトルを入力として受け取り、ベクトルを出力します。つまり、複数の入力と複数の出力があります。したがって、「Softmaxの導関数」を単に尋ねることはできません。代わりに、次のことを指定する必要があります。

  1. Softmaxのどの成分(出力要素)の導関数を求めたいか。
  2. Softmaxには複数の入力があるため、どの入力要素に関して偏微分を計算するか。

これが複雑に聞こえる場合は、心配しないでください。これはまさにベクトル微積分の記法が開発された理由です。私たちが探しているのは偏微分です。

これは、i番目の出力のj番目の入力に関する偏微分です。今後使用する、それを記述するより短い方法は次のとおりです。

Softmaxは関数であるため、それに対して計算する最も一般的な導関数はヤコビ行列です。

MLの文献では、「勾配」という用語が導関数の代わりによく使用されます。厳密に言えば、勾配はスカラー関数(MLの損失関数など)に対してのみ定義されます。Softmaxのようなベクトル関数に対して「勾配」について話すのは不正確です。ヤコビ行列はベクトル関数の完全な導関数ですが、ほとんどの場所で「導関数」と言うだけです。

任意の i および j について計算しましょう。

導関数の商の法則を使用します。 の場合:

この場合、次のようになります。

どの導関数を計算しても、答えは常に となることに注意してください。しかし、 の場合はそうではありません。 の の微分は、 のみが に含まれる場合のみ です。それ以外の場合、導関数は0です。

の場合に戻り、 のケースから始めます。次に、商の法則を使用して次のようになります。

簡潔にするために、 は を表します。少し並べ替えると、次のようになります。

最終的な式は、指数関数を含む関数でよく使われるトリックである、それ自体で導関数を表現しています。

同様に、 のケースも行うことができます。

要約すると、次のようになります。

ケースごとのこの明示的な内訳を見るのは良いですが、プログラマーよりも簡潔さと巧妙さを重視する人がいるとすれば、それは数学者です。そのため、文献では同じ方程式のさまざまな「凝縮された」定式化を見つけることになります。最も一般的なものの一つは、クロネッカーのデルタ関数を使用することです。

次のように記述します。

もちろん、これは同じものです。文献で見られる他の定式化がいくつかあります。

  1. ヤコビ行列の行列形式を直接使用して、 を恒等行列に置き換えます。恒等行列の要素は、行列形式で を表現します。
  2. クロネッカーのデルタの代わりに「1」を関数名として使用します。たとえば、次のようになります。 ここで、 は が のとき値1、それ以外の場合は値0を意味します。

凝縮された表記は、より複雑な導関数を計算したい場合に役立ちます。そうしないと、条件をすべて伝播させる必要があります。

Softmaxの計算と数値的安定性

与えられたベクトルに対してSoftmax関数をPythonで計算する簡単な方法は次のとおりです。

def softmax(x):
    """Compute the softmax of vector x."""
    exps = np.exp(x)
    return exps / np.sum(exps)

例として使用した3要素のベクトルで試してみましょう。

In [146]: softmax([1, 2, 3])
Out[146]: array([ 0.09003057,  0.24472847,  0.66524096])

しかし、より大きな数値(または大きな負の数)でこの関数を実行すると、問題が発生します。

In [148]: softmax([1000, 2000, 3000])
Out[148]: array([ nan,  nan,  nan])

Numpyが使用する浮動小数点数の数値範囲は限られています。float64の場合、表現可能な最大数は約 です。Softmax関数での指数関数は、比較的控えめなサイズの入力でも、この数値を簡単に超える可能性があります。

この問題を回避する良い方法は、入力を正規化して大きすぎたり小さすぎたりしないようにすることです。任意の定数 C を次のように使用できることに注目してください。

そして、定数を指数に押し込むと、次のようになります。

C は任意の定数なので、代わりに次のように書くことができます。

ここで、D も任意の定数です。この式は任意の D に対して元の式と同等なので、計算をより良くする D を自由に選択できます。良い選択肢は、すべての入力の最大値の否定です。

これにより、入力自体が互いにそれほど離れていないと仮定すると、入力はゼロに近い範囲にシフトされます。重要なことに、それらはすべて負の数(最大値はゼロになる)にシフトされます。大きな指数を持つ負の数は、無限大ではなくゼロに「飽和」するため、NaNを回避する可能性が高まります。

def stablesoftmax(x):
    """Compute the softmax of vector x in a numerically stable way."""
    shiftx = x - np.max(x)
    exps = np.exp(shiftx)
    return exps / np.sum(exps)

そして今:

In [150]: stablesoftmax([1000, 2000, 3000])
Out[150]: array([ 0.,  0.,  1.])

これはまだ完璧ではないことに注意してください。数学的にはSoftmaxがゼロを生成することはありませんが、NaNよりははるかに優れています。また、入力間の距離が非常に大きいため、いずれにしてもゼロに非常に近い結果が得られることが期待されます。

Softmaxレイヤーとその導関数

Softmaxの一般的な使用法は機械学習、特にロジスティック回帰にあります。Softmax「レイヤー」では、全結合レイヤー(行列乗算)の出力にSoftmaxを適用します。

[画像: Generic softmax layer diagram]

この図では、N個の特徴を持つ入力 x と、T個の可能な出力クラスがあります。重み行列 W は、x をT個の要素を持つベクトル(MLの俗語では「ロジット」と呼ばれる)に変換するために使用され、Softmax関数はロジットを「折りたたんで」x がT個の出力クラスのいずれかに属する確率を示す確率ベクトルを生成するために使用されます。

この「Softmaxレイヤー」(全結合行列乗算とそれに続くSoftmax)の導関数をどのように計算しますか?もちろん、連鎖律を使用します!この導関数の導出はオンラインで数多く見つかりますが、ここでは、関与する関数のヤコビ行列に多変数連鎖律を注意深く適用することにより、第一原理からアプローチしたいと思います。

始める前に重要な点があります。x が導関数を計算するための自然な変数だと思うかもしれません。しかし、そうではありません。実際、機械学習では通常、最適な重み行列 W を見つけたいので、勾配降下法の各ステップで更新したいのはWです。したがって、このレイヤーの導関数をWに関して計算します。

この図をベクトル関数の合成として書き直すことから始めましょう。まず、行列乗算があり、これを と表します。これは、入力(行列 W)が N×T 個の要素を持ち、出力がT個の要素を持つため、 をマッピングします。

次にSoftmaxがあります。ロジットのベクトルを と表すと、 となります。全体として、次の関数合成があります。

多変数連鎖律を適用すると、 のヤコビ行列は次のようになります。

この投稿の早い段階で のヤコビ行列を計算しました。残っているのは のヤコビ行列です。 は非常に単純な関数なので、そのヤコビ行列の計算は簡単です。唯一の複雑さは、インデックスを正しく処理することです。各導関数がどの重みに対するものかを追跡する必要があります。 となるため、そのヤコビ行列はT行NT列を持ちます。

ある意味で、重み行列 W は長さNTのベクトルに「線形化」されます。多次元配列のメモリレイアウトに慣れている場合は、それがどのように行われるかを理解しやすいでしょう。この場合、簡単なことの1つは、行優先順序で線形化することです。最初の行が連続し、次に2番目の行が続くなどです。数学的には、ヤコビ行列の列番号 を取得します。 を埋めるために、 が何であるかを思い出しましょう。

したがって、次のようになります。

同じアプローチで を計算すると、ヤコビ行列が得られます。

別の見方をすると、W のインデックスを i と j に分割すると、次のようになります。

これは、ヤコビ行列の行 t、列 に入ります。

最後に、Softmaxレイヤーの完全なヤコビ行列を計算するには、 と のドット積を取るだけです。 となるため、ヤコビ行列の次元はうまくいきます。 は T×T で、 は T×NT なので、それらのドット積は T×NT です。

文献では、Softmaxレイヤーの導関数のより簡略化された導出が見られます。関与する2つの関数は単純でよく知られているため、それは問題ありません。行 と列 のドット積を注意深く計算すると、次のようになります。

はほとんどゼロなので、最終結果はより単純になります。 が非ゼロになるのは、 の場合のみです。その場合、 に等しくなります。したがって、次のようになります。

したがって、実際のヤコビ行列の乗算なしでSoftmaxレイヤーの導関数を計算することは完全に可能です。行列乗算は高価なので、これは良いことです。ほとんどの計算を回避できる理由は、全結合レイヤーのヤコビ行列がスパースであるためです。

それでも、関与する関数のヤコビ行列の合成に基づいて、この導関数が第一原理からどのように生まれるかを示すことは重要だと感じました。このアプローチの利点は、より複雑な関数の合成にもまったく同じように機能することです。各要素の「閉形式」の導関数は、そうしないと計算がはるかに困難になる可能性があります。

Softmaxとクロスエントロピー損失

機械学習ネットワークの一部としてのSoftmax関数の使用法と、多変数連鎖律を使用した導関数の計算方法を見てきました。ついでに、ネットワークのトレーニングでSoftmaxと一緒によく使用される損失関数であるクロスエントロピーについても見ておく価値があります。

クロスエントロピーは、興味深い確率論的および情報理論的な解釈を持っていますが、ここではメカニズムに焦点を当てます。2つの離散確率分布 p と q に対して、クロスエントロピー関数は次のように定義されます。

ここで、k は分布が定義されている確率変数のすべての可能な値を調べます。具体的には、この場合、出力クラスは T 個あるため、k は1からTまで変化します。

Softmax出力 P から始めると、これは1つの確率分布です [2]。もう1つの確率分布は、「正しい」分類出力であり、通常は Y と表記されます。これは、すべての要素が0.0で、1つの要素が1.0であるサイズTのワンホットエンコードベクトルです。この要素は、分類されているデータにとって正しいクラスを示します。ドメインに合わせてクロスエントロピー損失関数を言い換えてみましょう。

k はすべての出力クラスを調べます。はモデルによって予測されたクラスの確率です。は、分類されているデータによって提供されるクラスの「真の」確率です。 の唯一のインデックスを y とマークしましょう。すべての について、 が成り立つため、クロスエントロピー式は次のように単純化できます。

実際、y を定数と見なし、P の関数として表現しましょう。さらに、この場合 P はベクトルなので、 を P の y 番目の要素、つまり と表現できます。

xent のヤコビ行列は、出力がスカラーで T 個の入力(ベクトル P は T 個の要素を持つ)があるため、1×T 行列(行ベクトル)です。

ここで、P は入力重数の関数として と表現できることを思い出してください。したがって、別の関数合成があります。

そして、再び多変数連鎖律を使用して、W に関する xent の勾配を見つけることができます。

ヤコビ行列の次元がうまくいくことを確認しましょう。すでに を計算しました。これは T×NT です。 は 1×T なので、結果のヤコビ行列は 1×NT になります。これは、ネットワーク全体が1つの出力(クロスエントロピー損失 - スカラー値)と NT 個の入力(重み)を持っているため、理にかなっています。

ここでも、ヤコビ行列の乗算の多くの要素がキャンセルアウトするため、 の単純な式を見つける直接的な方法があります。 は の y 番目の要素にのみ依存することに注意してください。したがって、ヤコビ行列では のみが非ゼロです。

そして、。完全なヤコビ行列 に戻ると、各列を に乗算して、結果の行ベクトル内の各要素を取得します。行ベクトルは、行優先順序で「線形化」された重み行列 W 全体を表すことを思い出してください。明確にするために、インデックス i と j を使用してそれにアクセスします( は行ベクトル内の要素番号 を指します)。

の y 番目の要素のみが非ゼロなので、次のようになります。また、投稿の早い段階でのSoftmaxレイヤーの導関数を代入します。

定義により、 となるため、次のようになります。

ここでも、最終結果はきれいで簡潔ですが、必ずしもそうである必要はありませんでした。 の式は、かなり複雑な合計(または合計の合計)になる可能性があります。ヤコビ行列の乗算技術は、コンピュータがすべての合計を処理してくれるため、これらすべてを無視します。私たちがする必要があるのは、個々のヤコビ行列を計算することだけです。これは通常、それらがより単純で非合成関数であるため、より簡単です。これが多変数連鎖律の美しさと有用性です。


[1]サンプル入力とSoftmax出力をもっと操作するには、Michael Nielsen のオンラインブックに素敵なインタラクティブなJavaScriptビジュアライゼーションがあります。ぜひチェックしてみてください。
[2]Softmax関数の出力が実際に有効な離散確率分布であることを思い出してください。