活性化関数
概要
活性化関数とは、各次元からの入力を線形結合して得られる結果を代入して、一つの値を与える関数です。
さまざまな特徴をもった活性化関数がありますが、ここでは代表的なものを紹介します。
シグモイド関数
$$ y = \frac{1}{1 + e^{-x}} $$この関数は
$$ \begin{matrix} y \rightarrow 0 \quad(x \rightarrow -\infty) \\ y \rightarrow 1 \quad(x \rightarrow \infty) \\ \end{matrix} \\ \frac{\delta y}{\delta x} = \frac{e^{-x}}{(1 + e^{-x})^2} = y(1-y) $$という非常に優れた性質を持っている
Softmax
$$ y_i = \frac{e^{-x_i}}{\sum_{k=1}^n e^{-x_i}} \\ (i = 1,2,\cdots ,n) $$この関数は
$$ \sum_{i=1}^n y_i = \frac{\sum_{k=1}^n e^{-x_i}}{\sum_{k=1}^n e^{-x_i}} = 1\\ \forall i, y_i \gt 0\\ $$という性質を持つため、結果を確率で表現したいときに威力を発揮する
ReLU
$$ y = \; \begin{matrix} x \quad (x \gt 0) \\ 0 \quad (x \le 0) \end{matrix} $$この関数は
$$ \frac{\delta y}{\delta x} = \; \begin{matrix} 1 \quad (x \gt 0) \\ 0 \quad (x \le 0) \end{matrix} $$となるため、近似関数を高速に求める際に、パフォーマンス面で大変有利に働く