tanh関数

活性化関数の1つで、シグモイド関数のデメリット改善するものとして1990年に提案された。

メリット
・誤差逆伝播法によるパラメータの更新において、微分値の最大が1なので、シグモイド関数に比べ、勾配消失問題発生しにくい。
・出力が-1から1であり、出力がゼロにセンタリングされることで、学習の収束がシグモイド関数よりも簡単。

デメリット
・入力が極限に大きい(小さい)と、勾配が消えてしまう。※シグモイド関数と同様