入力した値が大きいほど1に近づき、入力した値が小さいほど0に近く関数
微分の計算が簡単
デメリット
・入力が極限に大きく、または小さくなる勾配が消える。
・誤差逆伝播によるパラメータの更新において、入力層に近づくほど、学習量が小さくなるという勾配消失問題が発生する。
・微分値の最大値が0.25になるため、学習の収束が遅い。
入力した値が大きいほど1に近づき、入力した値が小さいほど0に近く関数
微分の計算が簡単
デメリット
・入力が極限に大きく、または小さくなる勾配が消える。
・誤差逆伝播によるパラメータの更新において、入力層に近づくほど、学習量が小さくなるという勾配消失問題が発生する。
・微分値の最大値が0.25になるため、学習の収束が遅い。