ReLU関数

Rectified Linear Unit関数
正規化線形関数

活性化関数で、マイナスの数値は0にして、プラスの数値はそのまま残す。
微分値が定数になるため、計算量が小さく、誤差逆伝播の計算効率が良い。また、勾配消失問題を防ぐことができる。