ReLU

• LReLU
• 试验出来的
  • 训练快
  • 没有饱和
  • 导数大
• $f(x)=\{\begin{array}{ll}x& x>0\\ 0& x\le 0\end{array}$
• 输出区间$\left[0,\infty \right)$