激活函数

• sigmoid
• tanh
• ReLU
• softmax
• 为什么有激活函数
  • 相乘好于相加
    • 相乘是条件都满足
  • sigmoid
    • 泰勒公式
      • 任意函数都可以分解成多项式的和
        • 产生多阶乘法项
    • sigmoid二阶导数不等于0
  • 希望的f
    • 单调性
    • 适当的非线性
      • 比如$x^2$，太发散，对噪声没有抑制
      • 如果线性
        • 多层和一层一样
    • 0均值
      • w训练好偏移，加快学习
    • 输出范围有限
    • 没有超参数
    • 运算快