批标准化

• Batch Normalization, BN
• DNN难收敛
  • 输入变化，影响训练好的w
• SGD难收敛
  • 输入随机x的改变也影响训练好的w
• $\frac{x_1-\mu }{\sigma }$
  • 输入符合统一的正态分布
  • 为了符合类似$\mu (0,1)$正态分布
    • 引入要学习的参数$\alpha ,\beta$
    • $\beta (\frac{x_1-\mu }{\sigma }+\alpha )$符合$\mu (\alpha ,{\beta }^2)$的正态分布
    • $\mu ,\sigma$在训练后期选出，在预测中使用
      • 前期不准，后期收敛了
• 每层都BN
  • 后层效果更好
    • 经过多层后，差异更大
• LSTM和self-attention中不适合BN
  • NLP变长
    • 长样本尾部BN不准
  • NLP中多样本字维度不是一类，不能DN