正则项

• $\lambda \Vert w\Vert$
  • $\lambda \propto \frac{1}{\sigma }$
    • 方差越大，$\lambda$越大来控制
    • 表示对样本的信任程度
  • L1正则
    • $|w_1|+|w_2|$
    • 拉普拉斯分布
    • 均匀变小，砍掉了小w
    • 降维了
  • L2正则
    • $\sqrt{w_1^2+w_2^2}$
    • 正态分布
    • 不重要的变小，变化被放大
    • 小w降到一定程度保留，降其它w
• 提高推广能力（泛化能力）
  • 表示在测试集上表现和训练集差不多
• 损失函数 $y_i\log f_i+(1-y_i)\log (1-f_i)+\lambda \Vert w\Vert$
  • 数据量越大，$\lambda$越小，不需要控制
• 作用
  • 没有$\lambda \Vert w\Vert$，w溢出，趋向无穷
  • 减少测试集训练集的差异性
  • 破坏训练集效果