线性回归

• linear regression, 回归是拟合的意思
• 公式
  • y = wx + b
    • 调整w、b
      • 量化误差
        • mse(mean squared error)
          • 只有相对意义，没有绝对意义
          • $mse=\frac{1}{n}{\sum }_{i=1}^n(\widehat{y_i}-y{)}^2$
            • 用平方，容易预测的地方，mse降低到一定程度收益变小，注意力会转移到难预测的点上
            • 用绝对值，会一直在容易预测的地方训练
              • 绝对值，在0时没有导数，不能计算
      • 求mse对w的导数$\frac{\partial mse}{\partial w}$
        • 大于0
          • w变大，mse变大
        • 小于0
          • w变大，mse变小
        • 方法
          • 梯度下降法
        • 拟合问题
          • 过拟合后，测试集mse变大
            • 训练集中划分出有效集，观察mse防止过拟合
• 多元线性回归
  • $y=w^{t}x+w_0$, $w=\left\{\begin{array}{c}{w}_1\\ w_n\end{array}\right\}$, $x=\left\{\begin{array}{c}{x}_1\\ x_n\end{array}\right\}$
• 高元线性回归
  • 泰勒公式
• 特性
  • x2随机时，w2趋向0
    • 线性回归有抗噪声能力
  • x2等于x1时，w1+w2成为原来w1
    • 线性回归有抗信息冗余能力
      • 如身高、体重，存在信息冗余
      • 权重会被平均
• 优化
  • x,y标准化
    • $\frac{x-{\mu }_x}{{\sigma }_x}$
  • w数值
    • $\frac{1}{n}$
  • 更新幅度
    • $\frac{\partial Loss}{\partial w}$越大，希望w调的越小
    • 自适应学习速率
      • $w=w-\alpha \frac{\partial Loss}{\partial w}\frac{1}{\Vert \frac{\partial Loss}{\partial w}\Vert }$
  • 真实结果
    • 结果反标准化