SVM

• Support Vector Machine, 支持向量机
• 评价
  • 好处
    • 抗噪声
  • 缺点
    • 没有概率意义，只有几何意义
    • 点是耦合的
      • 要遍历所有样本，找到边界点
      • 数据量大时，资源要求高
      • 不能分布式
• 公式
  • $w=\sum _{i\in SN}^n{\alpha }_i{y}_i{x}_i$
    • 算出向量
    • SN是边界点集合
      • 既支持向量$x_i$
    • ${\alpha }_i$表示第i条数据的权重(边界权重)
    • 数学解法拉格朗日求极值
    • 找边界点
      • 时间复杂度$N^3$
  • $w_0=y_i-w{x}_i$
  • $wx=\sum _{i\in SN}^n{\alpha }_i{y}_i{x}_{i}x$
    • $x_{i}x$是内积，表示相似度
      • 向量被相似度高的边界点影响大
      • 相当于边界点的KNN
• 找到w
  • 泛化能力
    • $\frac{2\Vert wx+w_0\Vert }{\Vert w\Vert }$
      • $\Vert w{x}_1+w_0\Vert$缩放成1
      • 求max $\frac{2}{\Vert w\Vert }$, 既 min $\Vert w\Vert$
  • 正确分类
    • y=1表示分类正确，y=0表示分类错误
    • $y_i(w{x}_i+w_0)>0$
  • 相当于换了损失函数的L2正则
• 线性不可分时
  • min $\Vert w\Vert +c\sum _{i=1}^n{ϵ}_i$
    • 网格搜索，找到合适的超参数
      • c取值，在有效集看效果
    • ${ϵ}_i=max(0,1-y_i(wx+w_0))$
      • hingle距离，用作损失函数
    • 对x升维
      • 因为w可分解成样本数据点表示
      • $wx=\sum _{i\in SN}^n{\alpha }_i{y}_i⟨\varphi (x),\varphi (x_i)⟩$
        • $=\sum _{i\in SN}^n{\alpha }_i{y}_i(⟨x,x_i⟩{)}^2$
      • 核方法
        • $k(⟨x_i,x_j⟩)=⟨\varphi (x_i),\varphi (x_j)⟩$
          • k叫作核函数
        • 高斯核函数
          • $k(x,y)=exp(-\frac{\Vert x-y\Vert }{2{\sigma }^2})$
            • x到无穷维
            • $\sigma$调映射方式
        • 线性核函数
          • $⟨x,y⟩+c$
        • 多项式核函数
          • $(\alpha ⟨x,y⟩+c{)}^d$
  • $y_i(w{x}_i+w_0)>1-{ϵ}_i$
    • $\sum _{i=1}^n{ϵ}_i$越小越好