FM模型

• 因子分解模型
  • 每个特征x取辅助向量v
• 线性不可分问题
  • 扩展特征
    • $C_n^2$个
      • $n^2$个
    • 百度2011年凤巢团队用
    • 缺点
      • 维度过高，性能低
      • 特征稀疏
        • 适用大数据量
      • 有相似度问题
  • 交叉项
    • 两个w的内积表示
    • kn个
    • $⟨v_1,v_2⟩$可以表示特征间相似度
• 公式
  • $y=\frac{1}{1+e^{-d}}$ $d=w_0+\sum _{i=1}^h{w}_i{x}_i+\frac{1}{2}\sum _{h=1}^k[(\sum _{i=1}^n{x}_i{v}_{ih}{)}^2-\sum _{i=1}^n(x_i{v}_{ih}{)}^2]$
  • 推理
    • $\sum _{i=1}^n\sum _{j=i+1}^n{x}_i{x}_j⟨v_i,v_j⟩$
      • $=\sum _{i=1}^n\sum _{j=i+1}^n{x}_i{x}_j\sum _{h=1}^k{v}_{ih}{v}_{jh}=\sum _{h=1}^k[\sum _{i=1}^n\sum _{j=i+1}^n{x}_i{v}_{ih}{x}_j{v}_{jh}]$
      • $\sum _{i=1}^n\sum _{j=i+1}^n{x}_i{v}_{ih}{x}_j{v}_{jh}=(\sum _{i=1}^n{x}_i{v}_{ih}{)}^2-\sum _{i=1}^n(x_i{v}_{ih}{)}^2$
        • O(n^2) 变为O(n)
  • 求导
    • $\frac{\partial d}{\partial w_i}=x_i$
    • $\frac{\partial d}{\partial v_{ih}}=[\sum _{i=1}^n(x_i{v}_{ih})]x_i-x_i{v}_{ih}{x}_i$