特征工程

• 无法量化的事件，无法优化
• 特征提取
• 集成学习
• 样本均衡
• 多分类问题
• 拟合问题
• 好的特征
  • 和任务高度相关，有区分性
  • 特征组合
    • 借鉴FM模型，特征组合框架，AI 深度学习
  • 特征变换
    • 乘矩阵
    • 连续特征变换
      • 实际可以一次变换
      • 分多次转换可以减少参数
    • 变换
      • $$\begin{gathered} d_1=w_1{x}_1,a_1=f_1(d_1) \\ {d}_2=w_2{a}_1,a_2=f_2(d_2) \end{gathered}$$
        • f1和f2大部分情况是一个函数
          • f1是激活函数
        • 可以对特征多次变换，避免等价于1次变换的情况
        • 每次变换称为一个神经元
  • 加先验特征
    • 数据集少、不全、有偏差的问题
    • 正则项
• 问题
  • 特征太多的问题
    • 样本少，误导大
    • 办法
      • 增加数据量
      • 选有普遍性的特征
        • 容易被个例干扰
        • 不为null的
      • 特征有相关性
        • 统计办法
          • $\rho =(x-\overline{x})(y-\overline{y})$
            • 大于0，正相关，小于0，负相关
            • 等于0，无关或正交
          • 消除量当
            • $\rho =\frac{E[(x-\overline{x})(y-\overline{y})]}{\sigma (x)\sigma (y)}$
              • E是求均值, $\sigma$是方差
              • 取值[-1,1]
      • 特征间相关性
        • 特征间有信息冗余好，稳定
          • 避免单一波动影响
          • 比如股票
  • 特征选择
    • 不能只看权重去掉系数小的
      • 可能与其它特征相互冗余
        • 应该看是否独立