集成学习

• 本质
  • 平均更稳定
    • 随机森林
      • 最好树之间相互独立
        • 训练样本间独立
          • 样本有重合才是独立
      • 随机选择特征
      • 每颗树用不同模型
        • 数值不平均，要归一化
          • 最大最小归一化
            • $\frac{x-min}{max-min}$
  • 一种正则
    • 子模型依次无条件信任先验的参数
      • 数据无法影响权重
      • L1,L2只对每个特征信任一部分
        • 模型集成更好但计算量大
• 用Sigmoid而不是取平均值
  • 预测效果不被平均
• DNN应用
  • 每次随机抛弃特征
  • Dropout
• 训练方式
  • boosting
    • 对抗欠拟合
      • 学前一分类器的误差
    • 串行训练基分类器，分类器间有依赖
    • 对前一层基分类器分错的样本给更高权重
    • GBDT
  • bagging
    • bootstrap aggregation
    • 对抗过拟合
    • 分类器无强依赖，可并行
    • Dropout, 随机森林