CNN

• Convolutional Neural Network, 卷积神经网络
• 先验知识注入
• 组成
  • 感受野
    • 卷积区域
  • 卷积核
    • 训练得到
  • 卷积步骤
    • 相乘
      • 保留的位置信息
    • 偏置
      • 消除图片亮度影响
    • ReLU函数
    • 卷积核滑动
      • 表示形状的强度
      • 周边补充0
        • 卷积后图像尺寸不变
  • 多通道卷积
    • 加通道数
      • 彩色
      • 多卷积核，多形状
    • 卷积后通道数
      • 变成层指定通道
  • 池化
    • 与卷积区别
      • 不计算，只取最大
      • 区域没有重合，区域缩减
      • 多通道不合并
      • 没有参数
    • 作用
      • 平移不敏感
      • 压缩
        • 降运算量
        • 数据压缩，增加后续卷积感受野
      • 提取最强平均特征
        • 去噪声
    • 平均池化
      • 取窗口内平均值
      • 有平滑效果
    • 最大池化
      • 取窗口内最大值
      • 有特征选择效果
• 步骤
  • 多次卷积池化配套
    • 前层易识别细节，后层识别整体
  • 拉成向量，后softmax
    • 向量先左乘类别数，矩阵变成类别数向量
  • 卷积参数
    • 一开始随机
    • 算Loss梯度下降调参数
• 特殊的DNN
  • 利用先验知识，图像有局部相似性
    • 区域卷积，是DNN剪枝
    • 卷积核，参数共享减少参数量
      • 计算快
      • 泛化能力强
• 优化
  • 1x1的卷积
    • 用于减少通道数
      • 减少参数量
      • 图像本身有大量冗余，减少信息量对识别影响不大
  • 小卷积，多层
    • 降参数量
    • 拆分不补0
      • 两个3x3拼接，达到一个5x5的效果
      • 3x1与1x3拼接，达到3x3效果
    • 大尺寸卷积核，深度也要多设
  • 统一图像
    • 正方体
      • 相对居中
    • 尺寸
  • 占比小的物体识别
    • 滤波器拼接
      • 1x1卷积, 3x3卷积, 5x5卷积
      • 3x3最大池化
        • 去噪声，特征稳定
        • 池化窗口有重合，不改变大小
    • 1x1
    • 降厚度f
  • 权重
    • 通道权重
      • 学习权重
        • 最后层加权重
          • 不希望权重过大
            • sigmoid
        • 整体平均池化在f维向量
      • 学习完权重后，反过来对输入通道加权
    • 位置权重
      • 步骤
        • 大卷积7x7x1
        • 平均池化，最大池化，相加
        • 拉平成向量权重，sigmoid后成每个位置的权重