Adam

• Adagrad
• 自适应动量估计法，梯度下降法改良
• 动量法
  • $$\begin{gathered} g=\frac{\partial Loss}{\partial w} \\ {v}_t=\alpha v_{t-1}+ϵg \\ {w}_t=w_{t-1}-v_t \end{gathered}$$
    • $ϵ$是学习因子
      • 自适应
        • $$\begin{gathered} r_t=r_{t-1}+⟨g,g⟩ \\ {v}_t=\frac{\alpha }{\sqrt{r_t}}g \\ {w}_t=w_{t-1}-v_t \end{gathered}$$
          • $⟨g,g⟩$一定大于0
          • 不好的点，学习因子越来越小，学习变慢
            • $r_t={\rho }_1{r}_{t-1}+(1-{\rho }_1)⟨g,g⟩$
            • $\rho$是衰减因子，加权控制
          • 预防$r_t$为0
            • $v_t=\frac{\alpha }{\sqrt{r_t}+\delta }g$
              • $\delta$很小
          • 起步加速
            • $\widehat{v_t}=\frac{v_t}{1-{\rho }_1^t}$
• 适用
  • 各维度差异较大
• 与Adagrad区别
  • 梯度平方变为指数移动平均数
    • 学习率自适应更灵活
  • 处理稀疏梯度更稳定