Multi-Head Attention

• 多抽头Attention
• 优点
  • 找核心特征
• 用$w_1$同时转换Q、K、V成$w_1^q,w_1^k,w_1^v$,得到$H_1$
  • $w_1$代表一种角度
  • 多个H串联，再用$W^0$降维