self-attention

• 可用来代替LSTM
• 是词袋模型
  • 方法1, 下层加LSTM
  • 方法2, 输入x中加位置向量
• 比较LSTM
  • 可并行计算
  • 每个词都能看到全局
  • 计算量大，是$N^2$