NCE

• 多分类变成多个二分类
  • 目标类，其它类随机负采样
  • KL距离中减负分类值
    • $-y\log y_2-\log (1-y_5)-\log (1-y_7)$
  • 词频越高，抽负样本可能越大