JS距离

• Jensen-Shannon距离，解决KL距离对称性的问题
• $JS(P\Vert Q)=KL(P\Vert \frac{1}{2}(P+Q))+KL(Q\Vert \frac{1}{2}(P+Q))$
• 情况
  • $P(x)=0,Q(x)=0$
    • =0
  • $P(x)=0,Q(x)\ne 0$
    • $=\int Q\log \frac{Q}{\frac{1}{2}(P+Q)}dx=\int Qlog2dx=\log 2$
  • $P(x)\ne 0,Q(x)=0$
    • $=\log 2$
  • $P(x)\ne 0,Q(x))\ne 0$
    • 几乎不存在
      • 高维中，两条概率线不易有重合