熵

• 香农公式
• 分布混乱程度
• $H(x)=-{\sum }_{i=1}^{n}p(x_i)\log p(x_i)$
  • P(x)最均匀时最混乱
  • 也可以多元变量H(x, y)
    • $H(x\mid y)=-{\sum }_{i=1}^{n}p(x_i,y_i)\log p(x_i\mid y_i)$
    • $H(x\mid y)\le H(x,y)$