香农公式

• 信息论、熵
• 信息量
  • 和概率成反比$\log \frac{1}{P}=-\log P$
  • $I(x=1)=-\log P(x=1)$
• 信息量变化