信息的度量

概率为 p 的事件，信息量是负的以 2 为底 p 的对数，单位是比特。