熵与压缩

熵给出了无损压缩的理论下界。任何编码的平均长度都不可能低于熵。