信息论小结

熵是核心，压缩靠它定下界，通信靠它定上限，纠错靠冗余换可靠。