香农三大定理是信息论的基础,由克劳德·香农在1948年提出。这三大定理为现代通信系统奠定了理论基础。第一定理(无失真信源编码定理)指出,对于离散无记忆信源,存在一种编码方式可以将信源符号压缩到接近其熵的比特率,且能够无失真地恢复原始信息。第二定理(信道编码定理)表明,对于离散无记忆信道,只要信息传输速率小于信道容量,就存在一种编码方式可以实现任意小的错误概率传输。第三定理(限失真信源编码定理)说明,在允许一定失真的情况下,信源可以被压缩到更低的比特率,这个下限由率失真函数决定。这三大定理共同构成了信息论的核心框架,对通信系统设计、数据压缩等领域产生了深远影响。