香农三大定理

首先我们要知道香农三大定理，这样有助于我们理解香农极限。


香农第一定理(可变长无失真信源编码定理)

设信源S的熵H(S),无噪离散信道的信道容量为C,于是,信源的输出可以进行这样的编码,使得信道上传输的平均速率为每秒(C/H(S)-a)个信源符号.其中a可以是任意小的正数, 要使传输的平均速率大于(C/H(S))是不可能的。于是，C/H(S)便是可变长无失真信源编码的香农极限。


香农第二定理（有噪信道编码定理）

设某信道有r个输入符号,s个输出符号,信道容量为C,当信道的信息传输率R码长N足够长,总可以在输入的集合中(含有r^N个长度为N的码符号序列),找到M (M<=2^(N(C-a))),a为任意小的正数)个码字,分别代表M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小，此时的信道容量即为信道的香农极限。


香农第三定理（保失真度准则下的有失真信源编码定理）

设R(D)为一离散无记忆信源的信息率失真函数,并且选定有限的失真函数,对于任意允许平均失真度D>=0,和任意小的a>0,以及任意足够长的码长N,则一定存在一种信源编码W,其码字个数为M<=EXP{N[R(D)+a]}，而编码后码的平均失真度D'(W)<=D+a。D'(W)即为平均失真度的香农极限。


总而言之，香农极限是在香农三大定理的极值，也就是其极限情况。



2001年2月24日，当代最伟大的数学家和贝尔实验室最杰出的科学家之一，84岁的香农（Claude Elwood Shannon）博士不幸去世。

香农1916年生于美国，1940年获得麻省理工学院数学博士学位和电子工程硕士学位。1941年他加入了贝尔实验室数学部，在此工作了15年。 1948年6月和10月，由贝尔实验室出版的《贝尔系统技术》杂志连载了香农博士的文章《通讯的数学原理》，该文奠定了香农信息基本理论的基础。他在文中用非常简洁的数学公式定义了信息时代的基本概念：熵。在此基础上，他又定义了信道容量的概念，指出了用降低传输速率来换取高保真通讯的可能性。这些贡献对今天的通信工业具有革命性的影响。

“熵”的概念起源于热力学，是度量分子不规则热运动的单位。香农的伟大贡献在于，利用概率分布的理论给出“熵”的严格定义。根据香农的定义，确定发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。只有当发生与不发生的概率相同时，事件的熵才达到极大。

在熵的基础上定义的信道容量也是通讯中一个至关重要的概念。由此，香农推出了一个公式，明确表达了在不同噪声情况下传输速率与失真的定量关系。从这一个公式导出的为达到无失真通

讯的传输速率的极限，现已称为香农极限。打个比方来说，在周围干扰严重的情况下，要想使对方听清楚，你就只有慢慢地讲，甚至还要不断重复。

如今，这两个原理已广泛应用于信息处理和实际通信中。由于熵表达了事物所含的信息量，我们不可能用少于熵的比特数来确切表达这一事物。所以这一概念已成为所有无损压缩的标准和极限。同时，它也是导出无损压缩算法做达到或接近“熵”的编码的源泉。像现在人们在PC机上常用的WinZip就是一个例子。在数字通讯中，各种语音信号在用数学模型提取参数（有损压缩）后也要对参数进行熵编码做无损压缩，这一无损压缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信道编码），因为根据香农的第二个理论，要尽量做到无失真的传送，就要用类似重复的方法来纠正可能出现的错误。毫不夸张地说，没有这两个方法，就没有今天的手机通讯。同样，在因特网上传递多媒体数据，无损压缩往往是必不可少的。比如现在所用的图像格式，除了BMP文件以外，其他格式都用到基于熵概念的无损压缩算法。在当今广为人知的MP3音乐压缩格式中，也同样用到基于熵概念的无损压缩算法。所以不论在电讯业还是计算机业中，只要涉及信息的压缩与传递，就要用到香农的理论。