香农和信息论

香农和信息论

克劳德·香农(Claude Elwood Shannon)1916年4月30日诞生于美国密执安州，他生长在一个有良好教育的环境，香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，祖父的发明创造对香农影响很大。此外，香农的家庭与大发明家爱迪生还有远亲关系。在童年时代，香农还喜欢组装无线电收音机、练习莫尔斯电报码、研究密码学等等。他有许多爱好，另人难以置信是香农可以熟练地玩一套杂技，他能骑着独轮车手里来回抛着三个球在贝尔实验室的大厅里骑来骑去。他发明过有两个座位的独轮车，并使该独轮车好象偏离地心似的，骑在上面忽高忽低，像鸭子行走一样。香农的一生都迷恋于平衡与控制稳定性。他设计并建造了下棋机器、迷宫老鼠、杂耍器械以及智力阅读机等，下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。这些活动表明香农有十分的好奇心和探索精神。香农有一句名言是：“我感到奇妙的是事物何以集成一体。”

1936年香农在密执安大学获得数学与电气工程学士学位；1938年香农写出论文《继电器与开关电路的符号分析》，当时他就发现电话交换电路与布尔代数之间具有类似性，即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来，并可用1和0表示。随后又证明布尔代数的逻辑运算，可以通过继电器电路来实现，明确地给出了实现加、减、乘、除等运算的电子电路的设计方法，他在实践中进一步证明，可以采用能实现布尔代数运算的继电器或电子元件来制造计算机。他奠定了数字电路的理论基础，并使计算机具有逻辑功能，从而使计算机既能用于数值计算，又具有各种非数值应用功能，使得以后的计算机在几乎任何领域中都得到了广泛的应用。

1941年他加入贝尔实验室数学部，工作到1972年。1956年他成为MIT（麻省理工学院）客座教授，并于1958年成为终生教授，1978年成为名誉教授。香农博士于2001年2月26日去世，享年84岁。

香农还对信息进行了系统的研究，并成为信息论的创始人。香农的大部分时间都是在贝尔实验室和MIT度过的。经过8年的努力，从1948年6月到10月，香农在《贝尔系统技术杂志》上连载发表了影响深远的论文《通讯的数学原理》。“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这是香农在这篇论文中的一句名言。正是沿着这一思路他应用数理统计的方法来研究通信系统，从而创立了影响深远的信息论。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。香农解决了过去许多悬而未决的问题，阐明了通信的基本问题，给出了通信系统的模型，即信息源、发送者、信道、接收者、信息宿；提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。这两篇论文成为了信息论的基础性理论著作。

香农信息论的重要特征是熵(entropy)的概念，他证明熵(entropy)与信息内容的不确定程度有等价关系。而所谓熵原来是一个物理名词,表示用温度除热量所得的商,标志热量转化为功的程度；在科学技术上泛指某些物质系统状态的一种量度，信息也有度量问题，这就是被称为信息熵。香农的伟大贡献在于能利用概率分布的理论给出“熵”的严格定义，根据香农的定义，确定必发生的事件如“太阳从东边升起”与确定不发生的事件如“太阳从西边升起”，其熵都是零。信息熵大，意味着事件的不确定性也大；只有当发生与不发生的概率相同时，事件的熵才达到极大。这样我们就能很好理解香农对信息的定义即：“信息是有秩序的量度，是人们对事物了解的不确定性的消除或减少”。信息的度量反映了人们对于信息的定量认识，原则上是信息量与不确定性消除程度有关，消除多少不确定性，就获得多少信息

量。

香农在继承科学家奈奎斯和哈特莱研究通信系统的信息传输能力基础上，给出了著名的计算信息熵H的公式：H=∑-pi log pi，信息熵是以比特(bit)为单位，“比特”的出现标志着人类知道了如何计量信息量，解决文字、声音、图画等的知识如何统一度量的问题。今天在计算机和通信中广泛使用的Byte (字节)、KB、MB、GB等词都是从比特演化而来。

在熵的基础上定义的信道容量也是通讯中一个重要的概念，打个比方来说，通信问题与普通的运输问题相比较．前者是转送信息，后者是转送货物，转送货物有货源、运输通道，而货源与运输通道又有货源的体积与运输通道的容量相对应，当运输通道的容量大于货源的体积时就能实现货物的正常运输。而香农是如何解决信息的传输问题呢？简单的说它可通过信息的度量来确定信息源的信息量(可形象地称为信号体积)和信道容量，当信道容量大于信号体积时，就能实现信息的正确传输。

香农最初的动机是要把电话信号中的噪音除掉，他研究了不同噪声情况下传输速率与失真的定量关系。导出了为达到无失真通讯的传输速率的极限，这被称为香农极限。为了纠正信号中的失真，须通过编码技术来解决。如今，香农信息论中的编码理论已广泛应用于信息处理和实际通信中，由于熵表达了事件所含的信息量，我们尽量用信息熵小的比特数来确切表达某一事物，这一概念已成为所有无损压缩的标准和极限。在数字通信中，各种语音信号在用数学模型提取参数（有损压缩）后也要对参数进行熵编码做无损压缩，这一无损压缩过程的算法就是根据熵的概念及其公式导出的。经过压缩后的数据还要进行扩张（信道编码），尽量能做到无失真的传送，并且用类似重复的方法来纠正信号在传输过程中可能出现的错误。因特网上传送多媒体数据、手机通讯、压缩MP3音乐格式，甚至我们熟悉使用的WinARA、WinZip只要涉及信息的压缩与传送，都要用到香农理论。

香农信息论的核心就是三个基本概念，即信源熵、信道容量和信息率失真函数，以及与这三个概念相对应的编码定理及信源编码和信道编码。虽然随着信息概念的广泛应用，香农信息论的局限性逐渐暴露出来。香农所定义的仅仅是通信模型中的信息，是对信息定义的狭义解释。可是若把这一解决方法引入其他领域，就会出现极大的局限性。但这丝毫没有掩盖香农的伟大贡献，信息论作为信息科学和技术的基本理论，犹如信息科学大厦的地基，在信息社会中起着非常重要的作用。信息论的研究领域也从自然科学扩展到经济、管理科学甚至人文社会科学，从狭义信息论发展到如今的广义信息论，成为涉及面极广的信息科学。

香农的信息论不仅在方法论的层面上解决通信的有效性和可靠性问题，而且在认识论的层面上帮助认识事物的本质。认识香农的信息论之后，我们再重新审视一下周围的事物，会有许多新的看法和认识。今天我们怀念香农，学习信息论，就是要学习香农他好奇心强、重视实践、追求完美、永不满足的科学精神。