信息论之父—香农

信息论之父—香农信息论之父—香农20世纪中叶，信息论、控制论、系统论等标新立异的新理论相继问世，有力地“晃动”着传统的科学框架。

克劳德·香农是一位美国数学工程师，作为信息论的创始人，人们认为他是20世纪最伟大的科学家之一。

他在通信技术与工程方面的创造性工作，为计算机与远程通信奠定了坚实的理论基础。

人们尊崇香农为信息论及数字通信时代的奠基之父。

确实，他对人类的贡献超过了一般的诺贝尔获奖者。

回顾20世纪的信息革命风暴，经他阐明的信息概念、连同“比特”这个单位已经深入人心，成为今天日常生活都离不开的词汇。

家庭背景克劳德·香农(Claude Elwood Shannon，1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。

在Gaylord小镇长大，当时镇里只有三千居民。

父亲是该镇的法官，他们父子的姓名完全相同，都是Claude Elwood Shannon。

母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。

他生长在一个有良好教育的环境，不过父母给他的科学影响好像还不如祖父的影响大。

香农的祖父是一位农场主兼发明家，发明过洗衣机和许多农业机械，这对香农的影响比较直接。

此外，香农的家庭与大发明家爱迪生(Thomas Alva Edison，1847-1931)还有远亲关系。

香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。

在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据分析员。

他们共有四个孩子：三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。

后来身边还有两个可爱的孙女。

特殊癖好大家从照片上看，可能以为克劳德·香农是一位文质彬彬的书生。

事实上，他有许多爱好，特别令人难以置信的是香农可以熟练地玩一套杂技。

不是在舞台上，而是在日常生活中，例如在贝尔实验室的走廊里。

从MIT到香农宽敞的住宅只有几英里。

他的住宅里放满了各种乐器，诸如有5台钢琴、30多种其他乐器，从短笛到各种铜管乐器应有尽有。

童年时代，他热衷于装无线电收音机、练莫尔斯电报码、搞密码学等。

在Gaylord 上中学时他还当过Western Union 的信使。

在他的玩具室里，有一个杂耍杰作，由3个丑人一起玩11个环、7个球和5个棍子，通过钟表机构驱动。

可见当他还是孩子时就喜爱杂耍，香农的一生都迷恋于平衡与控制稳定性。

他的平衡兴趣与能力是十分有名的，一个脍炙人口的故事是他经常骑着独轮车(unbicycle)、手里抛着三个球来到贝尔实验室的大厅。

有时他还踩着高跷骑摩托，使同事害怕不已。

他发明过有两个座位的独轮车，不过恐怕没有人敢与他共享。

他还把独轮车造成偏离地心的，骑在上面忽高忽低，像鸭子行走似的。

他设计并建造了下棋机器、迷宫老鼠(左图)、杂耍器械以及智力阅读机。

下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。

他还建造了供孩子们到湖边玩耍的升降机，长约600英尺，设有座位。

这些活动表明了香农的主张，即好奇心比实用性对他的刺激更大。

他的名言是：“我感到奇妙的是事物何以集成一体。

”参加工作1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司，并在贝尔实验室工作到1972年，从24岁到55岁，整整31年。

1956年他当了MIT的访问教授，1958年成为正式教授，1978年退休。

人们描述香农的生活，白天他总是关起门来工作，晚上则骑着他的独轮车来到贝尔实验室。

他的同事D. Slepian写到：“我们大家都带着午饭来上班，饭后在黑板上玩玩数学游戏，但克劳德很少过来。

他总是关起门来工作。

但是，如果你要找他，他会非常耐心地帮助你。

他能立刻抓住问题的本质。

他真是一位天才，在我认识的人中，我只对他一人使用这个词。

”香农与John Riordan一起工作，1942年发表了一篇关于串并联网络的双终端数的论文。

这篇论文扩展了麦克马洪(Percy A. MacMahon，1854-1929)1892年在Electrician上发表的论文理论。

1948年则创立了信息论(information theory)。

在漫长的岁月，他思考过许多问题。

除在普林斯顿高等研究院工作过一年外，主要都在MIT和Bell Lab度过。

需要说明的是，在二次世界大战时，香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。

他在Bell Lab的破译团队主要是追踪德国飞机和火箭，尤其是在德国火箭对英国进行闪电战时起了很大作用。

1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论)，正是基于这种工作实践，它的意义是使保密通信由艺术变成科学。

信息理论1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。

论文由香农和威沃共同署名。

前辈威沃(Warren Weaver，1894-1978)当时是洛克菲勒基金会自然科学部的主任，他为文章写了序言。

后来，香农仍然从事技术工作，而威沃则研究信息论的哲学问题。

顺便提一句，该论文刚发表时，使用的是不定冠词A，收入论文集时改为定冠词The。

这篇奠基性的论文是建立在香农对通信的观察上，即“通信的根本问题是报文的再生，在某一点与另外选择的一点上报文应该精确地或者近似地重现”。

这篇论文建立了信息论这一学科，给出了通信系统的线性示意模型，即信息源、发送者、信道、接收者、信息宿，这是一个新思想。

此后，通信就考虑为把电磁波发送到信道中，通过发送1和0的比特流，人们可以传输图像、文字、声音等等。

今天这已司空见惯，但在当时是相当新鲜的。

他建立的信息理论框架和术语已经成为技术标准。

他的理论在通信工程师中立即获得成功，并刺激了今天信息时代所需要的技术发展。

香农考虑的信息源，产生由有限符号组成的词。

它们通过信道进行传输，每个符号开销有限的信道时间。

这里涉及到统计学问题，如果xn是第n个符号，它是由固定随机过程源xn产生的，香农给出一个分析信号误差序列的方法，它是传输系统固有的，可以通过设计相应的控制系统控制它。

在这篇论文中，香农首次引入“比特”(bit)一词，如果在信号中附加额外的比特，就能使传输错误得到纠正。

按照物理学的习惯，把电流单位叫做“安培”，如果给“比特流”一个单位名，那么叫做“香农”是比较合适的。

通信的数学理论是香农在数学与工程研究上的顶峰。

他把通信理论的解释公式化，对最有效地传输信息的问题进行了研究。

香农的文章立即被世界各国的通信工程师和数学家采用，大家详细地论述它、扩展它、完善它。

这个学科立刻繁荣起来，成为科学史上光辉灿烂的一页。

后来，香农感到由他扮演重要角色而开始与通信革命走得有些过远。

他写道：“信息理论可能像一个升空的气球，其重要性超过了它的实际成就”，真是大师的气魄。

熵的概念香农理论的重要特征是熵(entropy)的概念，他证明熵与信息内容的不确定程度有等价关系。

熵曾经是波尔兹曼在热力学第二定律引入的概念，我们可以把它理解为分子运动的混乱度。

信息熵也有类似意义，例如在中文信息处理时，汉字的静态平均信息熵比较大，中文是9.65比特，英文是4.03比特。

这表明中文的复杂程度高于英文，反映了中文词义丰富、行文简练，但处理难度也大。

信息熵大，意味着不确定性也大。

因此我们应该深入研究，以寻求中文信息处理的深层突破。

不能盲目认为汉字是世界上最优美的文字，从而引申出汉字最容易处理的错误结论。

众所周知，质量、能量和信息量是三个非常重要的量。

人们很早就知道用秤或者天平计量物质的质量大小。

然而，我们关于热、燃料、功与能的计量问题，迟至19世纪中叶，随着热功当量的明确和能量守恒定律的建立才逐渐清楚。

能量一词就是它们的总称，而能量的计量则通过“卡、焦耳”等新单位的出现而得到解决。

然而，关于文字、数字、图画、声音的知识已有几千年历史了。

但是它们的总称是什么，它们如何统一地计量，直到19世纪末还没有被正确地提出来，更谈不上如何去解决了。

20世纪初期，随着电报、电话、照片、电视、无线电、雷达等的发展，如何计量信号中信息量的问题被隐约地提上日程。

1928年哈特利(R.V. H. Harley)考虑到从D个彼此不同的符号中取出N个符号并且组成一个“词”的问题。

如果各个符号出现的概率相同，而且是完全随机选取的，就可以得到DN个不同的词。

从这些词里取了特定的一个就对应一个信息量I。

哈特利建议用N log D这个量表示信息量，即I=N log D 。

这里的log表示以10为底的对数。

后来，1949年控制论的创始人维纳也研究了度量信息的问题，还把它引向热力学第二定律。

但是就信息传输给出基本数学模型的核心人物还是香农。

1948年香农长达数十页的论文“通信的数学理论”成了信息论正式诞生的里程碑。

在他的通信数学模型中，清楚地提出信息的度量问题，他把哈特利的公式扩大到概率pi不同的情况，得到了著名的计算信息熵H的公式：H=∑-pi log pi如果计算中的对数log是以2为底的，那么计算出来的信息熵就以比特(bit)为单位。

今天在电脑和通信中广泛使用的字节(Byte)、KB、MB、GB等词都是从比特演化而来。

“比特”的出现标志着人类知道了如何计量信息量。

香农的信息论为明确什么是信息量概念作出决定性的贡献。

事实上，香农最初的动机是把电话中的噪音除掉，他给出通信速率的上限，这个结论首先用在电话上，后来用到光纤，现在又用在无线通信上。

我们今天能够清晰地打越洋电话或卫星电话，都与通信信道质量的改善密切相关。

科学意义于是在20世纪中叶，人类终于对三个非常重要的概念：质量、能量、信息量都有了定量的计量办法。

我们应该牢记，为阐明质量概念做出伟大贡献的是发现物体力学定律的牛顿(Sir Isaac Newton，1642-1727)，为阐明能量概念作出伟大贡献的是热力学第一定律的发现者们：迈耳(Julius Robert von Mayer，1814-1878)、焦耳(James Prescott Joule，1818-1899)、赫尔姆霍兹(Hermann von Helmholtz，1821-1894)、开尔文(Lord Kelvin，1824-1907)，而为阐明信息概念作出伟大贡献的就是香农。

20世纪中期随着原子弹的出现，物理学成为最荣耀的科学学科。

在随后的50年里，晶体管、人造卫星、集成电路、电脑的飞跃发展无不与物理学知识的应用有关。