香农:信息论及数字通信之父
![香农:信息论及数字通信之父](https://img.360docs.net/imgb5/05fkq6yowy3353jfmov8-51.webp)
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
20世纪中叶,信息论、控制论、系统论等标新立异的新理论相继问世,有力地“晃动”着传统的科学框架。克劳德·香农是一位美国数学工程师,作为信息论的创始人,人们认为他是20世纪最伟大的科学家之一。他在通信技术与工程方面的创造性工作,为计算机与远程通信奠定了坚实的理论基础。人们尊崇香农为信息论及数字通信时代的奠基之父。确实,他对人类的贡献超过了一般的诺贝尔获奖者。回顾20世纪的信息革命风暴,经他阐明的信息概念、连同“比特”这个单位已经深入人心,成为今天日常生活都离不开的词汇。
家庭背景
克劳德·香农(Claude Elwood Shannon,1916-2001)1916年4月30日诞生于美国密西根州的Petoskey。在Gaylord小镇长大,当时镇里只有三千居民。父亲是该镇的法官,他们父子的姓名完全相同,都是Claude Elwood Shannon。母亲是镇里的中学校长,姓名是Mabel Wolf Shannon。他生长在一个有良好教育的环境,不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家,发明过洗衣机和许多农业机械,这对香农的影响比较直接。此外,香农的家庭与大发明家爱迪生(Thomas Alva Edison,1847-1931)还有远亲关系。
香农的大部分时间是在贝尔实验室和MIT(麻省理工学院)度过的。在“功成名就”后,香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚,他们是在贝尔实验室相识的,玛丽当时是数据分析员。他们共有四个孩子:三个儿子Robert、James、Andrew Moore和一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。
2001年2月24日,香农在马萨诸塞州Medford辞世,享年85岁。贝尔实验室和MIT发表的讣告都尊崇香农为信息论及数字通信时代的奠基之父。
攻读学位
1936年香农在密西根大学获得数学与电气工程学士学位,然后进入MIT念研究生。
1938年香农在MIT获得电气工程硕士学位,硕士论文题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)。当时他已经注意到电话交换电路与布尔代数之间的类似性,即把布尔代数的“真”与“假”和电路系统的“开”与“关”对应起来,并用1和0表示。于是他用布尔代数分析并优化开关电路,这就奠定了数字电路的理论基础。哈佛大学的伽登纳(Howard Gardner)教授说,“这可能是本世纪最重要、最著名的一篇硕士论文。”
1940年香农在MIT获得数学博士学位,而他的博士论文却是关于人类遗传学的,题目是《An Algebra for Theoretical Genetics》(理论遗传学的代数学)。这说明香农的科学兴趣十分广泛,后来他在不同的学科方面发表过许多有影响的文章。
在读学位的同时,他还用部分时间跟温尼法·布什(Vannevar Bush)教授进行微分分析器的研究。这种分析器是早期的机械模拟计算机,用于获得常微分方程的数值解。1941年香农发表了《Mathematical theory of the differential analyzer》(微分分析器的数学理论),他写道:“大多数结果通过证明的定理形式给出。最重要的是处理了一些条件,有些条件可以生成一个或多个变量的函数,有些条件可使常微分方程得到解。还给出了一些注意事项,给出求函数的近似值(不能产生精确值)、求调整率的近似值以及自动控制速率的方法。”
特殊癖好
大家从照片上看,可能以为克劳德·香农是一位文质彬彬的书生。事实上,他有许多爱好,特别令人难以置信的是香农可以熟练地玩一套杂技。不是在舞台上,而是在日常生活中,例如在贝尔实验室的走廊里。
从MIT到香农宽敞的住宅只有几英里。他的住宅里放满了各种乐器,诸如有5台钢琴、30多种其他乐器,从短笛到各种铜管乐器应有尽有。童年时代,他热衷于装无线电收音机、练莫尔斯电报码、搞密码
学等。在Gaylord 上中学时他还当过Western Union 的信使。
在他的玩具室里,有一个杂耍杰作,由3个丑人一起玩11个环、7个球和5个棍子,通过钟表机构驱动。可见当他还是孩子时就喜爱杂耍,香农的一生都迷恋于平衡与控制稳定性。他的平衡兴趣与能力是十分有名的,一个脍炙人口的故事是他经常骑着独轮车(unbicycle)、手里抛着三个球来到贝尔实验室的大厅。有时他还踩着高跷骑摩托,使同事害怕不已。他发明过有两个座位的独轮车,不过恐怕没有人敢与他共享。他还把独轮车造成偏离地心的,骑在上面忽高忽低,像鸭子行走似的。
他设计并建造了下棋机器、迷宫老鼠(左图)、杂耍器械以及智力阅读机。下国际象棋的机器包括用3个指头能抓起棋子的手臂、蜂鸣器以及简单的记录装置。他还建造了供孩子们到湖边玩耍的升降机,长约600英尺,设有座位。这些活动表明了香农的主张,即好奇心比实用性对他的刺激更大。他的名言是:“我感到奇妙的是事物何以集成一体。”
参加工作
1941年香农以数学研究员的身份进入新泽西州的AT&T贝尔电话公司,并在贝尔实验室工作到1972年,从24岁到55岁,整整31年。1956年他当了MIT的访问教授,1958年成为正式教授,1978年退休。
人们描述香农的生活,白天他总是关起门来工作,晚上则骑着他的独轮车来到贝尔实验室。他的同事D. Slepian写到:“我们大家都带着午饭来上班,饭后在黑板上玩玩数学游戏,但克劳德很少过来。他总是关起门来工作。但是,如果你要找他,他会非常耐心地帮助你。他能立刻抓住问题的本质。他真是一位天才,在我认识的人中,我只对他一人使用这个词。”
香农与John Riordan一起工作,1942年发表了一篇关于串并联网络的双终端数的论文。这篇论文扩展了麦克马洪(Percy A. MacMahon,1854-1929)1892年在Electrician上发表的论文理论。1948年则创立了信息论(information theory)。
在漫长的岁月,他思考过许多问题。除在普林斯顿高等研究院工作过一年外,主要都在MIT和Bell Lab 度过。需要说明的是,在二次世界大战时,香农博士也是一位著名的密码破译者(这使笔者想到比他大4岁的图灵博士)。他在Bell Lab的破译团队主要是追踪德国飞机和火箭,尤其是在德国火箭对英国进行闪电战时起了很大作用。1949年香农发表了另外一篇重要论文《Communication Theory of Secrecy Systems》(保密系统的通信理论),正是基于这种工作实践,它的意义是使保密通信由艺术变成科学。
信息理论
1948年香农在Bell System Technical Journal上发表了《A Mathematical Theory of Communication 》。论文由香农和威沃共同署名。前辈威沃(Warren Weaver,1894-1978)当时是洛克菲勒基金会自然科学部的主任,他为文章写了序言。后来,香农仍然从事技术工作,而威沃则研究信息论的哲学问题。顺便提一句,该论文刚发表时,使用的是不定冠词A,收入论文集时改为定冠词The。
这篇奠基性的论文是建立在香农对通信的观察上,即“通信的根本问题是报文的再生,在某一点与另外选择的一点上报文应该精确地或者近似地重现”。这篇论文建立了信息论这一学科,给出了通信系统的线性示意模型,即信息源、发送者、信道、接收者、信息宿,这是一个新思想。此后,通信就考虑为把电磁波发送到信道中,通过发送1和0的比特流,人们可以传输图像、文字、声音等等。今天这已司空见惯,但在当时是相当新鲜的。他建立的信息理论框架和术语已经成为技术标准。他的理论在通信工程师中立即获得成功,并刺激了今天信息时代所需要的技术发展。
香农考虑的信息源,产生由有限符号组成的词。它们通过信道进行传输,每个符号开销有限的信道时间。这里涉及到统计学问题,如果xn是第n个符号,它是由固定随机过程源xn产生的,香农给出一个分析信号误差序列的方法,它是传输系统固有的,可以通过设计相应的控制系统控制它。
在这篇论文中,香农首次引入“比特”(bit)一词,如果在信号中附加额外的比特,就能使传输错误得到纠正。按照物理学的习惯,把电流单位叫做“安培”,如果给“比特流”一个单位名,那么叫做“香农”是比较合适的。