克劳德·艾尔伍德·香农
克劳德 艾尔伍德 香农
人物生平
香农于1916年4月30日出生于美国密歇根州的Petoskey，并且是爱迪生的远亲戚。1936年毕业于密歇根大学 并获得数学和电子工程学士学位。1940年获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。1941年 他加入贝尔实验室数学部，工作到1972年。1956年他成为麻省理工学院（MIT）客座教授，并于1958年成为终生 教授，1978年成为名誉教授。香农博士于2001年2月24日去世，享年84岁。
香农提出了信息熵的概念，为信息论和数字通信奠定了基础。主要论文有1938年的硕士论文《继电器与开关 电路的符号分析》、1948年的《通讯的数学原理》和1949年的《噪声下的通信》。
为纪念克劳德·艾尔伍德·香农而设置的香农奖是通信理论领域最高奖，也被称为“信息领域的诺贝尔奖”。
人物资料
香农克劳德·艾尔伍德·香农（Claude Elwood Shannon，1916-2001）1916年4月30日诞生于美国密西根 州的Petoskey。在Gaylord小镇长大，当时镇里只有三千居民。父亲是该镇的法官，他们父子的姓名完全相同， 都是Claude Elwood Shannon。母亲是镇里的中学校长，姓名是Mabel Wolf Shannon。他生长在一个有良好教 育的环境，不过父母给他的科学影响好像还不如祖父的影响大。香农的祖父是一位农场主兼发明家，发明过洗衣 机和许多农业机械，这对香农的影响比较直接。此外，香农的家庭与大发明家爱迪生（Thomas Alva Edison， 1847-1931）还有远亲关系。香农的大部分时间是在贝尔实验室和MIT（麻省理工学院）度过的。在“功成名就” 后，香农与玛丽（Mary Elizabeth Moore）1949年3月27日结婚，他们是在贝尔实验室相识的，玛丽当时是数据 分析员。他们共有四个孩子：三个儿子罗伯特（Robert）、詹姆斯（James）、安德鲁莫瑞（Andrew Moore）和 一个女儿Margarita Catherine。后来身边还有两个可爱的孙女。
香农的信息论的局限性与推广研究
扩展信息论模型
为了克服香农信息论的局限性，需要进 一步发展和完善信息论模型，以适应更 广泛的应用场景。
VS
结合其他理论
可以尝试将香农信息论与其他理论进行结 合，例如统计学习理论、复杂系统理论等 ，以实现更有效的信息处理和分析。
04
香农信论的应用场景
密码学中的应用
密码学基础
01
香农信息论为密码学提供了理论基础，包括对称加密、非对称
香农信息论的主要内容
• 香农信息论主要包括信息的度量、信息的传递和信息的压缩三个方面。其中， 信息的度量是指如何评估信息的不确定性，信息的传递是指如何在信道中传输 信息，信息的压缩则是指如何有效地存储和传输信息。
香农信息论的发展历程
• 香农信息论自提出以来，经历了多个发展阶段。在早期，香农信息论主要关注于通信领域中的一些基本问题， 如信道的容量、噪声和失真等。随着计算机科学和人工智能的不断发展，香农信息论逐渐被应用于这些领域， 以解决一些与信息和知识处理相关的问题。
缺乏对信息来源和传播方式的研究
香农信息论主要关注信息的量和质量，但并未涉及信息的来 源和传播方式。在现实生活中，信息的来源和传播方式对信 息的价值和影响力有着重要影响。
对于信息的来源，需要考虑信息的产生背景、可信度、权威 性等因素；对于信息的传播方式，需要考虑信息的传播途径 、受众群体、传播效果等因素。这些因素在香农信息论中并 未涉及，需要进一步拓展研究领域。
02
香农信息论的局限性
只能处理离散信息，难以处理连续信息
香农信息论主要针对离散信息进行建模和分析，例如二进制或有限字符集等。然而，在现实世界中， 连续信息更为普遍，如语音、图像和视频等。香农信息论难以直接应用于这些连续信息领域，需要进 一步的研究和扩展。
ITS的来世
复杂系统理论1 复杂系统理论概述二十世纪四十年代以来，系统科学得到了迅速的发展。
1945 年奥地利学者路德维希·冯·贝塔朗菲(Ludwig Von Bertalanffy)，发表《关于一般系统论》，宣告了一般系统论的创立。
贝塔朗菲认为，系统可以定义为相互作用着的若干要素的复合体。
系统有三项普遍和本质的东西:一是系统的整体性；二是系统由一些相互作用和相互依存的要素所组成；三是系统受环境影响和干扰，并和环境发生相互作用。
随后，克劳德·艾尔伍德·香农(Claude Elwood Shannon)于 1948年发表的《通讯的数学理论》，奠定了香农信息基本理论的基础。
1950 年，维纳(NobertWiener)出版了《控制论和社会》一书，着重论述了通信、法律和社会政策等与控制论的联系。
阿希贝(Ashby)1958 年发表的《控制论在生物学和社会中的应用》一文，认为可以运用非线性系统中的控制理论来研究社会系统。
但总的来说，那个时期的复杂性研究方法尚无实质性进展。
基于系统自身结构复杂性的状况可将系统简单系统、无组织的复杂系统、有组织的复杂系统三大类(韦佛(Weaver.W)，1958)。
复杂系统是相对于简单系统而言的。
有组织的复杂系统的特征是系统的元素数目很多，而且元素间存在着强烈的耦合作用，使得系统具有高度的组织性(牛文元1987；Wilson，A.G.1，997)。
另有专家认为，复杂系统是具有中等数目基于局部信息作出行为的智能性、自适应性主体的系统(约翰·L·卡斯蒂(John L.Casti)，1998)。
非线性复杂系统理论最早大概出现在 20 世纪 70 年代，它是一大批新兴学科的总称，它们的研究对象尽管不同，但具有共同的特征，即系统都是复杂非线性系统，或非线性复杂自组织过程。
2 复杂系统的一些公认观点著名英国理论物理学家霍金2000年曾说过一句名言:我认为，下个世纪将是复杂性的世纪，这句话高度概括了21世纪理论科学面临的任务是处理各种复杂系统，也就是我们要建立一套不同于过去的理论体系以面对21世纪的科学挑战。
信息论之父
1941年香农以数学研究员的身份进入新泽西州的AT&T
贝尔电话公司,并在贝尔实验室工作到1972年，从24岁 到55岁，整整31年
1956年他当了MIT的访问教授 1958年成为正式教授，1978年退休
香农的家庭
香农的大部分时间是在贝尔实验室和MIT(麻省理工学
பைடு நூலகம்
院) 度过的，在“功成名就”后，香农与玛丽(Mary Elizabeth Moore)1949年3月27日结婚，他们是在贝尔 实验室相识
香农的主要著作及相关理论
《通信的数学理论》
《继电器和开关电路的符号分析》 《微分分析器的数学理论》 《噪声下的通信》 香农-费诺编码 香农-哈特雷定律 奈奎斯特-香农采样定理 香农容量 香农对局
香农的荣誉
美国科学院院士 伦敦皇家科学院院士 利奥波第那科学院
院士（德国） 美国Alfred Noble协会美国工程师奖 1940年 Morris Liebmann 无线电工程师协会Memorial奖章 1949年 耶鲁大学 (首席科学家) 1954年 Stuart Ballantine弗兰克林协会奖章 1955年 研究合作奖 1956年 密歇根大学, 荣誉博士 1961年 莱斯大学 荣誉奖章1962年 普林斯顿大学, 荣誉博士 1962年 Marvin J. Kelly Award 1962年 爱丁堡大学 荣誉博士 1964年 匹兹堡大学 荣誉博士 1964年 电子电气工程师协会 荣誉奖章 1966年
题目是《A Symbolic Analysis of Relay and Switching Circuits》(继电器与开关电路的符号分析)
1940年香农在MIT获得数学博士学位，而他的博士论
克劳德·艾尔伍德·香农.
克劳德· 艾尔伍德· 香农
容貌与智慧并存的男子
他年近古稀还依旧有纯真的童心
他总能不断地在枯燥的数字世界了找到趣味
然而，他很喜欢“杂耍学博士”这个荣誉称号
年仅 22 岁，他撰写的论文把 19 世纪中叶英国数学家 乔治 · 布尔的布尔代数和电子电路中开关和继电器的工作原 理独创性地对应结合，香农的这篇论文被认为可能是 20 世 纪最重要的一篇硕士论文。
H=∑-pi log pi
香农三大定理
香农第一定理(可变长无失真信源编码定理)
B=PK1B1+PK2B2+…+PKN^kBN^k
香农第二定理（有噪信道编码定理）
香农第三定理（保失真度准则下的有失真来自源编码定理）他与爱因斯坦
1940 年，在麻省理工学院获得博士学位后（他的博士论文则是关于基因 传递的数学研究），香农在新泽西州的普利斯顿高级研究所工作了一年时间。 说到这时，香农猛然压低了声音。他告诉我们有一次在做报告时，神圣的爱 因斯坦大人突然从后面的一个门走了进来。爱因斯坦看了看香农，和另外一 个科学家悄声说了些什么，然后就离开了。香农无法抑制自己的激动心情， 在报告结束后，他立即冲过去问这个科学家爱因斯坦本尊说了什么。后者一 脸严肃庄重，慢条斯理地盯着香农回答说，那位伟大的物理学家，「想知道 茶在哪里」。 香农说着，爆发出一阵大笑。几十年过去，这位伟大的科学家仍然拥有 天真的笑颜。
END
1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了具有深远影 响的论文《通讯的数学原理》。1949年，香农又在该 杂志上发表了另一著名论文《噪声下的通信》
信息理论的奠基者
信息论发展史
信息论发展史内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。
现代信息论又是数学概率论与数理统计下年的一个分支学科。
现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。
作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948年和1949年发表的两篇论文一起奠定了现代信息论的基础。
关键字：信息论(information theory）、克劳德·香农（Claude Shannon）、数学、信息与传输一．信息论概念及其研究发向信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。
信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。
这就是现代信息论的出发点。
二．信息论创始人—香农香农（Shannon）1948年也在《贝尔系统技术杂志》上发表了两百多页的长篇论文《通信的数学理论》；第二年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。
这两篇论文成了现在信息论的寞基著作。
而香农也一鸣惊人，成了这门新兴学科的奠基人。
克劳德·艾尔伍德·香农（Claude Elwood Shannon ）美国数学家，信息论的创始人。
数字时代之父--申农
数字时代之父克劳德·申农--------------------------------------------------------------------------------克劳德·艾尔伍·申农因病久治不愈而于年初去世，他是创造了信息时代的巨人之一。
约翰·冯诺伊曼和阿伦·图灵等人发明了计算机，让信息处理成为可能，而克劳德·申农则提出了现代的信息概念。
如果高科技行业仿照拉什摩尔山雕筑四大伟人的头像的话，克劳德·申农定会出现在其中。
完整的信息论科学肇始于申农1948年发表的一份论文，时年32岁的申农是贝尔实验室的一名研究员。
文中，他说明了怎样定义并准确量化一度还很模糊的信息概念，指出了各种信息媒介之间必然的联系：文字、电话信号、无线电波、影像等等通讯交流方式，都能够编码为一种二进制的通用语言——比特，这也是“比特”（ｂｉｔ）一词第一次出现在文字上。
申农认为，信息一旦数字化，将实现无差错的传输。
申农在概念上实现的巨大飞跃直接引致了ＣＤ技术的发展和成熟，他所描绘出的是一幅“数字时代的蓝图”。
发现的乐趣, 对申农来说，他所做的一切都应充满乐趣，他的研究和发现不过是一种获取乐趣的方式。
“克劳德喜欢大笑，喜欢构想那些反传统的事物。
”贝尔实验室退休的数学家大卫·斯莱比安说道。
50年代，斯莱比安曾是申农的同事。
数学对于申农来说，就像魔术师手里的戏法道具。
斯莱比安说：“他常常会转上一圈然后突然从一个你想不到的角度解出答案。
”要说起戏法，申农的确有个保留节目——夜里骑着独轮车穿过贝尔实验室长长的走廊，手里还一边玩着杂耍。
在家里的时候，申农把空余时间都花在了制作各式各样奇形怪状的装置上，比如：用罗马数字来进行计算的“Ｔｈｒｏｂａｃ”计算器，能从迷宫里找到出路的机器鼠“Ｔｈｅｓｅｕｓ”。
还有“极端机器”，这是一个在侧面上安置了一个巨大开关的盒子。
信息熵
信息熵1 概念信息是个很抽象的概念。
人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。
比如一本五十万字的中文书到底有多少信息量。
直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。
信息论之父克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。
信息论之父 C. E. Shannon 在 1948 年发表的论文“通信的数学理论（ A Mathematical Theory of Communication ）”中， Shannon 指出，任何信息都存在冗余，冗余大小与信息中每个符号（数字、字母或单词）的出现概率或者说不确定性有关。
Shannon 借鉴了热力学的概念，把信息中排除了冗余后的平均信息量称为“信息熵”，并给出了计算信息熵的数学表达式。
信息熵单位是BIT 。
2 计算公式以英文为例看如何计算信息熵。
我们都知道英文使用26个字母，如果我们把字母在所传输信息中出现的频率看做是随机的，而且具有同样的概率。
那么要传输26个字母中的任何一个就至少需要4个多BIT 才够（4位最大是16个，5位最大是32个，26个字母介于两者之间）。
当然，每个字母在传输信息中出现的概率不可能一样，比如 A 是1/16： B 是1/13： …Z 是1/126：（它们的和是1），那么通过计算可以得出英文的信息熵是4.03（根据参考文章介绍的数据）。
2n = X ： 其中 X 就是传输信息所需要的字符集的大小减去它的冗余度。
公式： ()()log2i H P Pi =-∑信息熵P i ：为每个字母在信息中出现的概率： 计算公式并不复杂。
取以2为底的对数的道理也很简单，因为如果： 2n = X 的话，那么logX = n ： 所以可以看出所谓信息熵就二进制的字符集在去掉冗余度后的二进制编码位数。
冗余度是通过统计每个字符出现概率获得的。
英文的信息熵是4.03，而计算机最初设计时的ASCII 码是8位的，留有足够的空间。
柯克霍夫原则
柯克霍夫原则由奥古斯特·柯克霍夫在19世纪提出：密码系统应该就算被所有人知道系统的运作步骤，仍然是安全的。
克劳德·艾尔伍德·香农有句近似的话「敌人知道系统」，称为香农公理。
它和传统的以保密密匙和加密方法的密码学想法不同。
系统必须可用，非数学上不可译码。
系统不一定要保密，可以轻易落入敌人手中。
密匙必须可以不经书写的资料交换和记忆，且双方可以改变密匙。
系统可以用于电讯。
系统可以转移位置，它的功能必须不用经过几个人之手才可达到。
系统容易使用，不要求使用者的脑力过份操劳或有很多的规则。
布鲁斯·施奈尔将这个想法延伸，认为除了密码系统之外，任何保安系统都是这样：试图保密一些东西，都会制造了失败的根源。
埃里克·斯蒂芬·雷蒙则将它引伸到开放源代码软件，指软件设计不假设敌人会得到源代码，已经不可靠，因此，「永无可信的封闭源码」。
反过来说，开放源码比封闭源码更安全。
意思是说：
如今的密码已经分成了两大类：公钥密码和私钥。
1-3人工智能发展史
03 人工智能发展史
Deep Blue
1997 年 5 月 11 日，IBM 制造的超级计算机 深蓝（Deep Blue），在经过多轮较量后，击败 了国际象棋世界冠军卡斯帕罗夫（Garry Kasparov）。
标志着人工智能的研究到达了一个新的高度， 也给人工智能做了一次大规模的宣传。
遵照磁鼓上的程序指令，Unimate机器人4000磅重的手臂 可以按次序堆叠热压铸金属件。
Unimate机器人成本耗资65000美元，但Unimation公司开 始售价仅为18000美元，大量推广应用后获得可观盈利。
第一次浪潮
03 人工智能发展史
第一次浪潮
学术成果（1950-1970）
达特茅斯会议之后，人工智能迎来了发展的黄金时期，出现了大量的研究成果： Herbert Simon、J.C.Shaw、Allen Newell 创建了通用解题器（General Problem Solver-GPS），
第二次浪潮
专家知识 知识库
推理机 专家系统
输出
03 人工智能发展史
第五代计算机工程
1981年日本发起第五代计算机项目，目标是造出能够与人 对话，翻译语言，解释图像，并且像人一样推理的机器。
日本在东京举行了一次会议，会上，日本正式宣布了“第 五代计算机发展方案”。
欧美纷纷做出“对抗”，1981年英国两亿五千万英镑Alvey 计划；1982年美国政府决定成立MCC组织（IBM、AT&T及美 国所有的高科技企业）
Lab ✓ 发明Lisp语言
AI诞生
2006 年，50 年后再聚，依然在世的几位左起：摩尔、 麦卡锡、明斯基、赛弗里奇、所罗门诺夫
IT简史克劳德·香农ClaudeElwoodShannon
IT简史克劳德·香农ClaudeElwoodShannonIT简史 | 埃达·洛芙莱斯 Ada LovelaceIT简史 | 赫尔曼·霍尔瑞斯 Herman HollerithIT简史 | 乔治·布尔 George BooleIT简史 | 万尼瓦尔·布什 Vannevar BushIT简史 | 图灵测试 Turing test1916.4.30—2001.2.24美国数学家、电子工程师和密码学家，被誉为信息论的创始人。
是爱迪生的远亲戚。
除了学术研究，香农爱好杂耍、骑独轮脚踏车和下棋。
香农发明了很多用于科学展览的设备，比如火箭动力飞行光盘、一个电动弹簧高跷和一个喷射小号。
香农的办公桌上放着一个他称之为“终极机器”的盒子。
这是香农众多好玩的发明之一，是根据人工智能研究的先驱、数学家马文·闵斯基提出的想法而做出来的。
这个盒子外表平淡无奇，只是在一侧有一个开关，弹一下开关，盒盖就会打开，一个机械手会伸出来；将开关复原，机械手就缩回盒子。
『成就』1936年，毕业于密歇根大学并获得数学和电子工程学士学位。
1937年，21岁的香农是麻省理工学院的硕士研究生，他在其硕士论文中提出：“将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系。
”被誉为有史以来最具水平的硕士论文之一。
1940年，获得麻省理工学院（MIT）数学博士学位和电子工程硕士学位。
1941年，他加入贝尔实验室数学部，工作到1972年。
1937年，在贝尔实验室，香农看到了电话系统电路的强大功能。
这些电路使用电子开关来安排电话通话路线和平衡通话负载。
香农便将这些电路的工作原理和布尔在90年前制定的逻辑系统相互融合在一起。
他发现电路可以使用不同的通断开关组合来执行这些逻辑运算，便有了那篇著名的《继电器与开关电路的符号分析》继电器就是用高低电平来等同0,1，进而组合成'与'‘或’逻辑判断门。
香农信息论
香农信息论的影响
1948年以后，香农的信息论在物理学、生物学和社会科 学等学术团体中得到迅速而又广泛的传播。信息论被普遍引 用，这种影响历时多年经久不衰。香农的（以熵的公式所测 度的）信息概念对于传播学学者来说有着直接的用处。或许 这就是为什么他的理论通常被称为“信息”理论、而不是 “传播”理论的原因，后者是香农用来表示其理论的术语。
研究的目的和内容
找到信息传输过程的共同规律，提 高信息传输的可靠性、有效性、保 密性和认证性，以达到信息传输系 统的最优化。
香农信息论体系结构
Shannon信息论
压缩理论
传输理论
无失真编码
有失真编码
等长编码 定理
Shannon 1948
McMillan 1953
变长编码 定理码器
信道
消息
信号
译码器
信号加 噪声
信宿
消息
噪声
通信系统模型
通信系统模型
信源：产生消息的源。消息可以是文字、语言、图像等。 编码器：将信源发出的消息变换成适于信道传送的信号的设备。包含信源编码器、 纠错编码器、调制器。 信道：把载荷消息的信号从发射端传到接收端的媒质或通道。狭义的实际信道有 电缆、波导、光纤、无线电波传播空间。 干扰源：系统其他各部分产生的噪声和干扰都等效成信道干扰，集中作用于信道。 译码器：编码的逆变换。它的作用是从受干扰的信号中最大限度地提取出有关信 源传出消息的信息。 信宿：信息传送过程中的接收者，即接收消息的人或物。
明家，发明过洗衣机和许多农业机械；此外，香农的家 庭与大发明家爱迪生还有远亲关系。
香农是美国数学家、信息论的创始人。1940年在麻省 理工学院获得硕士和博士学位，1941年进入贝尔实验室
工作。香农提出了信息熵的概念，为信息论和数字通信 奠定了基础。主要论文有：1938年的硕士论文《继电器 与开关电路的符号分析》，1948年的《通讯的数学原理》 和1949年的《噪声下的通信》。
信息论之父香农，20世纪伟大的科学家，一个理论改变了一个时代
信息论之父香农，20世纪伟大的科学家，一个理论改变了一个时代信息论的奠基之作1687年7月5日，牛顿的《自然哲学的数学原理》首次出版发行，引爆了整个学术圈，从此奠定了他的江湖地位，而这本书也奠定了现代科学的范式。
1948年，香农发表了一篇英文名为《A Mathematical Theory of Communication》的论文，翻译过来就是《通信的一个数学原理》，这篇论文引起了巨大的轰动。
要知道一篇专业的学术论文被引用1000次已经是非常了不起了，而香农的这篇文章至今已经达到了110536次，可见其在学术圈的江湖地位。
几年后，这篇论文要成书发行，已经更名为《The Mathematical Theory of Communication》，翻译过来就是《通信的数学原理》。
这就意味着它已经被认为是信息论的奠基之作，这就好比《自然哲学的数学原理》在物理学界的起到的作用，而香农之于信息论，就像牛顿之于物理学。
那这个香农是何许人？今天，我们就来聊一聊：香农和他的《通信的数学原理》。
震惊世界克劳德·艾尔伍德·香农1916年出生于美国密西根州的盖洛德镇。
当时正值电气时代蓬勃发展，电报十分发达，不过电话还尚未普及，电话的价格还相对比较昂贵。
于是，很多人把牧场的刺铁丝网彼此相连，并自己安装电话送话器，在很小的范围内实现了通话。
香农就是在这样的氛围下长大的，他从小就喜欢发明和玩耍，尤其爱摆弄一些机械装置，他尤其钟爱摩尔编码，常常利用编码发送讯息。
后来，16岁的他进入了密歇根大学就读电气工程和数学。
1936年，20岁的香农辗转来到麻省理工学院作为研究助理，跟随当时的工程院院长万内瓦尔·布什。
那个时候，香农主要做的是操作一台数百吨重的机器，这台机器叫做：微分分析机。
在每天繁复的工作中，香农发现：机器中开关的切换，本质上并不是在传输电流，而是在传输状态。
或者说，也可以理解成是在传输一个事实，或者一个信息。
信息论发展史
信息论发展史内容摘要：信息论经过六十多年的发展，现在已经成为现代信息科学的一个重要组成部分，信息论是现代通信和信息技术的理论基础。
现代信息论又是数学概率论与数理统计下年的一个分支学科。
现在信息论已经成为国内数学系信息与计算科学专业的一门必须课程。
作为信息论的奠基人克劳德·艾尔伍德·香农（Claude Elwood Shannon ），于1948年和1949年发表的两篇论文一起奠定了现代信息论的基础。
关键字：信息论(information theory）、克劳德·香农（Claude Shannon）、数学、信息与传输一．信息论概念及其研究发向信息论，顾名思义是一门研究信息的处理和传输的科学；即用概率论与数理统计方法来探究信息的度量、传递和变换规律的一门学科。
它主要是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法，信息传输和信息压缩是信息论研究中的两大领域，这两个方面又由信息传输理论、信源－信道隔离定理相互联系。
信息是系统传输和处理的对象，它载荷于语言、文字、图像、数据等之中。
这就是现代信息论的出发点。
二．信息论创始人—香农香农（Shannon）1948年也在《贝尔系统技术杂志》上发表了两百多页的长篇论文《通信的数学理论》；第二年，他又在同一杂志上发表了另一篇名著《噪声下的通信》。
在这两篇论文中，他经典地阐明了通信的基本问题，提出了通信系统的模型，给出了信息量的数学表达式，解决了信道容量、信源统计特性、信源编码、信道编码等有关精确地传送通信符号的基本技术问题，并且开始创造性的定义了“信息”。
这两篇论文成了现在信息论的寞基著作。
而香农也一鸣惊人，成了这门新兴学科的奠基人。
克劳德·艾尔伍德·香农（Claude Elwood Shannon ）美国数学家，信息论的创始人。
香农及其香农定理
香农及香农定理克劳德·艾尔伍德·香农（Claude Elwood Shannon ，1916年4月30日—2001年2月26日）是美国数学家、信息论的创始人。
1940年在麻省理工学院获得硕士和博士学位，1941年进入贝尔实验室工作。
香农提出了信息熵的概念，为信息论和数字通信奠定了基础。
主要论文有：1938年的硕士论文《继电器与开关电路的符号分析》，1948年的《通讯的数学原理》和1949年的《噪声下的通信》。
香农第一定理(可变长无失真信源编码定理)设离散无记忆信源X包含N个符号{x1,x2,…,xi,..,xN}，信源发出K重符号序列，则此信源可发出N^k个不同的符号序列消息，其中第j个符号序列消息的出现概率为PKj，其信源编码后所得的二进制代码组长度为Bj，代码组的平均长度B为B=PK1B1+PK2B2+…+PN^k BN^k当K趋于无限大时，B和H(X)之间的关系为B/K=H(X)(K趋近无穷）香农第一定理又称为无失真信源编码定理或变长码信源编码定理。
香农第一定理的意义：将原始信源符号转化为新的码符号，使码符号尽量服从等概分布，从而每个码符号所携带的信息量达到最大，进而可以用尽量少的码符号传输信源信息。
香农第二定理（有噪信道编码定理）有噪信道编码定理。
当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。
设某信道有r个输入符号，s个输出符号，信道容量为C，当信道的信息传输率R<C，码长N足够长时，总可以在输入的集合中(含有r^N个长度为N的码符号序列)，找到M （(M<=2^(N(C-a)))，a为任意小的正数)个码字，分别代表M个等可能性的消息，组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率Pmin达到任意小。
公式：注：B为信道带宽；S/N为信噪比，通常用分贝（dB）表示。
香农说,要有熵信息时代由此开启……
香农说，要有熵。
信息时代由此开启……作者：月宝、晓桦2016年四月三十日是克劳德·艾尔伍德·香农（Claude Elwood Shannon）的一百周年诞辰。
虽然香农被学术届尊为信息时代之父，听说过这位科学巨人名字的想必比知道宋仲基的人少得多。
不过不管你们信不信，要是没有香农，到今天咱们应该还没有见过手机或Internet，也没有用过微信或Facebook，更不能在网上看韩剧。
香农是美国数学家、信息论的创始人。
1948年，香农发表了《通信的数学理论》文章，提出了信息熵的概念，并创建了信息论。
这篇文章奠定了香农“信息论之父”的地位。
后来，香农在1949年继续发表了《噪声下的通信》。
几十年来，人类科技在数字化、智能化、网络化等的推动下经历了一波又一波通信、信息革命。
数十年之后，在信息流、物质流的社会中，香农的论著依然闪烁着智慧之光，并将照耀人类社会今后的数个世纪。
在学术圈子里，人们往往对香农高山仰止。
南加州大学（University of Southern California) 电子工程系教授巴特·嗑死磕（Bart Kosko）说：爱因斯坦相对论之革命性在于它颠覆了之前的牛顿力学，而香农信息论之革命性在于它前无古人——香农对信息的认知开人类之先河，没有什么挡在前面需要被颠覆的；香农提出了全新的数学工具，就是所谓的信息论，并用这个工具回答了人类从未思考过的问题。
在这个意义上，香农的发现像牛顿的引力定律一样基本。
克劳德·艾尔伍德·香农（Claude Elwood Shannon ），1916年4月30日—2001年2月26日。
1948年，香农（Claude Shannon）在贝尔实验室发表论文《通信的数学理论》。
文章中提出的数学工具构成了信息论的骨架。
香农证明了信源编码的极限是信源的熵，信道编码的极限则是信道容量。
倚天剑一出，天下皆惊。
而为达到香农预测的信道编码的极限——信道容量，人类却花费了半个世纪挣扎。
什么是信息？香农这样说
在30岁出头的时候，他仅用两篇论文解决了许多悬而未决的问题，阐明了通信的基本问题，给出了通信系统模型，提出了信息量数学表达式、解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。
他提出的信息论向各个学科发起了冲击，最终的研究规模像雪球一样越滚越大，几乎触及了一切领域，他，就是人称信息学创世神的克劳德·艾尔伍德·香农。
我们现在能用滴滴打车、能刷手机听歌追剧，都欠香农一声感谢。
作为信息学开创者，这个信息时代的一切科技——近到电脑、手机，远到5G、AI、大数据都通通离不开他的理论。
有人这样形容香农，作为信息学的创世神，在创世之日就宣布了这个学科的终点。
后来者的努力，无异于在他的前沿理论上做脚注，并一遍遍地证明他说得没错。
缘起于专业的“双修”1916年4月30日香农出生在美国密歇根州的小城盖洛德。
比起传奇的后半生，他的童年略显平凡，除了爱鼓捣机械之外平平无奇。
他的父亲沉迷社交，一天下来都没有什么时间照顾他，所以小香农就和小伙伴们自由地搜罗大人们不要的机械器材。
小香农就靠着这些捡来的零件，在邻居家的谷仓搭了一台升降机。
照这样下去，小香农本该成为一个草根发明家，但好在他还有个姐姐。
她姐姐有事没事就爱找小香农解数学题，小香农自然就对数学产生了浓厚的兴趣。
等香农上了大学，再也没有人能阻止他对机械的向往了。
他踏上了同时攻读数学和工程学两个专业的旅程，当时的专业划分没现在这么细，工程学和数学更像是针尖对麦芒：数学以抽象为美，工程学则是以应用为前提，因此两边谁也看不惯谁。
这让香农在年仅20岁时就成了另类的“双修选手”，并前往麻省理工学院师从范内瓦·布什攻读电子工程学硕士。
正是在布什的引导下，香农逐渐成为“一人开创一学科”的天才。
而布什这位老师比香农还狠，仅学位就有6个。
参加过一战的布什，当时正奉命研发更先进的计算机，用于美军轰炸机瞄准和火力控制系统。
相比现代计算机而言，当时的计算机不仅算得慢，而且只能计算特定的问题。
熵权法及改进的TOPSIS及matlab应用
熵权法及改进的TOPSIS一、熵权法1.熵权法确定客观权重熵学理论最早产生于物理学家对热力学的研究，熵的概念最初描述的是一种单项流动、不可逆转的能量传递过程，随着思想和理论的不断深化和发展，后来逐步形成了热力学熵、统计熵、信息熵三种思路。
美国数学家克劳德·艾尔伍德·香农(Claude Elwood Shannon)最先提出信息熵的概念，为信息论和数字通信奠定了基础。
信息熵方法用来确定权重己经非常广泛地应用于工程技术、社会经济等各领域。
由信息熵的基本原理可知，对于一个系统来说，信息和熵分别是其有序程度和无序程度的度量，二者的符号相反、绝对值相等。
假设一个系统可能处于不同状态，每种状态出现的概率为(1,,)=i P i n则该系统的熵就定义为：1ln ==∑ni i E P P在决策中，决策者获得信息的多少是决策结果可靠性和精度的决定性因素之一，然而，在多属性决策过程中，往往可能出现属性权重大小与其所传达的有价值的信息多少不成正比的情况。
例如：某一指标所占的权重在所有指标中最大，但在整个决策矩阵中，这一指标所有方案的数值却相差甚微，即这一指标所传递的有用信息较少。
显然，这一最重要的指标在决策过程中所起的作用却很小，如果不对其属性权重进行适当的处理，必将会造成评价决策方案的失真。
熵本身所具有的物理意义及特性决定其应用在多属性决策上是一个很理想的尺度。
某项指标之间值的差距越大，区分度越高，所携带和传输的信息就越多，该指标的熵值就会越小，在总体评价中起到的作用越大；相反，某项指标之间值的差距越小，区分度越低，所携带和传输的信息就越少，该指标的熵值就会越大，在总体评价中起到的作用越小。
因此，可采用计算偏差度的方法求出客观权重，再利用客观权重对专家评价出的主观权重进行修正，得出综合权重。
与其他客观赋权方法相比，该方法不仅仅是建立在概率的基础之上，还以决策者预先确定的偏好系数为基础，把决策者的主观判断和待评价对象的固有信息有机地结合起来，实现了主观与客观的统一，得出的权值准确性更高。
香农简介
该模式中，信息源从许多可能的信息中确定要传播
的讯息，发射器将讯息转换成适合于通道使用的信号形
式。通道即将信号从发射器传递到接收器的媒体。接收
器的任务是将信号转换为讯息，并发送到传播目的地即
信宿。信宿是讯息所要到达的人或事。
数学模式把传播描述成一种直线的单向传播过程，
整个过程由5个环节和一个不速之客——噪音构成。 “噪音”概念的引入，是这一模式的一大优点。噪音不 是信源有意传送而附加在信号上面的任何东西。它指的 是一切传播者意图以外的、对正常信息传递的干扰。构 成噪音的原因既可能是机器本身的故障，也可能是来自 外界的干扰。克服噪音的办法是重复某些重要的信息。
2 香农定理
香农在信号处理和信息理论等相关领域的研 究中，通过计算信号在经过一段距离如何衰减 以及一个给定信号能加载多少数据之后，得到 了一个公式：C=Hlog2（1+S/N）。这个公式 就是著名的香农定理。
在上述公式中几个关键名词的简单含义是：
1.信噪比指网络传输时受干扰的程度。信噪比与传输速率有关，信 噪比大了会影响传输速率。最大速率：C=2Hlog2N。其中C为最 大速率，H为带宽（Hz），N为调制电瓶数。
2.信道容量指信道所能承受的最大数据传输率。单位是B/S。信道 容量受信道的带宽限制，信道带宽越宽，一定时间内信道上传输的 信息就越多。
3.带宽指物理信道的频带宽度，就是信道允许的 最高频率和最低频率之间的差。
香农定理规定了有随机热噪声信道的最大传输速率与信道带宽、 信号噪声功率比之间的关系。从自然科学的角度看，香农定理用数 学公式计量了信息（比特）的流量，具备典型的工程学意义。由于 香农的科学家身份和研究的对象区域，香农定理与相关理论关心的 不是信息表达的含意，而是信息的有效传输和接收。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
统一的杂耍场理论
1956 年，香农离开了贝尔实验室 的终身职位（他在这个位置上工作了 超过十年时间），转而做了麻省理工 学院的一名通信科学教授。最近几年， 他最大的兴趣投入到对杂耍的研究中。 他制作了好几个玩杂耍的机器，并且 构思出了关于玩杂耍的统一的场理论 如下的关系式： B/H = (D + F)/(D + E)。
END
他与哈佛教授Gleason
香爷爷还制造了一台宣称“能在六角棋游戏中，打败任何人”的机器。该 游戏是一种棋盘游戏，几十年前在数学爱好者中很流行。香农事先悄悄改造 了棋盘，使得人类棋手这一边比机器对手一边的六角形格子要多，人类如果 要取胜，就必须在棋盘中间的六角形格子里落子，然后对应着对手的打法走 下去。该机器本来可以马上落下棋子的，但是，为了假装表现出它“似乎是 在思索该如何走下一步棋”，调皮爷爷在电路中加了个延时开关。一位绝顶 聪明的哈佛大学数学家，AndrewGleason，信心满满地前来挑战，结果被机 器打得落花流水。等到Gleason不服，次日再来叫阵时，香大爷才承认了在机 器背后的“老千”，搞得哈佛教授哭笑不得。
香农对信息时代的贡献
信息理论、信息熵的概念
——犹如字母表的发明者对于文学的贡献
熵（entropy）指的是体系的混乱的程度，它在控制论、概率论、数论、天体 物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的 定义，是各领域十分重要的参量。 计算信息熵H的公式：
1948年6月和10月在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了具有深远影 响的论文《通讯的数学原理》。1949年，香农又在该 杂志上发表了另一著名论文《噪声下的通信》
信息理论的奠基者
他的基本资料
生日：1916 年 4 月 30 日 出生地：密歇根州佩托斯基市 身高：178 厘米 体重：68 公斤（并不知道这两个数据是在他什么阶段测的） 童年时的偶像：托马斯·爱迪生 第一份工作：西联汇款的信使 家庭成员：妻子 Mary Elizabeth (Betty) Moore；三个孩子（分别为 Robert J., 电脑工程师； Andrew M., 音乐家；Margarita C., 地质学家） 学历：1936 年学士，密歇根大学；1940 年硕士、博士，美国麻省理工学院 爱好：小发明、杂耍、独轮 最中意的发明：W.C. Fields 杂耍机器人 最喜欢的作家： T. S. Eliot 最爱的音乐：迪克西兰爵士乐 最爱食物：沾了巧克力酱的香草冰淇淋
一个开了挂的人生典型例子
克劳德· 艾尔伍德· 香农
容貌与智慧并存的男子
他年近古稀还依旧有纯真的童心
他总能不断地在枯燥的数字世界了找到趣味
然而，他很喜欢“杂耍学博士”这个荣誉称号
年仅 22 岁，他撰写的论文把 19 世纪中叶英国数学家 乔治 · 布尔的布尔代数和电子电路中开关和继电器的工作原 理独创性地对应结合，香农的这篇论文被认为可能是 20 世 纪最重要的一篇硕士论文。
香农对机械情有独钟
Hale Waihona Puke 1950 年，香农制作了一只机械老鼠。 它似乎可以在没有帮助的情况下，自动地 在迷宫中找到出路，然后奔向一大块黄铜 奶酪。香农给这只鼠起名叫做「忒休斯」， 名字出自那个在古希腊神话中杀死人身牛 头怪后，从可怕的迷宫中走出来的英雄。 其实，这只机械鼠的「大脑」就是藏在迷 宫地板下面的一大堆电子管电路，这些电 路通过控制一个磁铁的运动来完成操控老 鼠的任务。
H=∑-pi log pi
香农三大定理
香农第一定理(可变长无失真信源编码定理)
B=PK1B1+PK2B2+…+PKN^kBN^k
香农第二定理（有噪信道编码定理）
香农第三定理（保失真度准则下的有失真信源编码定理）
他与爱因斯坦
1940 年，在麻省理工学院获得博士学位后（他的博士论文则是关于基因 传递的数学研究），香农在新泽西州的普利斯顿高级研究所工作了一年时间。 说到这时，香农猛然压低了声音。他告诉我们有一次在做报告时，神圣的爱 因斯坦大人突然从后面的一个门走了进来。爱因斯坦看了看香农，和另外一 个科学家悄声说了些什么，然后就离开了。香农无法抑制自己的激动心情， 在报告结束后，他立即冲过去问这个科学家爱因斯坦本尊说了什么。后者一 脸严肃庄重，慢条斯理地盯着香农回答说，那位伟大的物理学家，「想知道 茶在哪里」。 香农说着，爆发出一阵大笑。几十年过去，这位伟大的科学家仍然拥有 天真的笑颜。