信息及香农信息论概述概要

香农其人—信息理论
• 通信的数学理论是香农在数学与工程研究 上的顶峰。他把通信理论的解释公式化， 对最有效地传输信息的问题进行了研究。 • 后来，写道： “信息理论可能像一个升空的气球，其重 要性超过了它的实际成就”
香农其人—信息理论
• 香农理论的重要特征是熵(entropy)的概念， 他证明熵与信息内容的不确定程度有等价 关系。 • 熵曾经是波尔兹曼在热力学第二定律引入 的概念，可以把它理解为分子运动的混乱 度。 信息熵也有类似意义。
有关哲学家的论述
信息是一切物质的属性 信息就是信息，不是物质也不是能量
2018/10/19 5
消息、信号和信息
信源
(发送者) 干扰或噪声 消息
信道
信宿
(收信者)

消息（Message）：
信源发出的语言、文字、公式、数据、声音、图像 等等。每个消息都是具体的，其内容千千万万，形式多种 多样。
美国电机和电子工程协会的荣誉奖
香农的贡献
• 1948年发表“保密通信的信息理论”，首先用信 息论的观点对信息保密问题作了全面的论述；
信源、信宿和信道

信源：发送消息的源
–
–
离散信源和连续信源 信源是信息论的主要研究对象之一，但在信息论中 并不探讨信源的内结构和物理机理，而把注意力放 在信源的输出上，重点讨论信源输出的描述方法及 性质。

信宿：信息归宿之意，亦即收信者或用户，是信息
传送的终点或目的地。

信道：传输信息的物理媒介
2018/10/19
信息的定义
从日常生活知识来理解
英国牛津字典：信息是谈论的事情、新闻和知识 韦氏字典： 在观察研究过程中获得的数据情报、新闻和知识 信息是所观察事物的知识 日本广辞苑：
有关科学家的论述
香农：信息是事物运动状态或存在方式的不确定性 的描述 艾什比：把信息定义为“差异度” 维纳：把信息定义为一种“组织性”的度量
19
什么是信息
香农：“信息是事物运动状态或存在 方式的不确定性的描述”。 通过概率论和随机过程测度信息不确 定性的大小。 香农的通信系统模型
信源
(发送者) 干扰或噪声 消息
信道
信宿
(收信者)
通信系统模型
信源
消息
信源/信道 编码器
信号
信道
信号加 噪声
信道/信源 译码器
消息
信宿
噪声
通信系统模型
17
信息量的度量
•所以,我提供的信息量就是由你事先知道的每个 可能结果的发生概率(即随机事件的概率分布)决 定. 简单地说,信息就是: (1) 当未知的变成已知的之后获取的信息; (2) 当未知的还没变成已知之前包含的未知信 息.
18
信息量的度量
•通常的信息是指: (1) 一个实验提供的信息; (2) 一个随机事件包含的信息; (3) 一个随机变量包含的信息. 其中(1)和(2)的含义相同,它们比(3)的意义 更加广泛.
24
2018/10/19
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
香农信息论及应用
Claude Shannon (19162001)
香农其人
• 20世纪中叶，信息论、控制论、系统论等 标新立异的新理论相继问世，有力地“晃 动”着传统的科学框架。克劳德· 香农是一 位美国数学工程师，作为信息论的创始人， 人们认为他是20世纪最伟大的科学家之一。 他在通信技术与工程方面的创造性工作， 为计算机与远程通信奠定了坚实的理论基 础。人们尊崇香农为信息论及数字通信时 代的奠基之父。 • 信息概念、“比特”
如何度量信息
如何衡量信息量的大小?
事件发生的概率越小，此事件含有的信息量就越大。（ 不太可能发生的事件竟然发生了，令人震惊） 例1：中国足球队5：0力克韩国足球队”含有的信 息量大。（小概率事件发生了，事件信息量大） 例2: 中国足球队0：1负于韩国足球队”含有的信 息量小。（大概率事件发生了，事件信息量小）
2018/10/19 9
信息的特征
《信息论——基础理论与应用》，博祖芸编著，电子工业出版社
1. 信息的客观性 2. 信息与载体的不可分割性
3. 信息的价值性
4. 信息的时效性 5. 信息的可分享性 6. 信息的可传递性 7. 信息的可扩散性
2018/10/19 10
信息的特征
8. 信息的可加工性
香农其人—家庭背景
• 克劳德· 香农 (Claude Elwood Shannon，19162001) 1916年4月30日诞生于美国密西根州。 • 父亲是该镇的法官，母亲是镇里的中学校 长，香农的祖父是一位农场主兼发明家， 发明过洗衣机和许多农业机械；此外，香 农的家庭与大发明家爱迪生还有远亲关系。
性质四：转移性
信息可以在时间上或空间中从一点转移到另一点。
性质五：变换性
信息是可变换的，可由不同的载体和不同的方法来载荷。
2018/10/19 12
何为信息? 什么能提供信息?
我将你原来不知道的结果告诉你,就是提供了信息! 例1 当我给你一封信时，你就从我这里获得了 信息，因为你事先并不知道其中的内容。 例2 设电脑彩票由8个10进制数组成.在开奖之 前，我们不知道特等奖号码的信息，因为特等奖的 号码是不确定。特等奖号码的信息只有在开奖时才 获得。一旦开奖，就获得了8个十进制数的信息。 这就是说，将未知的变成已知的时就获得了信 息！ 信息寓于不确定之中！
23
母病愈，勿念
信道编码器与译码器

信道编码器的作用
–
母病▓ ，勿念
在信源编码器输出的代码组上有目的地增加一些监督 码元，使之具有检错或纠错的能力。

信道译码器的作用
–
具有检错或纠错的功能，它能将落在其检错或纠错范 围内的错传码元检出或纠正，以提高传输消息的可靠 性。
信道编码的主要作用是提高信息传送的可靠性
2018/10/19 7
消息、信号和信息
信号最具体，它是一物理量，可测量、可显示、 可描述，同时它又是载荷信息的实体 信息的物理层表达 消息是具体的、非物理的，可描述为语言文字、 符号、数据、图片，能够被感觉到，同时它是信 息的载荷体，是信息论中主要描述形式 信息的数学层表达 信息是抽象的、非物理的 哲学层表达
9. 信息的可再现性
10. 信息的可存储性 11. 信息的积累性 12. 信息的延续性和继承性 13. 信息的可开发性
14. 信息的可再生性和可增值性
2018/10/19 11
信息的性质
性质一：普遍性
信息是普遍存在的。
性质二：无限性
在整个宇宙时空中，信息是无限的。
性质三：相对性
对于同一事物，不同观察者所获得的信息量可能不同。

信号（Signal）：
替代消息并适合于在信道中传输的是连续或脉冲的 电压、电流、电磁波及光波。
2018/10/19 6
消息、信号和信息
信息（Information）：
信息是消息的内涵，是信号的价值，信息 是能使信宿得以获知解惑的东西。
它应当是从千千万万不同形式不同内容的 消息中抽象出来的、具有共性的、可定量 测度的一个量，应该有它的单位和数学表 达。
信息及香农信息论简介
大纲
第一部分 信息的概念 第二部分 香农信息论及应用 第三部分 香农信息论的局限性 第四部分 结束语
世界的支柱之一:信息

物质世界的三大支柱：物质、能量和信息
–
–
–
Without materials, there is nothing. 没有物质的世界是虚无的世界 Without energy, nothing happens. 没有能源的世界是死寂的世界 Without information, nothing makes sense. 没有信息的世界是混乱的世界
热能不能完全转化为机械能， 只能从高温物体传到低温物 体
香农其人—业余爱好
• 香农可以熟练地玩一套杂技。 一个脍炙人口的故事：他经常骑着独轮车、手里抛着三 个球来到贝尔实验室的大厅。 发明过有两个座位的独轮车，不过恐怕没有人敢与他 享；他还把独轮车造成偏离地心的，骑在上面忽高忽 低，像鸭子行走似的 这些活动表明了香农的主张，即好奇心比实用性对他的 刺激更大。 他的名言是：“我感到奇妙的是事物何以集成一体。”
13
何为信息? 什么能提供信息?
例一：扔硬币
正反面不确定
例二：天气预报
晴、多云、雨、雪、风：不确定
例三：足球比赛
胜负关系不确定
2018/10/19
14
何为信息? 什么能提供信息?

消息



Байду номын сангаас
打电话时对方发出的声音 互联网上的网页 广播、电视的节目


有些消息我们是未知的，有些是我们已知的 人们感兴趣的是未知的消息
香农其人—攻读学位
• 1940年香农在MIT获得数学博士学位，而 他的博士论文却是关于人类遗传学的，题 目是 《An Algebra for Theoretical Genetics》 (理论遗传学的代数学)。
香农其人—信息理论
• 1948年发表论文 ： 《A Mathematical Theory of Communication 》 “通信的根本问题是报文的再生，在某一点 与另外选择的一点上报文应该精确地或者 近似地重现” 这篇论文建立了信息论这一学科，给出了 通信系统的线性示意模型的新思想 在这篇论文中，香农首次引入“比 特”(bit)一词
香农其人—荣誉奖项
• 是使我们的世界能进行立即通信的少数科 学家和思想家之一 • 是美国科学院院士、美国工程院院士、英 国皇家学会会员、美国哲学学会会员 佛兰克林研究所的 • 获得 ：1949年Morris奖、1955巴兰亭奖章 年 美国工 Ballantine奖、1962年Kelly奖、1966年 业电子 的国家科学奖章、IEEE的荣誉奖章、1978 工程协 会颁发 年 Jaquard 奖、 1983 年 Fritz 奖、 1985 年 的凯莱 奖 基础科学京都奖
2018/10/19 8
信息的特征
信息的基本概念在于它的不确定性，任何已确定 的事物都不含信息。 接收者在收到信息之前，对它的内容是不知道 的，所以信息是新知识、新内容 信息是能使认识主体对某一事物的未知性或不 确定性减少的有用知识 信息可以产生，也可以消失，同时信息可以被 携带、贮存及处理 信息是可以量度的，信息量有多少的差别

信息量 •我向你提供的信息量的大小就是你事先不知道结 果的程度!也即是信息的不确定度。 •如果你事先全知道了,说明我提供的信息量等于0; •如果你事先一无所知,说明我提供的信息量最多. •不知道意味着在我告诉你之前你只能猜测! •猜测就是按照每个可能结果的出现概率进行猜测! •因此,你只知道这个事情的每个结果的发生概率!
22
信源编码器与译码器

信源编码器的作用
–
把信源发出的消息变换成由二进制码元(或多进制码 元)组成的代码组，这种代码组就是基带信号。 同时通过信源编码可以压缩信源的冗余度，以提高通 信系统传输消息的效率。
–

信源译码器的作用
–
把信道译码器输出的代码组变换成信宿所需要的消息 形式，它的作用相当于信源编码器的逆过程。
香农其人—参加工作
• 1941年香农以数学研究员的身份进入新泽西州的AT&T贝 尔电话公司，并在贝尔实验室工作到1972年；从24岁到 55岁，整整31年。 • 1956年他当了MIT的访问教授，1958年成为正式教授， 1978年退休。 • 二战时期，香农博士是一位著名的密码破译者。1949年 香农发表了另外一篇重要论文 《Communication Theory of Secrecy Systems》 意义：使保密通信由艺术变成科学！
香农其人
• 2001年2月24日在马萨诸塞州的Medford 因老年痴呆症与世长辞，享年85岁。 • 贝尔实验室和MIT发表的讣告都尊崇香农为 信息论及数字通信时代的奠基之父。
香农其人—攻读学位
• 1938年在MIT获得获得电气工程硕士学位，硕士论文题 目是《A Symbolic Analysis of Relay and Switching Circuits》 (继电器与开关电路的符号分 析)。他注意到电话交换电路与布尔代数之间的类似性， 即把布尔代数的“真”与“假”和电路系统的“开”与 “关”对应起来，并用1和0表示。于是他用布尔代数分析 并优化开关电路，这就奠定了数字电路的理论基础。 • 哈佛大学的伽登纳(Howard Gardner)教授说，“这可能 是本世纪最重要、最著名的一篇硕士论文。”