信息论基础课件

16
信息论与编码-概论
1948 年 ， 美 国 一 位 数 学 家 克 劳 特 · 香 农 (C.E． Shannon)发表了一篇著名的论文 《 通信的 发表了一篇著名的论文《 ． 发表了一篇著名的论文 数学理论》 。 差不多与此同时， 美国另一位数学家 数学理论 》 差不多与此同时 ， 诺伯特·维纳也发表了题为 时间序列的内插、 维纳也发表了题为《 诺伯特 维纳也发表了题为《 时间序列的内插、 外推 和平滑化》 的论文以及题为《 控制论》 的专著。 和平滑化 》 的论文以及题为 《 控制论 》 的专著 。 在 这些著作中， 他们分别解决了按“ 通信的消息” 这些著作中 ， 他们分别解决了按 “ 通信的消息 ” 来 理解的信息(狭义信息 的度量问题， 狭义信息)的度量问题 理解的信息 狭义信息 的度量问题 ， 并得到了相同 的结果。 的结果 。 香农的论文还给出了信息传输问题的一系 列重要结果， 建立了比较完整而系统的信息理论， 列重要结果 ， 建立了比较完整而系统的信息理论 ， 这就是香农信息论， 也叫狭义信息论(简称 简称“ 这就是香农信息论 ， 也叫狭义信息论 简称 “ 信息 论”)。 。
5
信息论与编码-概论
以上， 以上，我们从三个不同的侧面叙述了信息的一些含 显然，这还不是它的全部意义， 意。显然，这还不是它的全部意义，只能作为对信 息的一种初步的理解。 息的一种初步的理解。
6和规律”。或者说，是 信息是关于事物运动的状态和规律” 或者说， 关于事物运动的“知识” 关于事物运动的“知识”。
9
信息论与编码-概论
5、香农信息 、 事物运动状态或存在方式的不确定性的描述 6、 6、可靠性 信息传输的可靠性就是要使信源发出的消息经过信 道传输后，尽可能准确地、不失真地在接收端复现。 道传输后，尽可能准确地、不失真地在接收端复现。 7、有效性 、 用尽可能短的时间和尽可能少的设备来传送一定 数量的信息。 数量的信息。
2
信息论与编码-概论
1.1 信息的一般概念 信息论是一门应用近代数理统计方法来研 究信息的传输和处理的科学。 究信息的传输和处理的科学。 是关于信息的本质和传输规律的科学理论 是研究信息的度量、发送、传递、交换、 ，是研究信息的度量、发送、传递、交换、接 收和储存的一门新兴学科。它为各种具体的信 收和储存的一门新兴学科。 息技术提供理论依据， 息技术提供理论依据，而信息技术则以此为根 据去研究如何实现、怎样实现的问题。 据去研究如何实现、怎样实现的问题。
11
信息论与编码-概论
信息的主要特征
（1）信息来源于物质，又不是物质本身；它从物 ）信息来源于物质，又不是物质本身； 质的运动中产生出来， 质的运动中产生出来，又可以脱离源物质而相对独 立的存在。 立的存在。 （2）信息来源于精神世界，但又不局限于精神领域。 ）信息来源于精神世界，但又不局限于精神领域。 （3）信息与能量息息相关，但又与能量有本质的区别 ）信息与能量息息相关， （4）信息具有知识的本性，但又比知识的内涵更广泛。 ）信息具有知识的本性，但又比知识的内涵更广泛。 （5）信息可以被认识主体获取和利用。 ）信息可以被认识主体获取和利用。
20
信息论与编码-概论
二、形式化假说 可提出如下的假设： 可提出如下的假设：虽然信息的语义因素和语用因 素对于广义信息来说并不是次要因素， 素对于广义信息来说并不是次要因素，但对于作为 通信的消息”来理解的狭义信息来说是次要因素。 “通信的消息”来理解的狭义信息来说是次要因素。 因此，在描述和度量作为“通信的消息”来理解的 因此，在描述和度量作为“通信的消息” 狭义信息时，可以先把语义、语用因素搁置起来， 狭义信息时，可以先把语义、语用因素搁置起来， 假定各种信息的语义信息量和语用信息量恒定不变， 假定各种信息的语义信息量和语用信息量恒定不变， 而只单纯考虑信息的形式因素（语法信息）。 而只单纯考虑信息的形式因素（语法信息）。
4
信息论与编码-概论
信息”是作为通信的消息来理解的。 （ 一） “信息 ” 是作为通信的消息来理解的 。在这 种意义下， 信息” 种意义下 ， “ 信息 ” 是人们在通信时所要告诉对方 的某种内容。 的某种内容。 信息”是作为运算的内容而明确起来的。 （ 二） “信息 ” 是作为运算的内容而明确起来的。 在这种意义下， “ 信息” 是人们进行运算和处理所 在这种意义下 ， 信息 ” 需要的条件、 内容和结果， 并常常表现为数字、 需要的条件 、 内容和结果 ， 并常常表现为数字 、 数 图表和曲线等形式。 据、图表和曲线等形式。 信息”是作为人类感知的来源而存在的。 （三）“信息”是作为人类感知的来源而存在的。
7
信息论与编码-概论
信息的常用术语 1、情报 、 情报是人们对于某个特定对象所见、所闻、 情报是人们对于某个特定对象所见、所闻、所理 解而产生的知识。 解而产生的知识。 2、知识 、 知识是一种具有普遍和概括性质的高层次的信息。 知识是一种具有普遍和概括性质的高层次的信息。 3、消息 、 用文字、符号、数据、语言、音符、图片、图像等 用文字、符号、数据、语言、音符、图片、 能够被人们的感觉器官所能感知的形式， 能够被人们的感觉器官所能感知的形式，把客观
18
信息论与编码信息论与编码-概论
一、非决定论观点 在科学史上，直到20世纪初 世纪初， 在科学史上，直到 世纪初，拉普拉斯的决定论的 观点始终处于统治的地位。这种观点认为， 观点始终处于统治的地位。这种观点认为，世界上 一切事物的运动都严格地遵从一定的机械规律。 一切事物的运动都严格地遵从一定的机械规律。因 只要知道了它的原因， 此，只要知道了它的原因，就可以唯一地决定它的 结果；反过来，只要知道了它的结果， 结果；反过来，只要知道了它的结果，也就可以唯 一地决定它的原因。或者， 一地决定它的原因。或者，只要知道了某个事物的 初始条件和运动规律， 初始条件和运动规律，就可以唯一地确定它在各个 时刻的运动状态。这种观点只承认必然性，排斥、 时刻的运动状态。这种观点只承认必然性，排斥、 否认偶然性。 否认偶然性。
17
信息论与编码-概论
香农信息理论具有崭新的风貌， 香农信息理论具有崭新的风貌，是通信科学发展史上 的一个转折点， 的一个转折点 ， 它使通信问题的研究从经验转变为 科学。 因此， 科学 。 因此 ， 它一出现就在科学界引起了巨大的轰 动 ， 许多不同领域的科学工作者对它怀有浓厚的兴 趣 ， 并试图争相应用这一理论来解决各自领域的问 从此， 信息问题的研究， 进入了一个新的纪元。 题 ． 从此 ， 信息问题的研究 ， 进入了一个新的纪元 。 香农信息理论的基本思路， 香农信息理论的基本思路，大致可归结为以下三个基 本观点： 本观点：
10
信息论与编码-概论
8、保密性 、 在信息传输过程中要隐蔽和保护所传送的消息， 在信息传输过程中要隐蔽和保护所传送的消息， 使它只能被授权接收者获取， 使它只能被授权接收者获取，而不能被未授权 者接收和理解。 者接收和理解。 9、认证性 、 指接收者能够判断所接收的消息的正确性，验 指接收者能够判断所接收的消息的正确性， 证消息的完整性，从而没有被伪造和篡改。 证消息的完整性，从而没有被伪造和篡改。
15
信息论与编码-概论
信息论的基本思路 通信是人类活动中最为普遍的现象之一， 通信是人类活动中最为普遍的现象之一，信息的传 递与交换是时时处处都发生着的事情。 递与交换是时时处处都发生着的事情。在信息的传 递与交换中，人们当然希望能够又多、又快、又好、 递与交换中，人们当然希望能够又多、又快、又好、 又经济地传递信息。 又经济地传递信息。那么很自然地会出现这样一个 问题：什么是信息传递的多快好省呢？ 问题：什么是信息传递的多快好省呢？怎样来衡量 这种多快好省呢？ 这种多快好省呢？怎样来判断某种通信方法的优劣 呢？这就需要建立一种合理的定量描述信息传输过 程的方法，首先是定量描述和度量信息的方法。 程的方法，首先是定量描述和度量信息的方法。
19
信息论与编码-概论
根据通信问题研究对象的特点， 根据通信问题研究对象的特点，信息理论按照非决 定论的观点，采用了概率统计的方法， 定论的观点，采用了概率统计的方法，作为分析通 信问题的数学工具，因而比以往的研究更切合实际、 信问题的数学工具，因而比以往的研究更切合实际、 更科学、更有吸引力。 更科学、更有吸引力。
12
信息论与编码-概论
信息的性质
1、存在的普遍性； 、存在的普遍性； 2、有序性 、 3、相对性 、 4、可度量性 、 5、可扩充性 、 6、可存储、传输与携带性 、可存储、
13
7、可压缩性 、 8、可替代性 、 9、可扩散性 、 10、可共享性 、 11、时效性 、
信息的分类
1、按照信息的性质，分为：语法信息、语义信息、语用信息； 、按照信息的性质，分为：语法信息、语义信息、语用信息； 语法信息考虑的是事物运动状态和变化方式的外在形式； 语法信息考虑的是事物运动状态和变化方式的外在形式；语义信 息考虑的是其中含义因素的部分；语法信息考虑其中效用因素的 息考虑的是其中含义因素的部分； 部分， 部分， 2、按照观察的过程，分为：实在信息、先验信息、实得信息； 、按照观察的过程，分为：实在信息、先验信息、实得信息； 3、按照信息的地位，分为：客观信息、主观信息； 、按照信息的地位，分为：客观信息、主观信息； 4、按照信息的作用，分为：有用信息、无用信息、干扰信息 、按照信息的作用，分为：有用信息、无用信息、
21
信息论与编码-概论
三、不确定性 对通信过程作进一步分析就可发现， 对通信过程作进一步分析就可发现，人们要进行通 不外有两种情形： 信，不外有两种情形：一是自己有某种形式的信息 要告诉对方， 要告诉对方，同时估计对方既会对这种信息感到兴 而又尚不知道这个信息。也就是说， 趣，而又尚不知道这个信息。也就是说，对方在关 于这个信息的知识上存在着不确定性； 于这个信息的知识上存在着不确定性；另一种情况 自己有某种疑问要向对方询问， 是，自己有某种疑问要向对方询问，而且估计对方 能够解答自己的疑问。在前一种情况下， 能够解答自己的疑问。在前一种情况下，如果估计 对方已经了解了所欲告之的消息， 对方已经了解了所欲告之的消息，自然就没有必要 通信了；在后一种情况，如果自己没有疑问， 通信了；在后一种情况，如果自己没有疑问，当然 就不必询问了。 就不必询问了。