信息论第一章
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
数 学 理 论 》 （ A Mathematical Theory of Communication，BSTJ，1948）标志着信息论的
产生。
• 信息论这门学科的特点
理论基础 数学工具 研究的内容
通信的基本问题：在一点精确地或近似 地恢复另一点所选择的消息。
通信系统三项性能指标：
传输的有效性 传输的可靠性 传输的安全性
1.3 信息的基本概念
由于信息已成为许多专家学者争相研究 的对象，而且他们从不同的角度和侧面研 究和定义信息。据说到目前为止已有上百 种信息的定义或说法。例如:
“信息是事物之间的差异”
“信息是物质与能量在时间与空间分布的不均匀性” “信息是收信者事先不知道的东西” 等 等。
如前所述，由于当前还没有一个公认的关于 信息的定义，但这并不影响我们对信息的基本特 征的认识。
（举例情了语义 信息与语用信息的因素，先从语法信息入手，解 决当时最重要的通信工程一类的信息传递问题。
香农信息论是由概率统计的角度来研究事物运 动各种可能出现的状态及状态间的关系，因此是 概率性的语法信息。（例如中英文信源）
信号 通信信息三个层次 消息
信息 消息是信息的携带者，信息包含于消息 之中。
息的。例如，磁盘或光盘驱动器、磁带记录器、 视频播放器等
存储系统在某种意义上也可看成从现在向将来 发送信息的通信系统。
信源
编码器
信道
译码器
信宿
消息
信号
信号加 噪声
消息
噪声
图1-1 通信系统模型
1.信源(information source)
信源是信息的来源，其功能是直接产生 可能包含信息的消息
按输出符号的取值分类：
离散信源 连续信源： 连续信源又分为：
离散时间连续信源； 波形信源或模拟信源。
按输出符号之间的依赖关系分类
无记忆信源
信源输出符号的概率与以前输出的符号无关
有记忆信源
信源输出符号的概率与以前输出的符号有关
核心问题： 信源的消息中所包含的信息量 以及信息如何量度
自信息、信息熵、互信息等等
2.编码器(Encoder) 编码器的功能： 将消息变成适合于信道传输的信号
有效性
对于离散信源，信源符号平均码长度应尽 量短；
信息传输应尽量快，即高的传信率； 信息传送应该有高的频谱利用率 。 可靠性 传输差错要尽量少 ，对数字传输就是要求 低的误码率。 安全性
传输的信息不能泄露给未授权人。
三项指标所对应的三项基本技术： 数据压缩 数据纠错 数据加密
香农信息论解决了前两项技术的理论问题：
1948年香农在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了著 名的论文《通讯的数学原理》（A Mathematical Theory of Communication ）
1949年，香农又在该杂志上发表了另一影响 深远的论文《噪声下的通信》（ Communication in the Presence of Noise）
1959年，香农发表了《保真度准则下的离散 信 源 编 码 定 理 》 （ Coding Theorem for a Discrete Source with a Fidelity Criterion ）
1961 年 ， 香 农 发 表 了 《 双 路 通 信 信 道 》 （ Two-Way Communication Channels）
第三层：所接收的含义如何以所需要的方式有效地 影响行为？（效用问题）
（举例天气情况）
• 信息是认识主体（人、生物、机器） 所感受的和 所表达的事物运动的状态和运动状态变化的方式。
• 以这种定义为基础，信息分成三个基本层次，即 语法信息，语义信息，语用信息，分别反映事物 运动状态及其变化方式的外在形式、内在含义和 效用价值。
信息论即香农信息论，也称经典信 息论，是研究通信系统极限性能的理论。
信息论是通信的数学基础，它是随着 通信技术的发展而形成和发展起来的一门 新兴学科。
人类社会的生存和发展，一时一刻都离 不开接收信息、传递信息、处理信息和利 用信息。
➢什么是信息论 ➢香农信息论的发展历程 ➢信息的概念 ➢信息论的研究内容
这两篇论文中，香农阐明了通信的基本 问题，给出了通信系统的模型，提出了信息 的数学表达式，并解决了信道容量、信源统 计特性、信源编码、信道编码等一系列问题。
这两篇论文成为信息论的奠基性著作。
1.2 香农信息论的发展历程
1956年，香农发表了《噪声信道的零差错容 量》（The Zero-Error Capacity of a Noisy Channal） ）
信息有许多与物质、能量相同的特征，例如信 息可以产生、消失、携带、处理和量度。信息也 有与物质、能量不同的特征，例如，信息可以共 享，可以无限制地复制等。
• 1949年，Weaver在《通信的数学》中解释香农 的工作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？ （语义问题）
(1)提高有效性可通过信源编码来实现，即信 源压缩编码，并给出了压缩编码的极限；
(2)提高可靠性通过信道编码来实现，并给出 实现可靠传输的信息传输速率的极限。
所以说，香农揭示了数据压缩和传输的基本定律。 香农建立了通信中的三项基本技术的理论基础,信息 论是前两项技术的理论基础。
1.2 香农信息论的发展历程
信号是消息的载体，消息是信号的具体 内容。
香农信息的概念 • 为什么要进行通信 • 自信息的定义 • 信息熵的定义
§1.4 信息论研究的内容
本节内容：
通信系统模型 香农信息论的主要内容
通信系统是从空间的一点到另一点传送信
息的，例如，电话、电报、电视、无线通信、光 通信等。
存储系统是从时间的一点到另一点传送信
§1.1 什么是信息论
本节内容：
信息论的概念 信息的传输和传播的5次变革 信息论的重要性
物质 客观世界三大基本要素
信息
能量
信息时代社会的发展离不开物质(材料)、 能量（能源）和信息资源。
1948 年 ， 美 国 工 程 师 和 数 学 家 香 农 (Claude Edwood Shannon, 1916-2001 )发表了《通信的
产生。
• 信息论这门学科的特点
理论基础 数学工具 研究的内容
通信的基本问题：在一点精确地或近似 地恢复另一点所选择的消息。
通信系统三项性能指标：
传输的有效性 传输的可靠性 传输的安全性
1.3 信息的基本概念
由于信息已成为许多专家学者争相研究 的对象，而且他们从不同的角度和侧面研 究和定义信息。据说到目前为止已有上百 种信息的定义或说法。例如:
“信息是事物之间的差异”
“信息是物质与能量在时间与空间分布的不均匀性” “信息是收信者事先不知道的东西” 等 等。
如前所述，由于当前还没有一个公认的关于 信息的定义，但这并不影响我们对信息的基本特 征的认识。
（举例情了语义 信息与语用信息的因素，先从语法信息入手，解 决当时最重要的通信工程一类的信息传递问题。
香农信息论是由概率统计的角度来研究事物运 动各种可能出现的状态及状态间的关系，因此是 概率性的语法信息。（例如中英文信源）
信号 通信信息三个层次 消息
信息 消息是信息的携带者，信息包含于消息 之中。
息的。例如，磁盘或光盘驱动器、磁带记录器、 视频播放器等
存储系统在某种意义上也可看成从现在向将来 发送信息的通信系统。
信源
编码器
信道
译码器
信宿
消息
信号
信号加 噪声
消息
噪声
图1-1 通信系统模型
1.信源(information source)
信源是信息的来源，其功能是直接产生 可能包含信息的消息
按输出符号的取值分类：
离散信源 连续信源： 连续信源又分为：
离散时间连续信源； 波形信源或模拟信源。
按输出符号之间的依赖关系分类
无记忆信源
信源输出符号的概率与以前输出的符号无关
有记忆信源
信源输出符号的概率与以前输出的符号有关
核心问题： 信源的消息中所包含的信息量 以及信息如何量度
自信息、信息熵、互信息等等
2.编码器(Encoder) 编码器的功能： 将消息变成适合于信道传输的信号
有效性
对于离散信源，信源符号平均码长度应尽 量短；
信息传输应尽量快，即高的传信率； 信息传送应该有高的频谱利用率 。 可靠性 传输差错要尽量少 ，对数字传输就是要求 低的误码率。 安全性
传输的信息不能泄露给未授权人。
三项指标所对应的三项基本技术： 数据压缩 数据纠错 数据加密
香农信息论解决了前两项技术的理论问题：
1948年香农在《贝尔系统技术杂志》（Bell System Technical Journal）上连载发表了著 名的论文《通讯的数学原理》（A Mathematical Theory of Communication ）
1949年，香农又在该杂志上发表了另一影响 深远的论文《噪声下的通信》（ Communication in the Presence of Noise）
1959年，香农发表了《保真度准则下的离散 信 源 编 码 定 理 》 （ Coding Theorem for a Discrete Source with a Fidelity Criterion ）
1961 年 ， 香 农 发 表 了 《 双 路 通 信 信 道 》 （ Two-Way Communication Channels）
第三层：所接收的含义如何以所需要的方式有效地 影响行为？（效用问题）
（举例天气情况）
• 信息是认识主体（人、生物、机器） 所感受的和 所表达的事物运动的状态和运动状态变化的方式。
• 以这种定义为基础，信息分成三个基本层次，即 语法信息，语义信息，语用信息，分别反映事物 运动状态及其变化方式的外在形式、内在含义和 效用价值。
信息论即香农信息论，也称经典信 息论，是研究通信系统极限性能的理论。
信息论是通信的数学基础，它是随着 通信技术的发展而形成和发展起来的一门 新兴学科。
人类社会的生存和发展，一时一刻都离 不开接收信息、传递信息、处理信息和利 用信息。
➢什么是信息论 ➢香农信息论的发展历程 ➢信息的概念 ➢信息论的研究内容
这两篇论文中，香农阐明了通信的基本 问题，给出了通信系统的模型，提出了信息 的数学表达式，并解决了信道容量、信源统 计特性、信源编码、信道编码等一系列问题。
这两篇论文成为信息论的奠基性著作。
1.2 香农信息论的发展历程
1956年，香农发表了《噪声信道的零差错容 量》（The Zero-Error Capacity of a Noisy Channal） ）
信息有许多与物质、能量相同的特征，例如信 息可以产生、消失、携带、处理和量度。信息也 有与物质、能量不同的特征，例如，信息可以共 享，可以无限制地复制等。
• 1949年，Weaver在《通信的数学》中解释香农 的工作时，把通信问题分成三个层次： 第一层：通信符号如何精确传输？（技术问题） 第二层：传输的符号如何精确携带所需要的含义？ （语义问题）
(1)提高有效性可通过信源编码来实现，即信 源压缩编码，并给出了压缩编码的极限；
(2)提高可靠性通过信道编码来实现，并给出 实现可靠传输的信息传输速率的极限。
所以说，香农揭示了数据压缩和传输的基本定律。 香农建立了通信中的三项基本技术的理论基础,信息 论是前两项技术的理论基础。
1.2 香农信息论的发展历程
信号是消息的载体，消息是信号的具体 内容。
香农信息的概念 • 为什么要进行通信 • 自信息的定义 • 信息熵的定义
§1.4 信息论研究的内容
本节内容：
通信系统模型 香农信息论的主要内容
通信系统是从空间的一点到另一点传送信
息的，例如，电话、电报、电视、无线通信、光 通信等。
存储系统是从时间的一点到另一点传送信
§1.1 什么是信息论
本节内容：
信息论的概念 信息的传输和传播的5次变革 信息论的重要性
物质 客观世界三大基本要素
信息
能量
信息时代社会的发展离不开物质(材料)、 能量（能源）和信息资源。
1948 年 ， 美 国 工 程 师 和 数 学 家 香 农 (Claude Edwood Shannon, 1916-2001 )发表了《通信的