第一章信息论基础PPT课件

• 第6章 有噪信道编码
• 第7章 信道编码
• 第8章 密码学
2021
4
[参考书]
• 孙丽华等.信息论与编码.电子工业出版社，2005
• 陈运等．信息论与编码．电子工业出版社，2002
• 戴善荣．信息论与编码基础．机械工业出版社，
2005
• 田丽华．编码理论．西安电子科技大学出版社，
2003
• 曹雪虹等．信息论与编码．北京邮电大学出版社
2021
23ห้องสมุดไป่ตู้
可压缩性 可替代性
可扩散性 可共享性 时效性
信息在信息化程度越来越高的社会 中将起到越来越重要的作用，是比物质
• 研究——信息的度量(信源熵)、信道容量、信息 率失真函数（香农三定理）、密码学
2021
3
课程内容
• 第1章 信息论基础
• 第2章 信息的度量
• 第3章 离散信源无失真编码
无失真信源编码定理（香农第一定理）
• 第4章 信息率失真函数
限失真信源编码定理（香农第三定理）
• 第5章 信道容量
信道编码定理（香农第二定理）
• 编码含义——信号变换，是信息处理的主要手段
• 编码目的——提高系统对某一方面的要求
优化系统某一方面的性能指标
2021
2
课程介绍(续)
• 通信系统主要性能指标——有效性 可靠性 安全性
• 编码分类—— 信源编码——提高通信系统的有效性 信道编码——提高通信系统的可靠性 保密编码——保证通信系统的安全性
“信息就是一种消息”。
2021
11
1.1 信息的概念
美国数学家、控制论的 主要奠基人维纳(Wiener） 1950年出版的《控制论与社 会》。
信息是人与外界相互作用的过程中所交 换的内容的名称。
书中写到：“信息既不是物质又不是能量，
信息就是信息”。揭示了信息的特质：即信
息是独立于物质和能量之外存在于客观世界
信息论与编码
陈运 主编 电子工业出版社
2021
1
课程介绍
• 信息论——美国数学家香农(C.E.Shannon)在1948 年发表著名论文“通信的数学理论”开创了信息论
• 编码理论——信息论的一个重要分支
• 编码理论——用概率论、随机过程、数理统计等 方法来研究信息的存储、传输、处理过程中一般 规律的学科
其本质是运动和变化。可以说哪里有事物
的运动和变化，哪里就会产生信息。
信息必须依附于一定的物质形式存在,这
种运载信息的物质，称为信息载体。
人类交换信息的形式丰富多彩，使用
的信息载体非常广泛。概括起来，有语 言、文字和电磁波。
2021
20
信息的主要特征：
1 信息来源于物质，又不是物质本 身；它从物质的运动中产生出来，又可 以脱离源物质而相对独立地存在。
2 信息来源于精神世界，但又不局 限于精神领域。
2021
21
3 信息与能量息息相关，但又与 能量有本质的区别。
4 信息具有知识的本性，但又比 知识的内涵更广泛。
5 信息可以被认识主体获取和利用。
2021
22
根据上述特征和信息的基本定义， 可以导出信息的一些重要性质：
存在的普遍性 有序性 相对性 可度量性 可扩充性 可存储、传输与携带性
2021
15
认识论比本体论的层次要低，因为
认识主体具有感觉能力、理解能力和 目的性，所以从认识论层次上研究信 息“事物的运动状态及其变化方式”就 不再像本体论层次上那样简单，他必 须考虑到形式、含义和效用。
2021
16
全信息
同时考虑事物运动状态及其变化方式的 外在形式、内在含义和效用价值的认识 论层次信息。
1.1 信息的概念
花朵开放时的色彩是一种信息，它可以
引来昆虫为其授粉；
成熟的水果会产生香味，诱来动物，
动物食后为其传播种子，果香也是一种信 息；
药有苦味，让人难以吞咽，药味是一 种信息；
听老师讲课可以得到许多知识，知识
也是信息……。
2021
8
1.1 信息的概念
色彩
视觉
果香
嗅觉
苦药
味觉
知识
听觉
冷热
，2001
2021
5
第1章 信息论基础
第1章 信息论基础
内容提要 信息论是应用近代概率统计方法研究信息传输、交 换、存储和处理的一门学科，也是源于通信实践发 展起来的一门新兴应用科学。 本章首先引出信息的概念，简述信息传输系统模型 的各个组成部分，进而讨论离散信源和离散信道的 数学模型，简单介绍几种常见的离散信源和离散信 道。
触觉
总之，信息处处存在，人的眼、耳、
鼻、舌、身都能感知信息。
2021
9
1.1 信息的概念
1928年，
美国数学家
哈特莱
(Hartley)
在《贝尔系统电话杂志》上发表了一篇
题为《信息传输》的论文。他认为“信
息是选择的自由度”。
2021
10
1.1 信息的概念
事隔20年，另一位 美国数学家香农(C.E. Shannon) 在《贝尔 系统电话杂志》发表 了题为《通信的数学 理论》的长篇论文。他创立了信息论，但 是却没有给出信息的确切定义他认为
2021
17
语法信息
仅仅考虑其中形式因素的部分。
语义信息
考虑其中含义因素的部分。
语用信息
考虑其中效用因素的部分。
2021
18
1.1 信息的概念
物质、能量和信息是构成客观世界的 三大要素。 信息是物质和能量在空间和时间上分 布的不均匀程度，或者说信息是关于 事物运动的状态和规律。
2021
19
信息存在于自然界，也存在于人类社会，
2021
13
信息定义:
最高的层次的定义是最普遍的层次，也是无
约束条件的层次，定义事物的“信息是该事 物运动的状态和状态改变的方式”。我们把 它叫做“本体论”层次。在这个层次上定义
的信息是最广义的信息，使用范围也最广。
2021
14
引入一个最有实际意义的约束条件： 认识主体。信息定义就转化为“认识论” 层次的信息定义。即：信息是认识主体 （生物或机器）所感知的或所表述的相应 事物的运动状态及其变化方式，包括状态 及其变化方式的形式、含义和效用。其中 认识主体所感知的东西是外部世界向认识 主体输入的信息，而认识主体所表述的东 西则是其向外部世界输出的信息。
的第三要素。
2021
12
消息：信息的外壳，信息这是消息的内核
，同样多的消息，所包含的信息量可能差异 很大；反之，不同形式的消息可能包含同样 多的信息。
信号：不等同于信息，信号只是信息的载
体，信息是信号所载荷的内容。
数据：是记录信息的一种形式，且不是唯
一的形式。
情报：在日常的确是信息，只是一类专门
的信息，是信息的一个子集。