信息论-复习资料(傅祖芸版本)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
第1章
绪论
1.1 信息的概念
5
几个常见概念
情报：是人们对于某个特定对象所见、所闻、 所理解而产生的知识。 知识：一种具有普遍和概括性质的高层次的信 息 ，以实践为基础，通过抽象思维，对客观事 物规律性的概括。 消息：用文字、符号、语音、图像等能够被人 们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来。
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
8
的倒对数x的i的某不一确函定数性。可表示为先验概率p(xi) （4）自信息
简史 现代信息论是从20世纪20年代奈奎斯特和哈特莱
的工作开始的：
1924年奈奎斯特(Nyquist)的 “影响电报速率因 素的确定” 。
1928年哈特莱(Hartley) 的“信息传输” 一文研 究了通信系统传输信息的能力，并给出了信息度 量方法。
17
1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干 扰理论”，根据最小错误概率准则和最小均方误差准则研 究了离散和连续信道的最佳接收问题。
... ... ... ...
aq P(aq )
▪概率空间能表征离散信源的统计特性，因此也称概率空
间为信源空间。
21
2、随机矢量描述的信源
1）平稳信源
特点:
信源输出的消息由一符号序列所组成。 可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量 X的各维概率分布都与时间起点无关 。
信宿：信息归宿之意，亦即收信者或用户， 是信息传送的终点或目的地。
信道：传输信息的物理媒介。
13
信源编码器与译码器
信源编码器
通过信源编码可以压缩信源的冗余度,以提高通信 系统传输消息的效率。
信源编码器分为两类
无失真信源编码：适用于离散信源或数字信号；
限失真信源编码：用于连续信源或模拟信号,如语 音、图像等信号的数字处理。
6
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
X P(
x)
a1 p(a1
)
a2 p(a2)
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 7
例：气象预报
甲 X 晴 阴 大雨 小雨
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
1.2 信息论研究的对 象、目的和内容
11
研究对象：通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
解密 密钥
信道
信宿 信源解码
解密 信道解码
干扰源
12
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信源 的内部结构和机理，而关注信源的输出。重点讨 论其描述方法及性质。
2.1 信源的数学模型及分类
信源 产生消息或消息序列的源。消息携带信息， 是信息的具体形式。
描述方法 通信过程中，信源发出何种消息是不确定的、 是随机的。 因此，信源可用随机变量、随机矢量或随机 过程（或样本空间及其概率测度）来描述。 不同的信源根据其输出消息的不同的随机性 质进行分类。
20
1、随机变量描述的信源（单符号）
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
14
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
（5）互信息
I (ai )
log
1 P(ai )
先验I (的ai不;b确j ) 定 l性og减P去(1a尚i ) 存lo的g不p确(a1i定bj性) 。
后送验端概发率的p(是aia|i的bj)概：率接。收端收到消息bj后而发
9
信息的特征
• 信息是物质存在的普遍属性，信息和能量、物质规定了 事物的功能和性能；
1）离散Fra Baidu bibliotek源
特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是 有限的或可数的,可用离散型随机变量X描述。
数学模型：设每个信源符号ai出现的(先验)概率p(ai)
(i=1,2,…,q) 满足：
q
p(ai ) 1
i 1
则：
X P(x)
a1 P(a1
)
a2 P(a2 )
a3 P(a3 )
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
信道译码器的作用 具有检错或纠错的功能,它能将落在其检错或纠错范围 内的错传码元检出或纠正,以提高传输消息的可靠性。
15
1.3 信息论的形成和发展
16
信息论的形成
信息论是在长期的通信工程实践和理论研究的 基础上发展起来的。
信息论与编码 计算器
简介
是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
2
简介
信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 信源编码、信道编码
• 接收者在收到信息之前，对它的内容是不知道的，所以， 信息是新知识、新内容；它使认识主体对某一事物的未 知性或不确定性减少的有用知识；
• 信息的存在具有普遍性、无限性、动态性、时效性和相 对独立性；
• 信息可以产生，也可以消失，同时信息可以被传递、转 换、扩散、复制、贮存、分割，具有可共享性；
• 信息是可以量度的，信息量有多少的差别。 10
第1章
绪论
1.1 信息的概念
5
几个常见概念
情报：是人们对于某个特定对象所见、所闻、 所理解而产生的知识。 知识：一种具有普遍和概括性质的高层次的信 息 ，以实践为基础，通过抽象思维，对客观事 物规律性的概括。 消息：用文字、符号、语音、图像等能够被人 们感觉器官所感知的形式，把客观物质运动和 主观思维活动的状态表达出来。
p(x)
1/ 2,1/
4,
1/ 8,
1/8
乙
Y p(y)
晴 阴 1/4,1/4,
大雨 小雨
1/4, 1/4
“甲地晴”比“乙地晴”的不确定性小。
某一事物状态出现的概率越小，其不确定性越大。 某一事物状态出现的概率接近于1,即预料中肯定会 出现的事件，那它的不确定性就接近于零。
8
的倒对数x的i的某不一确函定数性。可表示为先验概率p(xi) （4）自信息
简史 现代信息论是从20世纪20年代奈奎斯特和哈特莱
的工作开始的：
1924年奈奎斯特(Nyquist)的 “影响电报速率因 素的确定” 。
1928年哈特莱(Hartley) 的“信息传输” 一文研 究了通信系统传输信息的能力，并给出了信息度 量方法。
17
1946年柯切尔尼柯夫的学位论文“起伏噪声下的潜在抗干 扰理论”，根据最小错误概率准则和最小均方误差准则研 究了离散和连续信道的最佳接收问题。
... ... ... ...
aq P(aq )
▪概率空间能表征离散信源的统计特性，因此也称概率空
间为信源空间。
21
2、随机矢量描述的信源
1）平稳信源
特点:
信源输出的消息由一符号序列所组成。 可用N维随机矢量 X＝(X1,X2,…,XN)描述，且随机矢量 X的各维概率分布都与时间起点无关 。
信宿：信息归宿之意，亦即收信者或用户， 是信息传送的终点或目的地。
信道：传输信息的物理媒介。
13
信源编码器与译码器
信源编码器
通过信源编码可以压缩信源的冗余度,以提高通信 系统传输消息的效率。
信源编码器分为两类
无失真信源编码：适用于离散信源或数字信号；
限失真信源编码：用于连续信源或模拟信号,如语 音、图像等信号的数字处理。
6
香农信息的度量
（1）样本空间 某事物各种可能出现的不同状态。
（2）概率测度 对每一个可能选择的消息指定一个概率。
（3）概率空间
X P(
x)
a1 p(a1
)
a2 p(a2)
an p(an )
样本空间 概率测度
先验概率p(xi)：
选择符号xi作为消息的概率。 7
例：气象预报
甲 X 晴 阴 大雨 小雨
1948年香农的权威性长文“通信的数学理论”，讨论了信 源和信道特性，1949年香农“噪声中的通信”，两论文奠 定了现代信息论的理论基础。
此后，在基本理论和实际应用方面，信息论都得到了巨大 的发展。
18
第2章 离散信源及其信息测度
2.1 信源的数学模型及分类 2.2 离散信源的信息熵 2.3 信息熵的基本性质 2.5 离散无记忆的扩展信源 2.6 离散平稳信源 2.7 马尔可夫信源 2.8 信源剩余度与自然语言的熵
1.2 信息论研究的对 象、目的和内容
11
研究对象：通信系统模型
信源 信源编码
加密 信道编码
加密 密钥
解密 密钥
信道
信宿 信源解码
解密 信道解码
干扰源
12
信源、信道、信宿
信源：发送消息的源 离散信源 模拟信源
信源是信息论的主要研究对象之一.我们不探讨信源 的内部结构和机理，而关注信源的输出。重点讨 论其描述方法及性质。
2.1 信源的数学模型及分类
信源 产生消息或消息序列的源。消息携带信息， 是信息的具体形式。
描述方法 通信过程中，信源发出何种消息是不确定的、 是随机的。 因此，信源可用随机变量、随机矢量或随机 过程（或样本空间及其概率测度）来描述。 不同的信源根据其输出消息的不同的随机性 质进行分类。
20
1、随机变量描述的信源（单符号）
信源编码器的主要指标
是它的编码效率。一般来说，效率越高，编译码 器的代价也将越大。
信源译码器
把信道译码器的输出变换成信宿所需的消息形式，
相当于信源编码器的逆过程。
14
信道编码器与译码器
信道编码 主要作用是提高信息传送的可靠性。
信道编码器的作用 在信源编码器输出的代码组上有目的地增加一些监督 码元,使之具有检错或纠错的能力。
（5）互信息
I (ai )
log
1 P(ai )
先验I (的ai不;b确j ) 定 l性og减P去(1a尚i ) 存lo的g不p确(a1i定bj性) 。
后送验端概发率的p(是aia|i的bj)概：率接。收端收到消息bj后而发
9
信息的特征
• 信息是物质存在的普遍属性，信息和能量、物质规定了 事物的功能和性能；
1）离散Fra Baidu bibliotek源
特点：输出单符号消息。符号集的取值A:{a1,a2,…,aq}是 有限的或可数的,可用离散型随机变量X描述。
数学模型：设每个信源符号ai出现的(先验)概率p(ai)
(i=1,2,…,q) 满足：
q
p(ai ) 1
i 1
则：
X P(x)
a1 P(a1
)
a2 P(a2 )
a3 P(a3 )
信道编码的主要方法 增大码率或频带,即增大所需的信道容量。这恰与信源 编码相反。
信道译码器的作用 具有检错或纠错的功能,它能将落在其检错或纠错范围 内的错传码元检出或纠正,以提高传输消息的可靠性。
15
1.3 信息论的形成和发展
16
信息论的形成
信息论是在长期的通信工程实践和理论研究的 基础上发展起来的。
信息论与编码 计算器
简介
是一门应用概率论、随机过程、数理统计和近 代代数的方法，来研究信息传输、提取和处理 中一般规律的学科。
奠基人：美国数学家香农（C.E.Shannon） 1948年“通信的数学理论”
2
简介
信息论的基本问题—信息的度量 无失真信源编码定理—香农第一定理 信道编码定理—香农第二定理 信源编码、信道编码
• 接收者在收到信息之前，对它的内容是不知道的，所以， 信息是新知识、新内容；它使认识主体对某一事物的未 知性或不确定性减少的有用知识；
• 信息的存在具有普遍性、无限性、动态性、时效性和相 对独立性；
• 信息可以产生，也可以消失，同时信息可以被传递、转 换、扩散、复制、贮存、分割，具有可共享性；
• 信息是可以量度的，信息量有多少的差别。 10