信息论期末复习

译码函数的选择方法：F(bj)应该译成信道矩阵第j列概率最大的 那个元素对应的信源符号。 平均错误概率的计算方法：按行计算。输入符号概率与其对应行 的错误概率之和相乘，然后各行相加。
（注意：非等概率分布时，若使用最大似然译码准则，平均错误概 率也按此方法计算，只是得到的平均错误概率不一定最小）
50

29

按噪声的统计特性

高斯信道 白噪声信道 高斯白噪声信道 有色噪声信道 乘性信道 加性信道

按噪声对信号的作用

30

连续信道与波形信道的信息传输率

基本连续信道的平均互信息

连续信道平均互信息的特性
31
32

连续信道与波形信道的信道容量

单符号高斯加性信道的信道容量

限带高斯白噪声加性波形信道的信道容量
5
相对性
可度量性 可扩充性
可存储、传输与携带性

信息论的研究范围 经典信息论（狭义信息论、香农信息论）
主要研究信息的测度、信道容量、信息率失真函数， 与这三个概念相对应的香农三定理以及信源和信道编码。 一般信息论

主要是研究信息传输和处理问题。除了香农基本理论之外， 还包括噪声理论、信号滤波和预测、统计检测与估计理论、 调制理论。后一部分内容以美国科学家维纳（N· Wiener） 为代表。 广义信息论 概括说来，凡是能够用广义通信系统模型描述的过程或系 统，都能用信息基本理论来研究。
给两个概率最小的符号各分配一个码位“0” 2 和“1”，将其概率相加后合并作为一个新的 符号，与剩下的符号一起，再重新排队 3 给缩减信源中概率最小的两个符号各分配 一个码元 4 重复步骤2、3直至信源剩两个符号为止， 此时概率和为1。从最后开始，沿编码路 径返回，得到码字。
45

r 元霍夫曼编码
i 1 j 1 n m

联合熵 H ( XY )
p(a b ) I (a b )
i 1 j 1 m i j i j
9
n
m
p(ai b j ) log p(ai b j )
i 1 j 1
n

信息熵的基本性质
10

离散无记忆的扩展信源
11

离散平稳信源

离散平稳信源的极限熵
48
第六章 有噪信道编码定理

错误概率和译码准则

最大后验概率译码准则（最小错误概率译码准则）

最大似然译码准则
49
选择译码规则与计算错误概率的方法

判断输入符号的先验概率是否等概率分布。 若等概率分布，采用最大似然译码准则直接从信道矩阵 中得到译码函数，此时得到的平均错误概率必然最小。


错误概率与编码方法
52

可见，消息数M越多，码率越高；码长n越长， 码率越低。 汉明距离（码字距离）
要发现（检测）e个随机错误，要求dmin≥e+1；要纠正 t个随机错误，要求dmin≥2t+1 ；要纠正t个随机错误的同 时检测e个随机错误（e ≥t），要求dmin≥t+e+1
53

有噪信道编码定理
6
第二章 离散信源及其信息测度

信源的数学模型及分类
7

自信息

信息熵
8

条件熵 H ( X Y ) E[ I (a b )] i j
p(ai b j ) log p(ai b j )
j 1 i 1
m
n
H (Y X ) E[ I (b j ai )]
p(ai b j ) log p(b j ai )
23

独立并联信道及其信道容量

数据处理定理、信息不增性原理
24

信源与信道的匹配
25
第四章 波形信源与波形信道

连续信源的差熵
26

两种特殊连续信源的差熵

均匀分布

高斯分布
27

差熵的性质
28

具有最大差熵的连续信源

连续信道与波形信道的分类

按信道输入输出的统计特性

波形信道 多维连续信道 基本连续信道
46

霍夫曼码的特点

霍夫曼码具有最佳性

费诺编码
费诺码属于概率匹配编码，比较适合于对分组概率相等或接 近的信源编码。费诺码属于即时码，但是不一定是最佳码。
47

费诺码的编码步骤
1
按信源符号的概率从大到小的顺序排队
不妨设
p( x1 ) p( x2 ) ...... p( xn )
2 对概率按r进行分组，使每组概 率尽 可能相等。即编二进制码就分2组， 编r元码就分成r组。 3 给每个分组分配一个码元 4 对每个分组重复2、3步，直到不可分 为止
14

注意：

信源剩余度
15
第三章 离散信道及其容量

信道的数学模型与分类
16

平均互信息
17
18

平均互信息的特性

信道容量及其一般计算方法
19

无噪无损信道的信道容量（信道的输入输出一一对应）

无损信道（信道的输入输出一对多）
20

无噪有损信道（信道的输入输出多对一）

对称离散信道（信道矩阵的行与列都具有可排列性）
若输入符号的先验概率非等概率分布，则采用最小错误概 率准则可以使平均错误概率达到最小。


译码函数的选择方法：计算信道的联合概率矩阵，F(bj)应该译成 联合概率矩阵第j列概率最大的那个元素对应的信源符号。 平均错误概率的计算方法：按列计算，即把联合概率矩阵每列的 错误概率相加，再对各列相加。
51
费诺不等式

准对称信道
21

一般离散信道的信道容量的计算步骤

求

求C
由(5)求出
j C 求
由(5)求出 由(5)求出
b ) 2 p (b j ) p ( 2 p (jb ) j
j C
n
由(5)求出
(b j ) 2
j C j C
2
(b )( p (a /( a 求由 jp i ) p(b j i ) ) p(b 由p(b j ) a b /a ) 由 p ( ) p a p(p i) j b i j i j
12

另外
H ( X ) H ( X1 X 2 X N ) X X X H ( X1 ) H ( 2 ) H ( 3 ) H ( N ) X1 X1 X 2 X 1 X 2 X N 1

马尔可夫信源
13

求解马尔可夫信源熵的步骤



根据题意画出状态转移图。判断是否是时齐遍历的 马尔可夫信源。 根据状态转移图写出一步转移概率矩阵，计算信源 的极限概率。 根据一步转移概率矩阵和极限概率计算信源的信息 熵。
信息论期末复习
1
第一章 概述

信息论的创始人：美国科学家香农

1948年发表 “通信的数学理论”，标志着信息论 的诞生
2

Βιβλιοθήκη Baidu
信息的概念


1. 2. 3.


4.
3

信息论的研究对象

信息论的研究目的
4

信息的一些重要性质
存在的普遍性
有序性
可压缩性 可替代性
可扩散性 可共享性 时效性 信息的 独有性质
n
i 1 求出 p ( a ) i 求出p(a 就是所求的信道容量，否则重新计算 i ) 若 p(ai ) 0则Cp 求出 (a i )
i 1
/b ai / )a ) 由p ( b ) p ( a ) p ( i 1 i j i j i 1
n
n
求出p(ai )
22

离散无记忆扩展信道及其信道容量
33

香农公式重要的实际指导意义
34
35
第五章 无失真的信源编码定理

编码器
36
37

等长码

等长信源编码定理
38

变长码
39
40

克拉夫特不等式
唯一可译码也满足该不等式。

变长信源编码定理
41
42
43
44
第八章 无失真的信源编码

霍夫曼编码

二元霍夫曼编码方法
1 将信源符号按概率由大到小顺序排队

失真度

平均失真度
56

保真度准则

D失真许可的试验信道
57

率失真函数及其性质

率失真函数的定义域
58

信息率失真函数是允许失真度D的U型凸函数 信息率失真函数的连续性和单调递减性。

二元对称信源的率失真函数

r元对称信源的率失真函数
59

保真度准则下的信源编码定理
60

霍夫曼编码的一些说明


霍夫曼编码得到的码字并不唯一。首先，每次缩减信源 时所分配的码字是任意的，不同的码元分配，得到的具 体码字不同，但码长、平均码长都不变，所以没有本质 区别。其次，若合并后的新符号的概率与其他符号的概 率相等，从编码的方法上来说，这几个符号的次序可任 意排列，编出的码都是正确的，但得到的码字不同。 若合并后的新符号的概率与其他符号的概率相等，一般 将合并的概率放在上面。


有噪信道的信道容量为C，若信息传输率R<C，只 要码长n足够长，必然存在一组信道编码和相应的 译码规则，使译码的平均错误概率PE为任意小。反 之，若R>C则不存在以R传输信息而PE为任意小的 码。 此定理可以推广到有记忆信道、连续信道、波形信 道中。
54

信源信道编码定理
55
第七章 保真度准则下的信源编码