信息论与编码

《信息论与编码》（第二版）
曹雪虹张宗橙编著
清华大学出版社
第一章绪论
1、信息论的地位及其主要研究内容：
2、信息论的理论基础：
3、1948年，香农（Shannon）发表“A Mathematical Theory of Communication”(通信的
数学原理)的主要内容：
4、通信系统的性能指标：
第二章信源与信息熵
1、无记忆信源可分为两类：
2、有记忆信源：m阶马尔可夫信源的定义。

马尔可夫链阶数与记忆信源记忆长度、马尔可夫链长度的关系
3、香农提出马尔可夫状态图，也叫香农线图。

4、画状态图，先求概率转移矩阵。

状态转移概率矩阵与符号条件概率有关。

5、遍历性直观意义：稳定的状态概率分布和稳定的符号概率分布的区别
6、自信息量仅与其发生的概率有关；
自信息量的单位只与对数的底数有关。

7、信源符号的自信息量与信源符号不确定度的含义:
8、信源符号的平均信息量与信源符号的平均不确定度的含义：
9、信源熵：用H(X)表示信源X的不确定度
10、条件熵H(X|Y)的含义：已知Y后，X的不确定度
11、条件熵的展开式：
12、联合熵H(X，Y)的含义：
13、联合熵展开式：
14、联合熵H(X，Y)、熵H(X)及条件熵H(X|Y)之间的关系：
15、X与Y的互信息量I(X;Y)的意义：接收者接收到Y后，Y中包含了X的信息量。

16、互信息量I(X;Y)的展开式：
17、互信息量的取值范围：
18、另一种看法：将互信息量I(X；Y)看作是在有扰离散信道上传输的平均信息量。

此时，我们将条件熵看做是信道上存在干扰和噪声而损失了的平均信息量。

19、条件熵H(X|Y)看做是由于信道干扰和噪声的缘故，接收端收到Y后，还剩下对信源X 的平均不确定度，称为疑义度。

那么H(Y|X)可以看做是唯一确定信道噪声所需的平均信息量，称为噪声熵。

20、三维联合集（X,Y,Z）上的平均互信息量的定义
X与（Y,Z）之间的互信息量：I（X；Y,Z）
（Y,Z）与X之间的互信息量：I(Y,Z；X)
21、熵的性质：
第三章信道与信道容量
1、信道是通信系统中重要的部分，它是传输信息的载体，其任务：
2、输出信号与输入信号没有固定的函数关系的原因：
输出与输入只有统计依赖关系。

3、
第四章信息率失真函数
1、一般可以对信源输出的信息进行失真处理。

失真处理的优点：
2、失真的大小用失真函数d（xi，yj）表示，
失真函数的意义：
3、一般失真函数定义为d（xi，yj）：
4、将所有的失真函数d（xi，yj）排列成m*n的矩阵形式，这样的矩阵d称为：
5、用yj代替xi导致的失真是人为决定的。

最常用的失真函数有：
均方失真：
绝对失真：
相对失真：
误码失真：
6、将失真函数的定义推广到序列编码情况，dL（Xi，Yj）=
7、平均失真的表达式：
8、连续随机变量定义平均失真：
9、对L长序列编码的平均失真：
10、信源X经过有失真的信源编码器输出Y，将这样的信源编码器看做是存在干扰的假想信道，Y当做是接收端的符号。

信源编码器的目的：
11、失真是有限度的。

假设失真限制值为D，失真编码器必须满足条件：
12、信息率R就是所需输出的有关X的信息量。

对应于信道，信息率R就是：
同时，符号转移概率就对应信道转移概率。

13、平均失真有三要素决定：
14、若信源分布与失真函数已给定，D允许试验信道：
15、在D的允许试验信道中，可以找到一种信道Pij，使互信息量最小。

这个最小的互信息量就是：信息率失真函数R（D），即：
16、
第五章信源编码
1、编码分为：
信源编码有分为：
2、第一极限定理：
3、第二极限定理：
4、第三极限定理：
5、信源编码的主要任务：
具体的是：
6、信源编码的基本途径有两个：
7、将信源消息分为若干组，即符号序列xi，序列中的每一个符号取自符号集A。

每一个符号序列依照固定的码表映射为一个码字yi，这样的码称为分组码（也叫块码）。

8、只有分组码才有对应的码表，而非分组码没有码表。

9、最常用的一种信道是二元信道，它的信道基本符号集为：
10、将各个信源符号（或序列）变换成由0、1符号组成的码符号序列，这个过程就叫信源编码。

11、一般情况下，码可以分为两类：
12、非奇异码的定义：
13、唯一可译码的定义：
14、唯一可译码有分为：
15、非即时码的定义：
16、通常用码树来表示各码字的组成。

对于m进制的码树，码字的起点对应：
码的进制数对应：
码字或码字的一部分对应：
码字对应是：
码长对应：
变长码对应：
等长码对应：
17、唯一可译码存在的和必要条件：
各码字的长度Ki符合克劳夫特不等式：
其中，m是：
n是：
18、克劳夫特不等式只是用来说明唯一可译码是否存在，不能判断作为唯一可译码的判据。

19、假设信源输出序列X的长度L大于等于1，变换成由K L个符号组成的码序列Y（有时又称为码字）
变换要求是：能够无失真或无差错的从Y恢复到X，同时传送Y时的信息率最小。

20、序列Y中的每一个符号有m种取值，平均每个符号输出的最大信息量为：
K L长的码字的最大信息量为：
用该码字表示L长的信源序列，则送出一个信源符号所需要的信息率平均值为：
式中，M=
它表示：
21、信息率最小的含义就是：
22、在定长编码中，K是定值，且K=K L。

编码的目的：
23、要实现无失真信源编码要求：
24、由L个符号组成的，每个符号的熵为H L（X）的无记忆平稳信源序列：
可以用K L个符号：
（其中每个符号有m种可能值）进行定长编码。

结论：
25、
第六章信道编码
1、信息是一种抽象的内涵，必须依赖于某种有形的载体才能传输，这种载体就是信号。

2、信道编码就是以信息在信道的正确传输为目标的编码。

可分为两个层次：
如何正确的接收载有信息的信号；如何避免少量的差错信号对信息内容的影响。

3、前者，我们称为线路编码，后者，称为差错控制编码。

4、
第七章加密编码。