(完整版)信息论与编码概念总结

第一章
1.通信系统的基本模型:
2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等
第二章
１.自信息量：一个随机事件发生某一结果所带的信息量。

２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示
３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。

如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。

所以信源平均功率和熵功率之差称为连续信源的剩余度。

信源熵的相对率(信源效率)：实际熵与最大熵的比值
信源冗余度：
0H H ∞=ηη
ζ-=1
意义：针对最大熵而言，无用信息在其中所占的比例。

３.极限熵：
平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。

４.
５.离散信源和连续信源的最大熵定理。

离散无记忆信源，等概率分布时熵最大。

连续信源，峰值功率受限时，均匀分布的熵最大。

平均功率受限时，高斯分布的熵最大。

均值受限时，指数分布的熵最大
６.限平均功率的连续信源的最大熵功率：
称为平均符号熵。

定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )()
()()()()()(=≤∴≤≤
若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为
1log 22
ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源
的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：
离散信源无失真编码的基本原理
原理图
说明： （1） 信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信
源表示为： X L =(X 1X 2……X L )
其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。

（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组
其中，每一位Y i 都取自同一个原始信宿符号集合：
Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）
则最多可编成m k 个码序列，对应m k 条消息
定长编码：信源消息编成的码字长度k 是固定的。

对应的编码定理称为定长信源编码定理。

变长编码：信源消息编成的码字长度k 是可变的。

8.离散信源的最佳变长编码定理
最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且
p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n
即：把经常出现的消息编成短码，不经常出现的消息编成长码。

这样可使平均码长最短，从而提高通信效率，代价是增加了编译码设备的复杂度。

杂得多。

第三章
1.信道容量的概念及用途：
最大的信息传输速率为信息容量
信道的功能：以信号形式传输和存储信息
2.信道编码定理：
若有一个离散无记忆平稳信源，其容量为C，输入序列长度为L，则只要传输的信息速度R<C则总可以找到一种编码，使当L足够大时，得到的译码错误概率
反之，若R>C时，
则无论采用何种编码，必然会有译码差错
第四章
1.保真度准则下的信源编码定理：设有某一信源的信息率失真函数为R(D)，选择有限的失真函数d，对于任意允许的平均失真度D，当压缩后的信息率 R>R(D)则一定存在某种信源编码方法，使译码后的平均失真度<=D反之，若压缩后的信息率R<R(D)则无论用什么编码方法，必有译码后的平均失真>=D
2.信息率失真函数的概念及应用：给定信源和失真函数，要使信源的平均失真 (D 为给定的失真上限)，则需找到某个信道（满足一定的信道转移概率分布或转移概率密度函数），使在该信道（称为试验信道）上传输的信息速率达到最小，这个最小的信息速率称为信息率失真函数，记作R(D)。

信息率失真理论是量化、数模转换、频带压缩和数据压缩的理论基础。

3.信道容量和信息率失真函数的比较：
相同点：二者都是求平均互信息的极值
不同点：
1、C和R(D)的不同：
（1）信道容量：选择某一信源分布的情况下，求平均互信息的极大值。

依据：平均互信息I是信源概率分布p(x i)的严格上凸函数。

（2）信息率失真函数：求选择某一压缩试验信道（转移概率分布）的情况下，依据保真度准则，求平均互信息的极小值。

依据：平均互信息I是信道转移概率分布p(y j/x i)的严格下凸函数。

2、 C和R(D)的不同：
（1）信道容量C一旦求出来，则与信源分布无关（只是证明存在这样的满足信道容量的信源分布），它只和信道转移概率分布p(y j/x i)有关。

即信道容量和信源特性无关，反映信道特性。

2）信息率失真函数R(D)一旦求出来，则与信道转移概率分布无关（只是证明存在达到最小信息率的压缩试验信道），它只和信源概率分布p(x i)有关。

即信息率失真函数和信道特性无关，反映信源特性。

3、 C和R(D)的不同：
（1）信道容量是通过信道编码增加信息冗余度来提高通信的可靠性，是信息传输的理论基础。

（2）信息率失真函数是通过信源编码减少信息冗余度来提高通信有效性，是信源压缩的理论基础。

第五章
最佳变长信源编码定理：最佳变长编码定理：若信源有n条消息，第i条消息出现的概率为p i，且p1>=p2>=…>=p n，且第i条消息对应的码长为k i，并有k1<=k2<=…<=k n
短，从而提高通信效率，代价是增加了编译码设备的复杂度。

杂得多。

第六章
1.信道编码的作用：一类信道编码的是对传输信号的码型进行变换，使之跟适合与信道特性或满足接收端对恢复信号的要求，从而减少信息损失；一类信道编码是在信息序列中人为的增加冗余位，使之具有相关特性，在接收端利用相关特性进行检错或纠错。

2.信道编码器的性能指标及其与码长之间的关系：
信道编码的性能指标：
A 编码效率
设某种编码的码字长n位，其中信息只有k 位，r = n–k为冗余位，则该编码的信息率（也叫编码效率）：η=k /n
B 漏检率
把编码检查不出的错误所出现的概率叫做漏检率。

C 差错率
把编码不能自动纠正的错误所出现的概率叫做差错率。