信息论与编码总结

信息论与编码

1. 通信系统模型

信源—信源编码—加密—信道编码—信道—信道解码—解密—信源解码—信宿 | | |

（加密密钥） 干扰源、窃听者 （解密秘钥）

信源：向通信系统提供消息的人或机器

信宿：接受消息的人或机器

信道：传递消息的通道，也是传送物理信号的设施

干扰源：整个系统中各个干扰的集中反映，表示消息在信道中传输受干扰情况 信源编码：

编码器：把信源发出的消息变换成代码组，同时压缩信源的冗余度，提高通信的有效性 （代码组 = 基带信号；无失真用于离散信源，限失真用于连续信源）

译码器：把信道译码器输出的代码组变换成信宿所需要的消息形式

基本途径：一是使各个符号尽可能互相独立，即解除相关性；二是使各个符号出现的概率尽可能相等，即概率均匀化

信道编码：

编码器：在信源编码器输出的代码组上增加监督码元，使之具有纠错或检错的能力，提高通信的可靠性

译码器：将落在纠检错范围内的错传码元检出或纠正

基本途径：增大码率或频带，即增大所需的信道容量

2. 自信息：()log ()X i i I x P x =-，或()log ()I x P x =-

表示随机事件的不确定度，或随机事件发生后给予观察者的信息量。

条件自信息：//(/)log (/)X Y i j X Y i j I x y P x y =-

联合自信息：(,)log ()XY i j XY i j I x y P x y =-

3. 互信息：;(/)

()

(;)log log ()()()i j i j X Y i j i i j P x y P x y I x y P x P x P y ==

信源的先验概率与信宿收到符号消息后计算信源各消息的后验概率的比值，表示由事件y 发生所得到的关于事件x 的信息量。

4. 信息熵：()()log ()i i

i

H X p x p x =-∑ 表示信源的平均不确定度，或信源输出的每个信源符号提供的平均信息量，或解除信源不确定度所需的信息量。

条件熵：,(/)()log (/)i j i j i j H X Y P x y P x y =-

∑ 联合熵：,()()log ()i j i j i j

H XY P x y P x y =-∑ 5. 平均互信息：,()(;)()log

()()

i j i j i j i j p x y I X Y p x y p x p y =∑

表示由知道Y 得到的关于X 的平均信息量。

信源符号集合X ，信宿符号集合Y ，I(X;Y) 表示收到Y 后获得的关于X 的平均信息量，或发X 前后Y 的平均不确定性减少的量，或通信前后整个系统不确定性减少的量。

收发两端的熵关系：

全损离散信道：I(X;Y) = 0，H(X/Y)=H(X) 无扰离散信道：I(X;Y) = H(X)，H(X/Y)=0

6. 数据处理定理：(;)(;),(;)(;)I X Z I X Y I Z X I Z Y ≤≤

消息通过多级处理器时，随着处理器数量增多，输入与输出消息之间的平均互信息量趋于变小；即数据处理过程中只会失掉信息，而不会创造出新的信息（信息不增性）。

7. 离散信源最大熵定理：离散无记忆信源有M 个不同的信息符号，当且仅当各个符号出现概率相等时熵最大。

连续信源的熵为无穷大，公式给出的熵只有相对意义而非绝对值——矛盾的原因是逼近时所取的x 不一致。

限峰功率最大熵定理：对于定义域有限的随机矢量X ，均匀分布时有最大熵。

限平均功率最大熵定理：对于相关矩阵一定的随机矢量X ，正态分布时有最大熵。 为什么通信系统中以高斯白噪声作为设计标准？

1）根据限平均功率最大熵定理，高斯白噪声是平均功率受限时最有害的干扰，以此为标 准是考虑了干扰最恶劣的情况；

2）实际噪声的幅度谱也接近于高斯分布。

8. N 次扩展源平均符号熵：1211()()(...)N N N H X H X H X X X N N

== 信源X 的极限符号熵：()lim ()N N H X H X ∞→∞

= 9. 马尔可夫信源

使马氏链最后稳定且遍历，必须有不可约性和非周期性

不可约性：任意一对i 和j ，都存在至少一个k > 0，使得(k)0ij

P > 非周期性：所有的()0n ii P >，n 中没有比1大的公因子

求解平稳分布：1WP W w ==∑

，

马尔可夫信源的熵：112()(|...)()(/)m m i i

i

H X H X X X X p s H X s ∞+==∑ 10. 冗余度：信源符号间的相关性；信源符号分布的不均匀性。

当信源的符号之间有依赖时，信源输出消息的不确定性减弱，信源熵减小。而信源冗余度能反映信源符号依赖关系的强弱，依赖关系越大，冗余度就越大。

()11()

m H X H X γη∞=-=-

极限熵()H X ∞——去关联，等概化——最大熵0()H X

11. 定长编码：log ()L L K m H X L ε≥+

只要码字所能携带的信息量大于信源序列输出的信息量，就可以使传输几乎无失真 变长编码：()()L L L H X K H X ε

≤≤+ 只有分组码才有码表；分组码 > 非奇异码 > 唯一可译码 > 即时码

定长编码需要的信源序列长，使得码表很大，且通常都存在译码差错

用定长码编码时，即使在编码效率和译码差错要求不十分苛刻的情况下，就要对很长的信源序列一起进行编码，对存储或处理技术的要求太高；用变长码编码时，一起进行编码的信源序列不需要很长就可达到相当高的编码效率，而且可实现无失真编码。

12. 最佳编码思想：考虑信源的统计特性，概率大的符号编短码，概率小的符号编长码，使平均码长最短

香农编码：有唯一、系统的编码方法

费诺编码：更适合于对分组概率相等或接近的信源编码

哈夫曼编码：综合性能最优

把新节点向大概率端压的原因：减小再次被编码的机会，充分利用短码，使码长方差小，减小处理码字时存储器溢出或取空的概率。

13. 编码效率：()L H X K

η= 码的剩余度：1γη=- 码率：R η= 14. 失真函数：(,)i j d u v ，信源发出ui ，而在信宿收到vj 所引起的误差或失真

在适当的失真函数下规定允许失真D ，在该失真条件下有最小信息率R(D)

R(D)能在数据压缩中衡量压缩程度

随着允许失真的增大，传信率可以压缩的程度增大，D 最小时不能压缩，D 最大时不用发送

限失真信源编码定理：R > R(D)

计算max D ，min ()R D ，max ()R D 及对应转移概率

15. 信道容量：()max {(,)}P X C I X Y =

反应信道最大信息传输能力，是信道的特征参数 香农公式：0

log(1)log(1)av P C W W SNR WN =+=+ 受加性高斯白噪声干扰的带限波形信道的容量，是非高斯波形信道容量的下限值。