香农定理及其相关

香农定理及其相关

一、香农第一、二和三编码定理

香农第一定理和香农第二定理指明：无论是无噪声信道,还是有噪声信道，只要信道的信息传输率小于信道容量，总能找到一种编码，在信道上以任意小的错误概率和任意接近信道容量的信息传输率传输信息。反之，若信道信息传输率大于信道容量，一定不能使传输错误概率任意小，传输必然失真。

信息率失真函数R(D)是满足保真度准则(D)时所必须具有的最小信息率，在进行信源压缩之类的处理时，R(D)就成为一个界限，不能让实际的信息率低于R(D),即限失真信源编码定理，也就是通常所说的香农第三编码定理。

二、无失真信源编码和限失真信源编码

• 1.无失真信源编码：

适用：离散信源或数字信号

不适用：连续信源或模拟信号。

• 2.限失真信源编码：

连续信源的每个样值所能载荷的信息量是无限大，对连续信源不引入失真是不可能的.

连续信号所对应的信宿一般是人,当失真在某一限度以下时是不易被感觉到的,因此是容许的.

三、香农编码定理→信源编码方法

1. 无记忆信源

•理论：条件熵必然不大于无条件熵,而且常远小于后者.

•编码方法：解除符号间的相关性可进一步压缩码率.

2.有记忆信源

•编码方法：多个符号合成为一个新符号,并设新符号组成的序列是独立序列,这样就可用上述方法进行编码.

•缺陷：合并的符号数少时,新符号间的相关性不能解除;合并符号数多时,复杂性将大为提高,而且对实时处理十分不利.

•改进：预测编码和变换编码

•预测编码：利用前几个符号来预测后一个符号的值,预测值与实际值之差,亦即预测误差作为待编码的符号,这些符号间的相关性就大为减弱,这样可提高压缩比。

•变换编码：样值空间的变换,例如从时域变到频域,在某些情况下,可减弱相关性,取得良好的压缩比.

四、理论→实践

•在实际生活中，通常只是要求在保证一定质量的前提下在信宿近似地再现信源输出的信息，或者说在保真度准则下，允许信源输出的信息到达信宿时有一定的失真。

•限失真信源编码的信息率失真理论是信号量化、模数转换、频带压缩和数据压缩的理论基础，在图像处理、数字通信等领域得到广泛的应用。

图像编码

•图像编码可能性：图像像素之间，行方向和列方向，存在相关性，即存在冗余。

•方案：提取或减少冗余

•目的：少的编码来表征相同的信息量。最小信息率→↑有效性

图像中存在的冗余

•空间冗余：同一景物表面样点连贯性。

•结构冗余：图像像素值存在明显的分布结构。

•知识冗余：图像有固定的结构（由先验知识和背景知识获得）。

•视觉冗余：视觉系统对图像场的敏感是非均匀和非线性的。

•区域相同性冗余：两个或多个区域对应像素相近或相同。

思考：如何提取或减少冗余？

编码的理论方案

•预测编码：利用以往的样本值对新样本值进行预测，将实际值与预测值相减得到误差值，对误差

值进行量化编码。

•变换编码：A域→B域（系数进行编码处理，接收端受到系数，采用模型还原）

图像压缩技术→离散余弦变换编码

语音编码

•语音传输模型（波形表示）

•语音信号的数学表示：

波形表示：抽样→量化→编码目的：精确保存语音信号波形

参数表示：求出数字模型参数目的：不忠实保留语音信号波形，着眼于提供听起来和原信号相同效果编码方案

•波形编码：差分脉冲编码

•参数编码：线性预测编码