ch4-信息论与编码技术(MATLAB实现)-朱春华-清华大学出版社

限失真信源编码的必要性
1．信源特性 对于连续信源，因为其绝对熵为无限大，若要求无失真地对其进行传
输，则要求信道的信息传输率也为无限大，这是不现实的。（在信道 中，由于带宽总是有限的，所以信道容量总要受到限制）因此也就不 可能实现完全无失真传输。
另一方面，从无失真信源编码定理来考虑，由于要求码字包含的信息 量大于等于信源的熵，所以对于连续信源，要用无限多个比特才能完 全无失真地来描述
2．数据压缩 即使对于离散信源，由于处理的信息量越来越大，使得信息的存储和
传输成本很高，（数字系统的广泛应用，需要传送、存储和处理大量 的数据），为了提高传输和存储的效率，就必须对有待传送和存储的 数据进行压缩，这样也会损失一定信息，带来失真。 3．符合实际 在很多场合，过高的信息率也没有必要。
编码后得信源信息率为
bit/符号
bit/符号
说明编码1对信源数据的压缩率高，但是编码1带来的失真要大一些。若例4.1.3中的 两种编码方法都满足失真度的限制，当然编码1要好些，因为它压缩掉了更多的信息。 事实上，在失真度的限制下，肯定存在一种编码方法，使编码后的信息率最小，这个 最小的信息率就是信息率失真函数。但具体是什么编码方法，香农定理没有指出来。
常用失真函数
平方失真： 绝对失真： 相对失真：
误码失真：
4.1.1 失真度与平均失真度
平均失真
平均失真是对给定信源分布 且转移概率分布为 的信源编码器失真的总体量度。平均失真是符号失真函数 在信源空间和信宿空间平均的结果，是从整体上描述系统 的失真情况。
输入信源X
信源编码器 p( y j / xi )
变量
，定义单符号失真度（失真函数）为：
当a=1时，这种失真称为汉明失真。 汉明失真矩阵为一方阵，而且对角线上的元素为零，即
4.1.1 失真度与平均失真度
例4.1.2 二元删除信源信源符号X∈｛0，1｝,编码器输出符号 Y∈｛0,1,2｝,规定失真函数为
求失真矩阵
4.1.1 失真度与平均失真度
由该试验信道模型知，它是一个确定信道 由互信息公式可得 信道输出概率分布为
所以输出an的概率分布为
4.1.2 信息率失真函数
则输出熵H(Y)为
输入熵
失真D下 损失的熵
结论：经信源压缩编码后，信源的信息率由编码前的 H(X)=log2n，压缩到编码后的
这是采用了上述压缩编码方法的结果，所付出的代价是容忍 了1/2的平均失真。
信息率失真理论是量化、数模转换、频带压缩和数据 压缩的理论基础。
4.1平均失真和信息率失真函数
4.1.1 失真度与平均失真度
信源编码器描述
输入信源X
信源编码器
输出码元Y
失真函数
图4.1.1信源编码器
失真矩阵
源自文库
4.1.1 失真度与平均失真度
例4.1.1 离散对称信道(m=n)，信源变量
，接收
输出码元Y
假想信道 PD
图4.1.2信源编码器等效模型
4.1.1 失真度与平均失真度
例4.1.3 已知编码器输入的概率分布为 转移矩阵分别为
，编码器
定义单符号失真度 平均失真。 解：
得
，计算两种信源编码方法带来的
4.1.2 信息率失真函数
D允许信道（D允许的试验信道） 对于离散无记忆信道
信息率失真函数R(D)
例如对于数字电视，由于人的视觉系统的分辨率有限，并 且对低频比较敏感，对高频不太敏感，因此也可以损失部 分高频分量，当然要在一定的限度内。
等等这些，都决定了限失真信源编码的重要性。
限失真信源编码研究的问题
在限失真信源编码里，一个重要的问题就是在一 定程度的允许失真限度内，能把信源信息压缩到 什么程度，即最少用多少比特数才能描述信源。 也就是，在允许一定程度失真的条件下，如何能 快速地传输消息。这是本章讨论的问题。
限失真信源编码的必要性
例如：由于人耳能够接收的带宽和分辨率是有限的，因此 对数字音频传输的时候，就允许有一定的失真，并且对欣 赏没有影响。
——把频谱范围从20Hz~8000Hz的语音信号去掉低频和高频，看成带 宽只有300Hz~3400Hz的信号。这样，即使传输的语音信号会有一 些失真，人耳还可以分辨和感觉出来，已满足语音传输的要求，所以 这种失真是允许的。
4.1.2 信息率失真函数
例4.1.4限失真信源编码实例，信源符号等概率分布，失 真限度D=1/2.
失真函数规定为
由信源概率分布可求出信源熵为
编码映射表相当于转移概率矩阵
图4.1.3 编码映射关系
4.1.2 信息率失真函数
编码方案：
平均失真D为
图4.1.3 编码映射关系
4.1.2 信息率失真函数
(编码前)信源的信息率：每个信源符号所携带的 平均信息量。
限失真信源编码研究的问题
如果信源输出的信息率大于信道的传输能力，（此时不 可能无差错传输）就必须对信源进行压缩，使压缩后的 信源信息率小于信道传输能力，但同时保证压缩所引入 的失真不超过预先规定的限度D。
因此，信息压缩问题就是对于给定的信源，在满足平均 失真
第4章 限失真信源编码
4.1 平均失真和信息率失真函数 4.2 离散信源的信息率失真函数 4.3 连续信源的信息率失真函数 4.4限失真信源编码定理(香农第三定理) 4.5常见的限失真信源编码方法
4.1 平均失真和信息率失真函数 4.1.1 失真度与平均失真度 4.1.2 信息率失真函数 4.1.3 信息率失真函数 的特性
对于离散无记忆信源
4.1.2 信息率失真函数
D允许信道（D允许的试验信道） 对于离散无记忆信道
信息率失真函数R(D)
对于离散无记忆信源
4.1.2 信息率失真函数
例4.1.3 已知编码器输入的概率分布为 转移矩阵分别为
，编码器
定义单符号失真度 平均失真。
，计算两种信源编码方法带来的
解：平均失真
的前提下，使编码后的信息率尽可能小。
限失真信源编码研究的问题
上述问题已经被香农解决：
香农在1948年的经典论文中已经提到了这个问题； 1959年，香农又在他的一篇论文“保真度准则下的离散
信源编码定理”里讨论了这个问题。 研究这个问题并做出较大贡献的还有前苏联的柯尔莫郭洛
夫（Kolmogorov）以及伯格（T. Berger）等。