第三章数据压缩和信源编码讲义

03:43
7
信源编码
编码定理证明：
（1）必存在一种编码方法，使代码的平均长度可 任意接近但不能低于符号熵
（2）达到这目标的途径，就是使概率与码长匹配。
说明：
（1）无失真编码或可逆编码只适用于离散信源。
（2）对于连续信源，编成代码后就无法无失真地 恢复原来的连续值，因为后者的取值可有无限多 个。此时只能根据限失真编码定理进行限失真编 码。
在一组码字集合C中的所有码字cm (m = 1,2, …,M)，其码长都相 同，则称这组码C为等长码。
3. 变长码
若码字集合C中的所有码字cm (m = 1,2, …,M)，其码长不都相同， 称码C为变长码。
Hale Waihona Puke 03:43184.非奇异码
从信源消息到码字的映射是一一对应的，每一个不同的信源消 息都用不同的码字对其编码。非奇异码码中所有码字互不相同.
03:43
13
信源编码的分类
•熵压缩编码：是不可逆压缩 压缩超过一定限度，必然带来失真,允许的失真越
大，压缩的比例越大,译码时能按一定的失真容许度恢 复，保留尽可能多的信息。
03:43
14
信源编码器模型
信源编码将信源符号序列按一定的数学规律映射成码 符号序列。是从信源符号集到码符号集的一种映射，它 把信源输出的符号变换成码元序列。
5.奇异码
从信源消息到码字的映射不是一一对应的。奇异码不具备惟 一可译性。
6.原码C的N次扩展码
原码的N次扩展码是将信源作N次扩展得到的新信源符号序列
• 编码分为信源编码和信道编码，其中信源编码又 分为无失真信源编码和限失真信源编码。 无失真信源编码：适用于离散信源或数字信号。 限失真信源编码：主要用于连续信源或模拟信号， 如语音、图像等信号的数字处理。
03:43
3
香农信息论三大定理
• 第一极限定理:无失真信源编码定理. • 第二极限定理:信道编码定理（包括离散和连
§3.1 等长码 §3.2 变长编码 §3.3 哈夫曼码 §3.4 香农码和费诺玛
03:43
1
数据压缩和信源编码
为了实现高质量、高效率的通信，引入了信 源编码和信道编码。信源编码和信道编码主要需 要解决以下两个问题。
提高传输效率
增强通信的可靠性
03:43
2
编码、信源编码、信道编码
• 编码：将一定的符号，数字或字母按一定的要求编 成不同的序列，表示出一定的意义称为编码。
射成某一个码字 ，ci这样的码称为分组码。
只有分组码才有对应的码表，而非分组码中则不存在 码表。
对于同一个信源，编码方法是多种的。
03:43
17
码的分类
1. 二元码
若码符号集为{0，1}，则码字就是二元序列，称为二元码,二 元码通过二进制信道传输，这是数字通信和计算机通信中最常 见的一种码。
2. 等长码
信源
编码器
信道
译码器
信宿
信源编码器模型
• 译码是从码符号到信源符号的映射。若要实现无失 真编码，这种映射必须是一一对应的、可逆的。
03:43
15
信源编码器的模型
X X1, X 2, , X q
编码器
C {c1, c2 , , cq}
X :{x1, x2,..., xD}
码字 ci x xi1 i2 xili
03:43
8
信道编码、密码
• 信道编码：
是以提高信息传输的可靠性为目的的编码。在信道 受干扰的情况下如何增加信号的抗干扰能力,同时又 使得信息传输率最大。通常通过增加信源的冗余度 来实现。采用的一般方法是增大码率/带宽。与信源 编码正好相反。
• 密码：
是以提高通信系统的安全性为目的的编码。通常通 过加密和解密来实现。从信息论的观点出发“加密” 可视为增熵的过程,“解密”可视为减熵的过程。
03:43
11
信源编码的分类
信源编码的分类：离散信源编码、连续信源编码和相 关信源编码三类
离散信源编码：独立信源编码，可做到无失真编 码； 连续信源编码：独立信源编码，只能做到限失真 信源编码； 相关信源编码：非独立信源编码。
03:43
12
信源编码的分类
• 冗余度压缩编码: 是可逆压缩，经编译码后可以无失真地恢复。 基本途径：压缩信源的冗余度，即 1) 去除码符号间的相关性； 2) 使码符号等概分布。
03:43
5
信源编码
• 信源编码的基本途径是什么?
信源编码的基本途径有两个，一是使序列中的各 个符号尽可能地互相独立，即解除相关性；二 是使编码中各个符号出现的概率尽可能地相等， 即概率均匀化。
• 信源编码的基础是什么?
信源编码的基础是：两个编码定理，即无 失真编码定理和限失真编码定理。
03:43
将信源符号集中的符号X（i 或者长为n的信源符号序
列）映射成由码符号xi 组成的长度为li 的一一对应的 码符号序列 ci 。
03:43
16
分组码
编码器输出的码符号序列 ci称为码字；长度 称li 为码 字长度，简称码长；全体码字的集合记为C。
将信源符号集中的每个信源符号 X依i 照固定的码表映
续信道）. • 第三极限定理:限失真信源编码定理.
03:43
4
信源编码
• 信源编码的主要任务是什么?
• 由于信源符号之间存在分布不均匀和相关性，使 得信源存在冗余度，信源编码的主要任务就是减少 冗余，提高编码效率。具体说，就是针对信源输出 符号序列的统计特性，寻找一定的方法把信源输出 符号序列变换为最短的码字序列。
6
信源编码
信源编码： 以提高通信有效性为目的,针对信源的编码.能更加有 效地传输、存储信息。
在不失真或允许一定失真条件下,如何用尽可能少 的符号来传送信源信息,以便提高信息传输率。通常通 过压缩信源的冗余度来实现。
采用的一般方法是压缩每个信源符号的平均比特数 或信源的码率。即同样多的信息用较少的码率传送,使 单位时间内传送的平均信息量增加,从而提高通信的有 效性。
03:43
9
信源编码包括两个功能：
（1）将信源符号变换成适合信道传输的符号；
（2） 压缩信源冗余度，提高传输效率。 提高传输效率往往削弱了其抗干扰能力。提高抗 干扰能力往往是以降低信息传输效率为代价。
03:43
10
信源编码
由信源的渐近等分性导出了信源编码定理： 只要编码的码率大于信源的熵（或熵率），则必存在 编译码方案,使当被编码的信源分组长趋于无穷时,译码 误差概率可以充分小,这解决了最优码的存在性问题。 怎样构造最优码？