限失真信源编码定理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
14
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
15
5.4.1 游程编码
❖多元序列也存在相应的游程序列 ❖多元序列变换成游程序列再进行压缩编码没
有多大意义 ❖游程编码只适用于二元序列，对于多元信源，
• 连“0”这一段称为“0”游程,它的长度称为游程长 度L(0)；
• 连“1”这一段称为“1”游程,它的游程长度用L(1) 表示。
12
5.4.1 游程编码
❖ 二元独立序列游程长度概率
❖ 若规定二元序列总是从“0”开始,第一个游程是 “0”游程,则第二个游程必为“1”游程,第三个又是 “0”游程……。
❖ 对于随机序列,游程长度是随机的其取值可为 1,2,3,…，直至无穷。
❖ 游程长度序列/游程序列：用交替出现的“0”游程 和“1”游程长度表示任意二元序列。
❖ 游程变换：
是一种一一对应的变换,也是可逆变换。
例如：二元序列000101110010001…
可变换成如下游程序列 31132131
13
5.4.1 游程编码
2
限失真信源编码定理
❖ 限失真信源编码定理：
❖ 设离散无记忆信源X的信息率失真函数为R(D) , 当信息率 R＞R(D)时,只要信源序列长度 L 足够 长,一定存在一种编码方法,其译码失真小于或等 于 D+ε,ε为任意小的正数； 反之,若R＜R(D) ,则无论采用什么样的编码方法, 其译码失真必大于D。
一般不能直接利用游程编码
16
5.4.1 游程编码
• 冗余位编码—游程编码在多元信源的应用
如下多元序列 x1 ， x2 ， … ， xm1 ， y ， y ， … ， y ， x m1+1 ， xm1+2，…x m2，y，y，… 可以用下面序列表示
111，…，100，…，000111，…，111000 x1，x2，…，xm1，x m1+1，x m1+2…x 2，… 1表示信息位，0表示冗余位
❖ 游程长度编码是一种十分简单的压缩方法，编码／ 解码的速度也非常快，因此得到了广泛的应用。许 多图形和视频文件，如BMP，TIF及AVI等，都采 用了这种压缩方法，尤其适用于文本(文件)数据压 缩，它主要是去除文本中的冗余字符或字节中的冗 余位以达到减少数据文件所占的存储空间的目的。
10
5.4.1游程编码
❖ 如是二元信源,则对于任意小的ε＞0,每一个信源符 号的平均码长满足如下公式：
3
限失真信源编码定理
在失真限度内使信息率任意接近R(D)的编码方 法存在。然而，要使信息率小于R(D)，平均失 真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编 码，在限失真情况下，有与上述定理一样的编 码定理。
限失真信源编码定理
❖ 在本章一开始我们就分析了在很多实际信源 中,特别在模拟的连续信源中,无失真要求是完 全没有必要的,而且也是达不到的。
❖ 在实际中限失真信源是具有现实意义的
1
限失真信源编码定理
信息率失真函数给出了失真小于D时所必须具 有的最小信息率R(D)； 只要信息率大于R(D)，一定可以找到一种编码， 使译码后的失真小于D。
17
传真编码
• 文件传真的基本特性
4
限失真信源编码定理
限失真信源编码定理只能说明最佳编码是存在 的，而具体构造编码方法却一无所知。因而就 不能象无损编码那样从证明过程中引出概率匹 配的编码方法。一般只能从优化的思路去求最 佳编码。实际上迄今尚无合适的可实现的编码 方法可接近R(D)这个界。
5
限失真信源编码定理
在实际应用中，该定理主要存在以下两大类问题：
❖ 游程变换减弱了原序列符号间的相关性。 ❖ 游程变换将二元序列变换成了多元序列； ❖ 这样就适合于用其他方法,如哈夫曼编码,进一步
压缩信源,提高通信效率。 ❖ 编码方法：
首先测定“0”游程长度和“1”游程长度的概率 分布,即以游程长度为元素,构造一个新的信源；
对新的信源(游程序列)进行哈夫曼编码。
254
255
256
168
208
211
207
212
210
210
169
208
206
210
210
209
211
170
209
207
211
208
209
210
171
209
207
210
211
210
211
172
210
209
211
211
210
211
173
210
210
211
211
208
210
174
211
211
211
212
• 第一类问题是,符合实际信源的R(D)函数的计算相 当困难。 •第二类问题是，即便求得了符合实际的信息率失真 函数，还需研究采用何种实用的最佳编码方法才能 达到R(D)。
6
5.4 常用信源编码方法简介
7
5.4.1 游程编码-Lenna Picture
8
Lenna图中的灰度序列
251
252
253
5.4.1 游程编码
❖ 理论上来说游程长度可从1到无穷。要建立游程长 度和码字之间的一一对应的码表是困难的。一般 情况下，游程越长，出现的概率就越小；当游程 长度趋向于无穷时，出现的概率也趋向于0。
❖ 按哈夫曼码的编码规则，概率越小码字越长，但 小概率的码字对平均码长影响较小，在实际应用 时常对长码采用截断处理的方法
• 香农编码、费诺编码、哈夫曼编码主要是针 对无记忆信源。
• 当信源有记忆时上述编码效率不高；
• 游程编码对相关信源编码更有效； • 香农编码、费诺编码、哈夫曼编码属于无失
真信源编码； • 游程编码属于限失真信源编码。
11
5.4.1 游程编码
• 游程：
• 数字序列中连续出现相同符号的一段。 • 二元序列的游程：只有“0”和“1”两种符号。
210
211
175
211
209
211
211
211
211
176
216
211
212
210
211
210
177
212
211
210
211
212
210
178
211
209
209
211
210
209
179
209
207
208
208
208
205
9
5.4.un-Length Encoding）表 示。该压缩编码技术相当直观和经济，运算也相当 简单，因此解压缩速度很快。RLE压缩编码尤其适 用于计算机生成的图形图像，对减少存储容量很有 效。
❖ 选取一个适当的n值，游程长度为1,2,…,2n-1, 2n， 所有大于2n 者都按2n 来处理。然后按照哈夫曼码 的编码规则，将上列2n 种概率从大到小排队，构 成码树并得到相应的码字。
15
5.4.1 游程编码
❖多元序列也存在相应的游程序列 ❖多元序列变换成游程序列再进行压缩编码没
有多大意义 ❖游程编码只适用于二元序列，对于多元信源，
• 连“0”这一段称为“0”游程,它的长度称为游程长 度L(0)；
• 连“1”这一段称为“1”游程,它的游程长度用L(1) 表示。
12
5.4.1 游程编码
❖ 二元独立序列游程长度概率
❖ 若规定二元序列总是从“0”开始,第一个游程是 “0”游程,则第二个游程必为“1”游程,第三个又是 “0”游程……。
❖ 对于随机序列,游程长度是随机的其取值可为 1,2,3,…，直至无穷。
❖ 游程长度序列/游程序列：用交替出现的“0”游程 和“1”游程长度表示任意二元序列。
❖ 游程变换：
是一种一一对应的变换,也是可逆变换。
例如：二元序列000101110010001…
可变换成如下游程序列 31132131
13
5.4.1 游程编码
2
限失真信源编码定理
❖ 限失真信源编码定理：
❖ 设离散无记忆信源X的信息率失真函数为R(D) , 当信息率 R＞R(D)时,只要信源序列长度 L 足够 长,一定存在一种编码方法,其译码失真小于或等 于 D+ε,ε为任意小的正数； 反之,若R＜R(D) ,则无论采用什么样的编码方法, 其译码失真必大于D。
一般不能直接利用游程编码
16
5.4.1 游程编码
• 冗余位编码—游程编码在多元信源的应用
如下多元序列 x1 ， x2 ， … ， xm1 ， y ， y ， … ， y ， x m1+1 ， xm1+2，…x m2，y，y，… 可以用下面序列表示
111，…，100，…，000111，…，111000 x1，x2，…，xm1，x m1+1，x m1+2…x 2，… 1表示信息位，0表示冗余位
❖ 游程长度编码是一种十分简单的压缩方法，编码／ 解码的速度也非常快，因此得到了广泛的应用。许 多图形和视频文件，如BMP，TIF及AVI等，都采 用了这种压缩方法，尤其适用于文本(文件)数据压 缩，它主要是去除文本中的冗余字符或字节中的冗 余位以达到减少数据文件所占的存储空间的目的。
10
5.4.1游程编码
❖ 如是二元信源,则对于任意小的ε＞0,每一个信源符 号的平均码长满足如下公式：
3
限失真信源编码定理
在失真限度内使信息率任意接近R(D)的编码方 法存在。然而，要使信息率小于R(D)，平均失 真一定会超过失真限度D。 对于连续平稳无记忆信源，无法进行无失真编 码，在限失真情况下，有与上述定理一样的编 码定理。
限失真信源编码定理
❖ 在本章一开始我们就分析了在很多实际信源 中,特别在模拟的连续信源中,无失真要求是完 全没有必要的,而且也是达不到的。
❖ 在实际中限失真信源是具有现实意义的
1
限失真信源编码定理
信息率失真函数给出了失真小于D时所必须具 有的最小信息率R(D)； 只要信息率大于R(D)，一定可以找到一种编码， 使译码后的失真小于D。
17
传真编码
• 文件传真的基本特性
4
限失真信源编码定理
限失真信源编码定理只能说明最佳编码是存在 的，而具体构造编码方法却一无所知。因而就 不能象无损编码那样从证明过程中引出概率匹 配的编码方法。一般只能从优化的思路去求最 佳编码。实际上迄今尚无合适的可实现的编码 方法可接近R(D)这个界。
5
限失真信源编码定理
在实际应用中，该定理主要存在以下两大类问题：
❖ 游程变换减弱了原序列符号间的相关性。 ❖ 游程变换将二元序列变换成了多元序列； ❖ 这样就适合于用其他方法,如哈夫曼编码,进一步
压缩信源,提高通信效率。 ❖ 编码方法：
首先测定“0”游程长度和“1”游程长度的概率 分布,即以游程长度为元素,构造一个新的信源；
对新的信源(游程序列)进行哈夫曼编码。
254
255
256
168
208
211
207
212
210
210
169
208
206
210
210
209
211
170
209
207
211
208
209
210
171
209
207
210
211
210
211
172
210
209
211
211
210
211
173
210
210
211
211
208
210
174
211
211
211
212
• 第一类问题是,符合实际信源的R(D)函数的计算相 当困难。 •第二类问题是，即便求得了符合实际的信息率失真 函数，还需研究采用何种实用的最佳编码方法才能 达到R(D)。
6
5.4 常用信源编码方法简介
7
5.4.1 游程编码-Lenna Picture
8
Lenna图中的灰度序列
251
252
253