第6章(2)-图像压缩编码_无损压缩编码(1)
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
4
6.3.1 无损压缩编码的概念
二、信息系统
信源通过信道与信宿(即信息用户)连通以传递自信息. 信源 信道 信宿
信源符号集：A = {a1, a2, …, aJ} 概率矢量：u = [P(a1) P(a2) … P(aJ )]T 用(A, u)可以完全描述信源.
P(a j ) 1
j 1
J
数据量为: 43*（3+8）=473(bit)
(92.38%)
18
6.3.2 无损压缩编码的类型
2. LZW编码
LZW：发明人(Lempel-Ziv-Welch) 减少像素间冗余 无损压缩 特点： 码字为固定长度 不需要符号出现概率的知识 是一种字典方法
19
LZW是一种比较复杂的压缩算法，压缩效率较高.
霍夫曼编码于1952年提出，是一种根据变长最佳编码定理 应用Huffman算法产生的信息无损熵编码。 在系统输入概率集合下，平均码字长度比其他任何唯一可 译码编码都小，是一种紧凑码。 原则：概率大的符号用短码字，概率小的用长码字.
① 将信源符号按概率从大到小排列； ② 将两个最小概率的信源符号进行组合相加，始终将较
8
例2：设信源X={a,b,c,d}，且：
p(a) 1 2, p(b) 1 4, p(c) p(d ) 1 8
求各符号自信息量、信源X的熵及采用码字(00,01,10, 11)和(0,10,110,111)进行编码的平均码长。
解： I (a) 1, I (b) 2, I (c) I (d ) 3
1 1 1 1 H ( X ) pi log2 pi 1 2 3 3 1.75 2 4 8 8 i 1 4 1 1 1 1 l p l 2 2 2 2 2 平均码长： avg i i 2 4 8 8 i 1 4 1 1 1 1 pi li 1 2 3 3 1.75 lavg 2 4 8 8 i 1
基本原理：
每一个第一次出现的字符串用一个数值来编码，再将这个
数值还原为字符串.
例如：用数值0x100代替字符串“abccddeee”，每当出现该
字符串时，都用0x100代替，从而起到了压缩作用.
数值与字符串的对应关系在压缩过程中动态生成并隐含在
压缩数据中，在解压缩时逐步得到恢复. LZW是无损的. GIF和Tiff图像都采用了这种压缩算法. 要注 意的是，LZW算法由Unisys公司在美国申请了专利，要使用 它首先要获得该公司的认可.
7
例1：设信源X={a,b,c,d}，且：
p(a) p(b) p(c) p(d ) 1 4
求各符号自信息量、信源X的熵及采用码字00,01, 10, 11进行编码的平均码长。 1 解： I (a) I (b) I (c) I (d ) log 2 2 4 4 1 1 1 1 H ( X ) pi log2 pi 2 2 2 2 2 4 4 4 4 i 1 平均码长： 4 1 1 1 1 lavg pi li 2 2 2 2 2 4 4 4 4 i 1
i 1
11
L
6.3.2 无损压缩编码的类型
行程编码 LZW编码 可变长最佳编码定理 霍夫曼编码 ( Huffman ) 香农－费诺编码 ( Shannon-Fano ) 算Baidu Nhomakorabea编码
12
6.3.2 无损压缩编码的类型
1. 行程编码(RLE编码)
行程编码是一种最简单的，在某些场合是非常有效
的无损压缩编码方法。
行程编码为:
（7，130），（2，130），（4，129），（2，130），（1，129）；（1，127）， （1，128），（1，127），（1，129），（1，131），（1，130），（1，132）， （2，134），（2，133），（1，132），（1，130），（1，129），（1，128）， （1，127），（1，128），（1，127），（1，128），（1，127），（1，125）， （1，126），（2，129），（1，127），（1，129），（1，133），（1，132）， （1，131），（1，129），（2，130），（1，129），（3，130），（1，129）， （1，130），（2，132），（2，131），（1，130），（1，126），（2，128）， （2，127）
17
128 127 129 131 129 131 128 127 128 127 128 132 126 129 129 127 129 133 125 128 128 126 130 131
如果按照方式(a)扫描的顺序排列的话，数据分布为：
130，130，130，130，130，130，130，130，130；129，129，129，129，130， 130，129；127，128，127，129，131，130，132，134，134；133，133，132， 130，129，128，127，128，127，128，127，125，126，129，129；127，129， 133，132，131，129，130，130；129，130，130，130，129，130，132，132； 131，131，130，126，128，128，127，127
25
(2) 对每个信源符号赋值 从（消减到）最小的信源开始，逐步回到初始信源.
初 始信 源 符号 a2 a6 a1 a4 a3 a5 概率 0.4 0.3 0.1 0.1 0.06 0.04 码字 1 00 011 0100 01010 01011 1 0.4 1 0.3 00 0.1 011 0.1 0100 0.1 0101 0.4 0.3 0.2 0.1 对 消减 信 源的 赋 值 2 1 00 010 011 3 0.4 1 0.3 00 0.3 01 4 0.6 0 0.4 1
9
4
6.3.1 无损压缩编码的概念
结论： 1、信源的平均码长大于等于信源的熵； 也即熵是无失真编码的下界；
2、如果I(xk)为整数，且l(xk)=I(xk)【码字长=自信息 量】，则平均码长等于信源的熵； 3、对于非等概分布的信源，采用不等长编码，其平 均码长小于等长编码的平均码长； 4、如果信源各符号等概率出现，则信源的熵达到 最大值； 5、二维图像信源的熵： H ps ( si ) (log2 ps ( si ))
5
6.3.1 无损压缩编码的概念
三、平均信息（信源熵）
产生信源符号的信息量： I(aj) = –log2P(aj)
信源平均信息（又称为信源熵）
H (u) P(a j ) log2 P(a j )
j 1 J
定义了观察到信源符号输出时所获得的 平均信息量.
6
平均码长: 令 l(ai)为符号ai的码长
Lavg P( i ) l ( i )
i 1
J
编码效率：
H (u ) 100% Lavg
信源无失真编码理论：Lavg≥H(u) （1） Lavg≥H(u)，总可以设计出某种无失真编码方法； （2） Lavg>>H(u)，表明效率很低，占用比特数太多； （3） Lavg≈H(u)，称为最佳编码； （4） Lavg<H(u)，丢失信息，图像失真。
第六章 图像压缩编码
图像压缩与编码
Image Compression and Coding 6.1 概述 6.2 图像编码的基本理论 6.3 无损压缩编码
6.4 限失真编码
6.5 二值图像编码 6.6 小波变换及在图像压缩编码中的应用
6.7 图像压缩国际标准简介
1
6.3 无损压缩编码
大的概率分支放在上部，直到只剩下两个概率为止； ③ 对每个信源符号赋值，从最小的信源开始，逐步回到 初始信源.
22
例
假定一幅图像共有6个灰度级a1, a2, a3, a4, a5, a6, 在 图像中出现的概率分别为0.1, 0.4, 0.06, 0.1, 0.04, 0.3, 试对各灰度级进行Huffman编码。
例：设重复次数为 iC, 重复像素值为 iP 编码为：iCiP 编码前：aaaaaaabbbbbbcccccccc 编码后：7a6b8c
14
对于有大面积色块的图像，压缩效果很好. 对于纷杂的图像，压缩效果不好，最坏情况下（图像中每两 个相邻点的颜色都不同 ），会使数据量加倍，所以现在单 纯采用行程编码的压缩算法用得并不多，PCX文件算是其中 之一.
I(E)称为E的自信息（随概率增加而减少）. 特例：P(E) = 1（即事件总发生），那么I(E) = 0. 信息的单位：
若a=e, 则为奈特（nature unit，nat）；
若a=10，则为哈特（hart，以纪念hartley）. 一般以2为底取对数，由此定义的信息量等于描述
该信息所用的最少二进制位数，单位为比特.
20
6.3.2 无损压缩编码的类型
3. 可变长最佳编码定理
在变长编码中，对出现概率大的符号赋予短码
字，而对出现概率小的符号赋予较长码字.
如果码字长度严格按照所对应符号出现概率大
小逆序排列，则此种编码的平均码字长度一定小 于其他任何形式编码的平均码字长度.
21
6.3.2 无损压缩编码的类型
4. 霍夫曼编码 ( Huffman )
一个信息若能传达给我们许多原来未知的内容，我们就认
为这个信息很有意义，信息量大；
反之，一个信息传达给我们的是已经确知的东西，则这个
传达就失去了意义，信息量为零.
所以，信息论中信息量是按该信息所传达事件的随机性来
度量的.
3
概率为P(E)的随机事件 E 的信息量 1 I ( E ) loga loga P( E ) P( E )
虽然这种编码方式的应用范围非常有限，但是因为
这种方法中所体现出的编码设计思想非常明确，所 以在图像编码方法中都会将其作为一种典型的方法 来介绍。
13
行程：具有相同灰度值的像素序列. 编码思想： 将一行中颜色值相同的相邻像素（行程）用一个计 数值（行程的长度）和该颜色值（行程的灰度）来 代替，从而去除像素冗余。
24
(1) 缩减信源符号数量 将信源符号按出现概率从大到小排列，然后选2个最小 的结合.
初始信源 符号 a2 a6 a1 a4 a3 a5 概率 0.4 0.3 0.1 0.1 0.06 0.04 1 0.4 0.3 0.1 0.1 0.1 信源的消减步骤 2 0.4 0.3 0.2 0.1 3 0.4 0.3 0.3 4 0.6 0.4
15
二维行程编码要解决的核心问题是：将二维排列的像素，采 用某种方式转化成一维排列的方式。之后按照一维行程编码 方式进行编码. 两种典型的二维行程编码的排列方式.
16
• 数据量：64*8=512(bit)
130 130 130 129 f 127 127 125 127 130 130 130 130 130 130 130 130 129 129 129 129 134 134 132 130 133 133 132 130 129 130 130 129 130 130 130 129 130 132 132 131
26
霍夫曼编码结果
平均长度
Lavg
L 1 k 0
l (sk ) ps (sk ) 0.4 1 0.3 2 0.1 (3 4 5) 2.2
无损压缩编码的基本概念
信息量 信息系统 平均信息（信源熵）
无损压缩编码类型
行程编码 LZW编码 可变长最佳编码定理 霍夫曼编码 ( Huffman ) 香农－费诺编码 ( Shannon-Fano ) 算术编码
2
6.3.1 无损压缩编码的概念
无损压缩在压缩后不丢失信息，即对图像的压缩编码解码 后可以不失真地恢复原图像. (或称无失真编码、信息保 持编码或熵保持编码)。 一、信息量
6.3.1 无损压缩编码的概念
二、信息系统
信源通过信道与信宿(即信息用户)连通以传递自信息. 信源 信道 信宿
信源符号集：A = {a1, a2, …, aJ} 概率矢量：u = [P(a1) P(a2) … P(aJ )]T 用(A, u)可以完全描述信源.
P(a j ) 1
j 1
J
数据量为: 43*（3+8）=473(bit)
(92.38%)
18
6.3.2 无损压缩编码的类型
2. LZW编码
LZW：发明人(Lempel-Ziv-Welch) 减少像素间冗余 无损压缩 特点： 码字为固定长度 不需要符号出现概率的知识 是一种字典方法
19
LZW是一种比较复杂的压缩算法，压缩效率较高.
霍夫曼编码于1952年提出，是一种根据变长最佳编码定理 应用Huffman算法产生的信息无损熵编码。 在系统输入概率集合下，平均码字长度比其他任何唯一可 译码编码都小，是一种紧凑码。 原则：概率大的符号用短码字，概率小的用长码字.
① 将信源符号按概率从大到小排列； ② 将两个最小概率的信源符号进行组合相加，始终将较
8
例2：设信源X={a,b,c,d}，且：
p(a) 1 2, p(b) 1 4, p(c) p(d ) 1 8
求各符号自信息量、信源X的熵及采用码字(00,01,10, 11)和(0,10,110,111)进行编码的平均码长。
解： I (a) 1, I (b) 2, I (c) I (d ) 3
1 1 1 1 H ( X ) pi log2 pi 1 2 3 3 1.75 2 4 8 8 i 1 4 1 1 1 1 l p l 2 2 2 2 2 平均码长： avg i i 2 4 8 8 i 1 4 1 1 1 1 pi li 1 2 3 3 1.75 lavg 2 4 8 8 i 1
基本原理：
每一个第一次出现的字符串用一个数值来编码，再将这个
数值还原为字符串.
例如：用数值0x100代替字符串“abccddeee”，每当出现该
字符串时，都用0x100代替，从而起到了压缩作用.
数值与字符串的对应关系在压缩过程中动态生成并隐含在
压缩数据中，在解压缩时逐步得到恢复. LZW是无损的. GIF和Tiff图像都采用了这种压缩算法. 要注 意的是，LZW算法由Unisys公司在美国申请了专利，要使用 它首先要获得该公司的认可.
7
例1：设信源X={a,b,c,d}，且：
p(a) p(b) p(c) p(d ) 1 4
求各符号自信息量、信源X的熵及采用码字00,01, 10, 11进行编码的平均码长。 1 解： I (a) I (b) I (c) I (d ) log 2 2 4 4 1 1 1 1 H ( X ) pi log2 pi 2 2 2 2 2 4 4 4 4 i 1 平均码长： 4 1 1 1 1 lavg pi li 2 2 2 2 2 4 4 4 4 i 1
i 1
11
L
6.3.2 无损压缩编码的类型
行程编码 LZW编码 可变长最佳编码定理 霍夫曼编码 ( Huffman ) 香农－费诺编码 ( Shannon-Fano ) 算Baidu Nhomakorabea编码
12
6.3.2 无损压缩编码的类型
1. 行程编码(RLE编码)
行程编码是一种最简单的，在某些场合是非常有效
的无损压缩编码方法。
行程编码为:
（7，130），（2，130），（4，129），（2，130），（1，129）；（1，127）， （1，128），（1，127），（1，129），（1，131），（1，130），（1，132）， （2，134），（2，133），（1，132），（1，130），（1，129），（1，128）， （1，127），（1，128），（1，127），（1，128），（1，127），（1，125）， （1，126），（2，129），（1，127），（1，129），（1，133），（1，132）， （1，131），（1，129），（2，130），（1，129），（3，130），（1，129）， （1，130），（2，132），（2，131），（1，130），（1，126），（2，128）， （2，127）
17
128 127 129 131 129 131 128 127 128 127 128 132 126 129 129 127 129 133 125 128 128 126 130 131
如果按照方式(a)扫描的顺序排列的话，数据分布为：
130，130，130，130，130，130，130，130，130；129，129，129，129，130， 130，129；127，128，127，129，131，130，132，134，134；133，133，132， 130，129，128，127，128，127，128，127，125，126，129，129；127，129， 133，132，131，129，130，130；129，130，130，130，129，130，132，132； 131，131，130，126，128，128，127，127
25
(2) 对每个信源符号赋值 从（消减到）最小的信源开始，逐步回到初始信源.
初 始信 源 符号 a2 a6 a1 a4 a3 a5 概率 0.4 0.3 0.1 0.1 0.06 0.04 码字 1 00 011 0100 01010 01011 1 0.4 1 0.3 00 0.1 011 0.1 0100 0.1 0101 0.4 0.3 0.2 0.1 对 消减 信 源的 赋 值 2 1 00 010 011 3 0.4 1 0.3 00 0.3 01 4 0.6 0 0.4 1
9
4
6.3.1 无损压缩编码的概念
结论： 1、信源的平均码长大于等于信源的熵； 也即熵是无失真编码的下界；
2、如果I(xk)为整数，且l(xk)=I(xk)【码字长=自信息 量】，则平均码长等于信源的熵； 3、对于非等概分布的信源，采用不等长编码，其平 均码长小于等长编码的平均码长； 4、如果信源各符号等概率出现，则信源的熵达到 最大值； 5、二维图像信源的熵： H ps ( si ) (log2 ps ( si ))
5
6.3.1 无损压缩编码的概念
三、平均信息（信源熵）
产生信源符号的信息量： I(aj) = –log2P(aj)
信源平均信息（又称为信源熵）
H (u) P(a j ) log2 P(a j )
j 1 J
定义了观察到信源符号输出时所获得的 平均信息量.
6
平均码长: 令 l(ai)为符号ai的码长
Lavg P( i ) l ( i )
i 1
J
编码效率：
H (u ) 100% Lavg
信源无失真编码理论：Lavg≥H(u) （1） Lavg≥H(u)，总可以设计出某种无失真编码方法； （2） Lavg>>H(u)，表明效率很低，占用比特数太多； （3） Lavg≈H(u)，称为最佳编码； （4） Lavg<H(u)，丢失信息，图像失真。
第六章 图像压缩编码
图像压缩与编码
Image Compression and Coding 6.1 概述 6.2 图像编码的基本理论 6.3 无损压缩编码
6.4 限失真编码
6.5 二值图像编码 6.6 小波变换及在图像压缩编码中的应用
6.7 图像压缩国际标准简介
1
6.3 无损压缩编码
大的概率分支放在上部，直到只剩下两个概率为止； ③ 对每个信源符号赋值，从最小的信源开始，逐步回到 初始信源.
22
例
假定一幅图像共有6个灰度级a1, a2, a3, a4, a5, a6, 在 图像中出现的概率分别为0.1, 0.4, 0.06, 0.1, 0.04, 0.3, 试对各灰度级进行Huffman编码。
例：设重复次数为 iC, 重复像素值为 iP 编码为：iCiP 编码前：aaaaaaabbbbbbcccccccc 编码后：7a6b8c
14
对于有大面积色块的图像，压缩效果很好. 对于纷杂的图像，压缩效果不好，最坏情况下（图像中每两 个相邻点的颜色都不同 ），会使数据量加倍，所以现在单 纯采用行程编码的压缩算法用得并不多，PCX文件算是其中 之一.
I(E)称为E的自信息（随概率增加而减少）. 特例：P(E) = 1（即事件总发生），那么I(E) = 0. 信息的单位：
若a=e, 则为奈特（nature unit，nat）；
若a=10，则为哈特（hart，以纪念hartley）. 一般以2为底取对数，由此定义的信息量等于描述
该信息所用的最少二进制位数，单位为比特.
20
6.3.2 无损压缩编码的类型
3. 可变长最佳编码定理
在变长编码中，对出现概率大的符号赋予短码
字，而对出现概率小的符号赋予较长码字.
如果码字长度严格按照所对应符号出现概率大
小逆序排列，则此种编码的平均码字长度一定小 于其他任何形式编码的平均码字长度.
21
6.3.2 无损压缩编码的类型
4. 霍夫曼编码 ( Huffman )
一个信息若能传达给我们许多原来未知的内容，我们就认
为这个信息很有意义，信息量大；
反之，一个信息传达给我们的是已经确知的东西，则这个
传达就失去了意义，信息量为零.
所以，信息论中信息量是按该信息所传达事件的随机性来
度量的.
3
概率为P(E)的随机事件 E 的信息量 1 I ( E ) loga loga P( E ) P( E )
虽然这种编码方式的应用范围非常有限，但是因为
这种方法中所体现出的编码设计思想非常明确，所 以在图像编码方法中都会将其作为一种典型的方法 来介绍。
13
行程：具有相同灰度值的像素序列. 编码思想： 将一行中颜色值相同的相邻像素（行程）用一个计 数值（行程的长度）和该颜色值（行程的灰度）来 代替，从而去除像素冗余。
24
(1) 缩减信源符号数量 将信源符号按出现概率从大到小排列，然后选2个最小 的结合.
初始信源 符号 a2 a6 a1 a4 a3 a5 概率 0.4 0.3 0.1 0.1 0.06 0.04 1 0.4 0.3 0.1 0.1 0.1 信源的消减步骤 2 0.4 0.3 0.2 0.1 3 0.4 0.3 0.3 4 0.6 0.4
15
二维行程编码要解决的核心问题是：将二维排列的像素，采 用某种方式转化成一维排列的方式。之后按照一维行程编码 方式进行编码. 两种典型的二维行程编码的排列方式.
16
• 数据量：64*8=512(bit)
130 130 130 129 f 127 127 125 127 130 130 130 130 130 130 130 130 129 129 129 129 134 134 132 130 133 133 132 130 129 130 130 129 130 130 130 129 130 132 132 131
26
霍夫曼编码结果
平均长度
Lavg
L 1 k 0
l (sk ) ps (sk ) 0.4 1 0.3 2 0.1 (3 4 5) 2.2
无损压缩编码的基本概念
信息量 信息系统 平均信息（信源熵）
无损压缩编码类型
行程编码 LZW编码 可变长最佳编码定理 霍夫曼编码 ( Huffman ) 香农－费诺编码 ( Shannon-Fano ) 算术编码
2
6.3.1 无损压缩编码的概念
无损压缩在压缩后不丢失信息，即对图像的压缩编码解码 后可以不失真地恢复原图像. (或称无失真编码、信息保 持编码或熵保持编码)。 一、信息量