第6章节 图像编码
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
3
图像的编码质量评价
客观评价准则 常用的准则有均方误差、均方根误差、均方信噪比、 基本信噪比和峰值信噪比
均方误差
Emse
1 NM
2 ˆ [ f (i, j) f (i, j)] i 1 j 1
N
M
均方根误差
Erms [ Emse ]
1/ 2
4
图像的编码质量评价
客观评价准则
令
1 f NM
17
离散信源的熵表示
考虑有记忆信源X（1阶马尔可夫信源 ） 条件概率 条件概率
P( xi / xi 1 )
P( xi , xi 1 )
P( xi , xi 1 ) P( xi ) P( xi / xi 1 )
N N
1阶熵
H ( xi / xi 1 ) P( xi , xi 1 ) log2 P( xi / xi 1 )
香农信息论已证明，信源熵是进行无失真编码的理论极限。低于 此极限的无失真编码方法是不存在的，这是熵编码的理论基础。 而且可以证明，考虑像素间的相关性，使用高阶熵一定可以获得 更高的压缩比。
2．变长编码定理
变长编码定义：对于一个无记忆离散信源中每一个符号，若采 用相同长度的不同码字代表相应符号，就叫做等长编码，例如 中国4位电报码。若对信源中的不同符号，用不同长度的码字表 示就叫做不等长或变长编码。 与定长编码相比，变长编码更复杂，除唯一可译码（也称为单 义可译）的要求，还存在即时解码问题。
14
离散信源的熵表示
例 6 。2
两种编码方法：
1、a,b,c,d用码字00,01,10,11来编码
平均码长： l
avg
1/ 2 * 2 1/ 4 * 2 1/ 8 * 2 1/ 8 * 2 2
平均码长大于信源的熵
2、 a,b,c,d分别用码字0,10,110,111来编码
平均码长：l avg
S3
S4 S5
0.15
0.15 0.125
5
110
101 100
3
3 3
编码后均码长 图像熵
L p( si )li 2.2
i 1
H(X )
p(s ) log p(s ) 2.1649
i i i 1
25
5
Huffman编码
特点
Huffman编码的特点是： （ 1 ） Huffman 编码构造程序是明确的，但编出的码不是 唯一的，其原因之一是两个概率分配码字“ 0 ”和“ 1 ” 是任意选择的（大概率为“ 0 ”，小概率为“ 1 ”，或者 反之）。第二原因是在排序过程中两个概率相等，谁前 谁后也是随机的。这样编出的码字就不是唯一的。 （ 2 ） Huffman 编码结果，码字不等长，平均码字最短， 效率最高，但码字长短不一，实时硬件实现很复杂（特 别是译码），而且在抗误码能力方面也比较差。
符号 00 01 10 概率 0.1 0.4 0.2 初始编码间隔 [0, 0.1) [0.1, 0.5) [0.5, 0.7)
11 0.3 [0.7, 1)
如果二进制消息序列的输入为：10 00 11 00 10 11 01。
20
离散信源编码定理
变长编码定理：若一个离散无记忆信源具有熵，并有个 码元符号集，则总可以找到一种无失真信源编码，构 成单义可译码，使其平均码长满足：
H(X ) H(X ) L 1 log r log r
当r=2
H(X ) L H(X ) 1
21
离散信源编码定理
3．变长最佳编码定理
则，各信源符号自信息量：
p( d ) 1 / 8
I (a) log 2 2 1, I (b) log 2 4 2, I (c) I (d ) log 2 8 3
信源熵
H ( X ) 1 / 2 *1 1 / 4 * 2 1 / 8 * 3 1 / 8 * 3 1.75
信源熵H(X)
H ( X ) pi log2 pi
i 1
12
N
离散信源的熵表示
例 6 。1
设
X {a, b, c, d}
p(a) p(b) p(c) p(d ) 1 / 4
则，各信源符号自信息量：
I (a) I (b) I (c) I (d ) log2 4 2
平均感觉分MOS的主观评价可定义
MOS
nC
i 1 k i
k
i
n
i 1
i
MOS得分越高，解码后图像的主观评价好
8
图像的编码质量评价
压缩比 设n1为原始图像每个像素的平均比特数 n2为编码后每个像素的平均比特数
则压缩比：
n1 CR n2
压缩比越大压缩效果越好
9
6.2 信息理论基础与熵编码
23
Huffman编码
例 6 。5
一幅20×20的图像共有5个灰度级：s1,s2,s3,s4,和 s5， 它们的概率依次为0.4,0.175,0.15,0.15和 0.125。
Huffman编码过程示意图
24
Huffman编码
结果
信源符号 s1 S2 出现概率 0.4 0.175 码字 0 111 码长 1 3
I (a) 1.152,I (b) 2, I (c) 2.4739 , I (d ) 3.0589
信源熵
H ( X ) 0.45*1.152 0.25* 2 0.18* 2.4739 0.12 * 3.0589 1.8308
用例7.2第二种编码方法 ，平均码长1.85大于信源熵
信源熵
H ( X ) 1/ 4 * 2 1/ 4 * 2 1/ 4 * 2 1/ 4 * 2 2
编码方法：a,b,c,d用码字00,01,10,11来编码,每个符号用2个比
特。平均码长也是2比特。
13
离散信源的熵表示
例 6 。2
设
X {a, b, c, d}
p(a) 1 / 2, p(b) 1 / 4, p(c) 1 / 8,
在变长编码中，对出现概率大的信息符号赋予
短码字，而对于出现概率小的信息符号赋予长码字。
如果码字长度严格按照所对应符号出现概率大小逆 序排列，则编码结果平均码字长度一定小于任何其 他排列形式.
22
Huffman编码
根据变长最佳编码定理，Huffman编码步骤如下：
（1）将信源符号xi按其出现的概率，由大到小顺序排列。 （2）将两个最小的概率的信源符号进行组合相加，并重复这一步骤， 始终将较大的概率分支放在上部，直到只剩下一个信源符号且概率达 到1.0为止； （3）对每对组合的上边一个指定为1 ，下边一个指定为0（或相反： 对上边一个指定为0，下边一个指定为1）； （4）画出由每个信源符号到概率1.0处的路径，记下沿路径的1和0； （5）对于每个信源符号都写出1、0 序列，则从右到左就得到非等长 的Huffman码。
就越小，当区间变小时，就需要更多的数位来表示这个区间。
采用算术编码每个符号的平均编码长度可以为小数。
31
算术编码
例6。7 假设信源符号为{00, 01, 10, 11}，这些符号的概率分别为 { 0.1, 0.4, 0.2, 0.3 }，根据这些概率可把间隔[0, 1)分成4个子间 隔：[0, 0.1), [0.1, 0.5), [0.5, 0.7), [0.7, 1) 。
f (i, j)
i 1 j 1
N
M
均方信噪比
SNR
ˆ (i, j )]2 [ f ( i , j ) f
i 1 j 1
N
i 1 j 1 M
2 [ f ( i , j )]
N
M
5
图像的编码质量评价
客观评价准则
基本信噪比
设
N M 2 [ f (i, j ) f ] i 1 j 1 SNR 10lg N M 2 ˆ [ f (i, j ) f (i, j )] i 1 j 1 k f max 2 1 2 NMf max PSNR 10 lg N M 2 ˆ [ f (i, j ) f (i, j )] i 1 j 1
27
Shannon-Fano编码
根据变长最佳编码定理，Shannon-Fano编码步骤如下：
（1）将信源中符号xi按其出现的概率，由大到小顺序排 列。 （2）将信源分成两部分，使两个部分的概率和尽可能接 近。重复第（2）步直至不可再分，即每一个叶子只对应 一个符号。 （3）从左到右次次为这两部分标记0，1。 （4）将各个部分标记的0，1串接起来就得到各信源符号 所对应的码字
10
离散信源的熵表示
设一个离散信源X： 其概率分布：
( x1 , x2 ,, x N ) { p1 , p2 ,, p N }
无记忆信源
满足
p
i 1
N
i
1
离散信源类型 有记忆信源
11
离散信源的熵表示
考虑无记忆信源X ，某个信源符号xk，如果它出现的概率是pk
xk的自信息量
1 I ( xk ) log log p k pk
i 1
30
算术编码
算术编码不是将单个信源符号映射成一个码字，而是把整
个信源表示为实数线上的0到1之间的一个区间（Interval）， 其长度等于该序列的概率，再在该区间内选择一个代表性的小 数，转化为二进制作为实际的编码输出。消息序列中的每个元 素都要缩短为一个区间。消息序列中元素越多，所得到的区间
第六章 图像编码
1
6.1
概
述源自文库
2
图像数据的冗余
一般来说，图像数据中存在以下几种冗余： 1、空间冗余： 2、时间冗余： 3、结构冗余： 4、信息熵冗余： 5、知识冗余： 6、视觉冗余：灰度等级，我们把这类冗余称为视觉冗 既然图像数图像数据中存在信息冗余，就有可能对图像数 据量进行压缩，针对数据冗余的类型不同，可以有多种不同的 数据压缩方法，本章将讨论各种压缩方法。
lavg 0.45*1 0.25* 2 0.18* 3 0.12* 3 1.85
16
离散信源的熵表示
可得到几点提示：
信源的平均码长lavg>=H(X)；也就是说熵是无失真编码的下界。 如果所有I(xk)都是整数，且l(xk)=I(xk),可以使平均码长等于熵。 对非等概率分布的信源，采用不等长编码其平均码长小于等长编 码的平均码长。 如果信源中各符号的出现概率相等，信源熵值达到最大，这就是 重要的最大离散熵定理。
28
Shannon-Fano编码
例 6 。6
Shannon-Fano编码过程示意图
29
Shannon-Fano编码
结果
灰度级 s1 S2 S3 出现概率 0.4 0.175 0,15 码字 00 01 10 码长 2 2 2
S4
S5
0.15
0.125
5
110
111
3
3
编码后均码长
L p( si )li 2.275
i 1 i 1
18
离散信源的熵表示
对m阶马尔可夫信源，可以证明：
H 0 () H1 () H m () H m1() H ()
结论：对于有记忆信源，如果符号序列中前面的符
号知道得越多，那么下一个符号的平均信息量就越 小
19
离散信源编码定理
1．香农信息保持编码定理
1/ 2 *1 1/ 4 * 2 1/ 8 * 3 1/ 8 * 3 1.75
平均码长等于信源的熵
15
离散信源的熵表示
例 6 。3
设
X {a, b, c, d}
p(a) 0.45, p(b) 0.25, p(c) 0.18, p(d ) 0.12
则，各信源符号自信息量：
峰值信噪比
6
图像的编码质量评价
主观评价准则
对图像质量的主观评分标准
得分 5 4 3 2 1 第一种评价标准 优秀 良好 可用 较差 差 第二种评价标准 没有失真的感觉 感觉到失真，但没有不舒服 的感觉 感觉有点没舒服 感觉较差 感觉非常不舒服
7
图像的编码质量评价
主观评价准则
设每一种得分为Ci，每一种得分的评分人数为ni
26
Huffman编码
特点
（3）Huffman编码的信源概率是2的负幂时，效率达 100%，但是对等概率分布的信源，产生定长码，效 率最低，因此编码效率与信源符号概率分布相关， 故Huffman编码依赖于信源统计特性，编码前必须有 信源这方面的先验知识，这往往限制了哈夫曼编码 的应用。 （ 4 ） Huffman 编码只能用近似的整数位来表示单个 符号，而不是理想的小数，这也是Huffman编码无法 达到最理想的压缩效果的原因。
图像的编码质量评价
客观评价准则 常用的准则有均方误差、均方根误差、均方信噪比、 基本信噪比和峰值信噪比
均方误差
Emse
1 NM
2 ˆ [ f (i, j) f (i, j)] i 1 j 1
N
M
均方根误差
Erms [ Emse ]
1/ 2
4
图像的编码质量评价
客观评价准则
令
1 f NM
17
离散信源的熵表示
考虑有记忆信源X（1阶马尔可夫信源 ） 条件概率 条件概率
P( xi / xi 1 )
P( xi , xi 1 )
P( xi , xi 1 ) P( xi ) P( xi / xi 1 )
N N
1阶熵
H ( xi / xi 1 ) P( xi , xi 1 ) log2 P( xi / xi 1 )
香农信息论已证明，信源熵是进行无失真编码的理论极限。低于 此极限的无失真编码方法是不存在的，这是熵编码的理论基础。 而且可以证明，考虑像素间的相关性，使用高阶熵一定可以获得 更高的压缩比。
2．变长编码定理
变长编码定义：对于一个无记忆离散信源中每一个符号，若采 用相同长度的不同码字代表相应符号，就叫做等长编码，例如 中国4位电报码。若对信源中的不同符号，用不同长度的码字表 示就叫做不等长或变长编码。 与定长编码相比，变长编码更复杂，除唯一可译码（也称为单 义可译）的要求，还存在即时解码问题。
14
离散信源的熵表示
例 6 。2
两种编码方法：
1、a,b,c,d用码字00,01,10,11来编码
平均码长： l
avg
1/ 2 * 2 1/ 4 * 2 1/ 8 * 2 1/ 8 * 2 2
平均码长大于信源的熵
2、 a,b,c,d分别用码字0,10,110,111来编码
平均码长：l avg
S3
S4 S5
0.15
0.15 0.125
5
110
101 100
3
3 3
编码后均码长 图像熵
L p( si )li 2.2
i 1
H(X )
p(s ) log p(s ) 2.1649
i i i 1
25
5
Huffman编码
特点
Huffman编码的特点是： （ 1 ） Huffman 编码构造程序是明确的，但编出的码不是 唯一的，其原因之一是两个概率分配码字“ 0 ”和“ 1 ” 是任意选择的（大概率为“ 0 ”，小概率为“ 1 ”，或者 反之）。第二原因是在排序过程中两个概率相等，谁前 谁后也是随机的。这样编出的码字就不是唯一的。 （ 2 ） Huffman 编码结果，码字不等长，平均码字最短， 效率最高，但码字长短不一，实时硬件实现很复杂（特 别是译码），而且在抗误码能力方面也比较差。
符号 00 01 10 概率 0.1 0.4 0.2 初始编码间隔 [0, 0.1) [0.1, 0.5) [0.5, 0.7)
11 0.3 [0.7, 1)
如果二进制消息序列的输入为：10 00 11 00 10 11 01。
20
离散信源编码定理
变长编码定理：若一个离散无记忆信源具有熵，并有个 码元符号集，则总可以找到一种无失真信源编码，构 成单义可译码，使其平均码长满足：
H(X ) H(X ) L 1 log r log r
当r=2
H(X ) L H(X ) 1
21
离散信源编码定理
3．变长最佳编码定理
则，各信源符号自信息量：
p( d ) 1 / 8
I (a) log 2 2 1, I (b) log 2 4 2, I (c) I (d ) log 2 8 3
信源熵
H ( X ) 1 / 2 *1 1 / 4 * 2 1 / 8 * 3 1 / 8 * 3 1.75
信源熵H(X)
H ( X ) pi log2 pi
i 1
12
N
离散信源的熵表示
例 6 。1
设
X {a, b, c, d}
p(a) p(b) p(c) p(d ) 1 / 4
则，各信源符号自信息量：
I (a) I (b) I (c) I (d ) log2 4 2
平均感觉分MOS的主观评价可定义
MOS
nC
i 1 k i
k
i
n
i 1
i
MOS得分越高，解码后图像的主观评价好
8
图像的编码质量评价
压缩比 设n1为原始图像每个像素的平均比特数 n2为编码后每个像素的平均比特数
则压缩比：
n1 CR n2
压缩比越大压缩效果越好
9
6.2 信息理论基础与熵编码
23
Huffman编码
例 6 。5
一幅20×20的图像共有5个灰度级：s1,s2,s3,s4,和 s5， 它们的概率依次为0.4,0.175,0.15,0.15和 0.125。
Huffman编码过程示意图
24
Huffman编码
结果
信源符号 s1 S2 出现概率 0.4 0.175 码字 0 111 码长 1 3
I (a) 1.152,I (b) 2, I (c) 2.4739 , I (d ) 3.0589
信源熵
H ( X ) 0.45*1.152 0.25* 2 0.18* 2.4739 0.12 * 3.0589 1.8308
用例7.2第二种编码方法 ，平均码长1.85大于信源熵
信源熵
H ( X ) 1/ 4 * 2 1/ 4 * 2 1/ 4 * 2 1/ 4 * 2 2
编码方法：a,b,c,d用码字00,01,10,11来编码,每个符号用2个比
特。平均码长也是2比特。
13
离散信源的熵表示
例 6 。2
设
X {a, b, c, d}
p(a) 1 / 2, p(b) 1 / 4, p(c) 1 / 8,
在变长编码中，对出现概率大的信息符号赋予
短码字，而对于出现概率小的信息符号赋予长码字。
如果码字长度严格按照所对应符号出现概率大小逆 序排列，则编码结果平均码字长度一定小于任何其 他排列形式.
22
Huffman编码
根据变长最佳编码定理，Huffman编码步骤如下：
（1）将信源符号xi按其出现的概率，由大到小顺序排列。 （2）将两个最小的概率的信源符号进行组合相加，并重复这一步骤， 始终将较大的概率分支放在上部，直到只剩下一个信源符号且概率达 到1.0为止； （3）对每对组合的上边一个指定为1 ，下边一个指定为0（或相反： 对上边一个指定为0，下边一个指定为1）； （4）画出由每个信源符号到概率1.0处的路径，记下沿路径的1和0； （5）对于每个信源符号都写出1、0 序列，则从右到左就得到非等长 的Huffman码。
就越小，当区间变小时，就需要更多的数位来表示这个区间。
采用算术编码每个符号的平均编码长度可以为小数。
31
算术编码
例6。7 假设信源符号为{00, 01, 10, 11}，这些符号的概率分别为 { 0.1, 0.4, 0.2, 0.3 }，根据这些概率可把间隔[0, 1)分成4个子间 隔：[0, 0.1), [0.1, 0.5), [0.5, 0.7), [0.7, 1) 。
f (i, j)
i 1 j 1
N
M
均方信噪比
SNR
ˆ (i, j )]2 [ f ( i , j ) f
i 1 j 1
N
i 1 j 1 M
2 [ f ( i , j )]
N
M
5
图像的编码质量评价
客观评价准则
基本信噪比
设
N M 2 [ f (i, j ) f ] i 1 j 1 SNR 10lg N M 2 ˆ [ f (i, j ) f (i, j )] i 1 j 1 k f max 2 1 2 NMf max PSNR 10 lg N M 2 ˆ [ f (i, j ) f (i, j )] i 1 j 1
27
Shannon-Fano编码
根据变长最佳编码定理，Shannon-Fano编码步骤如下：
（1）将信源中符号xi按其出现的概率，由大到小顺序排 列。 （2）将信源分成两部分，使两个部分的概率和尽可能接 近。重复第（2）步直至不可再分，即每一个叶子只对应 一个符号。 （3）从左到右次次为这两部分标记0，1。 （4）将各个部分标记的0，1串接起来就得到各信源符号 所对应的码字
10
离散信源的熵表示
设一个离散信源X： 其概率分布：
( x1 , x2 ,, x N ) { p1 , p2 ,, p N }
无记忆信源
满足
p
i 1
N
i
1
离散信源类型 有记忆信源
11
离散信源的熵表示
考虑无记忆信源X ，某个信源符号xk，如果它出现的概率是pk
xk的自信息量
1 I ( xk ) log log p k pk
i 1
30
算术编码
算术编码不是将单个信源符号映射成一个码字，而是把整
个信源表示为实数线上的0到1之间的一个区间（Interval）， 其长度等于该序列的概率，再在该区间内选择一个代表性的小 数，转化为二进制作为实际的编码输出。消息序列中的每个元 素都要缩短为一个区间。消息序列中元素越多，所得到的区间
第六章 图像编码
1
6.1
概
述源自文库
2
图像数据的冗余
一般来说，图像数据中存在以下几种冗余： 1、空间冗余： 2、时间冗余： 3、结构冗余： 4、信息熵冗余： 5、知识冗余： 6、视觉冗余：灰度等级，我们把这类冗余称为视觉冗 既然图像数图像数据中存在信息冗余，就有可能对图像数 据量进行压缩，针对数据冗余的类型不同，可以有多种不同的 数据压缩方法，本章将讨论各种压缩方法。
lavg 0.45*1 0.25* 2 0.18* 3 0.12* 3 1.85
16
离散信源的熵表示
可得到几点提示：
信源的平均码长lavg>=H(X)；也就是说熵是无失真编码的下界。 如果所有I(xk)都是整数，且l(xk)=I(xk),可以使平均码长等于熵。 对非等概率分布的信源，采用不等长编码其平均码长小于等长编 码的平均码长。 如果信源中各符号的出现概率相等，信源熵值达到最大，这就是 重要的最大离散熵定理。
28
Shannon-Fano编码
例 6 。6
Shannon-Fano编码过程示意图
29
Shannon-Fano编码
结果
灰度级 s1 S2 S3 出现概率 0.4 0.175 0,15 码字 00 01 10 码长 2 2 2
S4
S5
0.15
0.125
5
110
111
3
3
编码后均码长
L p( si )li 2.275
i 1 i 1
18
离散信源的熵表示
对m阶马尔可夫信源，可以证明：
H 0 () H1 () H m () H m1() H ()
结论：对于有记忆信源，如果符号序列中前面的符
号知道得越多，那么下一个符号的平均信息量就越 小
19
离散信源编码定理
1．香农信息保持编码定理
1/ 2 *1 1/ 4 * 2 1/ 8 * 3 1/ 8 * 3 1.75
平均码长等于信源的熵
15
离散信源的熵表示
例 6 。3
设
X {a, b, c, d}
p(a) 0.45, p(b) 0.25, p(c) 0.18, p(d ) 0.12
则，各信源符号自信息量：
峰值信噪比
6
图像的编码质量评价
主观评价准则
对图像质量的主观评分标准
得分 5 4 3 2 1 第一种评价标准 优秀 良好 可用 较差 差 第二种评价标准 没有失真的感觉 感觉到失真，但没有不舒服 的感觉 感觉有点没舒服 感觉较差 感觉非常不舒服
7
图像的编码质量评价
主观评价准则
设每一种得分为Ci，每一种得分的评分人数为ni
26
Huffman编码
特点
（3）Huffman编码的信源概率是2的负幂时，效率达 100%，但是对等概率分布的信源，产生定长码，效 率最低，因此编码效率与信源符号概率分布相关， 故Huffman编码依赖于信源统计特性，编码前必须有 信源这方面的先验知识，这往往限制了哈夫曼编码 的应用。 （ 4 ） Huffman 编码只能用近似的整数位来表示单个 符号，而不是理想的小数，这也是Huffman编码无法 达到最理想的压缩效果的原因。