数字图像处理第五章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
电视图象质量评价尺度
评分 1 2 3 4 5 6 评价 优秀 良好 可用 刚可看 差 不能用 说 明 图象质量非常好，如同人能想象出的最好质量。 图象质量高，观看舒服，有干扰但不影响观看。 图象质量可接受，有干扰但不太影响观看。 图象质量差，干扰有些妨碍观看，观察者希望改进。 图象质量很差，妨碍观看的干扰始终存在，几乎无法观看。 图象质量极差，不能使用。
1. 客观保真度准则
（归一化）信噪比：令
1 M 1 f MN x 0
N 1 y 0
f ( x, y )
M 1 N 1 2 单位：分贝（dB） f ( x , y ) f x 0 y 0 SNR 10 lg M 1 N 1 ˆ f ( x, y ) f ( x, y ) x 0 y 0
图像压缩
•文件大小： •138K
图像压缩
•文件大小： •24K
• 图像编解码示意 原始图像经编码后成为一串特定的码流，这串码 流经解码又成为一幅图像。
如果解码图像与原始图像相同，称编解码过程是 无损的；若不同，称编解码过程是有损的。
图像编码的研究背景
—— 通信方式改变带来的需求 信息传输方式发生了很大的改变 通信方式的改变 文字+语音图像+文字+语音 通信对象的改变 人与人人与机器，机器与机器
2
2 峰值信噪比 PSNR 10 lgMN f max
M 1 N 1 x 0 y 0
2 ˆ f ( x, y) f ( x, y)
5.1.2 图象编码中保真度准则
2. 主观保真度准则
观察者对图象综合评价的平均
1 M 1 MN x 0
N 1 y 0
erms
2 ˆ f ( x, y ) f ( x, y )
12
fˆ ( x, y) 2
M 1 N 1 x 0 y 0
ˆ ( x, y ) f ( x, y ) f
2
5.1.2 图象编码中保真度准则
5.1.2 图象编码中保真度准则
1. 客观保真度准则 点误差 图误差 均方根误差 均方信噪比
SNRms
M 1 N 1 x 0 y 0
ˆ ( x, y) f ( x, y) e( x, y) f
M 1 N 1 x 0 y 0
fˆ ( x, y) f ( x, y)
2. 图像中某些目标或区域的信息不太容易引起 人眼的注意。
33K
15K
5.1.2 图象编码中保真度准则
图象保真度
信息保存型/信息损失型 描述解码图象相对于原始图象的偏离程度 对信息损失的测度 主观保真度准则 主观测量图象的质量，因人而异，应用不方便 客观保真度准则 用编码输入图与解码输出图的某个确定函数表示损 失的信息量， 便于计算或测量
第5章 图象编码
动机/原因：表达数字图象所需数据量通常很大
图象编码：
采用对图象的新的表达方法以减小所需的数据量
数据和信息：数据是信息的载体
对给定量的信息可用不同的数据量来表示 对给定量的信息，设法减少表达这些信息的 数据量称为数据压缩
图象压缩（编码）和图象解压缩（解码）
图像压缩
•文件大小： •232K
图像编码的研究背景
—— 通信方式改变带来的需求 由于通信方式和通信对象的改变带来的最大 问题是：
传输带宽、速度、存储器容量的限制。
给我们带来的一个难题，也给了我们一个机 会：
如何用软件的手段来解决硬件上的物理极限。
彩色视频数据量分析
对于电视画面的分辨率640*480的彩色图 像，每秒30帧，则一秒钟的数据量为：
(251,32,15)
(248,27,4)
(248,27,4)
5.1.1 数据冗余
相对数据冗余
数据冗余可定量描述，相对冗余： RD 1 1 CR
压缩率： CR n1 n2 CR 在开区间 (0, ) 中取值 n1和n2代表2个数据集合中的信息载体单位的个数
n1 相对于 n2 n1 = n2 n 1 >> n2 n 1 << n2 CR 1 0 RD 0 1 对应的情况 第 1 种表达相对第 2 种表达不含冗余数据 第 1 个数据集合含相当多的冗余数据 第 2 个数据集合包括比原始表达多得多的数据
不规则 冗余小
1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25ຫໍສະໝຸດ Baidu
•象素间冗余
相同的目标 相同的直方图
象素间的相 关性不同
• 时间冗余：视频图像序列中的不同帧之间的相关性所造成 的冗余。
（a）F1帧 图 时间冗余示例
（b）F2帧
像素冗余
• 由于任何给定的像素值，原理上都可以通过它的 相邻像素预测到，单个像素携带的信息相对是小 的。对于一个图像，很多单个像素对视觉的贡献 是冗余的。这是建立在对邻居值预测的基础上。 – 例：原图像数据：234 223 231 238 235 – 压缩后数据：234 11 -8 -7 3，我们可以对 一些接近于零的像素不进行存储，从而减小了 数据量
5.1.3 图象编码模型
图象编解码系统模型
两个通过信道级连的结构模块
编码器 输入图 信源 编码器 信道 编码器 信道 信道 解码器 解码器 信源 解码器 输出图
输出图是输入图的精确复制？
信息保持型：是，无失真
信息损失型：不是，有一定的失真
编码器 输入图 信源 编码器 信道 编码器 信道 信道 解码器
640*480*24*30=221.12M
播放时，则每秒钟的数据量是221.12M 。
彩色视频数据量分析
实时传输：
在10M带宽网上实时传输的话，需要压缩到 原来数据量的0.045， 即0.036bit/pixel。
存储： （按1张光盘可存640M计算） 如果不进行压缩，1张CD则仅可以存放 2.89秒的数据。
由此我们知道，整理图像的描述方法可以达 到压缩的目的。
1 2 3 4
图像冗余 —— 实际图像中的数据冗余
实际图像中冗余信息的表现（灰度图）
图像冗余 —— 视觉冗余的压缩
图像的视觉冗余 （彩色）
R G B
2 2 2 2 24 2 16， 777 ， 216
8 8 8 24
(248,27,4)
图像冗余有损压缩的原理
36 35 34 34 34 34 34 32 34 34 33 37 30 34 34 34 34 34 34 34
34 34 34 34 34
34 34 34 34 34 34 34 34 34 34 34 34 34 34 34
34 34 34 34 34
34 35 34 34 31
编码冗余： 如果一个图像的灰度级编码，使 用了多于实际需要的编码符号，就 称该图像包含了编码冗余。
例：如果用8位表示该图像的像素，
我们就说该图像存在着编码冗余，
因为该图像的像素只有两个灰度，
用一位即可表示。
5.1.1 数据冗余
1. 编码冗余
图象中灰度出现的概率
p s ( sk ) nk n k 0, 1, , L 1
信息损失型：
常能取得较高的压缩率（几十~几百）
压缩后并不能经解压缩恢复原状
第5章
5.1 5.2
图象编码基础
图像编码的基础知识 无损压缩编码
5.3
限失真编码
5.1 图像编码的基础知识
5.1.1 数据冗余 5.1.2 图象编码中的保真度准则 5.1.3 图象编码模型
5.1.4 信息论的基础理论
5.1.1 数据冗余
传真数据量分析
如果只传送2值图像，以200dpi的分辨 率传输，一张A4稿纸的数据量为：390K 按目前14.4K/s的电话线传输速率，需要 传送的时间是：270秒（4.5分）
第5章 图象编码
图象压缩方法的分类 ： 信息保存型： 在压缩和解压缩过程中没有信息损失 压缩率一般在2 ~ 10之间
解码器 信源 解码器 输出图
•信源编码器：完成原数据的压缩。 •信道编码器：为了抗干扰，增加一些容错、校 验位、版权保护，实际上是增加冗余。 •以上两个方向的努力都是为了保证信息的可靠、 无误传输的。
• 图像编码器和图像解码器
编码器 输入图 映射器 量化器 符号编码器 输出图
解码器 输入图 符号解码器 反映射器 输出图
(23*2+10=56个半角字符)
你的妻子将于明天晚上6点零5分在虹桥机场接你
(20*2+2=42个半角字符） Helen将于明晚6点在虹桥接你 (10*2+6=26个半角字符） 结论：只要接收端不会产生误解，就可以减少承载信息 的数据量。
数据冗余 —— 描述上的冗余
描述方式： 1）这是一幅2*2的图像，图像的第一个像素是红 的，第二个像素是红的，第三个像素是红的，第 四个像素是红的。 2）这是一幅2*2的图像，整幅图都是红色的。
不同灰度出现的概率不同 平均比特数
Lavg l ( sk ) ps ( sk )
k 0 L 1
用较少的比特数表示出现概率较大的灰度级
用较多的比特数表示出现概率较小的灰度级
自然码和变长码
•自然码
•变长码
图像最佳编码定理
变长最佳编码定理
如果码字长度严格按照所对应的符号出现概率的
大小逆序排列，则编码结果的平均码字长度一定小于
数据冗余的概念
数据是信息的载体
同量的数据可表达不同量的信息
数
信息
据
同量的信息可用不同量的数据表达
冗余
数据表达了无用的信息
数据表达了已表达的信息
数据的冗余 —— 基本概念
我们从一个互动游戏来体会数据冗余的概念。 在下面的例子中，用一种最好的方式来发送 一封电报。
数据的冗余 —— 基本概念
你的妻子，Helen，将于明天晚上6点零5分在上海的 虹桥机场接你。
任何其他排列形式
符号 概率 编码1 编码2 x1 0.5 0 0 x2 0.25 10 110 x3 0.125 110 10 x4 0.125 111 111 熵（平均码长） 1.75 1.75 1.875
5.1.1 数据冗余
2. 象素间冗余
直接与象素间相关性联系
规则 冗余大
1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25
25
34
5.1.1 数据冗余
3. 心理视觉冗余
主观：因人而异，因应用要求而异
其存在与人观察图象的方式有关
眼睛对某些视觉信息更敏感
人对某些视觉信息更关心
心理视觉冗余与实在的视觉信息有联系
（损失不可逆转）
图像冗余之“心理视觉冗余”
1. 图像在色彩，亮度，空间频率等方面超出了 人眼的接收范围和可区分程度。
1、映射器：转换输入数据，减少像素间冗余，可反转。 2、量化器：减少心理视觉冗余，量化（一种由多到少 的映射），不可反转仅用于有损压缩。 3、符号编码器：产生码本，通常采用变长码，可反转。 无失真信源编码器不需要量化器。
• 信源编码器和解码器的模型
– 映射器 ：减少像素间冗余，或进行图像变换。 – 量化器 ：减少视觉心理冗余，仅用于有 损压缩。 – 符号编码器：减少编码冗余，如使用哈夫曼
像素间冗余
原始图像越有规则，各像素之间的相关性越强，它可 能压缩的数据就越多。
• 为减少像素间冗余，需要将常用的2D像素矩阵表达 形式转换为某种更有效（但可能不直观）的表达形 式，这种减少像素间冗余的转换常称为映射。 • 如果原始图像能从转换后的数据集合完全恢复出来， 则这种映射是可反转的（压缩是无损的），否则就 是不可反转的。
5.1.1 数据冗余
数据冗余类别
(1) 编码冗余 与灰度分布的概率特性有关
(2) 象素相关冗余 空间冗余，几何冗余 (3) 心理视觉冗余 与主观感觉有关
减少/消除其中的一种/多种冗余，就能取得数据压缩的效果
5.1.1 数据冗余
1. 编码冗余 编码：需建立码本来表达数据 字典 码本：用来表达一定量的信息或一组事件所 需的一系列符号（如字母、数字等） 单词 码字：对每个信息或事件所赋的码符号序列 码字的长度（字长）： 每个码字里的符号个数 字母个数
图像冗余 —— 数据冗余的压缩
图像冗余无损压缩的原理
RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB
16
RGB
从原来的16*3*8=284bits
压缩为：(1+3)*8=32bits
压缩比为：12：1
图像冗余 —— 数据冗余的压缩
评分 1 2 3 4 5 6 评价 优秀 良好 可用 刚可看 差 不能用 说 明 图象质量非常好，如同人能想象出的最好质量。 图象质量高，观看舒服，有干扰但不影响观看。 图象质量可接受，有干扰但不太影响观看。 图象质量差，干扰有些妨碍观看，观察者希望改进。 图象质量很差，妨碍观看的干扰始终存在，几乎无法观看。 图象质量极差，不能使用。
1. 客观保真度准则
（归一化）信噪比：令
1 M 1 f MN x 0
N 1 y 0
f ( x, y )
M 1 N 1 2 单位：分贝（dB） f ( x , y ) f x 0 y 0 SNR 10 lg M 1 N 1 ˆ f ( x, y ) f ( x, y ) x 0 y 0
图像压缩
•文件大小： •138K
图像压缩
•文件大小： •24K
• 图像编解码示意 原始图像经编码后成为一串特定的码流，这串码 流经解码又成为一幅图像。
如果解码图像与原始图像相同，称编解码过程是 无损的；若不同，称编解码过程是有损的。
图像编码的研究背景
—— 通信方式改变带来的需求 信息传输方式发生了很大的改变 通信方式的改变 文字+语音图像+文字+语音 通信对象的改变 人与人人与机器，机器与机器
2
2 峰值信噪比 PSNR 10 lgMN f max
M 1 N 1 x 0 y 0
2 ˆ f ( x, y) f ( x, y)
5.1.2 图象编码中保真度准则
2. 主观保真度准则
观察者对图象综合评价的平均
1 M 1 MN x 0
N 1 y 0
erms
2 ˆ f ( x, y ) f ( x, y )
12
fˆ ( x, y) 2
M 1 N 1 x 0 y 0
ˆ ( x, y ) f ( x, y ) f
2
5.1.2 图象编码中保真度准则
5.1.2 图象编码中保真度准则
1. 客观保真度准则 点误差 图误差 均方根误差 均方信噪比
SNRms
M 1 N 1 x 0 y 0
ˆ ( x, y) f ( x, y) e( x, y) f
M 1 N 1 x 0 y 0
fˆ ( x, y) f ( x, y)
2. 图像中某些目标或区域的信息不太容易引起 人眼的注意。
33K
15K
5.1.2 图象编码中保真度准则
图象保真度
信息保存型/信息损失型 描述解码图象相对于原始图象的偏离程度 对信息损失的测度 主观保真度准则 主观测量图象的质量，因人而异，应用不方便 客观保真度准则 用编码输入图与解码输出图的某个确定函数表示损 失的信息量， 便于计算或测量
第5章 图象编码
动机/原因：表达数字图象所需数据量通常很大
图象编码：
采用对图象的新的表达方法以减小所需的数据量
数据和信息：数据是信息的载体
对给定量的信息可用不同的数据量来表示 对给定量的信息，设法减少表达这些信息的 数据量称为数据压缩
图象压缩（编码）和图象解压缩（解码）
图像压缩
•文件大小： •232K
图像编码的研究背景
—— 通信方式改变带来的需求 由于通信方式和通信对象的改变带来的最大 问题是：
传输带宽、速度、存储器容量的限制。
给我们带来的一个难题，也给了我们一个机 会：
如何用软件的手段来解决硬件上的物理极限。
彩色视频数据量分析
对于电视画面的分辨率640*480的彩色图 像，每秒30帧，则一秒钟的数据量为：
(251,32,15)
(248,27,4)
(248,27,4)
5.1.1 数据冗余
相对数据冗余
数据冗余可定量描述，相对冗余： RD 1 1 CR
压缩率： CR n1 n2 CR 在开区间 (0, ) 中取值 n1和n2代表2个数据集合中的信息载体单位的个数
n1 相对于 n2 n1 = n2 n 1 >> n2 n 1 << n2 CR 1 0 RD 0 1 对应的情况 第 1 种表达相对第 2 种表达不含冗余数据 第 1 个数据集合含相当多的冗余数据 第 2 个数据集合包括比原始表达多得多的数据
不规则 冗余小
1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25ຫໍສະໝຸດ Baidu
•象素间冗余
相同的目标 相同的直方图
象素间的相 关性不同
• 时间冗余：视频图像序列中的不同帧之间的相关性所造成 的冗余。
（a）F1帧 图 时间冗余示例
（b）F2帧
像素冗余
• 由于任何给定的像素值，原理上都可以通过它的 相邻像素预测到，单个像素携带的信息相对是小 的。对于一个图像，很多单个像素对视觉的贡献 是冗余的。这是建立在对邻居值预测的基础上。 – 例：原图像数据：234 223 231 238 235 – 压缩后数据：234 11 -8 -7 3，我们可以对 一些接近于零的像素不进行存储，从而减小了 数据量
5.1.3 图象编码模型
图象编解码系统模型
两个通过信道级连的结构模块
编码器 输入图 信源 编码器 信道 编码器 信道 信道 解码器 解码器 信源 解码器 输出图
输出图是输入图的精确复制？
信息保持型：是，无失真
信息损失型：不是，有一定的失真
编码器 输入图 信源 编码器 信道 编码器 信道 信道 解码器
640*480*24*30=221.12M
播放时，则每秒钟的数据量是221.12M 。
彩色视频数据量分析
实时传输：
在10M带宽网上实时传输的话，需要压缩到 原来数据量的0.045， 即0.036bit/pixel。
存储： （按1张光盘可存640M计算） 如果不进行压缩，1张CD则仅可以存放 2.89秒的数据。
由此我们知道，整理图像的描述方法可以达 到压缩的目的。
1 2 3 4
图像冗余 —— 实际图像中的数据冗余
实际图像中冗余信息的表现（灰度图）
图像冗余 —— 视觉冗余的压缩
图像的视觉冗余 （彩色）
R G B
2 2 2 2 24 2 16， 777 ， 216
8 8 8 24
(248,27,4)
图像冗余有损压缩的原理
36 35 34 34 34 34 34 32 34 34 33 37 30 34 34 34 34 34 34 34
34 34 34 34 34
34 34 34 34 34 34 34 34 34 34 34 34 34 34 34
34 34 34 34 34
34 35 34 34 31
编码冗余： 如果一个图像的灰度级编码，使 用了多于实际需要的编码符号，就 称该图像包含了编码冗余。
例：如果用8位表示该图像的像素，
我们就说该图像存在着编码冗余，
因为该图像的像素只有两个灰度，
用一位即可表示。
5.1.1 数据冗余
1. 编码冗余
图象中灰度出现的概率
p s ( sk ) nk n k 0, 1, , L 1
信息损失型：
常能取得较高的压缩率（几十~几百）
压缩后并不能经解压缩恢复原状
第5章
5.1 5.2
图象编码基础
图像编码的基础知识 无损压缩编码
5.3
限失真编码
5.1 图像编码的基础知识
5.1.1 数据冗余 5.1.2 图象编码中的保真度准则 5.1.3 图象编码模型
5.1.4 信息论的基础理论
5.1.1 数据冗余
传真数据量分析
如果只传送2值图像，以200dpi的分辨 率传输，一张A4稿纸的数据量为：390K 按目前14.4K/s的电话线传输速率，需要 传送的时间是：270秒（4.5分）
第5章 图象编码
图象压缩方法的分类 ： 信息保存型： 在压缩和解压缩过程中没有信息损失 压缩率一般在2 ~ 10之间
解码器 信源 解码器 输出图
•信源编码器：完成原数据的压缩。 •信道编码器：为了抗干扰，增加一些容错、校 验位、版权保护，实际上是增加冗余。 •以上两个方向的努力都是为了保证信息的可靠、 无误传输的。
• 图像编码器和图像解码器
编码器 输入图 映射器 量化器 符号编码器 输出图
解码器 输入图 符号解码器 反映射器 输出图
(23*2+10=56个半角字符)
你的妻子将于明天晚上6点零5分在虹桥机场接你
(20*2+2=42个半角字符） Helen将于明晚6点在虹桥接你 (10*2+6=26个半角字符） 结论：只要接收端不会产生误解，就可以减少承载信息 的数据量。
数据冗余 —— 描述上的冗余
描述方式： 1）这是一幅2*2的图像，图像的第一个像素是红 的，第二个像素是红的，第三个像素是红的，第 四个像素是红的。 2）这是一幅2*2的图像，整幅图都是红色的。
不同灰度出现的概率不同 平均比特数
Lavg l ( sk ) ps ( sk )
k 0 L 1
用较少的比特数表示出现概率较大的灰度级
用较多的比特数表示出现概率较小的灰度级
自然码和变长码
•自然码
•变长码
图像最佳编码定理
变长最佳编码定理
如果码字长度严格按照所对应的符号出现概率的
大小逆序排列，则编码结果的平均码字长度一定小于
数据冗余的概念
数据是信息的载体
同量的数据可表达不同量的信息
数
信息
据
同量的信息可用不同量的数据表达
冗余
数据表达了无用的信息
数据表达了已表达的信息
数据的冗余 —— 基本概念
我们从一个互动游戏来体会数据冗余的概念。 在下面的例子中，用一种最好的方式来发送 一封电报。
数据的冗余 —— 基本概念
你的妻子，Helen，将于明天晚上6点零5分在上海的 虹桥机场接你。
任何其他排列形式
符号 概率 编码1 编码2 x1 0.5 0 0 x2 0.25 10 110 x3 0.125 110 10 x4 0.125 111 111 熵（平均码长） 1.75 1.75 1.875
5.1.1 数据冗余
2. 象素间冗余
直接与象素间相关性联系
规则 冗余大
1 0.8 0.6 0.4 0.2 0 0 5 10 15 20 25
25
34
5.1.1 数据冗余
3. 心理视觉冗余
主观：因人而异，因应用要求而异
其存在与人观察图象的方式有关
眼睛对某些视觉信息更敏感
人对某些视觉信息更关心
心理视觉冗余与实在的视觉信息有联系
（损失不可逆转）
图像冗余之“心理视觉冗余”
1. 图像在色彩，亮度，空间频率等方面超出了 人眼的接收范围和可区分程度。
1、映射器：转换输入数据，减少像素间冗余，可反转。 2、量化器：减少心理视觉冗余，量化（一种由多到少 的映射），不可反转仅用于有损压缩。 3、符号编码器：产生码本，通常采用变长码，可反转。 无失真信源编码器不需要量化器。
• 信源编码器和解码器的模型
– 映射器 ：减少像素间冗余，或进行图像变换。 – 量化器 ：减少视觉心理冗余，仅用于有 损压缩。 – 符号编码器：减少编码冗余，如使用哈夫曼
像素间冗余
原始图像越有规则，各像素之间的相关性越强，它可 能压缩的数据就越多。
• 为减少像素间冗余，需要将常用的2D像素矩阵表达 形式转换为某种更有效（但可能不直观）的表达形 式，这种减少像素间冗余的转换常称为映射。 • 如果原始图像能从转换后的数据集合完全恢复出来， 则这种映射是可反转的（压缩是无损的），否则就 是不可反转的。
5.1.1 数据冗余
数据冗余类别
(1) 编码冗余 与灰度分布的概率特性有关
(2) 象素相关冗余 空间冗余，几何冗余 (3) 心理视觉冗余 与主观感觉有关
减少/消除其中的一种/多种冗余，就能取得数据压缩的效果
5.1.1 数据冗余
1. 编码冗余 编码：需建立码本来表达数据 字典 码本：用来表达一定量的信息或一组事件所 需的一系列符号（如字母、数字等） 单词 码字：对每个信息或事件所赋的码符号序列 码字的长度（字长）： 每个码字里的符号个数 字母个数
图像冗余 —— 数据冗余的压缩
图像冗余无损压缩的原理
RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB RGB
16
RGB
从原来的16*3*8=284bits
压缩为：(1+3)*8=32bits
压缩比为：12：1
图像冗余 —— 数据冗余的压缩