图像的插值和超分辨率放大的分析与比较
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Your company slogan
项目汇报
高斯金字塔的构造
“两步走”策略：
模糊
采样
Your company slogan
项目汇报
高斯模糊
选取元像素点 选取该点周围像素点 计算高斯模板(5*5) 高斯模板的归一化
计算！
二维高斯分布公式 −(������2 +������2 ) 1 × ������ 2������ 2 2������������ 2
Your company slogan
项目汇报
邻域像素重复技术
2x2放大
原图
放大图
映射
找到目标像素点在原图中所对应的位置最近的像素点的颜色。
Your company slogan
项目汇报
双线性图像插值技术 插值函数：������ ������ =
������ ������=������ ������������ × (������������ 像素点所占的权重)
映射
找到目标像素点在原图中所对应的位置，并计算周围四个像素点的加权平均值。 如图，x所标位置为目标点在原图中的映射点； n a,b,c,d分别为与x所标位置最近的四个像素点的颜色值； x值为放大图中像素点的颜色值。 a b
x1
则 x1=a*n+b*(1-n) x2=c*n+d*(1-n) x=x1*(1-m)+x2*m
10 7 94 94
=
7 94 3 94
6 94 2 94
项目汇报
采样
������ ������ × ������ ������ ������ × ������ ������ ������ × ������
第三层 第二层 第一层 高斯模糊层
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
输入
一幅图像 像素块(5*5) K值 ANN算法
输出
K块相似的像素块
Your company slogan
项目汇报
图像块最近邻域估计（ANN算法）
基亍一个实验统计得出的事实： 图像的块“相似性”
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
m x
c x2 d
Your company slogan
项目汇报
双线性图像插值技术
2.5x2.5放大
原图
放大图
Your company slogan
项目汇报
双三次图像插值技术 插值函数：������(������)= 映射
找到目标像素点在原图中所对应的位置，并计算周围十六个像素点的加权平均值。 加权核心函数： 1-2︱x︱2+︱x︱3 0≦︱x︱<1 u(x)= 4-8︱x︱+5︱x︱2-︱x︱3 1≦︱x︱<2 0 2< | x | 则
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
2 2
������ ������=������ ������������ × ������(������
− ������������)(其中������������为第������个像素)
Yi,j=∑ ∑Xi+m,j+nu(n-β)u(α-m)
m=-1n=-1
其中Xi+m,j+n为原始像素值
Your company slogan
Your company slogan
项目汇报
图像块最近邻域估计（ANN算法）
使用由Sunil Arya和David M. Mount提供的ANN库，近似地计算最近邻 域 ANN使用kd-tree对数据进行存储和搜索 以每一个像素点为中心，大小固定的块为数据单元，使用kd-tree的搜索 斱法获取k个相似块以及每个块与目标块的相似度（距离）
Your company slogan
项目汇报
Super-resolution(超分辨率技术)
构造高斯金字塔 ANN算法搜索相似块 构造初步目标图像 Back-Projection算法的运用
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
项目汇报
Cross-scale图像生成：利用不同尺寸间的块自相似性构造超分辨率图像
在不同尺寸图像之间搜索相似块 根据相似块计算平均值 将结果回贴到放大的图层的对应位置
Your company slogan
项目汇报
初始目标图像=In-scale图像×比重1+Across-scale图像×比重2
Your company slogan
Your company slogan
项目汇报
图像的“相似性”分为两种： 内部块相似性； 外部块相似性；
Your company slogan
项目汇报
图像内部块自相似性
用ANN算法在图像内部找相似块——In-scale图像
Your company slogan
项目汇报
图像不同尺寸间的块自相似性
Your company slogan
研究内容
Your company slogan
1
项目介绍
2
研究内容
3
项目汇报
4
成果展示
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
SRTP
自然图像超分辨率方法的 探索与分析
导师：陆系群 组长： 计算机0805 赵康 组员： 计算机0806 庄孟杰 计算机0804 王伟 软件工程0803 翁郑奇
1
项目介绍
2
研究内容
3
项目汇报
4
成果展示
Your company slogan
项目介绍
自然图像的超分辨率技术是图像处理与图像分析领域的一项重要 技术。随着计算机科学技术的发展，以及计算机图形图像处理水平的 提高，人们对图像处理的要求越来越高。然而，目前源自文库算机图像传统 放大技术，如邻域像素重复技术或二次线性插值技术，在放大图像空 间尺寸的同时，图像会出现锯齿现象，尤其是原始输入图像中的细节 信息，很容易出现过模糊现象。
研究内容
3
项目汇报
4
成果展示
Your company slogan
研究内容
阅读目前图像超分辨率技术的最新文献，了解图像超分辨技术的发展 现状 作者：D. Glasner, S. Gagon, M. Irani 标题：“Super- resolution from a single image” 文章来源：in Proc. of IEEE International Conf. On Computer Vision (ICCV), 2009 实现传统斱法和图像超分辨率技术的最新斱法，并将两者进行分析 比较
平滑尺度σ
1 94 2 94
2 3
2 1
1
2 94 6 94 7 94 6 94 2 94
2 6
2 6 7
3 94 7 94
10
7 3
3 7
2 94 6 94
7
6 2
2 6
1 94 2 94 3 94 2 94 1 94
Your company slogan
1 2
1 2 3
模 糊 半 径
X
3 94 2 94 1 94
Your company slogan
项目介绍
而自然图像的超分辨率技术可以在高分辨率下高质量显示图像， 使放大后图像仍能保持原始输入图像中细节部分，从一定程度上满足 用户对图像放大后效果的需求。
Your company slogan
项目预期效果
Your company slogan
1
项目介绍
2
Your company slogan
项目汇报
图像色彩空间的转换：
RGB YIQ
┌Y┐ ┌0.299 0.587 0.114 ┐┌R┐ │I │=│0.596 -0.275 -0.321││G│ └Q┘ └0.212 -0.523 0.311 ┘└B┘
YIQ RGB
┌R┐ ┌1.000 0.956 0.621┐┌Y┐ │G│=│1.000 -0.272 -0.647││I │ └B┘ └1.000 -1.106 1.703┘└Q┘
用ANN算法在不同尺寸图像上找相似块——Across-scale图像
Your company slogan
项目汇报
In-scale图像生成：利用图像内部的块自相似性构造超分辨率图像
在图像内部搜索相似块 根据相似块计算平均值
将结果回贴到放大的图层的对应位置
K=9
5*5
9 ������=1
9
=
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
项目汇报
高斯金字塔的构造
“两步走”策略：
模糊
采样
Your company slogan
项目汇报
高斯模糊
选取元像素点 选取该点周围像素点 计算高斯模板(5*5) 高斯模板的归一化
计算！
二维高斯分布公式 −(������2 +������2 ) 1 × ������ 2������ 2 2������������ 2
Your company slogan
项目汇报
邻域像素重复技术
2x2放大
原图
放大图
映射
找到目标像素点在原图中所对应的位置最近的像素点的颜色。
Your company slogan
项目汇报
双线性图像插值技术 插值函数：������ ������ =
������ ������=������ ������������ × (������������ 像素点所占的权重)
映射
找到目标像素点在原图中所对应的位置，并计算周围四个像素点的加权平均值。 如图，x所标位置为目标点在原图中的映射点； n a,b,c,d分别为与x所标位置最近的四个像素点的颜色值； x值为放大图中像素点的颜色值。 a b
x1
则 x1=a*n+b*(1-n) x2=c*n+d*(1-n) x=x1*(1-m)+x2*m
10 7 94 94
=
7 94 3 94
6 94 2 94
项目汇报
采样
������ ������ × ������ ������ ������ × ������ ������ ������ × ������
第三层 第二层 第一层 高斯模糊层
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
输入
一幅图像 像素块(5*5) K值 ANN算法
输出
K块相似的像素块
Your company slogan
项目汇报
图像块最近邻域估计（ANN算法）
基亍一个实验统计得出的事实： 图像的块“相似性”
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
m x
c x2 d
Your company slogan
项目汇报
双线性图像插值技术
2.5x2.5放大
原图
放大图
Your company slogan
项目汇报
双三次图像插值技术 插值函数：������(������)= 映射
找到目标像素点在原图中所对应的位置，并计算周围十六个像素点的加权平均值。 加权核心函数： 1-2︱x︱2+︱x︱3 0≦︱x︱<1 u(x)= 4-8︱x︱+5︱x︱2-︱x︱3 1≦︱x︱<2 0 2< | x | 则
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
2 2
������ ������=������ ������������ × ������(������
− ������������)(其中������������为第������个像素)
Yi,j=∑ ∑Xi+m,j+nu(n-β)u(α-m)
m=-1n=-1
其中Xi+m,j+n为原始像素值
Your company slogan
Your company slogan
项目汇报
图像块最近邻域估计（ANN算法）
使用由Sunil Arya和David M. Mount提供的ANN库，近似地计算最近邻 域 ANN使用kd-tree对数据进行存储和搜索 以每一个像素点为中心，大小固定的块为数据单元，使用kd-tree的搜索 斱法获取k个相似块以及每个块与目标块的相似度（距离）
Your company slogan
项目汇报
Super-resolution(超分辨率技术)
构造高斯金字塔 ANN算法搜索相似块 构造初步目标图像 Back-Projection算法的运用
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
项目汇报
Cross-scale图像生成：利用不同尺寸间的块自相似性构造超分辨率图像
在不同尺寸图像之间搜索相似块 根据相似块计算平均值 将结果回贴到放大的图层的对应位置
Your company slogan
项目汇报
初始目标图像=In-scale图像×比重1+Across-scale图像×比重2
Your company slogan
Your company slogan
项目汇报
图像的“相似性”分为两种： 内部块相似性； 外部块相似性；
Your company slogan
项目汇报
图像内部块自相似性
用ANN算法在图像内部找相似块——In-scale图像
Your company slogan
项目汇报
图像不同尺寸间的块自相似性
Your company slogan
研究内容
Your company slogan
1
项目介绍
2
研究内容
3
项目汇报
4
成果展示
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。
SRTP
自然图像超分辨率方法的 探索与分析
导师：陆系群 组长： 计算机0805 赵康 组员： 计算机0806 庄孟杰 计算机0804 王伟 软件工程0803 翁郑奇
1
项目介绍
2
研究内容
3
项目汇报
4
成果展示
Your company slogan
项目介绍
自然图像的超分辨率技术是图像处理与图像分析领域的一项重要 技术。随着计算机科学技术的发展，以及计算机图形图像处理水平的 提高，人们对图像处理的要求越来越高。然而，目前源自文库算机图像传统 放大技术，如邻域像素重复技术或二次线性插值技术，在放大图像空 间尺寸的同时，图像会出现锯齿现象，尤其是原始输入图像中的细节 信息，很容易出现过模糊现象。
研究内容
3
项目汇报
4
成果展示
Your company slogan
研究内容
阅读目前图像超分辨率技术的最新文献，了解图像超分辨技术的发展 现状 作者：D. Glasner, S. Gagon, M. Irani 标题：“Super- resolution from a single image” 文章来源：in Proc. of IEEE International Conf. On Computer Vision (ICCV), 2009 实现传统斱法和图像超分辨率技术的最新斱法，并将两者进行分析 比较
平滑尺度σ
1 94 2 94
2 3
2 1
1
2 94 6 94 7 94 6 94 2 94
2 6
2 6 7
3 94 7 94
10
7 3
3 7
2 94 6 94
7
6 2
2 6
1 94 2 94 3 94 2 94 1 94
Your company slogan
1 2
1 2 3
模 糊 半 径
X
3 94 2 94 1 94
Your company slogan
项目介绍
而自然图像的超分辨率技术可以在高分辨率下高质量显示图像， 使放大后图像仍能保持原始输入图像中细节部分，从一定程度上满足 用户对图像放大后效果的需求。
Your company slogan
项目预期效果
Your company slogan
1
项目介绍
2
Your company slogan
项目汇报
图像色彩空间的转换：
RGB YIQ
┌Y┐ ┌0.299 0.587 0.114 ┐┌R┐ │I │=│0.596 -0.275 -0.321││G│ └Q┘ └0.212 -0.523 0.311 ┘└B┘
YIQ RGB
┌R┐ ┌1.000 0.956 0.621┐┌Y┐ │G│=│1.000 -0.272 -0.647││I │ └B┘ └1.000 -1.106 1.703┘└Q┘
用ANN算法在不同尺寸图像上找相似块——Across-scale图像
Your company slogan
项目汇报
In-scale图像生成：利用图像内部的块自相似性构造超分辨率图像
在图像内部搜索相似块 根据相似块计算平均值
将结果回贴到放大的图层的对应位置
K=9
5*5
9 ������=1
9
=
Your company slogan
项目汇报
1）bmp或其它各式数字图像的输入和输出； 2）图像色彩空间的转换：RGBYIQ, YIQRGB。 3）传统图像插值方法的实现： 邻域像素重复技术-pixel replication 双线性图像插值技术-bilinear 双三次图像插值技术-bicubic 4）阅读和实现图像超分辨率技术 高斯金字塔的构造 ANN算法的理解与运用 in-scale和across-scale图像的生成 back-projection 5）基于PSNR（图像峰峰信噪比）图像插值算法量化评价标准。 6）简单系统界面设计。