图像超分辨率重建文献综述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图像超分辨率重建方法在保留现有硬件设备的基础上通过软件的方法 达到提高图像分辨率的目的，是一种经济实用并且切实可行的方案， 具有重要的应用价值和广阔的应用前景。
2012-12-19
武汉大学图像处理与智能系统实验室
4
SRR分类
Image Class
Method
Image Number
Generic
凸集投影法是解决超分辨率问题的一类典型算法。Stark和 Oskoui首次（1989）将POCS应用于超分辨率重建，但其采用的运 动模型却假定图像获取时仅存在整体平移，且没有考虑运动模糊 的效果。Patti 等人（1997）提出了同时考虑混叠、传感器模糊、 运动模糊和加性噪声的POCS 方法。 POCS方法中，超分辨率解空 间中可行解的每一个限制条件（如非负性、能量有界性、观测数 据一致性、局部光滑性等），都被定义为一个约束凸集，通过对 代表高分辨率图像性质的约束集求交，即可迭代解得解空间。
3
研究背景和意义
图像获取的过程中受到几种典型因素的制约:①相机和摄影机的空间 分辨率受成像光学系统和传感器制造工艺及成本的限制；②图像成像 过程受到大气模糊、光学模糊、运动模糊、传感器模糊、干扰噪声、 光学透镜扭曲变形、不满足奈奎斯特采样条件引起的频谱混叠等因素 的影响；③图像在进行A/D转换和D/A转换时，不可避免地会带来失真 和不同程度的退化。这些限制条件和影响因素导致获取的图像质量较 差、分辨率不高。通过改造成像系统来提高系统的信息获取能力，受 到工艺水平和硬件成本因素的限制，在实际应用中受到制约。
图像超分辨率重建文献综述
报告内容
超分辨重建（SRR）的概念 研究背景和意义 超分辨重建的分类 超分辨重建的方法 人脸超分辨率重建 下一步的研究计划
2012-12-19
武汉大学图像处理与智能系统实验室
2
超分辨率重建
由一幅低分辨率图像或图像序列得到高分辨率图像
2012-12-19
武汉大学图像处理与智能系统实验室
2012-12-19
武汉大学图像处理与智能系统实验室
13
迭代方向投影法（IBP）
迭代反向投影算法由Irani和Peleg于1991年提出，其基本思想是：将
退化模型生成的低分辨率图像
gk
与输入的低分辨率图像
gk
之
间的差值反向投影到高分辨率图像上, 随着误差收敛, 可以得到相应
的超分辨率重建图像。
IBP 算法可以用如下公式来表示：
Domain Specific
Frequency Domain
Spatial domain
Multi
Frame
Single
Frames
Interpolation
Reconstruction Learning
based
based
based
Face
SRR
2012-12-19
武汉大学图像处理与智能系统实验室
2012-12-19
武汉大学图像处理与智能系统实验室
11
非均匀插值法
2012-12-19
武汉大学图像处理与智能系统实验室
12
处理流程
图像运 动估计
进一步的 去噪、抗 糊化处理
图像合并
像素映射到高 分辨率格点
非均匀插值方法的计算负荷较小，需要假定所有低分辨率图像的噪声和模 糊特征都是相同的，而且在图像复原阶段忽略了插值阶段的误差，因此重 建效果不佳
POCS 的优点是可以方便地加入先验信息， 可以很好地保持 高分辨率图像上的边缘和细节。缺点是解依赖于初始估计、收敛慢、 运算量大和收敛稳定性不高等。为了提高POCS算法收敛的稳定性， 可以采用松弛投影算子，但松弛投影算子不利于保持图像的边缘和 细节。
2012-12-19
武汉大学图像处理与智能系统实验室
10
频域法
1984年，Tsai 和Huang首次提出了序列图像的超分辨率重建问题，并 给出了基于频域逼近的图像重建的方法，其观测模型是基于傅立叶变 换的移位特性。该类方法主要是通过频域消混叠重建来恢复图像的高 频分量。频域法的优点是理论简单，可并行处理。然而运动模型只考 虑到全局运动，局限性大，并且很难引入图像的先验知识来进行高分 辨率图像的重建。
武汉大学图像处理与智能系统实验室
8
超分辨率重建的方法
超分辨率的概念，最早于上个世纪60年代由Harris提出用于单张影像 的复原，并奠定了超分辨率的数学基础。 1984年，Tsai和Huang首次 提出了利用多帧低分辨率退化图像进行超分辨率重建的问题，随后许 多学者对图像超分辨率重建进行了研究，不仅在理论上说明了超分辨 率重建的可能性，而且还提出和发展了很多具有实用价值的方法。从 目前的研究和应用成果来看，超分辨率重建算法主要分为频域方法、 传统空域重建方法、基于学习（leaning-Based）的方法。早期的研 究工作主要集中在频域中进行，但考虑到更一般的退化模型，后期的 研究工作几乎都集中在空域中进行。基于学习的超分辨率重建方法是 最近十年发展起来的，不仅克服了基于重建的方法在分辨率提高倍数 方面的局限性，而且可以实现单幅图像的超分辨率重建。
5
超分辨重建（SRR）的方法
观测模型 SRR方法
基于重建的方法 基于学习的方法
2012-12-19
武汉大学图像处理与智能系统实验室
6
图像失真模型
2012-12-19
武汉大学图像处理与智能系统实验室
7
图像失真的数学描述
降采样 模糊 移动 观 测 模 型
（ 退 化 模
型 ）
2012-12-19
f n+1 பைடு நூலகம் , y= f n x , y +
gk
m, n - g k
m, n
H
BP
m, n; x , y
该方法的特点是：直观、简单、收敛快；但没有惟一的解，难以 利用先验知识，而且选择投影算子HBP是困难的
2012-12-19
武汉大学图像处理与智能系统实验室
14
凸集投影算法( POCS )
15
凸集映射
符合条件1 所有可能重 构结果集合
基于重建的方法
基于学习的方法
2012-12-19
武汉大学图像处理与智能系统实验室
9
基于重建的方法
频域方法 非均匀插值法 迭代方向投影(IBP) 凸集投影(POCS)法 基于概率的方法 正则化方法 自适应滤波方法 盲超分辨率重建
2012-12-19
武汉大学图像处理与智能系统实验室
2012-12-19
武汉大学图像处理与智能系统实验室
4
SRR分类
Image Class
Method
Image Number
Generic
凸集投影法是解决超分辨率问题的一类典型算法。Stark和 Oskoui首次（1989）将POCS应用于超分辨率重建，但其采用的运 动模型却假定图像获取时仅存在整体平移，且没有考虑运动模糊 的效果。Patti 等人（1997）提出了同时考虑混叠、传感器模糊、 运动模糊和加性噪声的POCS 方法。 POCS方法中，超分辨率解空 间中可行解的每一个限制条件（如非负性、能量有界性、观测数 据一致性、局部光滑性等），都被定义为一个约束凸集，通过对 代表高分辨率图像性质的约束集求交，即可迭代解得解空间。
3
研究背景和意义
图像获取的过程中受到几种典型因素的制约:①相机和摄影机的空间 分辨率受成像光学系统和传感器制造工艺及成本的限制；②图像成像 过程受到大气模糊、光学模糊、运动模糊、传感器模糊、干扰噪声、 光学透镜扭曲变形、不满足奈奎斯特采样条件引起的频谱混叠等因素 的影响；③图像在进行A/D转换和D/A转换时，不可避免地会带来失真 和不同程度的退化。这些限制条件和影响因素导致获取的图像质量较 差、分辨率不高。通过改造成像系统来提高系统的信息获取能力，受 到工艺水平和硬件成本因素的限制，在实际应用中受到制约。
图像超分辨率重建文献综述
报告内容
超分辨重建（SRR）的概念 研究背景和意义 超分辨重建的分类 超分辨重建的方法 人脸超分辨率重建 下一步的研究计划
2012-12-19
武汉大学图像处理与智能系统实验室
2
超分辨率重建
由一幅低分辨率图像或图像序列得到高分辨率图像
2012-12-19
武汉大学图像处理与智能系统实验室
2012-12-19
武汉大学图像处理与智能系统实验室
13
迭代方向投影法（IBP）
迭代反向投影算法由Irani和Peleg于1991年提出，其基本思想是：将
退化模型生成的低分辨率图像
gk
与输入的低分辨率图像
gk
之
间的差值反向投影到高分辨率图像上, 随着误差收敛, 可以得到相应
的超分辨率重建图像。
IBP 算法可以用如下公式来表示：
Domain Specific
Frequency Domain
Spatial domain
Multi
Frame
Single
Frames
Interpolation
Reconstruction Learning
based
based
based
Face
SRR
2012-12-19
武汉大学图像处理与智能系统实验室
2012-12-19
武汉大学图像处理与智能系统实验室
11
非均匀插值法
2012-12-19
武汉大学图像处理与智能系统实验室
12
处理流程
图像运 动估计
进一步的 去噪、抗 糊化处理
图像合并
像素映射到高 分辨率格点
非均匀插值方法的计算负荷较小，需要假定所有低分辨率图像的噪声和模 糊特征都是相同的，而且在图像复原阶段忽略了插值阶段的误差，因此重 建效果不佳
POCS 的优点是可以方便地加入先验信息， 可以很好地保持 高分辨率图像上的边缘和细节。缺点是解依赖于初始估计、收敛慢、 运算量大和收敛稳定性不高等。为了提高POCS算法收敛的稳定性， 可以采用松弛投影算子，但松弛投影算子不利于保持图像的边缘和 细节。
2012-12-19
武汉大学图像处理与智能系统实验室
10
频域法
1984年，Tsai 和Huang首次提出了序列图像的超分辨率重建问题，并 给出了基于频域逼近的图像重建的方法，其观测模型是基于傅立叶变 换的移位特性。该类方法主要是通过频域消混叠重建来恢复图像的高 频分量。频域法的优点是理论简单，可并行处理。然而运动模型只考 虑到全局运动，局限性大，并且很难引入图像的先验知识来进行高分 辨率图像的重建。
武汉大学图像处理与智能系统实验室
8
超分辨率重建的方法
超分辨率的概念，最早于上个世纪60年代由Harris提出用于单张影像 的复原，并奠定了超分辨率的数学基础。 1984年，Tsai和Huang首次 提出了利用多帧低分辨率退化图像进行超分辨率重建的问题，随后许 多学者对图像超分辨率重建进行了研究，不仅在理论上说明了超分辨 率重建的可能性，而且还提出和发展了很多具有实用价值的方法。从 目前的研究和应用成果来看，超分辨率重建算法主要分为频域方法、 传统空域重建方法、基于学习（leaning-Based）的方法。早期的研 究工作主要集中在频域中进行，但考虑到更一般的退化模型，后期的 研究工作几乎都集中在空域中进行。基于学习的超分辨率重建方法是 最近十年发展起来的，不仅克服了基于重建的方法在分辨率提高倍数 方面的局限性，而且可以实现单幅图像的超分辨率重建。
5
超分辨重建（SRR）的方法
观测模型 SRR方法
基于重建的方法 基于学习的方法
2012-12-19
武汉大学图像处理与智能系统实验室
6
图像失真模型
2012-12-19
武汉大学图像处理与智能系统实验室
7
图像失真的数学描述
降采样 模糊 移动 观 测 模 型
（ 退 化 模
型 ）
2012-12-19
f n+1 பைடு நூலகம் , y= f n x , y +
gk
m, n - g k
m, n
H
BP
m, n; x , y
该方法的特点是：直观、简单、收敛快；但没有惟一的解，难以 利用先验知识，而且选择投影算子HBP是困难的
2012-12-19
武汉大学图像处理与智能系统实验室
14
凸集投影算法( POCS )
15
凸集映射
符合条件1 所有可能重 构结果集合
基于重建的方法
基于学习的方法
2012-12-19
武汉大学图像处理与智能系统实验室
9
基于重建的方法
频域方法 非均匀插值法 迭代方向投影(IBP) 凸集投影(POCS)法 基于概率的方法 正则化方法 自适应滤波方法 盲超分辨率重建
2012-12-19
武汉大学图像处理与智能系统实验室