超分辨率图像重构技术概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
uingrd@gmail.com
超分辨率图像重构
技术概览
内容提要
基本概念
超分辨率重构的基本目标
由低分辨率图像序列得到高分辨率图像
内容提要
基本概念 背景
应用背景
提高CMOS或者CCD照相/摄像机的图像分辨率 医学成像(CT/MRI) 卫星和航空遥感成像 大屏幕电视 视频压缩
y1
y2
y3
y4
由超分 比
辨率重 构观测
较
图像 器
y1
y2
y3 y4
图像和匹配/降质模型联合优化 修正数据
重构超分辨 率图像
观测 图像
降质 降模质型1 降模质型2 降模质型3 模型4
y1
y2
y3
y4
由超分 比
辨率重 构观测
较
图像 器
y1
y2
y3 y4
联合优化
观测图像吻 合误差
min x,
p k 1
非均匀插值例子
最近邻法插值
非均匀插值例子
双线性插值
非均匀插值例子
非均匀插值
非均匀插值例子
去糊化后的输出
内容提要
基本概念 背景 非均匀插值重构算法 基于数学模型的重构
数学重构的基本流程
重构超分辨 率图像
降质 降模质型1 降模质型2 降模质型3 模型4
修正数据
观测 图像
y1
y2
惩罚可能重构 出的复杂图像
提取图像复 杂度信息
x =arg min x
重构结果是否 符合观测模型
图像复杂 度的度量
正则条件下重构方程的解
正则重构例子
最近邻法插值
正则重构例子
以较小的正则化参数（a）重构结果
正则重构例子
以较大的正则化参数（a）重构结果
严重惩罚导致高复 杂度的高频分量
内容提要
图像失真模型
图像的数学描述
…
图像失真的数学描述
降采样 像素糊化 像素移动
低画质图像的数学描述
内容提要
基本概念 背景 非均匀插值重构算法
非均匀插值重构
非均匀插值重构
非均匀插值重构
非均匀插值重构
非均匀插值重构
处理流程
图像运 动估计
图像合并
进一步的 去噪、抗 糊化处理
像素映射到高 分辨率格点
y3
y4
由超分 比
辨率重 构观测
较
图像 器
y1
y2
y3 y4
Leabharlann Baidu
数学重构思想
独立方程数目不够、 病态问题求解
…
转换成函数极小化问题，解不唯一 x =arg min x
正则条件下的数学重构
x =arg min x
重构结果是否 符合观测模型
额外的正 则化约束
a=1,C=I的特例代表最小二乘最小范数解
正则条件下重构方程的含义
||
yk
Wk
x
||2
g
x
降质模 型矩阵
构造降质模型 矩阵的参数
重构图的复 杂度度量
交替搜索优化x和W
联合优化的例子
联合优化的例子
联合优化的例子
总结
方法已经有不少了,可是…
速度慢，一般需要计算迭代，因此有收敛问题 计算量大 解的不唯一 性依赖于概率模型或者正则化表达式
还有什么可做的？
针对视频编解码应用 提高速度 使用编码端导引信息
统计参数 图像平滑度信息 图像复杂度评判区域和评判参照
终于结束了！
Thank You for Your Patience
Q&A
重构模型，根据图像 匹配得到，有误差
度量图像 复杂度
第k个观测图
重构图
重构结果和观测值 的吻合程度
匹配误差和加权因子的关系
吻合程度低的图很可能是大的匹配 误差造成的，因此要用小的l降低 它对算法的影响力
数学重构的基本流程
重构超分辨 率图像
降质 降模质型1 降模质型2 降模质型3 模型4
修正数据
观测 图像
凸集映射
符合条件1 所有可能重 构结果集合
凸集
符合条件2 所有可能重 构结果集合
符合条件3 所有可能重 构结果集合
重构结果落在符 合各个条件的集
合交集
凸集对应的映射算子
凸集映射算法
x1 Pm Pm1 Pm2 P2 P1 x0 x2 Pm Pm1 Pm2 P2 P1 x1 x3 Pm Pm1 Pm2 P2 P1 x2
基本概念 背景 非均匀插值重构算法 基于数学模型的重构 统计重构
基于统计参数的超分辨率重构
?
测试在观测到的条件下的各种 可能的像素值的出现概率，选 取可能性最大的像素值填入
条件概率最大化的重构思想
统计重构的表达式化简
nk=(yk-Wkxk) 的指数函数
条件概率就是n的分 布概率，一般用i.i.d. 高斯建模
凸集映射算法
凸集映射算法
双线性插值
凸集映射算法
10次映射迭代
凸集映射算法
30次映射迭代
凸集映射算法
50次映射迭代
最大似然-凸集映射联合算法(ML-POS)
根据概率准则化简得到的重构优化算法（用到了 高斯分布的假设，但噪声不是白的）
约束
噪声的条件概率的ln 即：给定重构图像条件下的
统计重构的表达式化简
复杂的图片出现的可能 性小，度量复杂度 高斯假设
可以限定评估图 像的局部区域
对比正则重构
正则重构
x =arg min x
统计重构
统计重构例子
最近邻法插值
统计重构例子
统计重构
内容提要
基本概念 背景 非均匀插值重构算法 基于数学模型的重构 统计重构 映射重构
方法
频域重构 非均匀插值重构 带约束的成像模型求逆 凸集映射 概率重构 综合上述各方法的方法
方法的简单评价
频域重构
不能处理图片平移
非均匀插值重构
需要图片精确对准
带约束的成像模型求逆 非线性病态方程求逆
凸集映射
收敛慢计算量大
概率重构
需要先验统计参数
综合上述各方法的方法 凑和能用
xk1 Pm Pm1 Pm2 P2 P1 xk
具体的凸集例子
满足(m1,m2)点约束条件r(x)(m1,m2) 的所有可能的图像的集合
和观测点(m1,m2)吻合的容忍门限， 对于可信度比较高的观测点，门限
低（紧）一些 对于可信度比较高的观测点，门限
高（松）一些
度量观测点(m1,m2)的吻合度
观测图像的条件概率
凸集约束
度量重构图像的出现 概率（图像复杂度）
其他算法 （反向传播算法）
前一次迭 代结果
图像修正量
修正步长
图像（位移）匹配误差
运动估计会有误差
通过匹配得到的两 图的采样网格相对 位移量（亚像素级
的）会有误差
考虑图像（位移）匹配误差的算法
x =arg min x
根据图像匹配误差 对吻合数据加权
超分辨率图像重构
技术概览
内容提要
基本概念
超分辨率重构的基本目标
由低分辨率图像序列得到高分辨率图像
内容提要
基本概念 背景
应用背景
提高CMOS或者CCD照相/摄像机的图像分辨率 医学成像(CT/MRI) 卫星和航空遥感成像 大屏幕电视 视频压缩
y1
y2
y3
y4
由超分 比
辨率重 构观测
较
图像 器
y1
y2
y3 y4
图像和匹配/降质模型联合优化 修正数据
重构超分辨 率图像
观测 图像
降质 降模质型1 降模质型2 降模质型3 模型4
y1
y2
y3
y4
由超分 比
辨率重 构观测
较
图像 器
y1
y2
y3 y4
联合优化
观测图像吻 合误差
min x,
p k 1
非均匀插值例子
最近邻法插值
非均匀插值例子
双线性插值
非均匀插值例子
非均匀插值
非均匀插值例子
去糊化后的输出
内容提要
基本概念 背景 非均匀插值重构算法 基于数学模型的重构
数学重构的基本流程
重构超分辨 率图像
降质 降模质型1 降模质型2 降模质型3 模型4
修正数据
观测 图像
y1
y2
惩罚可能重构 出的复杂图像
提取图像复 杂度信息
x =arg min x
重构结果是否 符合观测模型
图像复杂 度的度量
正则条件下重构方程的解
正则重构例子
最近邻法插值
正则重构例子
以较小的正则化参数（a）重构结果
正则重构例子
以较大的正则化参数（a）重构结果
严重惩罚导致高复 杂度的高频分量
内容提要
图像失真模型
图像的数学描述
…
图像失真的数学描述
降采样 像素糊化 像素移动
低画质图像的数学描述
内容提要
基本概念 背景 非均匀插值重构算法
非均匀插值重构
非均匀插值重构
非均匀插值重构
非均匀插值重构
非均匀插值重构
处理流程
图像运 动估计
图像合并
进一步的 去噪、抗 糊化处理
像素映射到高 分辨率格点
y3
y4
由超分 比
辨率重 构观测
较
图像 器
y1
y2
y3 y4
Leabharlann Baidu
数学重构思想
独立方程数目不够、 病态问题求解
…
转换成函数极小化问题，解不唯一 x =arg min x
正则条件下的数学重构
x =arg min x
重构结果是否 符合观测模型
额外的正 则化约束
a=1,C=I的特例代表最小二乘最小范数解
正则条件下重构方程的含义
||
yk
Wk
x
||2
g
x
降质模 型矩阵
构造降质模型 矩阵的参数
重构图的复 杂度度量
交替搜索优化x和W
联合优化的例子
联合优化的例子
联合优化的例子
总结
方法已经有不少了,可是…
速度慢，一般需要计算迭代，因此有收敛问题 计算量大 解的不唯一 性依赖于概率模型或者正则化表达式
还有什么可做的？
针对视频编解码应用 提高速度 使用编码端导引信息
统计参数 图像平滑度信息 图像复杂度评判区域和评判参照
终于结束了！
Thank You for Your Patience
Q&A
重构模型，根据图像 匹配得到，有误差
度量图像 复杂度
第k个观测图
重构图
重构结果和观测值 的吻合程度
匹配误差和加权因子的关系
吻合程度低的图很可能是大的匹配 误差造成的，因此要用小的l降低 它对算法的影响力
数学重构的基本流程
重构超分辨 率图像
降质 降模质型1 降模质型2 降模质型3 模型4
修正数据
观测 图像
凸集映射
符合条件1 所有可能重 构结果集合
凸集
符合条件2 所有可能重 构结果集合
符合条件3 所有可能重 构结果集合
重构结果落在符 合各个条件的集
合交集
凸集对应的映射算子
凸集映射算法
x1 Pm Pm1 Pm2 P2 P1 x0 x2 Pm Pm1 Pm2 P2 P1 x1 x3 Pm Pm1 Pm2 P2 P1 x2
基本概念 背景 非均匀插值重构算法 基于数学模型的重构 统计重构
基于统计参数的超分辨率重构
?
测试在观测到的条件下的各种 可能的像素值的出现概率，选 取可能性最大的像素值填入
条件概率最大化的重构思想
统计重构的表达式化简
nk=(yk-Wkxk) 的指数函数
条件概率就是n的分 布概率，一般用i.i.d. 高斯建模
凸集映射算法
凸集映射算法
双线性插值
凸集映射算法
10次映射迭代
凸集映射算法
30次映射迭代
凸集映射算法
50次映射迭代
最大似然-凸集映射联合算法(ML-POS)
根据概率准则化简得到的重构优化算法（用到了 高斯分布的假设，但噪声不是白的）
约束
噪声的条件概率的ln 即：给定重构图像条件下的
统计重构的表达式化简
复杂的图片出现的可能 性小，度量复杂度 高斯假设
可以限定评估图 像的局部区域
对比正则重构
正则重构
x =arg min x
统计重构
统计重构例子
最近邻法插值
统计重构例子
统计重构
内容提要
基本概念 背景 非均匀插值重构算法 基于数学模型的重构 统计重构 映射重构
方法
频域重构 非均匀插值重构 带约束的成像模型求逆 凸集映射 概率重构 综合上述各方法的方法
方法的简单评价
频域重构
不能处理图片平移
非均匀插值重构
需要图片精确对准
带约束的成像模型求逆 非线性病态方程求逆
凸集映射
收敛慢计算量大
概率重构
需要先验统计参数
综合上述各方法的方法 凑和能用
xk1 Pm Pm1 Pm2 P2 P1 xk
具体的凸集例子
满足(m1,m2)点约束条件r(x)(m1,m2) 的所有可能的图像的集合
和观测点(m1,m2)吻合的容忍门限， 对于可信度比较高的观测点，门限
低（紧）一些 对于可信度比较高的观测点，门限
高（松）一些
度量观测点(m1,m2)的吻合度
观测图像的条件概率
凸集约束
度量重构图像的出现 概率（图像复杂度）
其他算法 （反向传播算法）
前一次迭 代结果
图像修正量
修正步长
图像（位移）匹配误差
运动估计会有误差
通过匹配得到的两 图的采样网格相对 位移量（亚像素级
的）会有误差
考虑图像（位移）匹配误差的算法
x =arg min x
根据图像匹配误差 对吻合数据加权