计算摄像学专题第8讲(上)详解
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
通过对图像超分辨率的学习，希望大家能
对基础理论与实际应用（计算摄像学）之 间的差距有一个直观认识，学会用 “Vision”的方式来思考问题。
提
1
纲
-3-
背景介绍
理论分析 图像超分辨率方法介绍
2
3 4
展望\单像素相机
背景介绍
-4-
成像结果
不同显示设备
场景发 射/反射 出光线
光线 传输
镜头 汇聚
at xi(8) t ) bt xi(4) t )
b arg min( xi
xi W
t 0,1,2,3
图像超分辨率方法介绍
图像插值常用的六边形窗
-17-
图像超分辨率方法介绍
a arg min( xi b arg min( xi
t 0,1,2,3
-18-
自然图像往往具有分段平稳特性，AR系数变换缓
慢。因此，可以利用AR（autoregressive）模型 来解决图像超分辨等一些问题。
图像超分辨率方法介绍
现代信号处理理论中的AR系数估计方法
-15-
X i ak X i k i
k 1
p
Yuler-walker 方程
r1 r0 r2 r1 r3 r2
-10-
香农乃奎斯特采样定理：当采样频率应该不小于奈 奎斯特频率(即模拟信号频谱中的最高频率)的两倍 时，可以不失真地恢复模拟信号。由于现实图像只 是可以近似看做具有带限性，很难恢复出真实图像。
sin( (t nTS ) / TS ) x(t ) x(nTS ) (t nTS ) / TS
a1 xi M xi(8) M 4 (8) xi M 1 4 a2 xi M 1 a3 xi(8) xi M M 4 a4
简记为：Axi ai xi , Bxi bi xi
r1 r0 r1
r2 a1 r1 a2 其中：ri E( X t X t M ) r0 a3
图像超分辨率方法介绍
图像的AR模型
-16-
a arg min( xi
xi W
t 0,1,2,3
ax ) bt xi(4) t )
(8) t it
t 0,1,2,3
(8) xi(8) x M 1 iM 2 (8) (8) x x i M 11 i M 1 2 (8) (8) x x iM 2 i M 1
xi(8) M 3 xi(8) M 1 3 xi(8) M 3
波器h的傅里叶变换系数
理论分析
图像超分辨率的问题就是如合从所有的可
-12-
行解中找出一个最合理的结果出来。例如： 在所有解中可以找一个x的全部值相同的 解，找一个具有最小能量的解
y DFh x (n)
提
1
纲
-13-
背景介绍
理论分析 图像超分辨率方法介绍
2
3 4
展望\单像素相机
图像超分辨率方法介绍
Burg的最大熵原理表明: 满足如下约束
-14-
EX i X i k ak , k 0,1,..., p, for all i
的最大熵随机平稳过程{Xi}是p阶的 Gauss-Markov 随 机过程
X i ak X i k i
k 1
p
i N (0, 2 )
提
1
纲
-6-
背景介绍
理论分析 图像超分辨率方法介绍
2
3 4
展望\单像素相机
理论分析
场景发 射/反射 出光线
-7-
光线 传输
镜头 汇聚
曝光
原始图像
n(t )
f (t )
h(t )
y (t )
y(t ) S{ h(t; )x( )d } n(t )
理论分析
y(t ) S{ h(t; )x( )d } (t )
理论分析
图像超分辨率的病态性(信息量角度)
-9-
信息量 自然场景
信息量 低分辨率图像
先 验 知 识
ቤተ መጻሕፍቲ ባይዱ
信息量 信息量 高分辨率图像
根据最大熵原理，随着对现实场景处理的加深，图像熵将会 增大，所得到的数据中包含的信息量将减少，为了从低分辨 率图像恢复出高分辨率图像，必须引入新的先验信息
理论分析
图像超分辨率的病态性（信号处理角度）
-8-
数 学 描 述
y(t )
h(t; )x( )d (t )
y ( n ) h ( n k ) x ( k ) ( n)
y Fh x (n) 或y DFh x (n)
Y (u, v) H (u, v) X (u, v) (u, v)
-1-
计算摄像学专题第八讲(上)
—— 图像超分辨问题研究
戴琼海 付长军 清华大学 自动化系 2011-03-18
引言
随着计算机的迅猛发展，信号处理理论的
-2-
不断增强，现代成像技术不再仅仅依赖那 些能工巧匠，还需要强大的理论知识作为 指导。计算摄像学就是在信号处理的基础 知识上研究如何有效成像的一门交叉学科
曝光
原始图像 （CCD/CMOS）
散射 折射
镜头 畸变
积分 效应
不同形式 的图像： 电视 相片 画报 等等
成像过程受到多种干扰 主要通过算法实现
背景介绍
原始图像 （CCD/C MOS）
-5-
红色通道
绿色通道
蓝色通道
图像超分辨率技术
需要的图像
图像超分辨率技术还被广泛应用于不同分辨率图像 之间的转换，亚像素运动/视差估计等问题中
图像超分辨率方法介绍
当系统响应函数中包含零点时，采集到的图像中与 零点所对应的频率将不可恢复：
Y (u, v) H (u, v) X (u, v) (u, v)
理论分析
图像超分辨率的病态性（矩阵分析角度）
-11-
y DFh x (n)
DFh不满秩，在求解x的过程中，解不唯一 当Fh为循环卷积矩阵时，其奇异值即为滤
对基础理论与实际应用（计算摄像学）之 间的差距有一个直观认识，学会用 “Vision”的方式来思考问题。
提
1
纲
-3-
背景介绍
理论分析 图像超分辨率方法介绍
2
3 4
展望\单像素相机
背景介绍
-4-
成像结果
不同显示设备
场景发 射/反射 出光线
光线 传输
镜头 汇聚
at xi(8) t ) bt xi(4) t )
b arg min( xi
xi W
t 0,1,2,3
图像超分辨率方法介绍
图像插值常用的六边形窗
-17-
图像超分辨率方法介绍
a arg min( xi b arg min( xi
t 0,1,2,3
-18-
自然图像往往具有分段平稳特性，AR系数变换缓
慢。因此，可以利用AR（autoregressive）模型 来解决图像超分辨等一些问题。
图像超分辨率方法介绍
现代信号处理理论中的AR系数估计方法
-15-
X i ak X i k i
k 1
p
Yuler-walker 方程
r1 r0 r2 r1 r3 r2
-10-
香农乃奎斯特采样定理：当采样频率应该不小于奈 奎斯特频率(即模拟信号频谱中的最高频率)的两倍 时，可以不失真地恢复模拟信号。由于现实图像只 是可以近似看做具有带限性，很难恢复出真实图像。
sin( (t nTS ) / TS ) x(t ) x(nTS ) (t nTS ) / TS
a1 xi M xi(8) M 4 (8) xi M 1 4 a2 xi M 1 a3 xi(8) xi M M 4 a4
简记为：Axi ai xi , Bxi bi xi
r1 r0 r1
r2 a1 r1 a2 其中：ri E( X t X t M ) r0 a3
图像超分辨率方法介绍
图像的AR模型
-16-
a arg min( xi
xi W
t 0,1,2,3
ax ) bt xi(4) t )
(8) t it
t 0,1,2,3
(8) xi(8) x M 1 iM 2 (8) (8) x x i M 11 i M 1 2 (8) (8) x x iM 2 i M 1
xi(8) M 3 xi(8) M 1 3 xi(8) M 3
波器h的傅里叶变换系数
理论分析
图像超分辨率的问题就是如合从所有的可
-12-
行解中找出一个最合理的结果出来。例如： 在所有解中可以找一个x的全部值相同的 解，找一个具有最小能量的解
y DFh x (n)
提
1
纲
-13-
背景介绍
理论分析 图像超分辨率方法介绍
2
3 4
展望\单像素相机
图像超分辨率方法介绍
Burg的最大熵原理表明: 满足如下约束
-14-
EX i X i k ak , k 0,1,..., p, for all i
的最大熵随机平稳过程{Xi}是p阶的 Gauss-Markov 随 机过程
X i ak X i k i
k 1
p
i N (0, 2 )
提
1
纲
-6-
背景介绍
理论分析 图像超分辨率方法介绍
2
3 4
展望\单像素相机
理论分析
场景发 射/反射 出光线
-7-
光线 传输
镜头 汇聚
曝光
原始图像
n(t )
f (t )
h(t )
y (t )
y(t ) S{ h(t; )x( )d } n(t )
理论分析
y(t ) S{ h(t; )x( )d } (t )
理论分析
图像超分辨率的病态性(信息量角度)
-9-
信息量 自然场景
信息量 低分辨率图像
先 验 知 识
ቤተ መጻሕፍቲ ባይዱ
信息量 信息量 高分辨率图像
根据最大熵原理，随着对现实场景处理的加深，图像熵将会 增大，所得到的数据中包含的信息量将减少，为了从低分辨 率图像恢复出高分辨率图像，必须引入新的先验信息
理论分析
图像超分辨率的病态性（信号处理角度）
-8-
数 学 描 述
y(t )
h(t; )x( )d (t )
y ( n ) h ( n k ) x ( k ) ( n)
y Fh x (n) 或y DFh x (n)
Y (u, v) H (u, v) X (u, v) (u, v)
-1-
计算摄像学专题第八讲(上)
—— 图像超分辨问题研究
戴琼海 付长军 清华大学 自动化系 2011-03-18
引言
随着计算机的迅猛发展，信号处理理论的
-2-
不断增强，现代成像技术不再仅仅依赖那 些能工巧匠，还需要强大的理论知识作为 指导。计算摄像学就是在信号处理的基础 知识上研究如何有效成像的一门交叉学科
曝光
原始图像 （CCD/CMOS）
散射 折射
镜头 畸变
积分 效应
不同形式 的图像： 电视 相片 画报 等等
成像过程受到多种干扰 主要通过算法实现
背景介绍
原始图像 （CCD/C MOS）
-5-
红色通道
绿色通道
蓝色通道
图像超分辨率技术
需要的图像
图像超分辨率技术还被广泛应用于不同分辨率图像 之间的转换，亚像素运动/视差估计等问题中
图像超分辨率方法介绍
当系统响应函数中包含零点时，采集到的图像中与 零点所对应的频率将不可恢复：
Y (u, v) H (u, v) X (u, v) (u, v)
理论分析
图像超分辨率的病态性（矩阵分析角度）
-11-
y DFh x (n)
DFh不满秩，在求解x的过程中，解不唯一 当Fh为循环卷积矩阵时，其奇异值即为滤