图像拼接算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
当引进尺度参数W后，就得到了8-参数模型：
X ' a11 a12 a13 x Y ' a21 a22 a23 y W a31 a32 1 1
8－参数运动模型
平移、刚体、仿射以及透视变换对应的变 换矩阵M的形式：
优化目标函数
假设I‘(x’,y‘)和I(x,y)是两幅需要对齐的图像。 这种方法就是要使I(x,y)和I‘(x’,y‘)的重叠区域中所 有相应象素i的强度值之差的平方和最小，即：
E e2 I ' x', y' Ix, y 2
L-M 非线性最小二乘算法
1.对于未对齐图像中（x,y）处的象素点 ， （a）计算它在基准图像中的位置
在固定位置拍摄的条件下，我们通常使用8-参数运动模型 以及其简化形式来概括或计算这些几何变换。
摄像机运动模型
homography
摄像机的8-参数运动模型
常见的几种几何变换：
平移 （translation)
水平切变 (horizontal
shear)
旋转 (rotation)
投影 (projection)
4.不断进行迭代计算直到强度差E低于某一门限或执行完一 定的次数为止。
拼接实验(1)
后续工作
改进图像对齐算法：使用全局对齐算法以 减少累计误差，并最终实现自动对齐而无 续人工干预。
图像合成部分可以通过直方图均衡化或者 平滑函数等方法来对图像拼接后的出现的 接缝进行处理。
m6 m7 1
图像对齐
图像对齐
找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一 幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中 的主要任务。
图像对齐方法
所使用的图像特征
特征点 频域 灰度值
优化算法
非线性最小二乘 傅立叶变换 小波变换 动态规划 Leabharlann Baidu传算法
akl
ei ei mk ml
bk
ei mk
ei
L-M 非线性最小二乘算法（cont.）
2.求解方程 A I m b
并且更新变换矩阵 mt1 mt m
3.检查误差E的变化，如果增大，则适当地增加λ，重新计 算一个△m，然后重复步骤2；如果减小，则适当地减小λ， 重新计算△m ，然后重复步骤2。
M
1 a
10
M
1 0
1a
sin cos
尺度和旋转 垂直切变 水平切变
8-参数运动模型
仿射变换在统一坐标系下可以用一个矩阵相乘的 形式来表示：
X ' a11 a12 a13 x Y ' a21 a22 a23 y 1 0 0 1 1
对齐算法流程
投影到统一坐标系 初始变换矩阵M
非线性最小 二乘法进行
优化
图像合成
最终变换矩阵M
初始变换矩阵的获取
初始变换矩阵M可以通过提取特征点或者在 频域上计算两幅图像的相位相关等方法来 得到。
MATLAB中内建有cpselect函数，该函数允 许用户在将要拼接的两幅图像的重叠区域 中手工选取一定数量的匹配特征点对然后 自动给出两幅图像之间的初始变换矩阵。
8-参数运动模型
假设 p'(x', y')T 和 p (x, y)T 分别是一个象素点的新旧坐 标，一个二维仿射变换可以写为：
p' Mp t 或是
xy''
a11 a21
a12 a22
x y
t t
x y
M
s
cos sin
图像拼接简介
图像拼接简介
图像拼接中的几个主要问题：
使用图像数据和摄像机模型对几何失真 进行校正。
使用图像数据及摄像机模型进行图像对 齐。
消除拼接图像中的接缝。
摄像机运动模型
在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻 两幅图像中的景物会出现几何形变。
通过寻找能够恰当地将一幅图像与另一幅图像对准的几何 变换来将两幅图像对齐。这些变换被称为对应 (homography)。换句话说，这些几何变换是一种映射， 两幅有重叠区域的图像，其中一幅图像重叠区域中的一个 点经过这种几何变换将被映射到另外一幅图像重叠区域中 的某个点上。这样这两个点形成了对应关系。
图像拼接简介
传统全景图(panorama)
是由在一个固定位置上以不同角度拍摄到的一 系列图像拼接而成的大视场图像。
特点：没有或只有轻微的运动视差
多重投影拼接图(multi-perspective mosaic)
是由在一些不同位置上拍摄到的一系列图像拼 接而成的大视场图像。
特点：存在较大的运动视差（motion parallax)
x' m0 x m1 y m2 m6 x m7 y 1
y' m3x m4 y m5 m6 x m7 y 1
L-M 非线性最小二乘算法（cont.）
（b）计算误差梯度
e I ' x' I ' y' mk x' mk y' mk
（c）计算Hessian矩阵A和加权梯度向量b,其中
1 0 tx M 平移 0 1 ty
0 0 1
m0 m1 m2 M 仿射 m3 m4 m5
0 0 1
cos sin tx
M刚体 sin cos ty
0
0 1
m0 m1 m2 M 投影 m3 m4 m5
X ' a11 a12 a13 x Y ' a21 a22 a23 y W a31 a32 1 1
8－参数运动模型
平移、刚体、仿射以及透视变换对应的变 换矩阵M的形式：
优化目标函数
假设I‘(x’,y‘)和I(x,y)是两幅需要对齐的图像。 这种方法就是要使I(x,y)和I‘(x’,y‘)的重叠区域中所 有相应象素i的强度值之差的平方和最小，即：
E e2 I ' x', y' Ix, y 2
L-M 非线性最小二乘算法
1.对于未对齐图像中（x,y）处的象素点 ， （a）计算它在基准图像中的位置
在固定位置拍摄的条件下，我们通常使用8-参数运动模型 以及其简化形式来概括或计算这些几何变换。
摄像机运动模型
homography
摄像机的8-参数运动模型
常见的几种几何变换：
平移 （translation)
水平切变 (horizontal
shear)
旋转 (rotation)
投影 (projection)
4.不断进行迭代计算直到强度差E低于某一门限或执行完一 定的次数为止。
拼接实验(1)
后续工作
改进图像对齐算法：使用全局对齐算法以 减少累计误差，并最终实现自动对齐而无 续人工干预。
图像合成部分可以通过直方图均衡化或者 平滑函数等方法来对图像拼接后的出现的 接缝进行处理。
m6 m7 1
图像对齐
图像对齐
找出两幅图像之间最优的空间位置和色彩之间的变换关系，使一 幅图像中的点最优地映射到另一幅图像中。它是图像拼接过程中 的主要任务。
图像对齐方法
所使用的图像特征
特征点 频域 灰度值
优化算法
非线性最小二乘 傅立叶变换 小波变换 动态规划 Leabharlann Baidu传算法
akl
ei ei mk ml
bk
ei mk
ei
L-M 非线性最小二乘算法（cont.）
2.求解方程 A I m b
并且更新变换矩阵 mt1 mt m
3.检查误差E的变化，如果增大，则适当地增加λ，重新计 算一个△m，然后重复步骤2；如果减小，则适当地减小λ， 重新计算△m ，然后重复步骤2。
M
1 a
10
M
1 0
1a
sin cos
尺度和旋转 垂直切变 水平切变
8-参数运动模型
仿射变换在统一坐标系下可以用一个矩阵相乘的 形式来表示：
X ' a11 a12 a13 x Y ' a21 a22 a23 y 1 0 0 1 1
对齐算法流程
投影到统一坐标系 初始变换矩阵M
非线性最小 二乘法进行
优化
图像合成
最终变换矩阵M
初始变换矩阵的获取
初始变换矩阵M可以通过提取特征点或者在 频域上计算两幅图像的相位相关等方法来 得到。
MATLAB中内建有cpselect函数，该函数允 许用户在将要拼接的两幅图像的重叠区域 中手工选取一定数量的匹配特征点对然后 自动给出两幅图像之间的初始变换矩阵。
8-参数运动模型
假设 p'(x', y')T 和 p (x, y)T 分别是一个象素点的新旧坐 标，一个二维仿射变换可以写为：
p' Mp t 或是
xy''
a11 a21
a12 a22
x y
t t
x y
M
s
cos sin
图像拼接简介
图像拼接简介
图像拼接中的几个主要问题：
使用图像数据和摄像机模型对几何失真 进行校正。
使用图像数据及摄像机模型进行图像对 齐。
消除拼接图像中的接缝。
摄像机运动模型
在拍摄过程中由于摄像机镜头的运动，使得拍摄到的相邻 两幅图像中的景物会出现几何形变。
通过寻找能够恰当地将一幅图像与另一幅图像对准的几何 变换来将两幅图像对齐。这些变换被称为对应 (homography)。换句话说，这些几何变换是一种映射， 两幅有重叠区域的图像，其中一幅图像重叠区域中的一个 点经过这种几何变换将被映射到另外一幅图像重叠区域中 的某个点上。这样这两个点形成了对应关系。
图像拼接简介
传统全景图(panorama)
是由在一个固定位置上以不同角度拍摄到的一 系列图像拼接而成的大视场图像。
特点：没有或只有轻微的运动视差
多重投影拼接图(multi-perspective mosaic)
是由在一些不同位置上拍摄到的一系列图像拼 接而成的大视场图像。
特点：存在较大的运动视差（motion parallax)
x' m0 x m1 y m2 m6 x m7 y 1
y' m3x m4 y m5 m6 x m7 y 1
L-M 非线性最小二乘算法（cont.）
（b）计算误差梯度
e I ' x' I ' y' mk x' mk y' mk
（c）计算Hessian矩阵A和加权梯度向量b,其中
1 0 tx M 平移 0 1 ty
0 0 1
m0 m1 m2 M 仿射 m3 m4 m5
0 0 1
cos sin tx
M刚体 sin cos ty
0
0 1
m0 m1 m2 M 投影 m3 m4 m5