基于特征点匹配的无人机航拍图像拼接技术
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
UAV Image Automatic Mosaic Method
Based On Matching Of Feature Points
（基于特征点匹配的无人机航拍图像拼接技术）
@2013 IEEE Yang Xiao Hong,Zhang Qing Jie,Zhao Dan Dan dept. of aircraft controller aviation university of air force Shao Xiang Xin college of electronic science ˂ engineering changchun university of technology Xu Jing dept. of neurology internal medicine first hospital of jilin university
角点检测的方法主要分为两种：(1) 基于图像边缘的方法 : 先提取图像信息的边缘，然后再求角点； (2) 基于图像灰 度的方法， 例如： Moravec算法 、Harris算法、SUSAN 算法等。
整理课件
8
几种角点检测的比较
整理课件
9
目录
背景
角点检测
✓ 本文提出的改进算法
后续工作
实验结果
整理课件
1
目录
背景
角点检测
本文提出的改进算法
后续工作
实验结果
整理课件
2
目录
✓ 背景
角点检测
本文提出的改进算法
后续工作
实验结果
整理课件
3
图像拼接
图像拼接技术是指将一组相互之间存在重叠部分的图 像序列先进行空间配准， 再经过图像变换、 重采样 和图像融合后形成一幅包含每个图像序列的宽视角或 ３６０°视角的全景图像的技术。图像拼接具有重要 的实用意义，广泛应用于遥感图像处理、 地理信息 系统、 虚拟现实技术、 视频拼接、 医学图像分析、 机器人视觉和３Ｄ图像重建等领域。近年来，也逐渐 成为计算机数字图像处理领域中的一个研究趋势。
M1、M2：待拼接图像 M：融合后的图像
ω1、ω2：重叠区域对应像素的权值。 一般取ωi ＝ ω 1/ ω ，ω 表示重叠区域的宽度 (i=0或1) 且满足条件 ω 1 ＋ ω2 ＝ 1 ，0< ω1,ω2 <１ 。
整理课件
19
目录
背景
角点检测
本文提出的改进算法
后续工作
✓ 实验结果
整理课件
CRF阈值的选取：考虑到算法的通用性，不可能在对每张图片进行处理时 都进行比较来得出适合不同图片自身的阈值，所以就对阈值的自适应能 力提出了要求，根据参考图像自动确定阈值T ——首先对参考图像设定一 个比较小的初始阈值 T1 ，对大于T1的点取局部极大值， 然后对结果进 行排序， 根据要求选取最大的若干个像素点作为候选角点结果，同时记 录该结果角点提取的最小阈值，作为待拼接图像角点提取的阈值T。
这说明（ A ，A ′ ） 和（B ，B ′ ）是两对对应的匹配对
整理课件
16
A(2,2) B(3,3)
A’(0,1) B’(1,2)
L=|2-0|/|2-1|=2 R=|3-1|/|3-2|=2
整理课件
17
目录
背景
角点检测
本文提出的改进算法
✓ 后续工作
实验结果
整理课件
18
图像融合
M(x,y)=
整理课件
13
特征点配准失败的原因
➢角点之间存在相似性，这导致匹配错误。 ➢两幅图像之间的角点不是一对一的关系，有些特
征点找不到相应的匹配点。
整理课件
14
特征点的配准
互相关函数（correlation feature registration）：
以每个特征点为中心， 取一个(2N+1) X (2N +1) 大小的相关窗口。 I 和I′ 代表两幅图像中像素点的灰度值。
整理课件
6
目录
背景
✓ 角点检测 本文提出的改进算法
后续工作
实验结果
整理课件
7
角点检测
Corner in a digital image is referring to the local maximum curvature contour line in the image.
与边缘和直线等特征相比 ，角点具有提取过程简单，结果 稳定和提取算法适应性强等特点 ，广泛应用于图像配准领 域。
整理课件
15
去除伪配准对——constraint registration algorithm
设点 A ( xA ,yA) 和点 B ( xB , yB) 分别是参考图像中任意的两个特征点， 在 待拼接图像中有两个对应的特征点分别是 A′ ( x′A ,y′A ) 和 B′ (x′B, y′B )， 如果(A,A′) , (B,B′) 的坐标满足如下关系:
整理课件
10Βιβλιοθήκη Baidu
流程图
use Harris operator to detect the image corner
use the correlation feature registration to find registration pair
remove the false registration using constraint registration algorithm
20
实验结果
整理课件
21
实验结果
整理课件
22
实验结果
整理课件
23
实验结果
整理课件
24
谢谢！
整理课件
use the gradual fade-out method for image fusion
整理课件
11
经典的Harris角点检测算法
Harris角点检测算法只计算图像的一阶导数
Corner Response Function (角点响应函数CRF)定义如下：
整理课件
12
一种新的角点响应函数
整理课件
4
UAV (Unmanned Aerial Vehicle) image
High resolution
High flexibility
High efficiency
Low cost
整理课件
5
图像拼接的步骤
图像拼接技术主要包括３个重要步骤： 特征提取、 特征配准和图像融合。
其中图像配准是整个图像拼接技术的核心部分，直 接决定了图像拼接结果的质量。图像配准算法主要 分为３类： 基于灰度图像的匹配、基于特征的匹 配和基于变换域的匹配。
Based On Matching Of Feature Points
（基于特征点匹配的无人机航拍图像拼接技术）
@2013 IEEE Yang Xiao Hong,Zhang Qing Jie,Zhao Dan Dan dept. of aircraft controller aviation university of air force Shao Xiang Xin college of electronic science ˂ engineering changchun university of technology Xu Jing dept. of neurology internal medicine first hospital of jilin university
角点检测的方法主要分为两种：(1) 基于图像边缘的方法 : 先提取图像信息的边缘，然后再求角点； (2) 基于图像灰 度的方法， 例如： Moravec算法 、Harris算法、SUSAN 算法等。
整理课件
8
几种角点检测的比较
整理课件
9
目录
背景
角点检测
✓ 本文提出的改进算法
后续工作
实验结果
整理课件
1
目录
背景
角点检测
本文提出的改进算法
后续工作
实验结果
整理课件
2
目录
✓ 背景
角点检测
本文提出的改进算法
后续工作
实验结果
整理课件
3
图像拼接
图像拼接技术是指将一组相互之间存在重叠部分的图 像序列先进行空间配准， 再经过图像变换、 重采样 和图像融合后形成一幅包含每个图像序列的宽视角或 ３６０°视角的全景图像的技术。图像拼接具有重要 的实用意义，广泛应用于遥感图像处理、 地理信息 系统、 虚拟现实技术、 视频拼接、 医学图像分析、 机器人视觉和３Ｄ图像重建等领域。近年来，也逐渐 成为计算机数字图像处理领域中的一个研究趋势。
M1、M2：待拼接图像 M：融合后的图像
ω1、ω2：重叠区域对应像素的权值。 一般取ωi ＝ ω 1/ ω ，ω 表示重叠区域的宽度 (i=0或1) 且满足条件 ω 1 ＋ ω2 ＝ 1 ，0< ω1,ω2 <１ 。
整理课件
19
目录
背景
角点检测
本文提出的改进算法
后续工作
✓ 实验结果
整理课件
CRF阈值的选取：考虑到算法的通用性，不可能在对每张图片进行处理时 都进行比较来得出适合不同图片自身的阈值，所以就对阈值的自适应能 力提出了要求，根据参考图像自动确定阈值T ——首先对参考图像设定一 个比较小的初始阈值 T1 ，对大于T1的点取局部极大值， 然后对结果进 行排序， 根据要求选取最大的若干个像素点作为候选角点结果，同时记 录该结果角点提取的最小阈值，作为待拼接图像角点提取的阈值T。
这说明（ A ，A ′ ） 和（B ，B ′ ）是两对对应的匹配对
整理课件
16
A(2,2) B(3,3)
A’(0,1) B’(1,2)
L=|2-0|/|2-1|=2 R=|3-1|/|3-2|=2
整理课件
17
目录
背景
角点检测
本文提出的改进算法
✓ 后续工作
实验结果
整理课件
18
图像融合
M(x,y)=
整理课件
13
特征点配准失败的原因
➢角点之间存在相似性，这导致匹配错误。 ➢两幅图像之间的角点不是一对一的关系，有些特
征点找不到相应的匹配点。
整理课件
14
特征点的配准
互相关函数（correlation feature registration）：
以每个特征点为中心， 取一个(2N+1) X (2N +1) 大小的相关窗口。 I 和I′ 代表两幅图像中像素点的灰度值。
整理课件
6
目录
背景
✓ 角点检测 本文提出的改进算法
后续工作
实验结果
整理课件
7
角点检测
Corner in a digital image is referring to the local maximum curvature contour line in the image.
与边缘和直线等特征相比 ，角点具有提取过程简单，结果 稳定和提取算法适应性强等特点 ，广泛应用于图像配准领 域。
整理课件
15
去除伪配准对——constraint registration algorithm
设点 A ( xA ,yA) 和点 B ( xB , yB) 分别是参考图像中任意的两个特征点， 在 待拼接图像中有两个对应的特征点分别是 A′ ( x′A ,y′A ) 和 B′ (x′B, y′B )， 如果(A,A′) , (B,B′) 的坐标满足如下关系:
整理课件
10Βιβλιοθήκη Baidu
流程图
use Harris operator to detect the image corner
use the correlation feature registration to find registration pair
remove the false registration using constraint registration algorithm
20
实验结果
整理课件
21
实验结果
整理课件
22
实验结果
整理课件
23
实验结果
整理课件
24
谢谢！
整理课件
use the gradual fade-out method for image fusion
整理课件
11
经典的Harris角点检测算法
Harris角点检测算法只计算图像的一阶导数
Corner Response Function (角点响应函数CRF)定义如下：
整理课件
12
一种新的角点响应函数
整理课件
4
UAV (Unmanned Aerial Vehicle) image
High resolution
High flexibility
High efficiency
Low cost
整理课件
5
图像拼接的步骤
图像拼接技术主要包括３个重要步骤： 特征提取、 特征配准和图像融合。
其中图像配准是整个图像拼接技术的核心部分，直 接决定了图像拼接结果的质量。图像配准算法主要 分为３类： 基于灰度图像的匹配、基于特征的匹 配和基于变换域的匹配。