基于SURF和快速近似最近邻搜索的图像匹配算法
结合SURF描述符和广义近邻图的图像配准算法
结合SURF描述符和广义近邻图的图像配准算法孙登第;罗斌;卜令斌【期刊名称】《微型机与应用》【年(卷),期】2012(031)015【摘要】To solve the drawbacks that typical mutual information-based registration has a large amount of calculation neglects the spatial information of images, a new medical image registration method is proposed by combining SURF descriptor and generalized nearest-neighbor graph (GNN). The algorithm extracts the feature points and SURF descriptor from images firstly, and then uses the generalized nearest-neighbor graph to estimate the Renyi entropy and mutual information. The algorithm combines with the robustness of SURF and the high efficiency of using GNN to estimate the Renyi entropy. The experimental results show that for the real-world remote sensing images, the proposed algorithm can achieve better robustness, higher speed and better accuracy than the traditional methods.%针对传统互信息配准方法计算量较大且未利用图像空间信息的缺点,提出了一种结合SURF描述符和广义近邻图的图像配准算法。
改进的SURF算法在图像匹配中的应用
consistency;matching precision
近邻特征点,结合双向唯一性匹配的方法完成图像匹配,然后在视差约束下,利用视差梯度约束对初始特征匹配对进行预处
理,筛选掉一些偏差较大的匹配对,最后采用随机抽样一致(Random Sample Consensus,RANSAC)算法对特征点二次优化和
去噪处理。将其他改进算法和提出的改进算法分别进行图像匹配处理比较,分析算法的性能,得到提出的改进算法匹配成
0引言
近年来,随着科技的进步,双目立体视觉[1]技术被广 泛 应 用 ,例 如 图 像 检 索[2]、三 维 重 建[3]、目 标 识 别[4]、图 像 配准 等 [5] 。其中,特征点检测与匹配作为双目立体视觉 技术中的关键一步,显得尤为重要。常见的适用于特征 匹配的算法中,较为成熟的有 SIFT 算法和 SURF 算法。 SIFT 算法 具 [6] 有尺度不变性和旋转不变性,图像在尺度 变化和旋转变化的情况下匹配效果受影响很小,由于采 用 差 分 高 斯 金 字 塔[7⁃8]进 行 特 征 点[7,9]提 取 ,所 以 算 法 运 行时间相应增加,降低了运行速度。1999 年 David Lowe
功率达 96.3%。实验结果证明提出的改进算法简单快速,匹配精度高。
关键词:图像匹配;特征点提取;双向匹配;视差梯度;随机抽样一致;匹配精度
中图分类号:TN911.73⁃34;TP391.9
文献标识码:A
基于改进SURF的快速图像配准算法
基于改进SURF的快速图像配准算法胡旻涛;彭勇;徐赟【期刊名称】《传感器与微系统》【年(卷),期】2017(036)011【摘要】针对传统加速鲁棒特征(SURF)匹配算法存在实时性不高,误匹配等问题,提出了基于改进SURF特征提取快速的图像配准算法.利用快速黑塞(Hessian)矩阵提取图像特征点,根据图像熵信息对特征点进行筛选,采用改进的快速近邻搜索算法进行特征匹配,到用随机抽样一致(RANSAC)算法剔除误匹配对.实验表明:改进后的算法有效改善了匹配效率,提高了匹配准确度.%Aiming at problem of poor real-time and false matching of images matching algorithm based on speed up robust features (SURF),present an images matching algorithm based on improved SURF. Features point of image is extracted by using the Fast-Hessian matrix. Features point is sifting by image entropy information. RANSAC algorithm is used to exclude mistake matching pair. The experiments show that this algorithm improves matching efficiency,and improve matching accuracy.【总页数】3页(P151-153)【作者】胡旻涛;彭勇;徐赟【作者单位】江南大学物联网工程学院,江苏无锡214122;江南大学物联网工程学院,江苏无锡214122;江南大学物联网工程学院,江苏无锡214122【正文语种】中文【中图分类】TP391.41【相关文献】1.基于改进Harris-SURF算子的遥感图像配准算法 [J], 李天佐;刘丽萍;孙学宏;余增增2.基于改进SURF算法的移动目标实时图像配准方法研究 [J], 巨刚;袁亮;刘小月;岳昊恩3.基于SURF的图像配准改进算法 [J], 潘建平;郝建明;赵继萍4.基于改进的SURF图像配准算法研究 [J], 金斌英5.基于SURF的图像配准改进算法 [J], 袁丽英; 刘佳; 王飞越因版权原因,仅展示原文概要,查看原文内容请购买。
基于SURF的自适应彩色图像配准算法
基于SURF的彩色图像的配准算法摘要:SURF算法(加速鲁棒特征法)克服了SIFT(尺度不变特征变换)算法繁复的计算,但两者的设计主要是针对灰度图像,为了克服这一缺点,色彩信息也应该被配准,这篇文章提供了一种基于SURF描述符的针对彩色图像的配准算法,首先用SURF算法计算关键点和描述符,然后色彩信息被叠加在关键点的描述符来重建描述符,最后基于欧式距离的双路匹配算法被用来匹配图像,大量的实验实验表明,该算法不仅继承了其优越的性能SURF算法,同时也增加了彩色图像自适应匹配能力。
2015 Elsevier有限公司保留所有权利1简介图像配准技术是计算机视觉应用的一个重要方面,图像配准的目标是要找到可靠的图像之间的对应关系对同一场景(在不同的图象拍摄时间,不同视角或不同传感器)[1],图像配准的应用主要包括远程图像拼接,遥感图像配准,红外图像配准,医学图像配准,以及三维重建等等[2-4]。
目前主要有三种图像配准:基于图像特征的配准,基于灰度相关和变换域的配准,基于特征的图像配准的研究最早和具有最广泛的适应性[5],在此,研究人员经过了长期不懈的研究,对于特征图像配准算法提出了如Moravec, Harris,SUSAN, and SIFT等算法,sift算法在局部不变描述符上具备最好的判别性,但他的描述符是16*8=128维度的向量,用来对灰度图像进行设计,为了克服这个缺陷,本文将设计更多维度的向量描述符,PCA_SIFT[10]算法将向量维度从128减少到36,但是却不具备判别性,GLOH[11]算法在相同情况下具备更好的区分度,但计算却更复杂一些,SURF[12]是2006年Bay et al.在SIFT基础上建立的算法,相比于SIFT算法,SURF算法在速度上有明显的提高,因为其有低维度描述符向量空间(只有64),尽管这已经算不错的结果,但仍然没有包括色彩信息。
色彩信息在这世上扮演了重要的角色,它是区分事物的重要部分,如果物体的色彩信息被忽略,那么可能物体就会被错误的辨认,基于就可以进行色彩的CSIFT[13](尺度不变特征变换)去利用色彩信息。
基于SURF算子与FLANN搜索的图像匹配方法研究
文章编号:1007-1423(2020)14-0049-05DOI:10.3969/j.issn.1007-1423.2020.14.011基于SURF算子与FLANN搜索的图像匹配方法研究徐明,刁燕(四川大学机械工程学院,成都610065)摘要:对于在传统的图像匹配过程中,存在误匹配率高和匹配效果不佳的问题,提出基于加速鲁棒特征(SURF)算法与快速近似最近邻查找(FLANN)搜索的图像匹配方法。
首先采用Hessian矩阵来获知图像的局部最值,然后在图像上构建尺度空间,通过不同的尺度空间定位出特征点,并确立特征点的主方向,再生成特征点描述子,最后结合FLANN搜索算法对图像进行匹配。
实验表明,该算法相对传统的图像匹配方法提高准确度和匹配效果。
关键词:SURF;特征提取;FLANN;图像匹配基金项目:四川大学泸州市人民政府战略合作项目(No.2018CDLZ-22)0引言图像匹配是指在两幅或者多幅图像中通过一定的算法找到相似影像的方法[1]。
在数字图像处理的研究过程中,图像的特征提取以及图像匹配一直是一个关键问题,在图像配准、目标检测、模式识别、计算机视觉等领域发挥着至关重要的作用[2]。
1998年,Harris和Stephens在工作的启发下提出Harris角点检测算法[3],是对Moravec算法的扩充和完善。
通过分别计算像素点在x和y方向上的梯度,利用高斯核函数对图像进行高斯滤波,然后根据角点响应函数计算原图像上对应的每个像素点的响应值,最后通过给定的阈值选取局部极值点来确定图像的特征点。
Harris算法是直接通过灰度图像然后进行角点提取,该算法适用于L型的角点检测,稳定性好,但是容易出现角点信息丢失和角点的位置偏移以及聚簇现象,运行速度也比较慢。
2004年,Lowe发表了尺度不变特征(Scale Invari⁃ant Feature Transform,SIFT)算法[4],通过构建高斯尺度空间,寻找极值点,剔除不稳定特征点,确定关键点方向和生成特征点描述子来提取图像的特征点。
SURF与FLANN算法结合的图像匹配方法
SURF与FLANN算法结合的图像匹配方法周志伟袁锋伟张亢吴智摘要:针对核环境下自主式导航机器人对目标识别与跟踪过程中提高特征点匹配的准确率和稳定性问题,提出一种基于加速鲁棒特征(speeduprobustfeatures,SURF)算法进行特征提取和特征描述,利用快速最近邻逼近搜索函数库(fastlibraryforapproximatenearestneighbors,FLANN)算法进行特征点预匹配,并使用随机采样一致性(randomsampleconsensus,RANSAC)算法优化匹配结果,从而实现图像实时匹配与识别。
实验结果表明,在不同实验条件下,包括角度变换、缩放变换、局部遮挡、局部光照等,本文算法均能匹配出目标区域内模板图像,具有较好的精确性和稳定性。
关键词:加速鲁棒特征:快速最近邻逼近搜索函数库:随机采样一致性0引言机器人识别安全警示标志是图像匹配技术的典型应用,图像匹配的前提是特征提取,特征点的优劣直接影响图像匹配效果。
目前,相关研究人员提出许多特征点检测、描述算法。
但在应用于机器人视觉时,相机的成像往往会被角度、障碍物遮挡、光照等因素影响,从而导致匹配效率不高的问题。
LoweDG提出SIFT算法和HerbenBay等人在2022年提出SURF算法,因为SURF特征提取结合了二维Haar小波响应、积分图像和Hessian 矩阵来加速算法的实现,使得SURF特征提取的运算时间大幅下降。
索春宝等人对主流的特征提取算法进行各项性能测试。
对比结果显示,特征检测性能表现较好的是SURF算法。
王金龙等人对SIFT算法特征提取和FLANN匹配进行研究,雖然在角度变换、图像缩放、光照变化等不同实验条件下有较好的准确度,但是算法运行时间较长,不能很好的应用于对实时性要求较高的机器人视觉场合中。
针对上述问题,本文采用鲁棒性较好的SURF算法对图像进行特征点提取,使用匹配精度和运算速度较好的FLANN算法进行预匹配。
基于改进SURF的快速图像配准算法
算法 , 利用扩散距离代替欧 氏距离进行匹配 , 利用随机抽 样
一
图像 配准是图像处理过程 中的关键技术 , 在 目标识别 、 图像拼接 、 变化检测 、 目标 跟踪 、 三维 重建 等领域 得到 了广
致( R A N S A C ) 算 法 从候 选 匹配 中排 除 错误 的 匹 配。文
Ab s t r a c t : Ai mi n g a t p r o b l e m o f p o o r r e a l — t i me a n d f a l s e ma t c h i n g o f i ma g e s ma t c h i n g a l g o r i t h m b a s e d o n s p e e d
中图分 类号 :T P 3 9 1 . 4 1 文献标识码 :A 文章编号 :1 0 0 0 - - 9 7 8 7 ( 2 0 1 7 ) 1 1 01 - 5 1 03 -
Fa s t i ma g e ma t c h i ng a l g o r i t h m b a s e d o n i mp r o v e d S UR F
进行筛 选 , 采用 改进 的快 速近邻搜索算 法进 行特 征匹 配 , 到用 随机抽 样一 致 ( R A N S A C) 算 法剔 除误 匹配
对 。实验表 明 : 改进后 的算 法有效改善了匹配效率 , 提高了匹配准确度 。 关键词 :加速鲁 棒特征 ;图像熵 ; 最近邻搜索 ; 图像配准
HU Mi n— t a o,PENG Yo n g,XU Yu n
( S c h o o l o f l n t e r n e t o f T h i n g s E n g i n e e r i n g , J i a n g n a n U n i v e r s i t y , Wu x i 2 1 4 1 2 2, C h i n a )
基于SURF的图像配准与拼接技术研究共3篇
基于SURF的图像配准与拼接技术研究共3篇基于SURF的图像配准与拼接技术研究1近年来,图像配准与拼接技术已经成为了数字图像处理的重要研究方向之一。
在许多应用领域中,例如遥感影像、医学影像、三维建模等,图像配准与拼接技术已经得到了广泛的应用。
随着计算机视觉技术的不断发展,图像配准与拼接技术也在不断的完善和提高。
其中一种最具有代表性的图像配准与拼接技术就是基于SURF的图像配准与拼接技术。
SURF(Speeded-Up Robust Features)是一种高效的图像特征提取算法,它可以在保证特征点数量和质量的同时,提高提取速度。
利用SURF算法提取的特征点几乎不受图像缩放、旋转、平移等变换的影响,具有较好的鲁棒性和准确性。
基于SURF算法的图像配准与拼接技术,可以较好地解决图像缩放、旋转、平移等问题,为数字图像处理提供了更好的技术保障。
在基于SURF的图像配准与拼接技术中,首先需要选取参考图像和待配准图像。
然后,利用SURF算法对两幅图像提取特征点,并进行特征点匹配。
通过对特征点的匹配,可以找到两幅图像之间的几何变换关系。
接下来,可以利用图像配准技术对待配准图像进行校正对准,从而使其与参考图像达到一致。
最后,可以利用图像拼接技术将校正后的待配准图像与参考图像进行拼接,得到最终的拼接结果。
其中,特征点匹配是图像配准与拼接的关键步骤之一。
SURF算法的特征点匹配策略使用的是一种特殊的描述子匹配算法——KD树。
KD树是一种数据结构,在高维空间中构建KD树,可以实现高效的最近邻搜索。
通过KD树可以快速地找到两幅图像中距离最近的特征点,并将其匹配起来。
通过特征点的匹配,可以计算出两幅图像之间的变换关系,并对待配准图像进行校正对准。
除了特征点匹配外,还有一些其他的关键步骤也需要注意。
例如,在图像配准中,需要对待配准图像进行坐标转换,从而使得其与参考图像的坐标系一致。
在图像拼接中,需要实现拼接过程中的图像去重、光照一致性等问题。
SURF与FLANN算法结合的图像匹配方法
SURF与FLANN算法结合的图像匹配方法
SURF(Speeded Up Robust Features)是一种图像特征提取算法,FLANN(Fast Library for Approximate Nearest Neighbors)是一种快速最近邻搜索算法。
将这两种算法结合起来,可以实现高效准确的图像匹配。
图像匹配是指在一组图像中,找到与给定图像最相似的图像。
图像匹配在图像检索、
目标跟踪、增强现实等领域具有广泛的应用。
SURF算法对图像进行特征提取。
SURF算法通过检测图像中的关键点,并计算这些关键点的局部特征向量来描述图像。
SURF算法的特点是快速且具有稳定的鲁棒性,适用于各种图像变化情况。
接下来,FLANN算法将SURF提取的特征向量作为输入,构建一个近似最近邻搜索索引。
FLANN算法通过将特征向量映射到一个高维空间,并使用一种适合于高维空间的快速搜索
算法来找到与给定特征向量最相似的特征向量。
FLANN算法的特点是高效且具有较高的准
确性,适用于大规模的高维数据搜索。
通过计算匹配图像与给定图像之间的相似度,选取相似度最高的图像作为匹配结果。
相似度可以使用欧式距离、余弦相似度等度量方法进行计算。
选取相似度最高的图像作为
匹配结果,可以通过设置一个阈值进行筛选,只选择相似度超过阈值的图像。
图像匹配方法的优势在于可以处理图像的尺度、旋转、光照等变化,并具有较高的准
确性和鲁棒性。
将SURF与FLANN算法结合起来,不仅可以提高算法的速度和效率,还可以提高算法的准确性和鲁棒性。
这种图像匹配方法在实际应用中具有很大的潜力。
基于SURF特征匹配的图像拼接算法
基于SURF特征匹配的图像拼接算法
刘奇;何明一
【期刊名称】《测控技术》
【年(卷),期】2010(029)010
【摘要】提出了一种了基于SURF(speed up robust features)特征匹配的图像拼接算法.SURF方法是一种快速且鲁棒性较好的特征提取算法,用该算法提取图像特征后,使用改进BBF(best bin first)的快速匹配算法来寻找图像间的匹配点;用L-M 算法对单应性矩阵进行优化时,本文提出使用梯度误差函数增强对光照变化的鲁棒性;最后采用多分辨率融合方法进行图像融合,有效地消除了拼接痕迹,并保持较高的分辨率.实验结果验证了该算法的高效性,对存在旋转、尺度缩放、视角以及光照变化的图像都具有良好的效果.
【总页数】5页(P27-31)
【作者】刘奇;何明一
【作者单位】西北工业大学,电子信息学院,信息获取与处理陕西省重点实验室,陕西,西安,710129;西北工业大学,电子信息学院,信息获取与处理陕西省重点实验室,陕西,西安,710129
【正文语种】中文
【中图分类】TP391
【相关文献】
1.基于改进SURF算法的工件图像特征匹配 [J], 张强;韩松奇;于微波
2.基于SIFT和SURF图像拼接算法的改进算法 [J], 史露;苏刚;韩飞
3.一种改进的基于SURF特征匹配的图像拼接算法 [J], 李海洋;张睿哲
4.基于SURF特征匹配算法的直接定位技术研究 [J], 彭泊涵;马洪超
5.基于图像增强技术的SURF特征匹配算法研究 [J], 张明浩; 杨耀权; 靳渤文因版权原因,仅展示原文概要,查看原文内容请购买。
基于SURF的图像配准方法研究
1 SURF检测及描述
SUI疆方法整体思想流程同SIFI’类似,但在整个 过程中采用了与SIFT不同的方法。两者关键技术的 对比如表l所示。 1.1特征检测
特征点的检测依然基于尺度空间理论。图像l中 x=O,Y)处的点,在尺度盯上的Hessian矩阵定义为:
日_iu?姒叫
(1)
【k(工,盯)L。(X,盯)J
registration approach based on SURF was proposed.Firstly,the feature points were extracted using SURF and the corresponding matching points were found using nearest neighbor method;then the mapping
图像上,通过扩大方框的大小形成不同尺度的图像金字 塔,9x9的方框滤波模板值见图2,图中灰色部分模板值
为0,对应二阶高斯滤波o'=-1。2、相应的尺度值s=庐1.2, 方框滤波模板同图像卷积后的值分别为D。、%、D",
万方数据
162
红外与激光工程
第38卷
进一步求解得到Hessian矩阵的△表达式116]:
第38卷第1期 V01.38 No.I
红外与激光工程
Infrared and Laser Engineering
基于SURF特征匹配的图像拼接算法
710129) ( 西北工业大学 电子信息学院 Байду номын сангаас息获取与处理陕西省重点实验室 , 陕西 西安
摘要: 提出了一种了基于 SURF ( speed up robust features) 特征匹配的图像拼接算法 。 SURF 方法是一种 快速且鲁棒性较好的特征提取算法, 用该算法提取图像特征后, 使用改进 BBF ( best b in f irst) 的快速匹 配算法来寻找图像间的匹配点; 用 L M 算法对单应性矩阵进行优化时, 本文提出使用梯度误差函数增 强对光照变化的鲁棒性; 最后采用多分辨率融合方法进行图像融合, 有效地消除了拼接痕迹, 并保持较 高的分辨率 。实验结果验证了该算法的高效性 , 对存在旋转、 尺度缩放、 视角以及光照变化的图像都具 有良好的效果。 关键词 : SURF 特征匹配; 单应性矩阵 ; 图像拼接 ; 多分辨率融合 中图分类号 : TP391 文献标识码: A 文章编号: 1000- 8829( 2010) 10- 0027- 05
收稿日期 : 2009- 12- 21 作者简介 : 刘奇 ( 1985 ), 男 , 山东济宁人 , 硕士研究生 , 主要研 究方向为图像处理 、 计算机视觉 、 生物医学传感 器技术 ; 何明一 ( 1958 ), 男 , 四川人 , 教授 , 博 士生导 师 , 实验 室主 任 , 主 要研 究方向为信息获取 、 处理与传输技术 、 光电探测 与图像处 理 、 智 能信息处理以及三维 测量技术 。
的应用。基于特征的图像拼接重点在于特征提取, 其 中由 L ow e 等人提出的 SIFT 算法是目前该领域比较流 行的方法, 在图像配准、 图像拼接、 检索等领域被广泛 采用 。但 SIFT 算法也存在着检测和匹配速度慢、 对视角变化 较敏 感等 缺点。为 此有 人提 出了 PCA [ 6] S IFT 和 GLOH 等改进算法, 但效果不太理想 。近年 [ 7] 来由 Bay 等人提出的 SURF 算法 , 除在可重复性和 鲁棒性方面优于现有方法外, 还能够获得较快的计算 速度, 因此在实时物体识别、 图像检索、 图像拼接等方 面有较大的应用价值。 本文提出一种基于 SURF 特征匹配的图像拼接算 法 , 首先使用 SURF 算 法进行特 征提取 , 使用改 进的 BBF快速匹配算法得到图像间的初始匹配点; 然后使 用 RANSAC 算法剔除误匹配, 并提出新的非线性优化 方法求解单应性矩阵 , 对图像进行变换和配准 ; 最后使
SURF与FLANN算法结合的图像匹配方法
SURF与FLANN算法结合的图像匹配方法【摘要】本文介绍了一种基于SURF和FLANN算法结合的图像匹配方法。
首先分别介绍了SURF算法和FLANN算法的原理,然后详细阐述了SURF与FLANN算法结合的优势所在。
接着描述了实验设计与方法,并对实验结果进行了分析。
通过实验结果验证了这种结合方法的有效性和优势。
最后总结了本文的研究成果,并展望了未来的研究方向。
该方法在图像匹配领域具有重要的研究意义和应用价值,为提高图像匹配的准确性和效率提供了新的思路和方法。
【关键词】SURF算法、FLANN算法、图像匹配、结合、优势、实验设计、实验结果分析、总结、未来展望1. 引言1.1 背景介绍图像匹配是计算机视觉领域中的重要问题之一,其主要目标是在两幅或多幅图像中找到相同或相似的物体或场景。
在图像处理和计算机视觉任务中,图像匹配被广泛应用于目标识别、物体跟踪、图像配准等领域。
传统的图像匹配算法如SIFT(尺度不变特征变换)和SURF (快速可加速特征)在一定程度上取得了成功,但是它们在效率和准确度方面存在一定的局限性。
随着计算机视觉和深度学习技术的快速发展,基于特征的图像匹配算法越来越受到关注。
SURF(加速稳健特征)是一种采用Hessian 矩阵来检测兴趣点的快速特征提取算法,FLANN(快速库近似最近邻)是一种最近邻搜索库,可以快速找到最相似的特征点。
将SURF和FLANN这两种算法结合起来,可以在提高匹配速度的保持较高的匹配准确度,从而解决传统算法中的一些问题。
本文将研究SURF与FLANN算法结合的图像匹配方法,并探讨其在实际应用中的意义和优势。
1.2 问题提出在图像处理领域,图像匹配是一个具有挑战性的问题。
由于图像中可能存在旋转、尺度变化、视角变化等因素,传统的图像匹配方法在处理这些情况时表现不佳。
SURF(Speeded-Up Robust Features)和FLANN(Fast Library for Approximate Nearest Neighbors)是两种常用的图像处理算法,它们在图像匹配中具有一定的优势。
基于SURF和改进RANSAC算法的图像自适应匹配
关 键词 : 图像 匹 配 ; s UR F; F L ANN算 法 ; S—R ANS AC; 阈值 自适 应性
中图分 类 号 : TP 3 9 1 . 4 l 文献 标识 码 : A 文章编 号 : 1 0 0 1 —2 2 5 7 ( 2 0 1 7 ) 0 3— 0 0 7 3— 0 4
的错误 匹配 , 不能 满足 实际要 求 。从 匹配 时 间和 匹配正 确 率 2个 方 面对其 改进 , 在 特 征 匹配过 程 中, 通过 双 向F L ANN 搜 索算 法和预 匹配 筛选 出大量 的误 匹配 点 , 然后 与 S~R ANS AC算 法结 合 , 优 化 匹配结 果 , 得 到
( 1 . S c h o o l o f I n f o r ma t i o n S c i e n c e a n d E n g i n e e r i n g , He b e i Un i v e r s i t y o f S c i e n c e a n d Te c h n o l o g y , S h i j i a z h u a n g 0 5 0 0 1 8 , Ch i n a ;
S U RF ma t c h i ng a l go r i t h m . Th e S U RF a l g o r i t h m wa s i mp r o v e d i n t hi s s t u d y f r o m t WO a s pe c t s o f ma t c h i n g t i me
第 3 5卷 第 3期 2 0 1 7年 3月
敏 倾 珥 蕾备
MA CHI NER Y & E I EC TRONI CS
基于改进SURF算法的图像拼接研究
第45卷第2期2021年4月南京理工大学学报JournalofNanjingUniversityofScienceandTechnologyVol.45No.2Apr.2021㊀收稿日期:2020-01-07㊀㊀修回日期:2020-05-17㊀基金项目:国家自然科学基金(61976116)ꎻ中央高校基本科研业务费专项资金(30920021135)㊀作者简介:徐启文(1995-)ꎬ男ꎬ硕士生ꎬ主要研究方向:计算机视觉㊁图像处理ꎬE ̄mail:995338437@qq.comꎻ通讯作者:唐振民(1961-)ꎬ男ꎬ博士ꎬ教授ꎬ博士生导师ꎬ主要研究方向:智能机器人系统技术㊁图像处理与模式识别ꎬE ̄mail:tzm.cs@njust.edu.cnꎮ㊀引文格式:徐启文ꎬ唐振民ꎬ姚亚洲.基于改进SURF算法的图像拼接研究[J].南京理工大学学报ꎬ2021ꎬ45(2):171-178.㊀投稿网址:http://zrxuebao.njust.edu.cn基于改进SURF算法的图像拼接研究徐启文ꎬ唐振民ꎬ姚亚洲(南京理工大学计算机科学与工程学院ꎬ江苏南京210094)摘㊀要:快速鲁棒特征(Speeded ̄uprobustfeatureꎬSURF)算法在图像匹配㊁模式识别㊁图像拼接等众多领域有着广泛的应用ꎮ随着摄像机的更新换代ꎬ照片分辨率逐渐提升ꎬ传统的SURF算法已经无法满足图像拼接的效率要求ꎻ针对以上问题ꎬ该文提出了一种具有动态阈值的改进SURF算法ꎬ该算法依据图像位置的相关性ꎬ生成用于规划拼接区域的动态阈值ꎬ利用该阈值缩小特征提取和匹配的有效区域ꎬ从而提升算法的执行效率ꎮ针对传统的渐进渐出图像融合算法失真严重的问题ꎬ该文提出了一种新的非线性权重模型ꎬ利用该模型ꎬ有效降低了拼接图像的重影现象ꎬ提升了视觉效果ꎮ关键词:快速鲁棒特征算法ꎻ图像拼接ꎻ动态阈值ꎻ图像融合中图分类号:TP391㊀㊀文章编号:1005-9830(2021)02-0171-08DOI:10.14177/j.cnki.32-1397n.2021.45.02.006ResearchonimagemosaicbasedonimprovedSURFalgorithmXuQiwenꎬTangZhenminꎬYaoYazhou(SchoolofComputerScienceandEngineeringꎬNanjingUniversityofScienceandTechnologyꎬNanjing210094ꎬChina)Abstract:Speeded ̄uprobustfeature(SURF)hasawiderangeofapplicationinmanyfieldssuchasimagematchingꎬpatternrecognitionandimagestitching.WiththeupdatingofcamerasꎬtheresolutionofphotosisgraduallyimprovedꎬandthetraditionalSURFalgorithmhasgraduallyfailedtomeettheefficiencyrequirementsofimagestitching.InviewoftheproblemsꎬthispaperproposesanimprovedSURFalgorithmwithadynamicthresholdꎬwhichgeneratesadynamicthresholdforplanningthestitchingareabasedonthecorrelationoftheimagepositionꎬandusesthisthresholdtonarrowtheeffectiveareaforfeatureextractionandmatchingꎬtherebyimprovingtheexecutionefficiencyofthe南京理工大学学报第45卷第2期algorithm.Aimingattheproblemofseriousdistortionofthetraditionallinearweightedimagefusionalgorithmꎬthispaperproposesanewnonlinearweightmodel.Usingthismodelꎬtheghostingphenom ̄enonofthestitchedimageiseffectivelyreducedandthevisualeffectisimproved.Keywords:speeded ̄uprobustfeaturealgorithmꎻimagemosaicꎻdynamicthresholdꎻimagefusion㊀㊀目前ꎬ随着无人机控制㊁定位以及稳定飞行技术的日渐提升ꎬ无人机应用领域也日渐广泛ꎮ在交通检测领域ꎬ通过无人机进行桥梁㊁道路质量检测也成为配合传统的人工检测㊁桥检车检测的有效手段ꎮ通过无人机搭载摄像机进行桥梁㊁道路图像的采集ꎬ这一过程将产生大量的位置相关联的桥梁㊁道路图像ꎮ在桥梁㊁道路图像的采集过程中ꎬ为了保持信息的完整ꎬ往往会在相邻图像之间保留一定重叠ꎬ依赖这部分重叠信息ꎬ对相邻图像进行拼接ꎬ从而展示出更加完整的图像信息ꎮ这类场景以及类似场景图像集的相互关联性以及实际应用中的实时性ꎬ既对图像拼接算法提出了新的要求ꎬ也为图像拼接的效率提升提供了可能性ꎬ因此ꎬ研究效率更高㊁质量更好的图像拼接和图像融合算法有着非常重要的价值ꎮ在图像拼接质量方面ꎬ诸如针对单视角拼接的As ̄projective ̄as ̄possibleimagestitchingwithmovingDLT(APAP)[1]算法和针对多视角拼接的Naturalimagestitchingwiththeglobalsimilarityprior(GSP)[2]算法等优秀图像拼接算法在优化特征点提取和图像融合方面有了长足的进步ꎬ极大地改进了拼接图像的视觉效果ꎬ质量提升明显ꎮ但在算法效率方面ꎬ由于摄像机分辨率的日益提升ꎬ被广泛使用的Harris角点检测算法㊁尺度不变特征变换(Scale ̄invariantfeaturetransformꎬSIFT)[3]算法以及快速鲁棒特征(Speeded ̄uprobustfreaturesꎬSURF)[4]算法等均难以提供令人满意的拼接效率ꎻ其中ꎬ在时间效率方面最高效的SURF算法在进行2张高分辨率图像的拼接时ꎬ特征提取和匹配阶段普遍要花费数秒乃至更长的时间ꎬ整体效率不高ꎮ结合已有经典算法ꎬ为了提升图像拼接的效率和获取更加高质量的拼接图像ꎬ本文通过动态规划特征提取㊁描述区域的方式改进传统的SURF算法ꎬ依赖相邻图像空间重叠区域比例的相似性获取动态阈值ꎬ只对阈值内的区域进行特征提取和描述ꎬ以此提升拼接效率ꎮ同时ꎬ提出了新的非线性权重图像融合模型ꎬ以非线性权重重新规划拼接区域的权重占比ꎬ改进传统的渐进渐出图像融合算法ꎬ以期获取更高质量的拼接图像ꎬ有效提升多摄像机拍摄场景下的视频拼接效率ꎮ1㊀具有动态阈值的改进SURF算法1.1㊀图像拼接算法基本流程为实现位置相关联图像集合的图像拼接ꎬ本文采用改进SURF算法进行特征点提取㊁描述和匹配以完成图像的机械拼接ꎬ应用非线性权重图像融合模型完成图像像素级融合ꎬ主要流程如图1所示ꎮ图1㊀本文算法基本流程图1.2㊀特征提取与描述SURF算法优化了传统SIFT算法的特征提取和描述过程ꎬ通过改进高斯金字塔的构建过程以及降低特征描述子的维度等方法ꎬ提升了执行效率和算法稳定性ꎮ在算法执行效率方面ꎬSURF算法的执行效率约为SIFT算法的3倍ꎬ能明显减少算法执行时间ꎻ在稳定性方面ꎬSURF算法也在多幅图片场景下有更稳定的表现ꎬ其主要步骤如算法1所示ꎮ算法1㊀SURF算法执行过程输入:一张待处理图像ꎮ输出:特征描述向量集ꎮ1:构造图像的Hessian矩阵ꎮ2:构造高斯金字塔ꎮ3:特征点初步定位ꎮ4:计算特征点的矢量方向ꎮ5:形成特征点的描述子ꎮ271总第237期徐启文㊀唐振民㊀姚亚洲㊀基于改进SURF算法的图像拼接研究㊀㊀1.3㊀生成用于规划特征点检测区域的动态阈值传统的SURF算法在进行特征点提取和描述的过程中ꎬ会对整幅图像的所有区域进行特征点提取和描述ꎬ而进行特征匹配阶段时ꎬ通常只会用到与待拼接图像相邻部分的特征点进行特征匹配ꎬ从而协助变换矩阵[5]和变换图像的生成ꎬ而大部分特征点成为冗余特征点ꎬ这部分冗余特征点将产生以下负面影响:(1)在消耗了大量计算和存储资源进行特征点的提取㊁描述和存储后ꎬ没有得到有效利用就被释放ꎬ加重了时间和空间负载ꎬ降低了算法性能ꎮ(2)处于非拼接区域的无效冗余特征点在特征点匹配阶段将对特征点的正确匹配产生干扰ꎬ增加了特征点误匹配的可能性ꎮ图2和3是模拟环境下无人机自动拍摄的实例图ꎮ图2为待拼接原图ꎬ图3为特征点配对图ꎬ其左右两侧代表相邻的两张图片ꎬ其中位置 02 和位置 03 是处于背景布边缘两侧的特征点ꎬ位置 01 和位置 04 是处于背景布支架上的特征点ꎬ这几处特征点处于图像的边缘位置ꎬ并不在拼接区域内ꎬ但由于其所处位置图像特征的相似性ꎬ产生了误匹配ꎬ从而影响了匹配效率ꎬ若误匹配数量过多ꎬ将直接影响拼接质量ꎮ图2㊀待拼接原图图3㊀传统SURF算法特征匹配图因此ꎬ选取最有重叠可能的一部分区域进行特征点提取和描述ꎬ而舍弃重叠可能性不高的图像区域的特征点ꎬ能够有效减少冗余特征点的数量ꎬ从而加快特征点提取和匹配速度ꎮ通常ꎬ为进行质量检测而采集的图像集会存在明显的邻接关系ꎬ如图4所示ꎮ图4㊀模拟环境图像集图4为无人机在模拟环境中采集的一组图像ꎬ它们在水平方向的重叠程度都极其相似ꎬ因此ꎬ在这一类图像集中ꎬ一对图像的特征提取结果可以为同一横向或同一纵向的其他图像的拼接提供协助ꎮ以横向拼接为例ꎬ主要方法如式(1)所示㊀S1=50%Si=S1+ði-1k=1fkiìîíïïïï(1)式中:S1为初始阈值ꎬSi为第i次(i>1)拼接的阈值ꎮ通常情况下ꎬ在图像边缘50%以外的特征点对图像拼接的影响不大ꎬ因此ꎬ取S1为50%ꎬ即只取与待拼接图像相邻一侧的那一半区域进行特征点的提取和匹配ꎮfk为第k次图像拼接的阈值变化贡献因子ꎬ其表示如式(2)所示㊀fk=dkwk(2)式中:wk为第k次拼接右图的图像宽度ꎬdk为舍弃部分稀疏的边缘特征点后剩余有效特征点与拼接左边界的最大距离ꎬdk的具体生成步骤如下ꎮ(1)选取待拼接图像中的一幅图像(右图或下图)为待处理图像ꎮ(2)将图像等分成N个区域(N=NF4ꎬ其中ꎬNF为特征点匹配对总数)ꎬ获取每个区域的匹配对数量n1ꎬn2ꎬn3ꎬ ꎬnNꎮ(3)从最右侧的区域开始(如果是上下结构的图像ꎬ则从最下方区域开始)ꎬ若满足式(3)ꎬ则将区域i作为边缘区域ꎬ抛弃区域i之外的其他特371南京理工大学学报第45卷第2期征点匹配对ꎬ从而获得dk的数值ꎮ㊀ni+ni+1+ +nNȡ0.1ˑNFꎬni+1+ +nN<0.1ˑNF(3)边缘特征匹配对去除后ꎬ获取第一次拼接的阈值变化贡献因子f1ꎬ将该数值与初始阈值求均值ꎬ生成新的阈值S2用于下一组图像的拼接ꎻ拼接完成后ꎬ生成新的阈值变化贡献因子f2ꎬ将f1㊁f2和初始阈值3个数值求均值ꎬ生成第3次拼接的阈值S3继续用作下一组图像拼接ꎬ以此类推ꎬ直到阈值变化趋于稳定ꎬ当第i次拼接满足式(4)时㊀|Si-Si-1|<3%ꎬ|Si-1-Si-2|<3%(4)即认定阈值稳定ꎬ将该阈值作为之后图像的拼接阈值ꎮ若出现个别图像在当前阈值下无法正确拼接的情况ꎬ则仅对当前图像做阈值增加0.1的操作ꎬ其他图像继续使用当前阈值ꎮ在完成20~50轮拼接操作后ꎬ将该阈值作为新的初始阈值重新获取新的拼接阈值ꎬ直到所有工作完成ꎮ以图2的待拼接图像为例ꎬ本文算法的特征匹配图如图5所示ꎮ图5㊀本文算法特征匹配图与图3的传统算法匹配图相比ꎬ本文改进算法的匹配图有效控制了特征匹配的范围ꎬ使得匹配正确率有所上升ꎬ并显著控制了特征点的数目ꎬ使得算法效率提升ꎬ具体数据将在第5节详细介绍ꎮ2㊀特征点匹配本文使用近似最近邻快速搜索库(FastlibraryforapproximatenearestneighborsꎬFLANN)算法进行特征匹配[6]ꎬFLANN算法能够有效清除大部分复杂图像的特征误匹配[7]ꎮFLANN算法的执行步骤如下:第1步:以第一幅图像的特征点为训练集ꎬ第二幅图像的特征点为查询集ꎬ获取训练集中所有特征点与查询集中特征点的欧氏距离ꎮ第2步:通过比较欧氏距离ꎬ保留每个训练集特征点与查询集特征点欧氏距离的最近点和次近点ꎬ放弃其余匹配ꎮ第3步:若最近欧氏距离和次近欧氏距离满足㊀最近欧式距离次近欧氏距离<ratio(5)则保留该匹配对ꎬ否则抛弃该匹配对ꎮ其中ꎬratio是判别最近欧氏距离的匹配对与次近欧氏距离匹配对差异程度的阈值(0<ratio<1)ꎻratio取值越大ꎬ匹配对数目越多ꎬ匹配精度越低ꎻratio取值越小ꎬ匹配对数目越少ꎬ匹配精度越高ꎮ一般情况下ꎬratio的取值在0.4~0.6时ꎬ匹配的整体效果较好ꎬ本文实验中使用的ratio取值为0.6ꎮ3㊀图像对齐本文算法使用单应性变换(Homography)算法进行图像翘曲ꎬ使得左右图像基本对齐ꎮ单应性变换就是将一张图像上的点映射到另一张图像上对应的点的3ˑ3变换矩形Hꎬ其表达式为㊀H=h00h01h02h10h11h12h20h21h22éëêêêêùûúúúú(6)对于图像翘曲前后的一组对应点(x1ꎬy1)和(x2ꎬy2)ꎬ二者的映射关系如式(7)所示㊀x1y11éëêêêêùûúúúú=Hx2y21éëêêêêùûúúúú=h00h01h02h10h11h12h20h21h22éëêêêêùûúúúúx2y21éëêêêêùûúúúú(7)应用上述映射公式进行图像变换ꎬ生成变换后图像ꎬ进行机械拼接ꎮ4㊀改进的非线性权重图像融合算法图像融合是图像拼接的关键步骤ꎬ其作用是消除机械拼接产生的拼接裂缝以及亮度㊁色调等图像信息的跃迁ꎬ使得图像拼接区域的过渡更为自然ꎮ目前ꎬ针对不同的应用场景ꎬ渐进渐出融合[8]和缝合线融合[9]等图像融合算法均有一定的应用ꎬ在本文算法中ꎬ考虑到算法执行效率的要求ꎬ应用渐进渐出图像融合算法的改进算法进行图像融合ꎮ传统的渐进渐出图像融合算法以线性权重生成重叠区域像素ꎬ以2张图像的横向拼接为例ꎬ其471总第237期徐启文㊀唐振民㊀姚亚洲㊀基于改进SURF算法的图像拼接研究㊀㊀权重示意图如图6所示ꎬ在非重叠区域C1和C2中ꎬ非重叠区域C1由待拼接左图贡献100%权重生成ꎬ非重叠区域C2由待拼接右图贡献100%权重生成ꎬ而在重叠区域中ꎬ最终产生的像素遵循㊀C(xꎬy)=W1C1(xꎬy)+W2C2(xꎬy)(8)式中:W1为左图的权重ꎬW2为右图的权重ꎬC1xꎬy()为左图的像素值ꎬC2xꎬy()为右图的像素值ꎮ渐进渐出图像融合权重W1和W2的值遵循㊀W1=D1-D2D1W2=1-W1ìîíïïïï(9)式中:D1为重叠区域总宽度ꎬD2为当前像素与重叠区域左边界的距离ꎮ图6㊀渐进渐出图像融合算法权重示意图传统的渐进渐出图像融合算法虽然被广泛应用ꎬ但在进行扭曲角度较大㊁信息较为复杂的图像拼接时ꎬ这类图像融合算法存在以下缺陷:(1)拼接区域重影严重ꎬ严重影响拼接后图像的视觉观感ꎮ(2)拼接区域像素信息过渡较快ꎬ可能会产生拼接裂缝ꎬ视觉效果较差ꎮ为降低渐进渐出算法的缺陷对图像拼接视觉效果的影响ꎬ本文提出了新的非线性权重模型ꎬ其权重示意图如图7所示ꎬ非重叠区域的权重与线性算法相同ꎬ重叠区域权重遵循W1=0.5+30.53-D2D1æèçöø÷3leftɤx<left+right20.5-30.53-D1-D2D1æèçöø÷3left+right2ɤxɤrightìîíïïïïïïW2=1-W1ìîíïïïïïïïï(10)式中:D1为重叠区域总宽度ꎬD2为当前像素与重叠区域左边界的距离ꎬleft为拼接重叠区域左边界坐标ꎬright为拼接重叠区域右边界坐标ꎮ图7㊀非线性权重图像融合算法权重示意图该模型放大了左图像对靠近左边界部分重叠图像的影响以及右图像对靠近右边界部分重叠图像的影响ꎬ将使得拼接区域靠近边界的像素变化更加平滑ꎬ能够有效减少重叠部分的图像重影ꎬ从而有效减少重影㊁裂痕等视觉干扰因素ꎮ5㊀实验结果本文应用11组连续的并具有相互临接关系的图像集进行拼接实验ꎬ这11组图像集包括1组无人机模拟图像集㊁7组路面图像集以及3组墙壁图像集ꎬ11组图像集共包含132张(66对)待拼接图像ꎬ在不使用CPU和GPU加速的前提下ꎬ按照相关实验结果指标将本文算法与传统SURF算法进行算法效率比较ꎮ5.1㊀实验环境本次实验操作系统为Windows10专业版ꎬ编译环境为VisualStudio2012ꎬ处理器为Intel®CoreTMi7 ̄6700HQCPU@2.60GHzꎮ5.2㊀实验结果相关参数为量化本文算法与传统算法的差异ꎬ统计特征点提取时间㊁特征点描述时间㊁特征点匹配时间㊁特征点总数目㊁匹配对总数目㊁参与精匹配的匹配对数目㊁特征点利用率㊁匹配正确率[10]等参数并对其进行比较ꎮ㊀特征点利用率=参与精匹配的匹配对数目匹配对总数目(11)5.3㊀本文算法与传统算法的对比5.3.1㊀具有动态阈值的改进SURF算法与传统SURF算法对比如表1所示ꎬ其中各个数值均为11组图像集拼接实验的平均数组ꎮ571南京理工大学学报第45卷第2期表1㊀本文算法与传统SURF算法效率对比表处理阶段参数类型本文算法传统SURF算法特征点提取时间/s特征点总数目1.0312532.002815特征点描述时间/s0.250.46特征点粗匹配时间/s匹配对数目0.295590.781407特征点精匹配时间/s匹配对数目特征点利用率/%匹配正确率/%0.059119.9893.850.081027.4786.29拼接总时间时间/s2.424.11㊀㊀文献[11]介绍了一种拼接图像质量评估方法(StitchedimagequalityevaluatorꎬSIQE)ꎮ此方法使用可操作金字塔ꎬ利用边缘统计模型和二变量模型获取共36维的特征描述向量ꎬ将拼接图像与组成图像特征描述向量的差值导入支持向量回归模型(SupportvectorregressorꎬSVR)中ꎬ获取差异评分ꎬ能从客观角度验证拼接图像和原图的相似性ꎬ从而获取客观质量评分ꎮ质量评分获取公式如式(12)所示Quality(x)=β1logistic(β2ꎬ(x-β3))+β4x+β5(12)β1-β5为非线性5参数逻辑函数的5个参数ꎬ详细介绍可参考文献[11]ꎬ其中logistic函数表示如式(13)所示㊀logistic(ꎬx)=12-11+exp(ꎬx)(13)以图4所示的图像集为例ꎬ使用本文算法和传统算法的质量评价分数如表2所示ꎮ表2㊀本文算法和传统SURF算法质量评价分数对比表算法第一组第二组第三组第四组第五组平均本文44.9154.8057.8559.3053.2554.02SURF45.3354.8149.5859.3153.2552.46㊀㊀从表1中可以看出ꎬ在不改变原图像像素级[12]的前提条件下ꎬ本文改进方法在时间效率方面有了较大的提升ꎬ在特征点提取㊁描述㊁匹配方面均获得了更高效的执行效率ꎬ在总时间方面减少了41.12%ꎬ在特征检测时间方面减少了58.50%ꎻ有效提升了特征点利用率ꎬ相比较传统SURF算法ꎬ本文的方法在传统方法的基础上提升了12.51%ꎻ在特征点匹配正确率方面也获得了7.56%的提升ꎬ使最终的正确率超过93%ꎮ从表2的质量评价分数对比中可以看出ꎬ改进算法与传统算法获得的拼接图像的质量基本较为接近ꎬ对于部分图像ꎬ改进算法更是取得了更高的客观质量评价分数ꎬ证明此算法在拼接质量方面依旧保持了不低于传统算法的性能ꎮ5.3.2㊀改进的非线性权重图像融合算法与其他算法对比结果以图4中第3行的2张图像的拼接和融合实验为例ꎬ将拼接结果与文献[13]的平方权重模型㊁文献[14]的三角函数权重模型㊁文献[15]的曲线权重模型以及传统的渐进渐出图像融合算法的拼接结果进行对比ꎮ选取拼接图像部分区域进行放大对比ꎬ其对比结果如图8所示ꎮ图8㊀图像融合效果对比从图8可以看出ꎬ图8(c)㊁(d)㊁(e)对应的3个改进模型的拼接图像的椭圆框内均发生了明显的重影ꎬ虽然重影程度较传统算法的拼接结果图8(b)有了一定的降低ꎬ但依旧有不同程度的重影现象发生ꎬ如图8(c)㊁(d)㊁(e)椭圆框中所示ꎬ而在使用本文模型的拼接结果图8(a)中ꎬ整体图像表现良好ꎬ没有明显的图像重影ꎬ各部分信息均得到了良好展示ꎬ效果提升明显ꎮ本文应用文献[11]的SIQE方法对各个改进算法和传统算法的拼接图像进行质量评分对比ꎬ671总第237期徐启文㊀唐振民㊀姚亚洲㊀基于改进SURF算法的图像拼接研究㊀㊀此处以两组图像拼接结果的质量评分为例ꎬ分数对比如表3所示ꎮ表3㊀各个图像融合算法的质量评价分数对比表算法本文算法传统渐进渐出算法文献[13]平方权重算法文献[14]三角函数权重算法文献[15]曲线权重算法第一组57.6355.2956.6955.9257.02第二组53.6852.1253.6553.0152.88㊀㊀从表3的几组质量评分对比中可以看出:在客观质量评价方面ꎬ各个改进算法均表现出了高于传统渐进渐出算法的质量评分ꎬ其中ꎬ本文算法的质量评分在几组图像拼接中均优于其他改进算法ꎮ综合以上结果ꎬ应用本文模型的图像融合算法明显地提升了拼接图像的主观视觉效果ꎬ降低了重影发生的可能性ꎬ并取得了较为优秀的客观质量评分ꎮ因此ꎬ本文算法在主客观评价方面对比传统算法和本文提及的几种改进算法均表现出更加优异的性能ꎮ6㊀结束语本文提出的具有动态阈值的改进SURF算法在算法效率方面有了较大的提升ꎬ有效减少了冗余特征点的数目ꎬ从而减少了特征点提取㊁描述以及匹配的时间㊁空间开销ꎻ在算法质量方面ꎬ通过应用非线性权重图像融合算法ꎬ有效减少了重影和几何失真ꎬ拼接图像质量提升明显ꎮ本算法对于连续㊁有规律的图像集合的图像拼接在拼接效率方面有了明显提升ꎬ拼接质量也有一定提高ꎻ但对于整体不规律的图像集合的提升不明显并且不够稳定ꎬ有待进一步研究ꎮ本方法主要针对SURF特征点的提取过程进行优化ꎬ通过避免非重叠区域的特征点参与特征提取和匹配ꎬ降低冗余特征点对时间㊁空间开销的影响ꎬ可以与描述子降维算法[16]等其他效率提升算法结合ꎬ进一步提升特征提取㊁描述和匹配的效率ꎮ参考文献:[1]㊀ZaragozaJꎬChinTJꎬTranQHꎬetal.As ̄projective ̄as ̄possibleimagestitchingwithmovingDLT[J].IEEETransactionsonPatternAnalysisandMachineIntelligenceꎬ2014ꎬ36(7):1285-1298.[2]ChenYushengꎬChuangYY.Naturalimagestitchingwiththeglobalsimilarityprior[C]//Proceedingsofthe14thEuropeanConferenceonComputerVision-ECCV2016.ChamꎬSwitzerland:SpringerInternationalPublishingꎬ2016:186-201.[3]LoweDG.Distinctiveimagefeaturesfromscale ̄invariantkeypoints[J].InternationalJournalofComputerVisionꎬ2004ꎬ60(2):91-110. [4]BayHꎬEssAꎬTuytelaarsTꎬetal.Speeded ̄uprobustfeatures(SURF)[J].ComputerVisionandImageUnderstandingꎬ2008ꎬ110(3):346-359. [5]刘鹏飞ꎬ高如新.基于相位相关法与改进SURF算法的图像拼接方法[J].软件导刊ꎬ2019ꎬ18(11):157-160ꎬ164.LiuPengfeiꎬGaoRuxin.ImagestitchingmethodbasedonphasecorrelationandimprovedSURF[J].SoftwareGuideꎬ2019ꎬ18(11):157-160ꎬ164. [6]刘海洋ꎬ李春明ꎬ王萌萌ꎬ等.基于SURF和改进RANSAC算法的图像自适应匹配[J].机械与电子ꎬ2017ꎬ35(3):73-76.LiuHaiyangꎬLiChunmingꎬWangMengmengꎬetal.ImageadaptivematchingbasedonSURFandimprovedRANSACalgorithm[J].Machinery&Electronicsꎬ2017ꎬ35(3):73-76.[7]罗守品ꎬ杨涛ꎬ梅艳莹.基于改进ORB和网格运动统计的图像匹配算法[J].传感器与微系统ꎬ2019ꎬ38(7):125-127ꎬ130.LuoShoupinꎬYangTaoꎬMeiYanying.ImagematchingalgorithmbasedonimprovedORBandgrid ̄basedmotionstatistics[J].TransducerandMicrosystemTechnologiesꎬ2019ꎬ38(7):125-127ꎬ130. [8]姚伟ꎬ胡虹.基于SIFT的自适应旋转图像无缝拼接算法[J].南京理工大学学报ꎬ2019ꎬ43(2):250-254.YaoWeiꎬHuHong.ResearchonseamlessmosaicalgorithmofadaptiverotatingimagebasedonSIFT[J].JournalofNanjingUniversityofScienceandTechnologyꎬ2019ꎬ43(2):250-254.[9]张翔ꎬ王伟ꎬ肖迪.基于改进最佳缝合线的图像拼接方法[J].计算机工程与设计ꎬ2018ꎬ39(7):1964-1970.771南京理工大学学报第45卷第2期ZhangXiangꎬWangWeiꎬXiaoDi.Imagemosaicmethodbasedonimprovedbestseam ̄line[J].ComputerEngineeringandDesignꎬ2018ꎬ39(7):1964-1970.[10]赵小强ꎬ岳宗达.一种面向图像拼接的快速匹配算法[J].南京理工大学学报ꎬ2016ꎬ40(2):165-171.ZhaoXiaoqiangꎬYueZongda.Fastmatchingalgorithmforimagemosaic[J].JournalofNanjingUniversityofScienceandTechnologyꎬ2016ꎬ40(2):165-171. [11]MadhusudanaPCꎬSoundararajanR.Subjectiveandobjectivequalityassessmentofstitchedimagesforvirtualreality[J].IEEETransactionsonImageProcessingꎬ2019ꎬ28(11):5620-5635.[12]陆柳杰ꎬ胡广朋ꎬ包文祥.基于优化的SURF算法的图像融合技术[J].计算机与数字工程ꎬ2019ꎬ47(7):1684-1687ꎬ1814.LuLiujieꎬHuGuangpengꎬBaoWenxiang.ImagefusiontechnologybasedonimprovedSURFalgorithm[J].Computer&DigitalEngineeringꎬ2019ꎬ47(7):1684-1687ꎬ1814.[13]XiuChunboꎬMaYunfei.Imagestitchingbasedonimprovedgradualfusionalgorithm[C]//第31届中国控制与决策会议论文集.南昌:IEEEꎬ2019:2933-2937.㊀[14]汪丹ꎬ刘辉ꎬ李可ꎬ等.一种三角函数权重的图像拼接算法[J].红外技术ꎬ2017ꎬ39(1):53-57.WangDanꎬLiuHuiꎬLiKeꎬetal.Animagefusionalgorithmbasedontrigonometricfunctions[J].InfraredTechnologyꎬ2017ꎬ39(1):53-57.[15]王帅ꎬ孙伟ꎬ姜树明ꎬ等.基于亮度统一的加权融合图像拼接算法[J].山东科学ꎬ2014ꎬ27(3):44-50.WangShuaiꎬSunWeiꎬJiangShumingꎬetal.Brightnessunificationbasedweightedfusionimagemosaicalgorithm[J].ShandongScienceꎬ2014ꎬ27(3):44-50. [16]卢清薇ꎬ罗旌钰ꎬ王云峰.SURF算法的降维研究[J].软件ꎬ2017ꎬ38(12):148-152.LuQingweiꎬLuoJingyuꎬWangYunfeng.ResearchondimensionalreductionforSURFalgorithm[J].ComputerEngineering&Softwareꎬ2017ꎬ38(12):148-152.871。
基于SURF和快速近似最近邻搜索的图像匹配算法
! "+,- 特征提取和描述
本文 采 用 S U R F 算 法 作 为 图 像 匹 配 的 特 征 提 取 算 法。 S U R F特征点 检 测 的 主 要 过 程 分 为 特 征 点 提 取 和 生 成 特 征 S U R F描述向量。 ! ! "+,- 特征点提取 S U R F算子的检测与 S I F T算法都是基于尺度空间的, 采用 H e s s i a n 矩阵来提取特征点。 尺度为 σ的图像点 I ( x , y ) 的H e s s i a n 矩阵定义为
收稿日期:2 0 1 2 0 7 2 9 ;修回日期:2 0 1 2 0 9 0 4 基金项目:国家自然科学基金资助项目( 6 1 1 7 0 2 0 3 ) ; 国家“ 9 7 3 ” 计划前期研究专项基金 资助项目( 2 0 1 1 C B 3 1 1 8 0 2 ) ; 国家教育部博士点基金资助项目( 2 0 0 8 0 6 9 7 0 0 1 4 ) ; 陕西省自然科学基金资助项目( 2 0 1 1 J Q 8 0 0 1 , 2 0 1 0 J Q 8 0 1 1 ; 虚拟现实 应用教育部工程研究中心开放基金资助项目( M E O B N U E V R A 2 0 0 9 0 3 ) ; 陕西省教育厅资助项目( 0 9 J K 7 3 8 , 1 2 J K 0 7 3 0 ) 作者简介:赵璐璐( 1 9 8 9 ) , 女, 陕西西安人, 硕士研究生, 主要研究方向为图形图像处理、 可视化技术( 3 8 1 2 9 9 6 0 9 @q q . c o m ) ; 耿国华( 1 9 5 5 ) , 女, 教授, 博导, 主要研究方向为图形图像、 可视化技术、 智能信息处理; 李康( 1 9 8 0 ) , 男, 讲师, 博士研究生, 主要研究方向为计算机可视化; 何阿静 1 9 8 8 ) , 女, 硕士研究生, 主要研究方向为图形图像处理、 可视化技术. (
基于SURF算法和改进RANSAC算法的无人机影像匹配
基于SURF算法和改进RANSAC算法的无人机影像匹配孙灏;高俊强;许苏苏【摘要】Image match is an important step in remote sensing image process and image bined Speed-Up Robust Features(SURF) and Random Sample Consensus (RANSAC) algorithms for image process, it can get registration image with stable feature and reliable matchpoint.First, the SURF feature is extracted to achieve the initial matched with Euclidean distance between images;then, filtering matched points are chozen with RANSAC algorithm;at last, the transformation matrix is calculated between the images in order to complete match.This paper processes the UAV images of suburban area with SURF algorithms and improved RANSAC algorithms and realizes the image matched, which proves the feasibility of this method.%影像匹配是诸多遥感影像处理和影像分析的一个关键环节,结合加速鲁棒性特征(SURF)算法和随机采样一致性(RANSAC)算法对影像进行处理,得到特征稳定、匹配点可靠的配准影像.首先提取影像的SURF特征,利用特征点的欧式距离比来完成影像之间的粗匹配;然后使用RANSAC 算法对粗匹配点进行筛选;最后计算出图像间的变换矩阵,完成匹配.文中选择某城郊地区的无人机航拍影像,结合SURF算法,并改进RANSAC算法来对影像进行处理,实现影像的匹配,验证文中方法的可行性.【期刊名称】《测绘工程》【年(卷),期】2017(026)011【总页数】6页(P55-59,64)【关键词】影像匹配;SURF算法;RANSAC算法;UAV影像【作者】孙灏;高俊强;许苏苏【作者单位】南京工业大学测绘科学与技术学院, 江苏南京 211800;南京工业大学测绘科学与技术学院, 江苏南京 211800;南京工业大学测绘科学与技术学院, 江苏南京 211800【正文语种】中文【中图分类】P232随着智慧城市的发展,各个国家对高精度的遥感影像的需求越来越高,尤其是大比例尺、高分辨率的遥感影像以其储存丰富的数据成为研究的热点。
基于SURF的特征点快速匹配算法
基于SURF的特征点快速匹配算法尧思远;王晓明;左帅【摘要】In order to solve the problem of the high mismatching rate of feature points in course of image matching,a novel matching strategy based on SURF feature points is propose.Euclidean nearest neighbor distance ratio method is used to match the extracted SURF features roughly,and then statistical information of the corresponding gray neigh-borhood of each feature point is obtained.Then,more robustness matching pairs can be gotten with Pearson correla-tion coefficient.Experimental results show that this method can effectively improve the matching accuracy and meet real-time requirements.%为了解决光电图像匹配过程中特征点错配率较高的问题,本文提出了一种基于SURF特征点的匹配方法。
该算法首先利用最近邻欧氏距离比率法对提取的SURF特征做粗匹配,然后获取特征点对应尺度的邻域灰度统计信息,进而利用Pearson相关系数比得到鲁棒性较强的匹配对。
实验表明该方法能够有效提高匹配的准确率,且满足实时性要求。
【期刊名称】《激光与红外》【年(卷),期】2014(000)003【总页数】4页(P347-350)【关键词】SURF特征;特征点匹配;最近邻欧氏距离比率;Pearson相关系数【作者】尧思远;王晓明;左帅【作者单位】华北光电技术研究所,北京 100015;华北光电技术研究所,北京100015;华北光电技术研究所,北京 100015【正文语种】中文【中图分类】TP391.411 引言匹配技术是图像处理中的一项重要内容,它将两幅相似的图像在空间中的位置作对比映射,是后续关键区域分析、相机标定等操作的基础。
SURF算法在图像检索中的应用
计算这些点的相对于主方向的Haar小波响应(边长 为2s),得到dx,dy 用σ=3.3s的高斯滤波器加权 旋转到主方向 主方向
14:56:57
SURF:兴趣点描述 – 描述子
每个4x4子区域的4D描述向量如下,一共64D v = (Σdx, Σdy, Σ|dx|, Σ|dy|) 旋转到主方向 主方向
高斯二阶倒数的离散化和近似: Lyy→Dyy
Lxy→Dxy
14:56:57
SURF:兴趣点检测 – Hessian矩阵
用矩形滤波近似高斯函数,其近似Hessian行列
式为:
w
is needed for the energy conservation between the Gaussian kernels and the approximated Gaussian kernels
14:56:56
TBIR(Text-Based Image Retrieval)
沿用传统文本检索技术 将图像名称、大小、压缩类型、作者、年代,
以及其他标签信息保存在数据库中,查询检 索
14:56:56
CBIR(Content-Based Image Retrieval)
支持传统的文本查找 也支持特征值查找、草图查找、示例查找等
14:56:57
SURF:可用领域
图像检索 目标识别 图像配准
3D重建
14:56:57
SURF:作者目标
快速兴趣点检测
高鉴别度的兴趣点描述
快速描述子匹配 对常用图像变换的不变性
图像旋转 尺度变化 亮度变化 视角轻微变化
14:56:57
SURF:兴趣点检测 – 积分图
结合FAST-SURF和改进k-d树最近邻查找的图像配准
结合FAST-SURF和改进k-d树最近邻查找的图像配准陈剑虹;韩小珍【期刊名称】《西安理工大学学报》【年(卷),期】2016(32)2【摘要】针对两图像之间存在平移和旋转变化的图像匹配,提出了一种结合FAST-SURF和改进k-d树最近邻查找的图像配准算法.该算法首先用FAST(加速分割检测特征)检测器进行特征点提取,然后根据特征点周围邻域的信息生成SURF(快速鲁棒特征)描述子,采用一种改进的k-d树最近邻查找算法BBF(最优节点优先)寻找特征点的最近邻点及次近邻点,接着进行双向匹配得到初匹配点对,最后利用RANSAC(随机抽样一致性)算法消除误匹配点,findHomography函数寻找单应性变化矩阵,从而计算出图像间的相对平移量和旋转量.实验结果表明,该算法平移参数的最大误差为0.022个像素,旋转参数的最大误差为0.045度,优于传统的SURF图像匹配算法,实现了图像的快速、高精度配准.【总页数】6页(P213-217,252)【作者】陈剑虹;韩小珍【作者单位】西安理工大学机械与精密仪器工程学院,陕西西安710048;西安理工大学机械与精密仪器工程学院,陕西西安710048【正文语种】中文【中图分类】TP391.4【相关文献】1.基于红黑树与K-D树的LiDAR数据组织管理 [J], 吴波涛;张煜;陈文龙;沈定涛;魏思奇2.基于分数阶变换和改进最小生成树的图像配准算法 [J], 韩毅;赵凯;周晏3.一种基于检索树的改进计数最近邻分类新算法 [J], 廖志芳;樊晓平;刘皛;Zhining LIAO;Zhihua Qu4.Trie树和单字倒排相结合的汉英词典查找机制 [J], 朱文强;刘秉权;葛冬梅;王喻红5.一种采用改进K-d树的无人机影像特征匹配搜索方法 [J], 张一;江刚武;狄亚南;李厚朴因版权原因,仅展示原文概要,查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
提出了 S U R F算法, 它是对 S I F T算法的一种改进, 其性能
超过了 S I F T且能够获得更快的速度。 S U R F算法在光照变化 和视角变化不变性方面的性能接近 S I F T算法,尤其对图像严 重模糊和旋转处理得非常好。文献[ 3 ] 通过对几种具有代表 性的局部特征算法进行了性能评估, 实验结论表明, S U R F算 U R F算法通过计算积 法是性能最为鲁棒的局部特征算法。 S
H=
式提出了 S I F T ( s c a l ei n v a r i a n t f e a t u r et r a n s f o r m ) 算法, 该算法通 过提取稳定的特征, 可以对发生平移、 旋转、 仿射变换、 视角变 I F T算法本身复杂 换、 光照变化情况的图像进行匹配; 但由于 S B a y 等 度较高也存在着特征检测和匹配速度慢的缺点。随后, 人
收稿日期:2 0 1 2 0 7 2 9 ;修回日期:2 0 1 2 0 9 0 4 基金项目:国家自然科学基金资助项目( 6 1 1 7 0 2 0 3 ) ; 国家“ 9 7 3 ” 计划前期研究专项基金 资助项目( 2 0 1 1 C B 3 1 1 8 0 2 ) ; 国家教育部博士点基金资助项目( 2 0 0 8 0 6 9 7 0 0 1 4 ) ; 陕西省自然科学基金资助项目( 2 0 1 1 J Q 8 0 0 1 , 2 0 1 0 J Q 8 0 1 1 ; 虚拟现实 应用教育部工程研究中心开放基金资助项目( M E O B N U E V R A 2 0 0 9 0 3 ) ; 陕西省教育厅资助项目( 0 9 J K 7 3 8 , 1 2 J K 0 7 3 0 ) 作者简介:赵璐璐( 1 9 8 9 ) , 女, 陕西西安人, 硕士研究生, 主要研究方向为图形图像处理、 可视化技术( 3 8 1 2 9 9 6 0 9 @q q . c o m ) ; 耿国华( 1 9 5 5 ) , 女, 教授, 博导, 主要研究方向为图形图像、 可视化技术、 智能信息处理; 李康( 1 9 8 0 ) , 男, 讲师, 博士研究生, 主要研究方向为计算机可视化; 何阿静 1 9 8 8 ) , 女, 硕士研究生, 主要研究方向为图形图像处理、 可视化技术. (
( S c h o o l o f I n f o r m a t i o nS c i e n c e &T e c h n o l o g y ,N o r t h w e s t U n i v e r s i t y ,X i ’ a n7 1 0 1 2 7 ,C h i n a )
A b s t r a c t :T h i s p a p e r p r o p o s e da ni m a g e s m a t c h i n g a l g o r i t h mb a s e do nS U R Fa n df a s t a p p r o x i m a t e n e a r e s t n e i g h b o r s e a r c hf o r t h a t n e a r e s t n e i g h b o r m a t c h i n g o f h i g h d i m e n s i o n a l f e a t u r e v e c t o r w a s l o w . F i r s t , t h i s a l g o r i t h mu s e dF a s t H e s s i a nd e t e c t i o nt o , a n dg e n e r a t e df e a t u r e v e c t o r o f S U R Fd e s c r i p t o r s . T h e n u s i n g b i d i r e c t i o n a l a p p r o x i m a t e n e a r e s t n e i g h b o r m a t c h i n g f i n df e a t u r e s a l g o r i t h mt o m a t c h ,f i n a l l ya d o p t e dP R O S A Ca l g o r i t h mt oe x c l u d em i s t a k em a t c h i n gp o i n t s .E x p e r i m e n t s s h o wt h a t t h ea l g o r i t h mn o t o n l y i m p r o v e s t h e m a t c h i n g c o r r e c t r a t e o f S U R Fa l g o r i t h m ,a n de n s u r e t h e r e a l t i m e n a t u r e . K e yw o r d s :i m a g e s m a t c h i n g ;F L A N N ;S U R F ( s p e e d e du pr o b u s t f e a t u r e s ) ;P R O S A C ;b i d i r e c t i o n a l m a t c h i n g
L ቤተ መጻሕፍቲ ባይዱ x , ) L ( x , ) σ σ x x x y
L ( x , ) L ( x , ) σ σ x y y y
1 ) (
其中: L (x , ) 、 L ( x , R ) 和L ( x , R ) 是x 点处高斯函数二阶 σ x x x y y y 偏导数和图像的二维卷积。 S U R F算子采用方框滤波 为了提高高斯卷积的计算速度,
′ 2 ′ 2 ′ 2 D= 槡 ( x x )+ ( x x )+ …+ ( x x ) 1- 1 2- 2 6 4- 6 4 ′ 1 ′ 2 ′ 6 4
( 3 )
其中: ( x , x , …, x ) , ( x, x, …, x) 为待匹配的两个特征点 1 2 6 4 U R F特征向量。 的S % ! 双向 -./00 算法 由于 S U R F特征向量是高维向量, 以往算法采用基于最近 邻距离的匹配算法, 其匹配过程相当于高维空间中的最近邻搜 索问题, 计算量太大。文献[ 5 ] 对一些相关的算法进行了比 均值 较, 发现对于高维空间中的最近邻搜索问题, 采用分层 K 树和多重随机 K D树具有较好的性能, 并且实现了根据用户输 入的准确度和高维数据自动化选择的近似快速最近邻搜索算 L A N N , 搜索速率得到了显著提高, 因而本文采用 F L A N N 法F 算法。 图 3为图 I L A N N匹配效果图, 匹配对数为 1 到图 I 2的 F 1 2 4 ; 图 4为图 I 匹配对数为 1 3 6 。可以 2 到图 I 1 的匹配效果图, 明显看出, 同样是两幅图, 通过不同方向匹配得到的匹配对数 不同, 都存在不同程度的误匹配现象。
为
2 H= D ( x ) D ( x )- ( 0 . 9 D ( x ) ) Δ x x y y x y
( 2 )
其中: ( x , y ) 周围区域的方框滤波器响应值, 用 Δ进 Δ为在点 I 行极值点的检测。方框滤波模板与图像进行卷积运算后的值 、 D 、 D 。通过矩阵的行列式和特征值来判别是否 分别为 D x x x y y y a s t H e s s i a n 矩阵的行列式值为正,且两个特征 为极值点,若 F 值不同时为正或为负,则认定为极值点。
图像匹配在图像处理中一直是研究的重点和热点之一, 它 用来匹配相互间具有偏移的两幅或多幅图像。在目标识别、 三 维重建、 运动分析、 图像拼接等领域都有着广泛的应用。目前, 广泛应用的图像匹配算法主要有两类: a ) 基于区域的匹配方 法, 该方法运算量大而且不能解决图像旋转和尺度缩放的问 题; b ) 基于特征的匹配方法, 近年来, 由于基于局部不变特征 的匹配算法具有计算量小、 良好的鲁棒性, 对图像偏移、 旋转、 灰度变化等都有较好的适应能力, 逐渐成为图像匹配算法研究 的主流方向。
赵璐璐,耿国华,李 康,何阿静
( 西北大学 信息科学与技术学院,西安 7 1 0 1 2 7 ) 摘 要:针对高维特征向量存在的最近邻匹配正确率低的问题, 提出了一种基于 S U R F和快速近似最近邻搜索 的图像匹配算法。首先用 F a s t H e s s i a n检测子进行特征点检测, 并生成 S U R F特征描述向量; 然后通过快速近似 最近邻搜索算法得到初匹配点对, 再对得出的单向匹配结果进行双向匹配; 最后采用鲁棒性较好的 P R O S A C算 U R F算法匹配的正确率, 还保证了算法的实时性。 法进一步剔除误匹配点对。实验证明了该算法不仅提高了 S 关键词:图像匹配;快速近似邻近点搜索;加速鲁棒特征;改进的样本一致性;双向匹配 中图分类号:T P 3 9 1 . 4 1 文献标志码:A 文章编号:1 0 0 1 3 6 9 5 ( 2 0 1 3 ) 0 3 0 9 2 1 0 3 d o i : 1 0 . 3 9 6 9 / j . i s s n . 1 0 0 1 3 6 9 5 . 2 0 1 3 . 0 3 . 0 7 2
! "+,- 特征提取和描述
本文 采 用 S U R F 算 法 作 为 图 像 匹 配 的 特 征 提 取 算 法。 S U R F特征点 检 测 的 主 要 过 程 分 为 特 征 点 提 取 和 生 成 特 征 S U R F描述向量。 ! ! "+,- 特征点提取 S U R F算子的检测与 S I F T算法都是基于尺度空间的, 采用 H e s s i a n 矩阵来提取特征点。 尺度为 σ的图像点 I ( x , y ) 的H e s s i a n 矩阵定义为