基于Harris特征点和对比度调制的图像拼接算法

合集下载

基于FPGA的图像拼接技术研究与实现

基于FPGA的图像拼接技术研究与实现徐扬;王晓曼;朱佶;刘鹏;姜浩【摘要】由于目前成熟的图像拼接技术普遍采用软件方法,获得的大视场视频会有不便于实时性的缺陷,提出了一种基于FPGA可编程技术控制多个CMOS摄像头视频数据并实时拼接的方法.该系统采用双目摄像头OV5640获取两路分辨率为320*240的图像数据,用Altera公司的Cyclone IV系列FPGA芯片作为核心芯片完成对两路CMOS视频图像的采集和处理,并通过两片DDR2芯片完成图像数据的缓存,视频图像经过拼接后由VGA显示.图像拼接部分主要通过以实验为基础的相位标校法完成两路图像的配准工作,采用加权算法进行图像融合工作,消除拼接缝,拼接后的视频分辨率为406*192,视场得到扩大,满足实时性要求,具有一定代表性.【期刊名称】《长春理工大学学报（自然科学版）》【年(卷),期】2018(041)006【总页数】6页(P94-98,103)【关键词】图像采集;相位标校;加权融合;FPGA实现【作者】徐扬;王晓曼;朱佶;刘鹏;姜浩【作者单位】长春理工大学电子信息工程学院,长春 130022;长春理工大学电子信息工程学院,长春 130022;长春理工大学电子信息工程学院,长春 130022;长春理工大学电子信息工程学院,长春 130022;中国华录·松下电子信息有限公司,大连116023【正文语种】中文【中图分类】TP391图像拼接技术主要目的在于将多幅有重叠区域的图像拼接成一幅完整的大视场图像，其过程主要为图像配准和图像融合两步，图像配准工作在于找出两幅图像中的重叠区域的坐标关系并将两幅图像拼成一幅图像，图像融合工作主要在于消除图像配准工作拼接图像中由于亮度、对比度等因素引起的拼接缝，最后得出一幅完整的图像。

随着技术的发展，目前视频拼接技术发展已经比较成熟，各种视频拼接的技术已经在我们的日常生活中投入使用，如车载监控、智能监管、交通等领域都涉及到大视场成像，会用到视频拼接技术。

基于特征点的图像配准与拼接技术研究

基于特征点的图像配准与拼接技术研究一、本文概述1、图像配准与拼接技术的研究背景与意义随着数字图像处理技术的快速发展，图像配准与拼接技术在许多领域，如遥感图像分析、医学影像处理、虚拟现实、全景图像生成等，都发挥着重要的作用。

这些技术不仅可以提高图像处理的效率和准确性，还有助于获取更全面、更丰富的图像信息。

图像配准是指将两幅或多幅图像进行空间对齐的过程，目的是使图像中的同名点达到空间一致。

它是图像拼接、图像融合、目标跟踪等高级图像处理技术的基础。

图像拼接则是将两幅或多幅图像进行无缝连接，生成一幅更大视野、更高分辨率的图像。

图像配准与拼接技术的研究背景源于实际应用的需求。

在遥感图像处理中，由于成像设备的限制，往往需要通过多幅图像的拼接来获取更大范围的地理信息。

在医学影像处理中，通过图像的配准与拼接，医生可以更准确地诊断病情。

在虚拟现实和全景图像生成中，图像配准与拼接技术更是不可或缺。

随着和机器学习技术的发展，图像配准与拼接技术在自动驾驶、人脸识别、物体识别等领域的应用也日益广泛。

这些技术可以帮助机器更准确地理解和分析图像，从而提高系统的性能和效率。

因此，研究图像配准与拼接技术不仅具有重要的理论价值，还有广阔的应用前景。

通过深入研究这些技术，不仅可以推动图像处理技术的发展，还可以为相关领域的应用提供有力的技术支持。

2、国内外研究现状与发展趋势图像配准与拼接技术一直是计算机视觉领域的研究热点，近年来随着深度学习和大数据技术的发展，该技术得到了更广泛的应用。

特征点作为图像配准与拼接过程中的关键元素，对于提高配准精度和拼接质量具有重要意义。

在国外，基于特征点的图像配准与拼接技术研究起步较早，已经取得了较为成熟的成果。

许多学者和科研机构提出了多种经典算法，如SIFT、SURF、ORB等，这些算法在特征点提取、描述和匹配等方面表现出色，被广泛应用于各种场景下的图像配准与拼接任务。

同时，随着深度学习技术的兴起，一些基于深度学习的图像配准与拼接方法也相继涌现，这些方法通过学习大量数据来优化特征提取和匹配过程，进一步提高了配准精度和效率。

基于图像匹配的特征点检测方法综述

0 引言图像特征点是一幅图像中比较典型的特征标志之一，它含有显著的结构性信息。

一般为图像中的线条、交叉点、边界封闭区域的重心或者曲面的高点等。

图像特征点检测的方法是对一幅图像进行描述的必要手段。

在图像匹配、目标检测与识别等图像处理与分析应用中都是关键重要的步骤。

本文对图像匹配中采用的特征点以及提取方法进行深入研究探讨，分析比较几种成熟的特征点检测方法和一些新的特征点提取方法，对这些特征点的基本特点、改进方法、性能优缺点进行详尽分析。

1 特征点检测图像中存在明显表现图像特征的特征点 (角点或关键点)，图像匹配通常利用特征点来估计图像之间的变换, 而不是利用图像全部的信息。

特征点的检测方法很多，本文对图像拼接中常用的重要特征点进行分析比较。

1.1 Harris角点检测Harris角点检测是一种基于图像灰度的一阶导数矩阵检测方法。

检测器的主要思想是局部自相似性/自相关性，即在某个局部窗口内图像块与在各个方向微小移动后的窗口内图像块的相似性。

虽然Harris角点检测算子具有部分图像灰度变化的不变性和旋转不变性，但它不具有尺度不变性。

但是尺度不变性对图像特征来说至关重要。

2001年Mikolajczyk等人把Harris-Laplace和Hessian-Laplace 结合在一起[2]，创造出了一种鲁棒的、尺度不变、重复检测率很高的检测算子，弥补了Harris算子在尺度不变性上的不足。

1.2 SIFT (Scale Invariant Feature Transform)特征点检测1999年Lowe首次提出了SIFT算法特征点检测，可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有良好的不变性和很强的匹配能力。

2004年，Lowe提高了高效的尺度不变特征变换算法（SIFT）[3],利用原始图像与高斯核的卷积来建立尺度空间，并在高斯差分空间金字塔上提取出尺度不变性的特征点。

该算法具有一定的仿射不变性，视角不变性，旋转不变性和光照不变性，所以在图像特征提高方面得到了最广泛的应用。

基于SIFT特征匹配的稳健图像拼接算法

Abstract: A im ed at the two inadequacies appeared when app lying Scale Invariant Feature Transfor m ( SIFT) to im age mosaic, they are, w rongly matching and poor point2 pair corresponding, this paper p roposed to make use of RANSAC algorithm to filter the matched point2 pairs and refering to Kanade 2 Lucas2Tomasi (KLT) tracing algorithm to modify the position of feature points, so as to get accurate transfor mation matrix . Experim ents show that this algorithm is as robust as SIFT, meanwhile, the p recision is imp roved. Key words: im age mosaic; Scale Invariant Feature Transfor m ( SIFT ) ; Random Samp le Consensus ( RANSAC ) ; ( ) Kanade 2 Lucas2Tomasi KLT algorithm
SIFT特征匹配的方法进行图像拼接虽然可以得到较丰富的
匹配的点对 ,其特征点的位置并不严格对应 ,导致单应性变换矩阵存在误差 , 拼接后的图像存在较明显的“ 鬼影 ” 现象 , 有时甚至出现较大的匹配误差。本文针对上述两点不足 ,提出运用随机取样一致性算法 (Random Samp le Consensus, RANSAC)对匹配后的点对进行筛选 ,去除错误匹配的点对 ; 并借鉴视频追踪的 KLT ( Kanade2 [6 ] Lucas2Tomasi)算法对匹配上的点的位置进行精确修正 , 以保证求得精确的变换矩阵。

基于变换域和基于特征点的图像配准方法毕业论文

基于变换域和基于特征点的图像配准方法毕业论文目录摘要 ........................................................ 错误!未定义书签。

Abstract.................................................... 错误!未定义书签。

第一章绪论.. (1)第一节引言 (1)第二节论文研究的意义 (1)第三节图像拼接技术概述 (2)1.3.1 图像拼接技术的发展历程 (2)1.3.2 图像拼接技术的国研究现状 (3)第四节本文主要研究容和组织结构 (3)1.4.1 主要研究容 (4)1.4.2 论文组织结构 (4)第二章图像拼接流程 (6)第一节图像拼接的步骤 (6)第二节主要拼接步骤简介 (7)第三章图像预处理 (9)第一节相机成像原理模型 (9)3.1.1 摄像机垂直转动 (10)第二节图像预处理的容 (13)第三节本章小结 (14)第一节相位相关度法原理 (15)第二节基于二幂子图像的FFT对齐算法 (16)4.2.1 二幂子图像 (16)4.2.2 二幂子图像的对齐 (17)第三节本章小结 (18)第五章图像配准 (19)第一节图像配准的定义及关键要素 (19)5.1.1 图像配准的原理和图像变换 (19)5.1.2 图像配准的步骤 (21)5.1.3 图像配准的关键要素 (22)第二节常用的配准方法分析 (25)5.2.1 基于灰度信息的图像配准方法 (25)5.2.2 基于变换域的图像配准方法 (25)5.2.3 基于特征的图像配准方法 (26)5.2.4 配准算法的优缺点分析 (26)第三节基于变换域的图像配准方法 (28)5.3.1 相位相关技术原理 (28)5.3.2 傅里叶算法步骤 (29)第四节基于特征的图像配准方法 (31)5.4.1算法流程 (31)5.4.2 算法原理 (32)第六节本章小结 (41)第六章图像融合 (42)第一节直接平均融合法 (42)第二节多分辨率样条技术融合法 (43)第三节加权平均融合法 (43)第四节合方法优缺点分析 (45)第五节实验结果及分析 (47)第六节本章小结 (50)第七章图像拼接的实现与应用 (51)第一节图像拼接的实现 (51)第二节图像拼接的具体仿真过程 (54)第三节图像拼接的应用 (59)第八章总结与展望 (60)第一节总结 (60)第二节展望 (61)致谢........................................................ 错误!未定义书签。

图像拼接算法及实现.

图像拼接算法及实现论文关键词：图像拼接图像配准图像融合全景图论文摘要：图像拼接(image mosaic)技术是将一组相互间重叠部分的图像序列进行空间匹配对准,经重采样合成后形成一幅包含各图像序列信息的宽视角场景的、完整的、高清晰的新图像的技术。

图像拼接在摄影测量学、视觉、遥感图像处理、图像分析、计算机图形学等领域有着广泛的应用价值。

一般来说,图像拼接的过程由图像获取,图像配准,图像合成三步骤组成,其中图像配准是整个图像拼接的基础。

本文研究了两种图像配准算法:基于特征和基于变换域的图像配准算法。

在基于特征的配准算法的基础上,提出一种稳健的基于特征点的配准算法。

首先改进Harris角点检测算法,有效提高所提取特征点的速度和精度。

然后利用相似测度NCC(normalized cross correlation——归一化互相关),通过用双向最大相关系数匹配的方法提取出初始特征点对,用随机采样法RANSAC(Random Sample Consensus)剔除伪特征点对,实现特征点对的精确匹配。

最后用正确的特征点匹配对实现图像的配准。

本文提出的算法适应性较强,在重复性纹理、旋转角度比较大等较难自动匹配场合下仍可以准确实现图像配准。

Abstract：Image mosaic is a technology that carries on thespatial matching to a series of image which are overlapped with each other, and finally builds a seamless and high quality image which has high resolution and big eyeshot. Image mosaic has widely applications in the fields of photogrammetry, computer vision, remote sensing image processing, medical image analysis, computer graphic and so on. 。

基于单目结构光的大物体三维测量关键方法的研究

基于单目结构光的大物体三维测量关键方法的研究伏燕军;翁凌霄;胡茗【摘要】在单目结构光的三维测量系统中,由于投影仪倾斜投影,参考平面上的条纹周期展宽,给测量带来误差,降低了测量精度.同时受大物体自身几何和形貌等因素的影响,以及相交轴测量系统的限制,其单幅面测量范围受限,很难一次测量大物体完整的三维形貌,而且在测量大物体时,摄像机镜头非线性畸变也影响测量精度.根据参考平面上光栅条纹的周期变化规律,提出了一种适用性好、方便快捷的条纹周期校正的理论模型,在此基础上,提出了基于条纹周期校正的四步相移法的理论模型,进而提出了基于条纹周期校正的时间相位展开法的理论模型.采用摄像机镜头非线性畸变校正模型,提高测量精度.在被测物表面粘贴标志点,获取其三维坐标,利用SVD分解和L-M优化算法求取转换矩阵,并在设定的全局坐标系下实现三维图像拼接,采用线性加权算法,对重叠区域进行图像融合.实验结果表明,X轴的拼接误差为0.14 mm,Y 轴的拼接误差为0.16 mm,Z轴的拼接误差为0.19 mm,其拼接误差均在测量误差允许范围之内.%In three-dimensional measurement system based on structured light,the grating fringe cycle is broadened on the reference surface with the reason of the oblique-angle,which brings errors to the measurement and reduces the accuracy.At the same time,because of large objects'geometry and morphology and other factors,as well as the limit of the intersecting axis projection system,the single shape measuring range is limited.It is difficult to measure large objects'complete shape in one time.And when measuring large objects,camera lens' nonlinear distortion also affects the measurement accuracy.According to the periodic pattern of grating stripes on the reference plane,a well-fitted,convenient and quickstripe cycle correction method was proposed.Based on the cycle correction method,a theoretical model of four-step phase shift method was put up,and then a theoretical model of time phase unwrapping based on fringe period correction was proposed.After that,the lens distortion correction model was used to improve the measurement accuracy.With the mark points pasted on the surface of objects,the three-dimensional coordinates of them were got,as well as the transformation matrix by using the singular value decomposition (SVD) and Levenberg-Marquardt (L-M) optimization algorithm,and three-dimensional image mosaic was realized under the global coordinate system.Finally,the linear weighting algorithm was used to realize the image fusion of overlapping areas.Experimental results show that the registration errors in x,y,z axes are 0.14 mm,0.16 mm,and 0.19 mm respectively,which all meet the requirements.【期刊名称】《应用光学》【年(卷),期】2018(039)002【总页数】8页(P212-219)【关键词】单目结构光;大物体;周期校正;三维拼接;标志点【作者】伏燕军;翁凌霄;胡茗【作者单位】南昌工学院,江西南昌 330108;南昌工学院,江西南昌 330108;南昌工学院,江西南昌 330108【正文语种】中文【中图分类】TN206;TB92随着现代工业技术的发展，大范围、高精度、非接触、动态的三维测量成为工业测量的发展方向。

基于HALCON与图像拼接的文物修复系统设计与实现_白宗文

Σ Σ Σ 茚茚 M= w（x，y） x，y
I2 x
Ix Iy
Ix Iy I2
y
=w（x，y）茚
I2 x
Ix Iy
Ix Iy I2
y
（1）
式中，M 表示相关矩阵，Ix 为 x 方向的差分，Iy 为 y 方向的
差分，w（x，y）为高斯函数。
R=det（M）-κ（traceM）2
（2）
2.2 图像匹配算法
为便于描述，首先设 A 和 B 是为两幅待拼接图像，用
相同的阈值 R0 提取其角点，设角点集分别 C A= （C1，C2， …
Cm），C
B= （C 1′
，C
′ 2
，
…
C′ n
），显然
A
和
B
只有部分重合，图像匹
配问题转化为在集合 C A 和 C B 中求两个最小的子集，使得
子对图像中的每个点都计算其兴趣值，然后在邻域中选择最
优点。实验表明，在纹理信息丰富的区域，Harris 算子可以提
取出大量有用的特征点，而在纹理信息少的区域，提取的特征
点则较少。 3）稳定:Harris 算子的计算公式中只涉及到一阶导
数，因此对图像旋转、灰度变化、噪声影响和视点变换不敏感，
它也是比较稳定的一种点特征提取算子。
文物是考古学重要研究对象之一，由于自然和人为的原大，速度慢；李冬梅[3]等人采用基于特征点灰度相关原理的方
因，在考古挖掘现场通常出土成千上万的文物碎片，如何从法，通过 Harris 角点算法提取特征点，完成了图像的拼接，但

图像拼接方法总结

图像拼接方法总结图像拼接方法总结 (1)引言 (1)1 基于网格的拼接 (3)2基于块匹配的拼接（也叫模板匹配） (4)3基于比值法拼接 (6)4 基于FFT的相位相关拼接 (7)基于特征的图像配准方法 (9)5 Harris角点检测算法 (10)6基于SIFT尺度不变特征的图像拼接 (15)SIFT主要思想及特点 (16)SIFT算法详细过程 (16)SIFT匹配算法实现 (20)7 基于surf 的图像配准 (22)SURF算法介绍 (22)算法详细过程 (23)8 基于最大互信息的图像配准 (24)9 基于小波的图像拼接 (27)10 基于轮廓特征的图像拼接技术 (27)引言首先研究了图像拼接的基本技术，包括图像预处理、图像配准、图像融合，图像的预处理包括：图像预处理的主要目的是为了：降低图像配准的难度，提高图像配准精度。

图像预处理包括：图像投影、图像去噪、图像修正等。

图像配准采用的算法主要有两类：一类是基于区域的算法，是指利用两张图像间灰度的关系来确定图像间坐标变化的参数，其中包括基于空间的像素配准算法包括（1基于块匹配，2基于网格匹配，3基于比值匹配），基于频域的算法（4既是基于FFT的相位相关拼接）等。

另一类是基于特征拼接的算法，是利用图像中的明显特征（点，线，边缘，轮廓，角点）来计算图像之间的变换，而不是利用图像中全部的信息，其中包括5 Harris角点检测算法，6 SIFT（角点）尺度不变特征转换算法，7 surf（角点，这种方法是sift方法的改进，速度提高）特征算法，第三类是8 基于最大互信息的拼接，9 基于小波（将拼接工作由空间域转向小域波，即先对要拼接的图像进行二进小波变换，得到图像的低频、水平、垂直三个分量，然后对这三个分量进行基于区域的拼接，分别得到三个分量的拼接结果，最后进行小波重构即可获得完整的图像）。

图像的融合：1直接平均值法、2基于小波变换、3线性加权法4 最大值法5 多元回归算法1 基于网格的拼接优缺点：计算量大，精度高，很难选择初始步长。

基于改进SIFT算法的图像拼接研究

基于改进SIFT算法的图像拼接研究摘要：图像拼接是当今的研究热点问题之一，本文提出了一种改进SIFT算法来完成图像的拼接。

该方法采用改进的尺度不变特征变换(SIFT)特征提取方法获得图像特征点，并充分利用圆形区域的旋转不变性和互信息量最大原则进行特征点匹配，避免了传统的图像配准算法计算量过大、特征点匹配不准确等问题，最后采用加权平均的方法对图像进行融合。

实验表明，该方法对图像间存在的平移、旋转、明暗强度和噪声干扰等都具有良好的鲁棒性，可实现高质量的图像拼接。

关键词：图像拼接；尺度不变特征变换；互信息量Research on image mosaic algorithm based onimproved SIFTAbstract: the image mosaic is one of the hotspot problems, this paper proposes an improved SIFT algorithm for image mosaic. The method uses improved scale invariant feature transform (SIFT) feature extraction method to obtain the image feature points, and make full use of the rotation invariance circular area and mutual information matching feature points of maximum principle, to avoid excessive, feature point matching problems such as inaccurate calculation of the traditional image registration algorithm, finally the image fusion using weighted average method. Experiments show that, this method has good robustness to image translation, rotation, light intensity and the presence of noise, can achieve high quality image stitching.Key words：image mosaic; SIFT; mutual information1.引言图像拼接是将多幅相互间存在重叠的序列图像进行无缝拼接，合成一幅包含各图像信息的、宽视角场景的高清晰图像。

基于Harris角点检测的改进算法研究

基于Harris角点检测的改进算法研究徐振武;徐志京【摘要】经典的Harris算法在提取图像的角点上具有计算简单、适应性强等优势,但该方法由于人为设定单一阈值,容易出现伪角点、漏检点及运行速度不理想等现象.针对这一情况,文章在传统Harris算法基础上提出一种新的检测方法,采用多阈值的圆形非极大值抑制法提取角点,以此降低算法检测时间并增强图像旋转不变性,再借鉴SUSAN思想消去大部分伪角点.通过实验对比,该算法具有更好的角点检测性,为后期的图像配准奠定了良好的基础.【期刊名称】《微型机与应用》【年(卷),期】2016(035)013【总页数】4页(P15-18)【关键词】Harris角点检测;圆形区域;多阈值;SUSAN算法【作者】徐振武;徐志京【作者单位】上海海事大学信息工程学院,上海201306;上海海事大学信息工程学院,上海201306【正文语种】中文【中图分类】TP391引用格式：徐振武，徐志京. 基于Harris角点检测的改进算法研究[J].微型机与应用，2016,35(13)：15-18.随着近代计算机的迅速发展，人们为了获取更高像素更宽视角的图像以作科学研究，图像拼接逐渐成为了计算机各领域的研究热点[1-2]。

图像蕴含有丰富的信息特征，其中角点特征是图像拼接领域的主要技术指标，业界对角点没有统一定义，一般被认为是图像像素点亮度发生了剧烈改变或边缘曲线曲率极大值的点[3]，它能以极少的数据量来表现图像的整体信息，这有利于图像处理的速度与精度。

角点检测方法在图像拼接中的配准、融合、定位等方面起着重要作用，其提取的好坏决定图像拼接的质量结果。

适量恰当的正确角点在图像拼接过程中可增强图像的抗噪性和图像形变的适应能力，有利于图像的后续匹配,使得实时处理成为可能。

目前角点的检测方法大致分两种：基于图像边缘特征的角点检测, 该算法依赖于图像边缘特征[4]，提取边缘信息而求得角点，但算法定位精度差，对噪声敏感；基于图像灰度的角点检测，该方法依赖于像素点的曲率与梯度值信息。

图像中角点(特征点)提取与匹配算法

角点提取与匹配算法实验报告1 说明本文实验的目标是对于两幅相似的图像，通过角点检测算法，进而找出这两幅图像的共同点，从而可以把这两幅图像合并成一幅图像。

下面描述该实验的基本步骤:1.本文所采用的角点检测算法是Harris 角点检测算法，该算法的基本原理是取以目标像素点为中心的一个小窗口，计算窗口沿任何方向移动后的灰度变化，并用解析形式表达。

设以像素点(x,y)为中心的小窗口在X 方向上移动u ，y 方向上移动v ，Harris 给出了灰度变化度量的解析表达式：2,,|,|,,()(x y x y x u y v x y x y I I E w I I w uv o X Y∂∂=-=++∂∂∑∑ (1) 其中，,x y E 为窗口内的灰度变化度量；,x y w 为窗口函数，一般定义为222()/,x y x y w e σ+=；I 为图像灰度函数，略去无穷小项有：222222,,[()()2]2x y x y x y x y E w u I v I uvI I Au Cuv Bv =++=++∑（2）将,x y E 化为二次型有：,[]x yu E u v M v ⎡⎤=⎢⎥⎣⎦(3)M 为实对称矩阵：2,2x y x x y x y y I I I M w I I I •⎤⎡=⎥⎢•⎢⎥⎣⎦∑ (4)通过对角化处理得到：11,200x y E R R λλ-⎛⎫= ⎪⎝⎭(5)其中，R 为旋转因子，对角化处理后并不改变以u,v 为坐标参数的空间曲面的形状，其特征值反应了两个主轴方向的图像表面曲率。

当两个特征值均较小时，表明目标点附近区域为“平坦区域”；特征值一大一小时，表明特征点位于“边缘”上；只有当两个特征值均比较大时，沿任何方向的移动均将导致灰度的剧烈变化。

Harris 的角点响应函数(CRF)表达式由此而得到：2(,)det()(())CRF x y M k trace M =-(6)其中：det(M)表示矩阵M的行列式，trace(M)表示矩阵的迹。

一种改进的Harris角点图像拼接算法

ＩｍｒｏｖｅｄＩｍａｅＭｏｓａｉｃＡｌｏｒｉｔｈｍＢａｓｅｄｏｎＨａｒｒｉｓＣｏｒｎｅｒｐｇｇ
ＱＩＵＧｕｏｉｎＥＮＧＨａｎｉｎＩＡＮＧＴｉａｎｕｅＬｅｆｅｉ－Ｆ－Ｊ－ＴＵ－ｑｇｑｇｙ
，ＡｂｓｔｒａｃｔＩｎｏｒｄｅｒｔｏｓｏｌｖｅｉｍａｅｍｏｓａｉｃｏｔｉｍｉｚａｔｉｏｎｒｏｂｌｅｍｓａｎｏｖｅｌｉｍｒｏｖｅｄａｌｏｒｉｔｈｍｉｓｒｏｏｓｅｄｂａｓｅｄｏｎｔｈｅｇｐｐｐｇｐｐＨａｒｒｉｓｖｅｒｔｅｘｅｘａｍｉｎａｔｉｏｎａｌｏｒｉｔｈｍ．Ｔｈｅａｌｏｒｉｔｈｍｅｆｆｅｃｔｉｖｅｌａｖｏｉｄｓｔｈｅａｆｆｅｃｔｉｎｏｆｓｅｌｅｃｔｉｎｋｉｎｒｏｏｓｅｄｔｒａｄｉｔｉｏｎａｌｇｇｙｇｇｐｐ，ｔｈｅｃｏｒｎｅｒｒｅｓｏｎｓｅｆｕｎｃｔｉｏｎａｎｄｔｈｅｔｈｒｅｓｈｏｌｄＴｉｎｄｅｔｅｃｔｉｏｎｔｈｅｏｆｉｍａｅｍｏｓａｉｃｉｍａｅｒｅｉｓｒｏｃｅｓｓ．Ｄｕｒｉｎｒｏｃｅｓｓ－ｐｇｇｇｐｇｐｔｒａｔｉｏｎｗａｓｉｍｒｏｖｅｄｂＮＣＣ．Ａｎｄｔｈｅｍｅａｎｍｅｔｈｏｄｗａｓｕｓｅｄｔｏｆｕｓｅｓｌｉｃｅｄｉｍａｅｓａｎｄｅｌｉｍｉｎａｔｅｓｔｉｔｃｈｉｎａｓ．Ｉｎｏｒ－ｐｙｐｇｇｇｐ，ｒｏｏｓｅｄｄｅｒｔｏｖｅｒｉｆｔｈｅｅｆｆｅｃｔｉｖｅｎｅｓｓｔｈｅａｌｏｒｉｔｈｍｗａｓｅｖａｌｕａｔｅｄｉｎａｎｅｘａｍｌｅｏｆｉｍａｅｍｏｓａｉｃ．Ｓｉｍｕｌａｔｉｏｎｒｅｓｕｌｔｓｐｐｙｇｐｇ，ｒｅｃｉｓｉｏｎｓｈｏｗｔｈａｔｔｈｉｓａｌｏｒｉｔｈｍｉｎｃｒｅａｓｅｓｔｈｅａｎｄｔｈｅｅｆｆｉｃｉｅｎｃｏｆｉｍａｅｍｏｓａｉｃ．Ｃｏｎｓｅｕｅｎｔｌｔｈｉｓａｌｏｒｉｔｈｍｃａｎｅｆ－ｐｇｙｇｑｙｇｆｉｃｉｅｎｔｌａｃｈｉｅｖｅａｏａｌｏｆｓｅａｍｌｅｓｓｍｏｓａｉｃａｎｄｓａｔｉｓｆｔｈｅａｃｔｕａｌｄｅｍａｎｄ．ｙｇｙ，，，，ＫｅｗｏｒｄｓａｒｒｉｓｃｏｒｎｅｒｄｅｔｅｃｔｉｏｎＩｍａｅｍｏｓａｉｃＩｍａｅｒｅｉｓｔｒａｔｉｏｎＷｅｉｈｔｅｄａｖｅｒａｅＩｍａｅｆｕｓｉｏｎＨｇｇｇｇｇｇｙ首先对传统的角点种基于Ｈａｒｒｉｓ角点检测的改进拼接算法，响应函数进行了改进，避免以往由ｋ的选取而造成的误差；其避免人为选次提出了一种适用于图像拼接的自适应阈值Ｔ，取的弊端，同时对图像的配准进行优化，有效剔除了伪配准点；最后将改进后的Ｈａｒｒｉｓ角点检测算法成功地应用于图像

基于sift特征点的图像匹配方法研究

3.匹配算法的一般步骤—特征提取
特征点
3.匹配算法的一般步骤—特征提取
直线
3.匹配算法的一般步骤—特征提取
区域
3.1特征提取

点特征提取方法
--Harris (Harris Corner Detector)算法
受信号处理中相关函数的启发，给出与自相关函数相联系的矩阵M，M矩阵的特征值是自相关函数的一阶曲率，如果两个曲率值都高，那么就认为该点是角点，此方法对图像旋转、亮度变化、视角变化和噪声的影响具有很好的鲁棒性。
1.图像匹配介绍----图像配准的应用领域

医学领域
--CT,MRT----图像匹配后进行融合可以得到更多的信息
2.图像匹配的分类
图像匹配的分类
基于灰度信息的图像匹配
基于特征信息的图像匹配
2.图像匹配方法的分类

2.1基于灰度的图像匹配算法基于灰度的图像匹配算法是直接利用匹配图像的灰度值，选择某种相似性度量函数，然后再通过图像像素计算此度量值，最终根据计算结果进行全局优化后实现匹配。灰度匹配通过利用某种相似性度量度量函数可以是 MMSE (最小均方误差)、互相关值、SSDA 等。此类方法无需对图像进行分割和特征提取，自然避免了由这些预处理可能造成的图像信息丢失而引起的匹配精度降低。这类方法主要的特点是在收敛速度、统计模型、匹配精度及最终的估计误差方面均出现了较为成熟的研究成果，并且原理简单容易理解。
xx xy
L xy ( X , ) L yy ( X , )
Lyy ( X , ) Lxx ( X , ) 表示高斯二阶偏导在X处与图像I的卷积。Lxy ( X , ) 、其中，具有相似的含义。

全景图像拼接技术

第6章全景图像的拼接技术全景图像(全景图)的拼接是指利用摄像机的平移或旋转得到的部分重叠的图像样本，生成一个较大的甚至360°的全方位图像的场景绘制方法。

换句话说，就是给定某个真实场景的一组局部图像，然后对这一组图像进行拼接，生成包含这组局部图像的新视图。

目前全景图像基本可分为柱面、球面、立方体等形式，以柱面和球面全景图最易实现而普遍采用。

本节主要介绍柱面和球面全景图像的拼接算法。

全景图的拼接一般有以下几个步骤。

(1)将从真实世界中拍摄的一组照片以一定方式投影到统一的空间面上，如立方体、圆柱体和球体表面等，这样这组照片就具有统一的参数空间坐标。

(2)在这个统一的空间对相邻图像进行比较，以确定可匹配的区域位置。

(3)将图像重叠区域进行融合处理，拼接成全景图。

在全景图的拼接中，一般都是根据图像序列中相邻两幅图像的重叠区域的相似性来实现的，有基于特征的方法和直接方法等。

本章将主要从基于特征的方法和直接方法两方面介绍柱面和球面全景图像的拼接算法技术。

6.1 柱面全景图像拼接技术本节分为两部分：第一部分是基于特征的拼接算法，这种算法主要从两幅图像中选择一系列特征，然后根据相似性原则进行图像间的特征匹配，这一部分介绍了基于特征点和特征块匹配的全景图像拼接算法；第二部分是基于相位相关拼接算法，这种方法是直接从图像的重叠区域对应像素灰度值出发考虑，利用所有可利用的数据实现很精准的匹配。

6.1.1基于特征的拼接算法1.基于特征点的拼接算法本节提出一种基于特征点匹配的柱面全景图像拼接算法。

首先将360°环绕拍摄的序列图像投影到柱面坐标系下：然后提取各图像的尺寸不变特征变换(Scale Invariant Feature Transform, SIFT)特征点，通过特征点匹配完成两幅图像的配准；再根据配准结果计算出图像间的变换参数；最后采用加权平均的融合方法对两幅图像进行无缝拼接。

1)柱面投影变换在进行柱面全景图的拼接过程中，为了保持实际场景中的空间约束关系和实际场景的视觉图6.1.1 柱面投影变换示意图一致性，需将拍摄得到的反映各自投影平面的重叠图像序列映射到一个标准的柱面坐标空间上，即柱面投影，得到柱面图像序列，再进行拼接得到柱面全景图。

基于特征点的图像拼接方法

基于特征点的图像拼接方法张东;余朝刚【摘要】提出了一种基于特征点匹配的全景图像拼接方法.该方法首先利用sift算法提取各图像中的特征点并利用Harris算法对图像特征点提取进行了优化,然后采用基于K-d树的BBF算法查找和确定初始匹配点对,完成特征点的粗匹配,再根据图像配准结果使用稳健的RANSAC算法对粗匹配的特征点进行筛选,计算出图像间变换矩阵H,最后采用渐入渐出的加权平均的融合算法对两幅图像进行无缝拼接,形成一幅完整的全景画面.实验结果验证了该方法的有效性,拼接效果较好.%This paper proposes a panoramic image mosaic method based on feature points matching. This method firstly uses the sift algorithm to extract the image feature points and uses Harris algorithm to optimize the image feature extraction. Then the BBF algorithm based on K-d tree is used to find and determine the initial matching points and complete the coarse matching of the feature points. Then according to the result of image registration, robust RANSAC algorithm is utilized to filter coarse matching feature points and calculate the transformation matrix H. Finally, the gradually fading out fusion algorithm of the weighted average is used in the seamless Mosaic of two images, form a complete panoramic view picture. Experimental results verify the effectiveness of the proposed method and the splicing effect is better.【期刊名称】《计算机系统应用》【年(卷),期】2016(025)003【总页数】6页(P107-112)【关键词】图像拼接;sift特征点;图像配准;RANSAC;变换矩阵【作者】张东;余朝刚【作者单位】上海工程技术大学城市轨道交通学院,上海 201620;上海工程技术大学城市轨道交通学院,上海 201620【正文语种】中文随着计算机图像处理技术的不断发展, 全景图在生活中有着广泛的应用, 通常由于各种条件的制约, 人们往往很难拍出宽视角、高分辨率的全景图像, 因此, 可实现多幅图像无缝拼接的图像拼接技术应运而生.图像拼接就是将同一幅场景中有相互重叠的多幅图像拼接成大幅面、宽视角、失真小且没有明显缝合线的高分辨率图像[1]. 目前, 图像拼接算法主要可以分为两类: 一类是基于区域相关的图像拼接算法; 另一类是基于特征相关的图像拼接算法. 第一类是从图像的灰度值出发, 通过计算两幅图像的灰度相关性来确定相似程度, 得到拼接图像重叠区域的位置和范围,实现图像拼接; 而基于特征的拼接方法是通过提取图像特征点来对图像重叠部分的对应特征区域进行搜索匹配, 该类算法有比较高的稳定性, 应用也比较广泛[2]. 近年来, 国内外研究人员提出了多种图像拼接算法, Lowe等人在2003年提出了完整的sift算法[3], 该算法将特征点检测、描述和匹配整合为一个统一的过程; Yanke等[4]针对sift算法计算量大、耗时长这一缺点, 提出了PCA-SIFT改进算法, 但计算量并未减少, 且对原有的特征点提取部分并没有改进; 赵向阳、杜立民[5]提出了一种基于特征点匹配的拼接算法, 其中使用Harris 算法[6]提取角点并进行匹配, 该算法使用鲁棒变换估计技术, 一定程度提高匹配算法的稳健性, 但计算速度较慢.本文结合sift算法和harris算法各自的特点, 首先提出了改进的sift算法来提取待拼接图像的特征点; 然后通过BBF算法搜索查找匹配点对, 进行粗匹配, 并结合RANSAC算法实现图像特征点的精确匹配, 同时估计出图像间的变换矩阵; 最后根据变换矩阵采用加权平均的融合方法进行图像的无缝拼接得到全景图像.1.1 sift特征提取算法尺度不变换特征(Scale Invariant Feature Transform, SIFT)是1999年由Lowe 提出的一种提取局部特征的算法, 它在尺度空间中寻找极值点, 并提取出其位置、尺度、旋转不变量. 其实现主要包括4个步骤: 尺度空间的构建; 空间极值点检测; 确定特征点方向; 生成特征描述符. 下面将详细介绍sift特征提取的流程.①尺度空间的构建在不同的尺度下观察一幅图像, 成像是不同的, 我们寻找的局部点就是那些图像尺度发生变化, 但其自身的相对位置仍保持不变的特征点. 而高斯核被证明是唯一的线型卷积核, 因此采用高斯卷积核对初始图像进行一系列的尺度变换.首先我们使用高斯函数与图像进行卷积运算对图像进行若干次的连续滤波处理建立了第一个尺度组. 然后对图像进行降采样运算将图像尺寸减小到原来的一半, 进行同样的高斯滤波形成了第二个尺度组, 之后重复上述操作直到图像小于某一给定的阈值为止. 最后对每个尺度组的高斯图像进行差分运算得到高斯差分图像, 即DOG 图像[7].DOG可由下式求得:其中, 是尺度可变的高斯卷积核, , 为二维图像, 为卷积运算, 是空间坐标, 是尺度空间因子.②空间极值点检测得到了高斯差分图像以后, 接下来就要对特征点进行检测. 本文选取这些高斯差分图像中的局部极值点作为图像的特征点, 在尺度空间极值点的检测过程中, 每一个采样点要和它所有的相邻点进行比较, 为了确保检测出来的特征点不仅是二维空间上的局部极值而且还是尺度空间中的极值, 除底层和顶层外中间层次的每个检测点都要和它同尺度的8个点和上下相邻尺度的92个点共26个相邻像素点进行比较, 如果该点为极值点, 就认为其是图像在该尺度下的一个特征点.此时得到的极值点中有不稳定的点, 这些点对噪声敏感, 这将影响后续匹配的稳定性和鲁棒性, 因此要对极值点进行精确定位, 去除那些对比度低的特征点和不稳定的边缘响应点. 根据Lowe的研究, 通过三维二次方函数可以确定采样点的位置. 尺度函数的二阶泰勒展开式为:式中表示特征点与采样点之间的尺度和位置偏移, 对上式求导并另其等于0, 得到了极值点位置 , 将的值带入式(2)运算求得极值的大小为, 判断其绝对值大小, 如果小于某阈值, 判定该点不稳定将其舍弃, 保留下来的极值点即作为特征点.③确定特征点方向利用特征点邻域像素的梯度方向分布特征为每一个特征点指定方向参数, 处的梯度值和方向分别为:以特征点为中心, 对它的邻域像素采样, 并用梯度方向直方图进行统计, 直方图每为一个柱将到分为36个柱, 直方图的峰值则代表了该像素特征点处邻域梯度的主方向, 即为该特征点的主方向. 当存在另一个与主峰值能量相当的峰值时, 将这个方向作为该特征点的辅方向.④生成特征描述符得到特征点主方向以后, 旋转特征点主方向, 使之与坐标轴方向重合, 然后在旋转后区域内取以特征点为中心的1616像素大小的邻域, 并将它分成16个44的子窗口区域, 每个子窗口区域形成一个8维向量种子点, 这样就构成了一个168=128维的特征向量, 即为sift特征向量描述符[7].1.2 改进sift特征提取算法根据Lowe的研究, 使用sift算法对物体进行识别时, 如果能够匹配的关键点达到3个以上, 则可以确定该图像中存在目标物体, 因此在图像拼接过程中只需要少量的特征点就可以完成对重叠部分的匹配, 然而, 对于一幅512512的图像, 一般可以检测出1000个左右的特征点, 在增强鲁棒性处理之后, 仍可以达到200到500个特征点, 在拼接时相当大部分的时间都用在了检测冗余的特征点上.本文利用Harris算法对sift算法进行了改进, 上文中假设采用sift算法共获取了N 个特征点, 每个特征点包含3个信息: 位置、尺度和方向, 可以表示为 , , 其中, 、表示特征点的位置信息, 表示特征点的横坐标和纵坐标, 和分别表示特征点的尺度和方向信息. 利用这些信息可以计算Harris角响应值, 表示计算自相关矩阵时的高斯加权函数的标准差. 矩阵表示为:式中为高斯加权函数, 为方向的梯度, 为方向的梯度, 自相关矩阵M具有两个特征值和 , 它同矩阵M的曲率成正比, 因此可以得到Harris角点的响应函数为:通常取值0.04到0.06, 计算所有特征点响应值并计算其绝对值的累加, 然后求其均值的一半作为阈值, 表达式如下所示:若则剔除该特征点, 保留下来的点则作为改进sift算法提取出的特征点2.1 基于K-d树的匹配算法特征点的匹配可以采用穷举法来完成, 但是这样的话会消耗大量的时间, 因此, 一般采用基于K-d树的数据结构来完成匹配搜索. 搜索的内容是与匹配目标图像特征点最邻近和次邻近的原始图像特征点. K-d 树是分割k 维数据空间的一种数据结构, 每个数据结点表示k 维空间的一个点. 每一层都是根据该层的判决器来对相应对象做出分枝决策, 顶层结点按由判决器决定的一个维度来进行划分, 下一层则按照该层的判决器决定的一个维进行划分, 同理在余下各维之间不断地划分. 直至一个结点中的点数少于给定的最大点数时, 结束划分[10].当用到高维数据搜索问题时, 这种方法的效率明显下降, 针对这一问题, 提出了基于K-d树的BBF算法[11], 这种算法的实现依靠一个优先级队列, 队列成员是按照搜索节点与目标节点之间距离的升序排列的. 在搜索中, 当依靠 K-d 树判决器值的决策沿某个分支方向搜索某个节点时, 一个元素会被加入到优先级队列, 此元素记录了该节点未被搜索分支的信息, 主要包括当前节点与目标节点之间的距离和当前节点在K-d树中的位置. 当一个叶节点搜索到后, 由优先级队列中队首元素的信息按相同方法搜索包含下一近邻节点的其他分支, 并删除队首元素. 在指定数量的节点搜索完后, 结束搜索, 将按距离升序排列的指定数量的近似近邻结果返回.利用基于K-d树的BBF算法进行匹配: 首先, 采用BBF算法找出目标点与待匹配点欧式距离最近的K个点, 因sift特征向量的维数很高, 使很多非匹配点与待匹配点之间的距离集中在一起. 因此使用最近邻中的最小距离点和次小距离点比较, 并设置一个阈值T , 如果两者的比值大于阈值T, 则说明待匹配特征点没有匹配点, 否则, 则匹配成功. 具体做法如下:在BBF搜索中, 假设找到了K个待匹配特征点p的近似最邻近特征点, 则K个特征向量表示为: , 且 (距离按升序排列), 对于匹配点的判断可用下式进行:其中, 表示为向量与之间的距离, 若上式成立, 则为匹配的特征点, 否则, 匹配失败. 使用上述基于K-d树的BBF算法搜索匹配获得的匹配点对通常存在一定数量的误匹配. 为此, 本文采用了RANSAC算法进一步完成匹配工作.2.2 RANSAC算法RANSAC(Random Sample Consensus)算法[12], 即随机抽样一致性算法, 是在矩阵估计、模式识别中最常用的对特征点进行提纯的方法. 根据一组包含错误数据的样本集计算出数据的数学模型参数, 得到有效样本数据, 也就是说首先提出假设的模型, 再通过已知数据进行验证, 判定出该模型是否成立. 通过最优模型的建立, 可以判断出不符合模型的外点, 也就查找出了特征点粗匹配中的误匹配, 然后剔除误匹配, 达到提纯的效果. 本文采用RANSAC算法对图像进行精确匹配, 同时得到图像间变换关系, 具体步骤如下:①待拼接的两幅图像之间由于存在一部分的重叠区域, 它们之间是存在相应变换的, 本文采用的是投影变换模型来准确的描述图像之间的关系, 投影变换模型可以准确描述图像间存在的变换情况, 不仅可以对图像的旋转、缩放、平移和规则性的变换准确描述, 也可以对一些不规则的变换进行描述. 变换公式为:式中, h11、h12、h21、h22为缩放及旋转因子, h13、h23为平移因子, h31、h32为仿射因子.②在粗匹配的匹配点集S中随机抽取4对匹配点, 判断其中是否有3点共线的, 若有则舍弃重新随机抽取, 直至4对匹配点中无3点共线的情况. 得到4对匹配点后计算其对应的变换模型.③上一步确定了一个模型之后, 需要匹配点集S中所有的数据来验证该模型的有效性, 即计算所有的粗匹配点是否满足该模型. 能被模型描述的点定义为内点, 相反, 不能被模型描述的点定义为外点. 统计出内点数量, 分别求出内点匹配点和变换点之间的欧式距离, 再进行求和处理. 距离之和公式如下:式中为满足模型的内点数量.④通过设定阈值来判断该距离之和是否满足该阈值来选择模型参数.⑤重复②③两步, 更新变换模型, 直至得到最优模型为止, 根据最优模型的内点来计算最终的模型参数, 即为所要求的变换矩阵, 并用实现图像的配准[13].经过图像匹配后, 根据图像间变换矩阵可以对相应图像进行变换来确定图像间重叠区域, 对图像进行拼接形成一幅全景图像. 需要注意的是, 由于相机角度和曝光时间的各种差异导致拍摄到的图像可能存在亮度上的差异, 图像边缘可能出现失真现象, 这样会导致拼接后的图像缝合线处出现明显的明暗变化. 为了消除图像拼接缝隙, 实现无缝拼接, 要对图像拼接处的缝合线进行平滑处理[14]. 本文采用渐入渐出的加权平均融合法.加权平均融合法类似于直接平均法, 但其重叠区域的像素值不再是简单的叠加, 而是先进行加权后再叠加平均. 假设为融合之后的图像, 、是待拼接的图像, 拼接后图像如公式(6)所示为:式中和分别是第一幅和第二幅图像重叠区域对应像素的权值, 并且满足 , , 选择合适的权值可以使重叠区域实现平滑过渡, 同时可以消除拼接缝隙.本文主要实现的是基于sift特征点匹配的全景图像拼接功能, 实验是在参数为Intel Core i3-350M 2.27G/2G/Visual Studio 2012的PC机上加以实现. 首先利用相机拍摄两幅不同视角的图片, 提取其特征点, 然后采用基于K-d树的BBF算法对特征点并进行粗匹配; 再利用RANSAC算法对粗匹配进行提纯, 删除“外点”, 得到筛选后的匹配点对; 利用这些匹配点对计算图像间变换矩阵, 采用渐入渐出的加权平均法进行融合得到拼接图像, 如图1所示.图1中, (a)、(b)是两幅原始图像, (c)、(d)为特征点的提取图像, 其中(c)图检测到特征点473个, (d)图检测到特征点398个, (e)为采用BBF算法匹配后的图像, 共有178个匹配点, 匹配时间为0.125秒, 可以看出, 在这178个匹配点中存在的误匹配对数比较多, (f)为RANSAC算法匹配后的图像, 匹配时间为0.082秒, 可以看出经过RANSAC算法提炼后基本无误匹配点对, 计算出变换矩阵后, 对图像进行拼接, (g)为直接进行拼接效果图, 重叠区域有明显明暗变换, (h)为使用渐入渐出的加权平均融合算法得到的拼接图像, 由图(h)可知, 图像拼接效果较好, 没有明显的亮度差异, 视觉效果自然.为了验证该方法的有效性, 使用数码相机拍摄了4幅图片进行拼接实验, 每幅图片之间有大约30%到50%的重叠区域, 如图2所示上下左右四幅图像, 图3为拼接的效果图, 由结果可以看出处理后拼接痕迹消除, 实现了重叠区域的平滑过渡, 效果良好, 得到了高品质的全景图像.本文主要对基于特征点的图像拼接算法进行了研究, 利用改进的sift算法提取图像的特征点, 并结合RANSAC算法实现了相邻帧图像特征点的精确匹配, 利用变换投影模型估计出两幅图像之间的变换矩阵, 最后利用渐入渐出的加权平均融合算法消除了图像拼接处的缝合线和色彩差异, 实现了全景图像的高质量拼接.1 Brown M, Lowe DG. Automatic panoramic image stitching using invariant features. IJCV. 2007. 59–73.2 汪华琴.基于特征点匹配的图像拼接方法研究[学位论文].武汉:华中师范大学,2007.3 Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision, 2004, 60(2): 91–110.4 Ke Y, Sukthankar R. PCA-SIFT: A more distinctive representation for local image description. Proc. of IEEE Computer Vision and Pattern Recognition Conference. 2004, 2. 506–513.5 赵向阳,杜立民.一种全自动稳健的图像拼接融合算法.中国图形图像学报,2004.9(4):417–422.6 Harris C, Stephen M. A combined Corner and edge detect. Proc. of 4th Alvey Vision conference. UK. 1988. 15–50.7 李寒,牛纪帧,郭禾.基于特征点的全自动无缝图像拼接方法.计算机工程与设计,2007,28(9):2083–2085.8 张恒.基于sift的图像拼接算法研究[学位论文].天津:河北工业大学,2012.9 郭晓冉,崔少辉.基于局部特征点配准的图像拼接算法.半导体光电,2014,35(1):89–94.10 王俊秀,孔令德.基于特征点匹配的全景图像拼接技术研究.软件工程师,2014,17(11):10–1311 Jeff B, Lowe DG. Shape indexing using approximate nearest-neighbor search in high-dimensional spaces. Conference on Compute Vision andPattern Recognition. 1997. 1000–1006.12 Hartley R, Zisserman A. Multiple View Geometry in Computer Vision. London: 2nd Cambridge University Press, 2004.13 宋宝森.全景图像拼接方法研究与实现[学位论文].哈尔滨:哈尔滨工程大学,2012.14 林诚凯,李惠,潘金贵.一种全景图生成的改进算法.计算机工程与应用,2004,40(35):69–71,159.。

基于特征点的图像拼接算法优缺点比较

基于特征点的图像拼接算法优缺点比较摘要：该文主要详细讲解图像拼接技术中基于特征点的图像拼接算法，通过详细介绍几种常见的特征点提取算法，harris算子，log 算子，susan算子，sift算法，并通过实验结果对这几种算法的优缺点进行比较，从而在实际的应用中，我们年应该根据需要选取合适的算法，从而更好的完成图像拼接工作。

关键词：特征点；拼接算法中图分类号：tp18 文献标识码：a 文章编号：1009-3044（2013）07-1645-03全景图像拼接技术是一个重要的研究方向，也是计算机视觉领域的新的研究内容。

图像拼接技术就是将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅大型的无缝高分辨率图像的技术。

图像拼接经过图像的采集，图像的处理，图像特征处理，图像匹配，建立模型，图像融合等步骤，最终完成全景图片的拼接。

图像拼接技术融合了多个学科，涉及多个领域，在实际生活中引用非常的广泛，研究图像拼接技术意义很重要的现实意义。

目前，全景图像拼接的研究主要集中在以下几个方面，图像的获取，图像信息的提取，图像顺序的识别，图像配准方法，参考平面的选取和图像的融合。

本文主要详细讲解基于特征点的图像拼接算法。

基于特征点的图像拼接算法的主要流程是：首先，将参考图片进行预处理，提取参考图片的特征点，同时，将待配图片进行预处理，提取待配准图片的的特征点，然后将参考图片和待配准图片的特征点进行匹配，接下来，计算参数，变换模型，最后进行图像的融合，最终实现了全景图像的拼接，我们发现，在进行图像拼接的时候，特征点的提取非常重要，只要对特征点进行了很好的提取，就能达到很好的匹配效果，这样就提高了图像拼接的质量和速度，如果特征点提取的不够好，产生的误差就会比较大，拼接出来的图片效果就会不尽如人意，所以如何更好的提取特征点，就成了研究图像拼接课题中的热点。

目前有3种比较常见的特征点提取算法。

1 3种常见的特征点提取算法1.1 harris算子harris算子是在1988年提出的。

基于HALCON的PCB图像拼接方法研究

基于HALCON的PCB图像拼接方法研究郭鹏霞;冯冲;薛严冰;徐丹丹【摘要】以印刷电路板(PCB)贴装生产中的视觉检测为背景研究图像拼接方法.方法包括图像预处理、特征点提取和拼接图像三个步骤,并且在拼接图像步骤中使用了三种技术.利用Halcon软件以两幅PCB图像为目标进行了三个实验测试,并用DoEM方法对实验结果进行评价,评价结果分别为:0.9260(实验1),0.8106(实验2),0.7635(实验3).实验1对应的图像拼接方法能以较少的匹配点数得到最优的匹配结果,可用于PCB贴装质量的视觉检测.%The image mosaic method is studied taking the visual detection in the surface mount production of PCB as background.The methods include image preprocessing,feature point extraction and image mosaicing, and the image mosaicing uses three techniques.Three experiments were carried out using Halcon software and targeting two PCB images,the experimental results were evaluated by DoEM method.The results are 0.9260 (Experiment 1),0.8106(Experiment 2), and 0.7635(Experiment 3).The image mosaic method corre-sponding with Experiment 1 can obtain optimal matching results with fewer matching points and can be used for the visual detection of PCB mounting quality.【期刊名称】《大连交通大学学报》【年(卷),期】2018(039)002【总页数】5页(P113-117)【关键词】图像拼接;HALCON;特征点提取;算子【作者】郭鹏霞;冯冲;薛严冰;徐丹丹【作者单位】大连交通大学电气信息学院,辽宁大连116028;大连民族大学信息与通信工程学院,辽宁大连116000;大连理工大学电子科学与技术博士后流动站,辽宁大连116000;大连交通大学电气信息学院,辽宁大连116028;大连交通大学电气信息学院,辽宁大连116028【正文语种】中文0 引言在工业实际焊锡膏质量检测应用中，通过普通的相机来获取大范围的PCB图像时，要调节相机的焦距来达到目的，这样做的缺点是全景图像的分辨率相对较低.而且，当PCB与相机间距固定时，也存在无法用一张照片把大尺寸的PCB图拍摄下来的情况.虽然有专门的拍摄全景图像的硬件设备，但是这些设备昂贵，使用不方便，而且广角镜头获得的照片边缘会发生扭曲变形.为了获得高分辨率的大范围的全景PCB图像，研究者提出了图像拼接技术.图像拼接就是把数张有重叠部分的图像拼接成一幅大型的没有缝隙、高分辨率的图像.目前,对全景图像拼接技术的基本理论、性能评价和工程的实际应用等问题的研究已成为国内外学者关注的热点课题之一[1].全景图像拼接作为新兴的技术，短短几年就得到了快速的发展，并已应用于诸多领域，具有很高的实用价值.因此，对图像拼接技术的研究具有非常重要的意义[2].实现图像拼接有很多工具，比如常见的有MATLAB、Opencv、Halcon等处理软件.Halcon软件是由德国MVTec公司所研发的一个功能强大机器视觉软件，在工业领域应用广泛.它提供了数学形态学、分类器、几何变换、模式匹配、Blob分析、图像标定、三维视觉、图像拼接等算子，本文采用Halcon软件来进行研究.在图像拼接部分已有多种方法实现其结果.2011年2月谭杰、王殊轶等人[3]提出基于Halcon的图像拼接算法研究；2016年2月薛真、项辉宇[4]提出一种用于工件视觉测量的图像拼接方法的研究；2017年2月李明颖、王伟等人[5]提出基于Halcon图像拼接技术在工件测量中的应用研究.但是这些研究都是单一的拼接方法的研究，并没有对几种拼接方法的比对.本文以两幅分场景PCB图作为拼接对象，研究了三种不同的图像拼接方法，其结果通过与标准图进行比对，对三种图像拼接方法的结果进行了质量评价，综合考虑得出方法一在可接受的时间范围内，可以有较好的拼接效果.1 图像拼接的方法图像拼接的基本步骤流程如图1所示.该流程可分为三个模块：图像的预处理、特征点的提取和拼接实现.其中图像预处理模块包括图像采集和几何校正.拼接实现作为关键环节，主要工作是根据提取的有效兴趣点建立投影矩阵，然后利用矩阵关系实现图像的拼接.针对每个模块，Halcon软件都提供了不同的算子.本文中图像预处理部分和兴趣点检测部分均采用相同的算子实现，重点对图像拼接实现方法这一关键环节采用了三种不同方法的相关算子进行拼接实验.图1 拼接流程图第一种方法利用提取的特征点自动建立矩阵关系，完成图像的拼接.其中涉及的包括有通过寻找点之间的对应关系，来计算两个图像之间的一个投影变换矩阵的算子proj_match_points_ransac，以及把多幅图像拼接成一幅图像的算子gen_projective _mosaic.第二种方法利用提取的兴趣点，自动建立矩阵关系，然后合理设置参数，执行捆绑调整，完成图像的拼接.其中涉及的算子有执行图像拼接的捆绑调整的bundle_adjust_mosaic算子,多幅图执行拼接的算子是gen_bundle_adjust_mosaic.第三种方法首先生成高斯图像，在每层区域提取兴趣点，建立矩阵关系，完成图像的拼接.其中涉及的算子有计算高斯金字塔的算子gen_gauss_pyramid，通过寻找点之间的对应关系，来计算两个图像之间的一个投影变换矩阵的算子proj_match_points_ransac，多幅图像拼接成一幅图像的算子gen_projective _mosaic等算子.2 图像拼接的实验本文需要高分辨率全景图做参考对象来评判拼接结果的质量，因此选择两幅有重合部分的PCB图作为实验拼接用图，如图2(a)，以标准PCB图(图2(b))作全景图进行拼接质量评价.图2 Lena实验图2.1 图像的预处理由图1的流程可看出，图像预处理分为获取图像和图像几何校正两个部分.在图像获取部分，Halcon软件可以直接通过助手选项中的Image Acquisition来获取图像所在的文件夹来获取图片，也可以直接调用read_image算子来获取待拼接图像.本文是通过read_image算子获取图像.由于在采集图像的过程中，采集设备具有非线性因素，或者因为拍摄角度不同，导致生成的图像会发生几何失真现象.所以需要对失真的图像进行几何校正，以提高图像拼接后续环节的匹配精度. Halcon机器视觉软件在几何校正的过程是:第一步是获取相机的相关部分参数，紧接着利用算子change_radial_distortion_cam_par根据指定的径向变形来确定相机新的相关的参数.最后一步是通过change_radial_distortion_image算子来改变图像的径向失真.2.2 图像特征点检测特征点[6]本质就是一幅图像内灰度在水平和垂直方向都有显著变化的一类特殊点，其有信息量小，信息含量高的特点.常用的提取算子特征点有Moravec算子、Forstner算子、Harris算子等.由于Harris算子提取的特征点均匀而且合理,在纹理信息丰富的区域中,Harris算子可以提取出大量有用的特征点；同时Harris算子中只用到灰度的一阶差分以及滤波[7],操作简单且计算过程中只涉及到了图像的一阶导数,对角点的提取也比较稳定.Harris算子是Harris和Stephens提出[8]的一种基于信号的角点特征提取算子，其可以表示为：(1)式中，M表示相关矩阵，I为x方向的差分，Iy为y方向的差分，ω(x,y)为高斯函数.R=det(M)-k(traceM)2(2)式(2)是来进行角点的判断.Det为该矩阵的行列式，trace是其矩阵的秩，k是常数，通常取为0.04～0.06，本文取0.04.因此介于上述介绍的优点，本文在Halcon软件中直接调用points_harris算子就可以对待拼接图像提取特征点.2.3 图像拼接的实验在图像拼接的实现部分是根据已提取的兴趣点，利用不同算子自动建立相应的投影矩阵，最后生成全景图像.该部分基于点匹配的刚体配准方法[9]是使用最多的空间配准方法.其中Halcon是由1000个独立的函数，算子即其与相关的算法相结合.因此可以认为不同算子的使用，就代表着采用了不用的算法.本文采用了三种方法的实现过程：方法一：首先通过算子points_harris提取兴趣点，为了能够清晰的可以看到两个图像的兴趣点，用gen_cross_contour_xld算子生成一个XLD轮廓交叉的形状来标注图像内的每一个兴趣点.然后通过算子proj_match_points_ransac找到两图兴趣点之间的对应关系，来计算两个图像之间的投影矩阵，下一步通过concat_obj算子把两个标志性的数组连接起来，最后利用gen_projective_mosaic算子把两幅图生成一幅图像.实验拼接结果如图3(a).方法二：同样利用points_harris算子来提取兴趣点，然后通过proj_match_points_ransacs算子得到两图像之间的投影变换矩阵，接下来利用bundle_adjust_mosaic算子根据图像的特点设置该算子合理的参数来执行图像拼接的捆绑调整，在该算子参数里投影变换类型设置为刚体变化模型.最后通过gen_bundle_adjust_mosaic算子把两图像拼接成一幅图.实验拼接结果如图3(b). 方法三：在这种方法中，使用一个图像金字塔来计算两个图像之间的投影变化.首先利用gen_gauss_pyramid算子生成高斯金字塔，每层都通过points_harris来提取图像的特征点，在最高的金字塔层，用proj_mathc_points_ransac算子来得到图像之间的投影变换矩阵，而在较低水平的金字塔层，使用从上层近似投影，用proj_match_points _ransac_guided算子通过投影变换矩阵的已知近似点之间的对应关系计算两个图像之间的对应关系，并求出两个图像之间的一个投影变换矩阵.本文的图像的点之间建立的变换模型都是刚体变换，所以要把该变换通过算子vector_to_rigid强行转换成刚体变换.在这种情况下，值得注意的是用proj_match_points_ ransac_ guided算子所得到的转化结果是被忽略的.所以要用于下一个较低的金字塔级，因此该投影矩阵只能通过hom_mat2d_ scale_local、hom_mat2d_scale算子调整到新规模尺寸的大小.最后利用gen_projective_mosaic算子把两图像拼接成一幅图像.实验拼接结果如图3(c).(a) 方法一(b) 方法二(c) 方法三图3 拼接结果图对图3的结果直观观测可发现，图3(b)和图3(c)稍微有些许瑕疵，图3(a)的细节相对较好，但是这只是主观臆断.靠人眼是无法客观评价拼接方法的效果，因此需要研究客观评价图像拼接质量的方法.3 图像拼接评价分析与结果图像拼接多种方法的实验结果目测是比较理想的，为了指出一种合理图像拼接方法，要引进图像拼接结果评价的概念.目前常用并且典型的评价方法有：基于像素误差信息的PSNR[10]、基于结构相似度的SSIM[11]方法和DoEM评价方法[12]等.文献[12]表明三种方法比较可得DoEM方法能有较好的结果，相对更好地能体现出实际主观感受.所以本文采取DoEM方法来对拼接结果做出评价.3.1 DoEM图像拼接评价方法DoEM的基本思想是把图像像素信息的统计与结构信息的相似性原理相结合，并利用边缘轮廓图像，对其差分谱信息进行统计，进而对图像拼接质量进行评价.大致可以分为三个步骤:(1)图像边缘检测；(2)构建图像边缘差分谱；首先获得边缘的差分谱，然后用权值矩阵对差分谱进行加权处理.其中涉及到的权值矩阵元素的取值范围为0～1，并且越靠近拼接图像重叠区域的边界其取值越大.(3)统计差分谱信息并计算评分；是否存在错位和亮度过渡是影响图像拼接质量的两个主要因素.而边缘差分谱的均值和方差与决定图像拼接质量的两个因素存在正相关的关系.DoEM 是检测边界区域差分谱的亮度均值，并将其与整体的均值相比，利用比值来判断亮暗突变是否占据质量评价主导地位.DoEM在计算评分时，亮度突变和错位因素的评价所占比重随着差分谱的方差变化动态进行调整.主观评价曲线形状呈现墨西哥草帽型，经过曲线函数模拟以及大量仿真修正，得到具体计算公式如下：(3)定义评分因素比重为：(4)其中，C1、C2、C3、C4分别为 4 个常数值，C1、C2 是通过评分随着边缘差分谱的均值变化的相关程度而确定；C3、C4所在项为类正态分布曲线.μe为边缘差分谱过渡区域边界区均值，μa为过渡区域整体均值，σ2为过渡区域整体方差.3.2 图像拼接评价数据结果本文通过时间、兴趣点的个数，以及DoEM方法来评价这三种不同角度的方法的情况，图4是评价结果.(a) 拼接时间(b) 兴趣点(c) DoEM评分图4 评价结果示意图从图4(a)中可以看出，在拼接时间上，方法一耗时最长，为5.19 s,方法二耗时最短，为3.57s，方法三耗时4.52 s.图4(b)中可以看出，方法一提取的兴趣点数目为148个，方法二提取兴趣点数为138个，方法一略比方法二数目多10个.方法三提取了280个兴趣点，兴趣点数约为其它两种方法的二倍.对于DoEM评分而言，方法一为0.926 0，方法二为0.810 6，方法三为0.763 5，由此看出方法一的评分是最好的，方法二居中，方法三的评分结果最差.综合考虑，在实现两幅图拼接的过程中，方法一在较少匹配点数的条件下，匹配结果最好，同时拼接时间也在可接受的范围内，是拼接效果最佳的一种方法.4 结论本文针对如何获得大范围、高分辨率的全景PCB图片这一问题，利用Halocn机器视觉软件研究了三种不同的图像拼接方法，通过匹配的兴趣点数目、时间、DoEM评分对拼接结果进行了评价，客观、准确地反映了拼接图像的真实质量和所使用图像拼接算法的性能.通过本文Halcon软件实验的研究表明，基于两幅PCB图的拼接而言，可以得出在本文研究的三种方法中，方法一综合评价结果最好，可适用于两幅不同图像的全景拼接中.参考文献:[1] 余让明 ,安维胜.基于特征的全景图像拼接技术研究[D].四川:西南交通大学 ,2015.[2] 姜小会,陈清奎.基于特征点的图像拼接技术研究[D].山东:山东建筑大学,2015.[3] 谭杰，王殊轶.基于Halcon的图像拼接算法研究[J].微电子学与计算机，2011,28(12):184-188.[4] 薛真,项辉宇.一种用于工件视觉测量的图像拼接方法的研究[J].制造业自动化,2016,38(2):45-47.[5] 李明颖,王伟.基于Halcon图像拼接技术在工件测量中的应用研究[J].轻工科技,2017, 219 (2):74-75.[6] 李晓娟 ,郭玉龙 .图像拼接技术研究[D].西安:西安科技大学，2007.[7] SCHMIED C,MOHR R,BUACKHAGE C.Evaluation of Interest Point Detectors[J].International Journal of Computer Vision,2000,37(2):151-172.[8] HARISS C, STEPHENS M. A combined corner and edge detector[C]. Proceedings 4th Alvey Vision Conference Manchester, 1988,147-151. [9] 曹彤 ,王硕 ,倪自强,等 .基于 SIFT算子的脑立体定向手术标记点自动定位方法[J].高技术通讯 ,2014, 24 (2):165-170.[10] HUYNH HU Q, GHANBARI M. Scope of validity of PSNR inimage/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800-801.[11] WANG Z H R, BOVIK A, SHEIKH C. Image quality assessment: Fromerrorvisibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4) :600- 612.[12] 万国挺 ,王俊平 ,李锦,等 .图像拼接质量评价方法 [J].通信学报 ,2013,34(8):76-81.。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

矿产资源开发利用方案编写内容要求及审查大纲
矿产资源开发利用方案编写内容要求及《矿产资源开发利用方案》审查大纲一、概述
㈠矿区位置、隶属关系和企业性质。

如为改扩建矿山, 应说明矿山现状、
特点及存在的主要问题。

㈡编制依据
(1简述项目前期工作进展情况及与有关方面对项目的意向性协议情况。

(2 列出开发利用方案编制所依据的主要基础性资料的名称。

如经储量管理部门认定的矿区地质勘探报告、选矿试验报告、加工利用试验报告、工程地质初评资料、矿区水文资料和供水资料等。

对改、扩建矿山应有生产实际资料, 如矿山总平面现状图、矿床开拓系统图、采场现状图和主要采选设备清单等。

二、矿产品需求现状和预测
㈠该矿产在国内需求情况和市场供应情况
1、矿产品现状及加工利用趋向。

2、国内近、远期的需求量及主要销向预测。

㈡产品价格分析
1、国内矿产品价格现状。

2、矿产品价格稳定性及变化趋势。

三、矿产资源概况
㈠矿区总体概况
1、矿区总体规划情况。

2、矿区矿产资源概况。

3、该设计与矿区总体开发的关系。

㈡该设计项目的资源概况
1、矿床地质及构造特征。

2、矿床开采技术条件及水文地质条件。