SIFT算法分析
SIFT算法详解
SIFT算法详解Scale Invariant Feature Transform(SIFT)Just For Funzdd zddmail@对于初学者,从David G.Lowe的论文到实现,有许多鸿沟,本文帮你跨越。
1、SIFT综述尺度不变特征转换(Scale-invariant feature transform或SIFT)是一种电脑视觉的算法用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量,此算法由David Lowe在1999年所发表,2004年完善总结。
其应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对。
此算法有其专利,专利拥有者为英属哥伦比亚大学。
局部影像特征的描述与侦测可以帮助辨识物体,SIFT 特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。
对于光线、噪声、些微视角改变的容忍度也相当高。
基于这些特性,它们是高度显著而且相对容易撷取,在母数庞大的特征数据库中,很容易辨识物体而且鲜有误认。
使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高,甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。
在现今的电脑硬件速度下和小型的特征数据库条件下,辨识速度可接近即时运算。
SIFT特征的信息量大,适合在海量数据库中快速准确匹配。
SIFT算法的特点有:1. SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性;2. 独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配;3. 多量性,即使少数的几个物体也可以产生大量的SIFT特征向量;4. 高速性,经优化的SIFT匹配算法甚至可以达到实时的要求;5. 可扩展性,可以很方便的与其他形式的特征向量进行联合。
SIFT算法可以解决的问题:目标的自身状态、场景所处的环境和成像器材的成像特性等因素影响图像配准/目标识别跟踪的性能。
SIFT算法详解及应用
SIFT算法详解及应用SIFT(Scale-Invariant Feature Transform)是一种图像处理算法,它能够在不同尺度、旋转、光照条件下进行特征点匹配。
SIFT算法是计算机视觉领域的一个重要算法,广泛应用于目标识别、图像拼接、图像检索等方面。
首先,尺度空间极值检测是指在不同尺度上检测图像中的极值点,即图像中的局部最大值或最小值。
这样可以使特征点能够对应不同尺度的目标,使算法对尺度变化有鲁棒性。
为了实现这一步骤,SIFT算法使用了高斯差分金字塔来检测尺度空间中的极值点。
接下来是关键点定位,即确定在尺度空间极值点的位置以及对应的尺度。
SIFT算法通过比较每个极值点与其周围点的响应值大小来判断其是否为关键点。
同时,为了提高关键点的稳定性和准确性,算法还会对关键点位置进行亚像素精确化。
然后是关键点方向的确定,即为每个关键点分配一个主方向。
SIFT算法使用图像梯度方向的直方图来确定关键点的方向。
这样可以使得特征描述子具有旋转不变性,使算法在目标旋转的情况下仍能进行匹配。
最后是关键点的描述。
SIFT算法使用局部图像的梯度信息来描述关键点,即构建关键点的特征向量。
特征向量的构建过程主要包括将关键点周围的图像划分为若干个子区域,计算每个子区域的梯度直方图,并将所有子区域的直方图拼接成一个特征向量。
这样可以使得特征向量具有局部不变性和对光照变化的鲁棒性。
SIFT算法的应用非常广泛。
首先,在目标识别领域,SIFT算法能够检测和匹配图像中的关键点,从而实现目标的识别和定位。
其次,在图像拼接方面,SIFT算法能够提取图像中的特征点,并通过匹配这些特征点来完成图像的拼接。
此外,SIFT算法还可以应用于图像检索、三维重建、行人检测等领域。
总结起来,SIFT算法是一种具有尺度不变性和旋转不变性的图像处理算法。
它通过提取图像中的关键点,并构建关键点的描述子,实现了对不同尺度、旋转、光照条件下的目标识别和图像匹配。
(完整word版)SIFT算法分析
SIFT算法分析1 SIFT主要思想SIFT算法是一种提取局部特征的算法,在尺度空间寻找极值点,提取位置,尺度,旋转不变量。
2 SIFT算法的主要特点:a) SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
b)独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配.c) 多量性,即使少数的几个物体也可以产生大量SIFT特征向量。
d) 高速性,经优化的SIFT匹配算法甚至可以达到实时的要求。
e) 可扩展性,可以很方便的与其他形式的特征向量进行联合.3 SIFT算法流程图:4 SIFT 算法详细1)尺度空间的生成尺度空间理论目的是模拟图像数据的多尺度特征。
高斯卷积核是实现尺度变换的唯一线性核,于是一副二维图像的尺度空间定义为: ),(),,(),,(y x I y x G y x L *=σσ 其中 ),,(σy x G 是尺度可变高斯函数,2)(22/21),,(22σπσσy xe y x G +-=(x,y )是空间坐标,σ是尺度坐标。
σ大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征。
大的σ值对应粗糙尺度(低分辨率),反之,对应精细尺度(高分辨率)。
为了有效的在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间(DOG scale —space )。
利用不同尺度的高斯差分核与图像卷积生成。
),,(),,(),()),,(),,((),,(σσσσσy x L k y x L y x I y x G k y x G y x D -=*-= DOG 算子计算简单,是尺度归一化的LoG 算子的近似。
图像金字塔的构建:图像金字塔共O 组,每组有S 层,下一组的图像由上一组图像降采样得到。
图1由两组高斯尺度空间图像示例金字塔的构建, 第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到.图2 DoG算子的构建:图1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image in the second octave is created by down sampling to last image in the previous图2 The difference of two adjacent intervals in the Gaussian scale—space pyramid create an interval in the difference—of—Gaussian pyramid (shown in green)。
SIFT算法原理:SIFT算法详细介绍
前面们介绍了Harris和Shi-Tomasi角检测算法,这两种算法具有旋转不变性,但不具有尺度不变性,以下图为例,在左侧小图中可以检测到角,但图像被放后,在使用同样的窗口,就检测不到角了。
所以,们来介绍一种计算机视觉的算法,尺度不变特征转换即SIFT(Scale-invariantfeaturetransform)。
它用来侦测与描述影像中的局部性特征,它在空间尺度中寻找极值,并提取出其位置、尺度、旋转不变量,此算法由DavidLowe在1999年所发表,2004年完善总结。
应用范围包含物体辨识、机器人地图感知与导航、影像缝合、3D模型建立、手势辨识、影像追踪和动作比对等领域。
SIFT算法的实质在不同的尺度空间上查找关键(特征),并计算出关键的方向。
SIFT 所查找到的关键一些十分突出,不会因光照,仿变换和噪音等因素而变化的,如角、边缘、暗区的亮及亮区的暗等。
1.1基本流程Lowe将SIFT算法分解为如下四步:尺度空间极值检测:搜索所有尺度上的图像位置。
通过高斯差分函数来识别潜在的对于尺度和旋转不变的关键。
关键定位:在每个候选的位置上,通过一个拟合精细的模型来确定位置和尺度。
关键的选择依据于它们的稳定程度。
关键方向确定:基于图像局部的梯度方向,分配给每个关键位置一个或多个方向。
所有后面的对图像数据的操作都相对于关键的方向、尺度和位置进行变换,从而保证了对于这些变换的不变性。
关键描述:在每个关键周围的邻域内,在选定的尺度上测量图像局部的梯度。
这些梯度作为关键的描述符,它允许比较的局部形状的变形或光照变化。
们就沿着Lowe的步骤,对SIFT算法的实现过程进行介绍:1.2尺度空间极值检测在不同的尺度空间不能使用相同的窗口检测极值,对小的关键使用小的窗口,对的关键使用的窗口,为了达到上述目的,们使用尺度空间滤波器。
高斯核可以产生多尺度空间的核函数。
-《Scale-spacetheory:Abasictoolforanalysingstructuresatdifferentscales》。
sift算法详解
2、高斯模糊
SIFT 算法是在不同的尺度空间上查找关键点,而尺度空间的获取需要使用高斯模糊来 实现,Lindeberg 等人已证明高斯卷积核是实现尺度变换的唯一变换核,并且是唯一的线性 核。本节先介绍高斯模糊算法。
2.1 二维高斯函数
高斯模糊是一种图像滤波器,它使用正态分布(高斯函数)计算模糊模板,并使用该模板 与原图像做卷积运算,达到模糊图像的目的。 N 维空间正态分布方程为:
G (r ) =
1 2πσ
2
N
e −r
2
/(2 σ 2 )
(1-1)
其中, σ 是正态分布的标准差, σ 值越大,图像越模糊(平滑)。r 为模糊半径,模糊半 径是指模板元素到模板中心的距离。如二维模板大小为 m*n,则模板上的元素(x,y)对应的高 斯计算公式为:
G ( x, y ) =
1
2πσ 2
3.1 尺度空间理论
尺度空间(scale space)思想最早是由 Iijima 于 1962 年提出的,后经 witkin 和 Koenderink 等人的推广逐渐得到关注,在计算机视觉领域使用广泛。 尺度空间理论的基本思想是: 在图像信息处理模型中引入一个被视为尺度的参数, 通过 连续变化尺度参数获得多尺度下的尺度空间表示序列, 对这些序列进行尺度空间主轮廓的提 取,并以该主轮廓作为一种特征向量,实现边缘、角点检测和不同分辨率上的特征提取等。 尺度空间方法将传统的单尺度图像信息处理技术纳入尺度不断变化的动态分析框架中, 更容易获取图像的本质特征。 尺度空间中各尺度图像的模糊程度逐渐变大, 能够模拟人在距 离目标由近到远时目标在视网膜上的形成过程。 尺度空间满足视觉不变性。该不变性的视觉解释如下:当我们用眼睛观察物体时,一方 面当物体所处背景的光照条件变化时, 视网膜感知图像的亮度水平和对比度是不同的, 因此 要求尺度空间算子对图像的分析不受图像的灰度水平和对比度变化的影响, 即满足灰度不变 性和对比度不变性。另一方面,相对于某一固定坐标系,当观察者和物体之间的相对位置变 化时,视网膜所感知的图像的位置、大小、角度和形状是不同的,因此要求尺度空间算子对 图像的分析和图像的位置、 大小、 角度以及仿射变换无关, 即满足平移不变性、 尺度不变性、 欧几里德不变性以及仿射不变性。
SIFTSURFORBFAST特征提取算法比较
SIFTSURFORBFAST特征提取算法比较在计算机视觉领域中,SIFT(Scale-Invariant Feature Transform,尺度不变特征转换)、SURF(Speeded Up Robust Features,加速鲁棒特征)、ORB(Oriented FAST and Rotated BRIEF,方向性的快速特征和旋转的BRIEF)、FAST(Features from Accelerated Segment Test,加速线段测试特征)都是常用的特征提取算法。
本文将对这四种算法进行比较,主要从算法原理、特点以及在不同应用场景的优缺点进行分析。
1.SIFT算法SIFT算法是由Lowe在1999年提出的一种获取图像局部特征的算法。
其主要兴趣点在于尺度不变特征的提取,通过尺度空间构建和关键点提取和描述来实现图像匹配。
SIFT算法的特点是具有旋转不变性、尺度不变性和光照不变性。
然而,SIFT算法计算复杂度较高,不适合实时应用。
2.SURF算法SURF算法是由Bay等人在2024年提出的一种加速鲁棒特征提取算法。
与SIFT算法相比,SURF算法主要优化了尺度空间构建、关键点检测和描述子生成等步骤。
SURF算法利用图像的Hessian矩阵来检测尺度空间的极值点,并通过Haar小波响应计算描述子。
该算法具有较好的尺度不变性和旋转不变性,同时计算速度更快。
然而,SURF算法对于局部对比度较低的图像特征提取效果较差。
3.ORB算法ORB算法是由Rublee等人在2024年提出的一种速度和描述能力兼具的特征提取算法。
该算法结合了FAST关键点检测和BRIEF描述子生成算法,并引入了旋转和尺度不变性。
ORB算法在FAST检测关键点时,通过计算像素灰度和检测周围点的弧长度来提高检测的稳定性。
在描述子生成过程中,ORB算法利用了方向梯度直方图(DOG)来提取关键点的旋转信息。
ORB算法具有快速、简单和可靠的特点,适合于实时应用。
SIFT特征提取算法
SIFT特征提取算法SIFT(Scale-Invariant Feature Transform)特征提取算法是一种用于图像的局部特征分析的算法。
它能够提取出图像中的关键点,并对这些关键点进行描述,从而可以用于图像匹配、物体识别等应用领域。
本文将详细介绍SIFT算法的原理和过程。
1.尺度空间构建SIFT算法首先通过使用高斯滤波器来构建图像的尺度空间,以便在不同尺度下检测关键点。
高斯滤波器可以通过一系列的高斯卷积操作实现,每次卷积之后对图像进行下采样(降低分辨率),得到不同尺度的图像。
2.关键点检测在尺度空间构建完成后,SIFT算法使用差分运算来检测关键点。
差分运算可以通过对图像进行高斯平滑操作来实现,然后计算相邻尺度之间的差分图像。
对差分图像进行极值检测,即寻找局部最大和最小值的像素点,这些像素点就是图像中的关键点。
3.关键点精确定位关键点的精确定位是通过拟合关键点周围的局部图像来实现的。
SIFT算法使用了一种高度鲁棒的方法,即利用关键点周围梯度的方向和大小来进行拟合。
具体来说,SIFT算法在关键点周围计算图像的梯度幅值和方向,并构建梯度直方图。
然后通过在梯度直方图中寻找局部极值来确定关键点的方向。
4.关键点描述关键点的描述是为了提取关键点周围的特征向量,用于后续的匹配和识别。
SIFT算法使用了一种局部特征描述算法,即将关键点周围的图像区域划分为小的子区域,并计算每个子区域的梯度方向直方图。
然后将这些直方图组合起来,构成一个维度较高的特征向量。
5.特征向量匹配在完成关键点描述之后,SIFT算法使用一种近似的最近邻方法来进行特征向量的匹配。
具体来说,使用KD树或者暴力匹配的方法来寻找两幅图像中最相似的特征向量。
通过计算特征向量之间的距离,可以找到最相似的匹配对。
6.尺度不变性SIFT算法具有尺度不变性的特点,即对于图像的缩放、旋转和视角变化等变换具有较好的鲁棒性。
这是因为在特征提取的过程中,SIFT算法对图像进行了多尺度的分析,并利用了关键点周围的梯度信息进行描述。
s i f t 算 法 原 理 解 析
SIFT特征提取原理SIFT(Scale-invariant feature transform)是一种检测局部特征的算法,该算法通过求一幅图中的特征点(interest points,or corner points)及其有关scale 和 orientation 的描述子得到特征并进行图像特征点匹配,获得了良好效果。
2.算法分析SIFT特征不只具有尺度不变性,即使改变旋转角度,图像亮度或拍摄视角,仍然能够得到好的检测效果。
整个算法分为以下几个部分:2.1?构建尺度空间这是一个初始化操作,尺度空间理论目的是模拟图像数据的多尺度特征。
高斯卷积核是实现尺度变换的唯一线性核,于是一副二维图像的尺度空间定义为:其中 G(x,y,σ) 是尺度可变高斯函数:(x,y)是空间坐标,也是尺度坐标。
σ大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征。
大的σ值对应粗糙尺度(低分辨率),反之,对应精细尺度(高分辨率)。
为了有效的在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间(DOGscale-space)。
利用不同尺度的高斯差分核与图像卷积生成。
下图所示不同σ下图像尺度空间:关于尺度空间的理解说明:2kσ中的2是必须的,尺度空间是连续的。
在 ?Lowe的论文中,将第0层的初始尺度定为1.6(最模糊),图片的初始尺度定为0.5(最清晰). 在检测极值点前对原始图像的高斯平滑以致图像丢失高频信息,所以 Lowe 建议在建立尺度空间前首先对原始图像长宽扩展一倍,以保留原始图像信息,增加特征点数量。
尺度越大图像越模糊。
图像金字塔的建立:对于一幅图像I,建立其在不同尺度(scale)的图像,也成为子八度(octave),这是为了scale-invariant,也就是在任何尺度都能够有对应的特征点,第一个子八度的scale为原图大小,后面每个octave为上一个octave降采样的结果,即原图的1-4(长宽分别减半),构成下一个子八度(高一层金字塔)。
sift特征提取与匹配原理
SIFT特征提取与匹配原理的深入解析一、引言在图像处理和计算机视觉领域,尺度不变特征变换(Scale-Invariant Feature Transform,SIFT)是一种被广泛应用的算法。
SIFT特征提取与匹配原理是图像处理中的重要一环,对于图像识别、图像配准、3D建模、物体跟踪等应用具有重要意义。
本文将深入解析SIFT特征提取与匹配原理,包括其基本概念、算法流程、优缺点以及应用场景。
二、SIFT特征提取原理1. 尺度空间极值检测SIFT算法首先通过构建尺度空间,在不同尺度下搜索所有可能的特征点。
这个过程是通过高斯差分(Difference of Gaussians,DoG)来实现的,它可以有效地检测出图像中的局部极值点,这些点具有尺度不变性,即无论图像被放大或缩小,这些点都能被检测到。
2. 特征点定位在检测到局部极值点后,SIFT算法会进行精确的定位。
这个过程包括去除低对比度的点和边缘点,因为这些点不稳定且对噪声敏感。
通过拟合三维二次函数来精确确定特征点的位置和尺度。
3. 方向分配为了使描述符具有旋转不变性,SIFT算法会为每个特征点分配一个主方向。
这是通过计算特征点周围像素的梯度方向和大小来实现的。
主方向是通过直方图统计梯度方向并找到最大的峰值来确定的。
4. 描述符生成最后,SIFT算法会生成一个描述符,用于描述特征点周围的图像信息。
描述符是通过将特征点周围的区域划分为4x4的子区域,并计算每个子区域的梯度方向和大小直方图来生成的。
描述符是一个128维的向量,具有对尺度、旋转和光照变化的不变性。
三、SIFT特征匹配原理在生成了SIFT描述符后,就可以进行特征匹配了。
这个过程是通过计算两个描述符之间的欧氏距离来实现的。
距离越小,表示两个特征点越相似。
为了提高效率,通常会使用K-D树等数据结构来加速匹配过程。
此外,还可以使用RANSAC等算法来消除误匹配,提高匹配的准确性。
四、优缺点分析SIFT算法的优点主要体现在以下几个方面:1. 尺度、旋转和光照不变性:SIFT描述符具有对尺度、旋转和光照变化的不变性,这使得它在各种场景下都能取得较好的效果。
SIFT算法详解及应用
SIFT算法详解及应用SIFT(Scale-Invariant Feature Transform)是一种在计算机视觉中常用的特征点提取算法,由David Lowe在1999年提出,并在2004年的论文中进行了详细阐述。
SIFT算法可以在不同尺度和旋转下保持图像的特征点不变性,因此在图像拼接、目标识别、图像匹配等领域具有广泛的应用。
1.尺度空间构建:SIFT算法使用高斯差分函数来检测不同尺度下的特征点。
通过在图像中采用不同尺度的高斯滤波,构建尺度空间,从而检测到不同尺度的图像特征。
2.关键点提取:在构建的尺度空间中,SIFT算法通过在每个像素点检测局部极值点来获取关键点。
具体的做法是对每个像素点在尺度空间上进行比较,找出该点与它相邻像素点和尺度上的极值,从而得到关键点。
3. 关键点定位:在关键点提取后,SIFT算法通过利用二阶偏导数的Hessian矩阵来对关键点进行进一步定位。
Hessian矩阵可以描述图像对灰度变化的响应,通过计算关键点周围像素点的Hessian矩阵,可以对关键点进行精确定位。
4.方向分配:在关键点定位后,SIFT算法为每个关键点分配一个主导方向。
通过对关键点周围的图像梯度进行统计,找到梯度方向分布最大的方向作为主导方向,以此来保证关键点对旋转具有不变性。
5.特征描述:在分配了主导方向后,SIFT算法使用局部图像梯度的方向直方图来描述关键点的局部特征。
将关键点周围的16x16邻域划分为4x4的小格子,计算每个小格子内的梯度方向直方图,最终得到一个128维的特征向量来表示关键点的局部特征。
1.尺度不变性:SIFT算法通过在不同尺度下检测特征点,使得算法对于图像缩放具有不变性。
这一特性使得SIFT在目标识别和图像匹配等领域具有广泛应用,可以应对不同尺寸的目标和场景。
2.旋转不变性:SIFT算法通过为每个关键点分配主导方向,使得算法对于图像旋转具有不变性。
这一特性使得SIFT在图像拼接和图像匹配中能够应对图像的旋转变换。
SIFT算法详解
SIFT算法详解SIFT(Scale-Invariant Feature Transform)算法是一种用于计算图像特征的算法,最早由David Lowe于1999年提出,是一种用于在不同尺度和旋转下具有不变性的特征描述算法。
1.关键点检测:SIFT算法首先对图像进行多尺度空间的检测,即在图像中寻找尺度空间极值点。
为了实现尺度不变性,SIFT算法采用了高斯金字塔的方法来对图像进行多尺度模糊处理。
金字塔的每一层可以通过对上一层图像进行下采样和卷积来生成。
然后,在每一层金字塔上使用一种拉普拉斯算子来计算尺度空间的极值点,这些极值点包括图像的边缘点、角点和斑点等。
极值点的检测是通过对每个像素点的周围像素点进行梯度计算和方向估计来实现的。
2.关键点描述:在关键点检测之后,SIFT算法通过计算每个关键点的局部图像梯度直方图来对关键点进行描述。
首先,将关键点周围的领域分为若干个子区域,一般为16个,每个子区域可以通过将关键点周围的区域划分为4×4个小区域来实现。
然后,对每个小区域中的像素点计算其梯度幅值和方向,并将其分到相应的方向直方图中。
通过对所有子区域的梯度方向直方图进行拼接,就可以得到整个关键点的描述子。
描述子的维度一般为128维,特征向量的每个维度包含了关键点的领域中的梯度方向信息。
3.特征匹配:在关键点描述之后,SIFT算法使用一种基于特征向量距离的匹配方法来实现图像特征点的匹配。
常用的方法是计算两个特征向量之间的欧式距离,并使用一个阈值来筛选出较为相似的特征点。
为了提高匹配的准确性和稳定性,SIFT算法使用了一种自适应的阈值筛选方法,通过计算两个特征向量距离的比值来判断特征点的匹配性。
总结来说,SIFT算法通过对图像进行多尺度的检测、关键点的描述和特征的匹配,实现了对图像特征的提取和匹配。
这种算法对于图像的尺度变化、旋转变换和部分遮挡等具有一定的不变性,因此被广泛应用于图像处理、目标识别和三维重建等领域。
sift(尺度不变特征变换)的原理
sift(尺度不变特征变换)的原理尺度不变特征变换(Scale-Invariant Feature Transform,简称SIFT)是一种用于图像处理和计算机视觉领域的特征提取算法,由David Lowe在1999年首次提出。
与其他特征提取算法相比,SIFT具有尺度不变性、旋转不变性、光照不变性和局部性等特点,因此在许多应用领域中得到了广泛应用,如物体识别、图像匹配和三维重建等。
SIFT算法主要包括四个关键步骤:尺度空间极值点检测、关键点定位、关键点方向分配和局部特征描述。
第一步,尺度空间极值点检测。
图像中的一个关键点应该能在不同尺度的图像中被检测到。
为了实现尺度不变性,SIFT算法采用高斯差分函数(Difference of Gaussian, DoG)来检测尺度空间中的极值点。
高斯差分图像是通过两个不同尺度的高斯模糊图像相减得到的。
在不同的尺度和位置上,对差分图像进行非极大值抑制和阈值处理,得到稳定的关键点。
第二步,关键点定位。
在每个尺度空间中检测到的极值点需要进行精确定位,以提取具有稳定性和鲁棒性的关键点。
SIFT算法引入了尺度空间的二阶偏导数来计算关键点的位置和尺度。
通过建立高斯金字塔,利用图像的不同分辨率,通过差分图像计算尺度。
然后,在关键点周围的邻域内,通过二阶偏导数来确定关键点的位置。
第三步,关键点方向分配。
为了使计算机具有旋转不变性,SIFT算法需要为每个关键点分配一个主方向。
在关键点周围的邻域内,计算梯度幅值和方向,构建梯度直方图。
然后,在梯度直方图中寻找主方向,选取梯度幅值最大的方向作为关键点的主方向。
第四步,局部特征描述。
SIFT算法通过关键点的局部邻域计算局部特征描述子,以实现光照不变性和局部性。
在关键点周围的邻域内,通过建立一个统一的坐标系,将关键点归一化为固定大小的邻域。
然后,在归一化的邻域内计算梯度幅值和方向。
为了增强鲁棒性,SIFT采用了高斯加权窗口来抑制噪声和光照变化的影响。
SIFT算法详解及应用
SIFT算法详解及应用SIFT(Scale-Invariant Feature Transform)是一种用于图像处理和计算机视觉中的特征提取算法。
它的主要目标是提取具有尺度和旋转不变性的局部特征点。
SIFT算法的独特之处在于它不依赖于特定的图像属性,而是通过一系列处理步骤构建出具有稳定性和描述性的特征点。
1. 尺度空间极值检测(Scale Space Extrema Detection):通过在不同的尺度上使用高斯差分函数,找到图像中的极值点作为潜在特征点。
2. 关键点定位(Keypoint Localization):在尺度空间中找到极值点后,使用插值方法精确定位特征点的位置。
同时,通过计算Hessian矩阵的主曲率来排除边缘响应。
3. 方向分配(Orientation Assignment):为每个特征点分配一个主要的方向,使得后续的特征描述能够具有旋转不变性。
4. 特征描述(Feature Description):根据每个特征点的主方向,构建特征描述子。
描述子被构建为一个128维的向量,它具有对尺度、旋转和光照变化的不变性。
5. 特征匹配(Feature Matching):通过比较特征描述子,找到两幅图像中具有相似特征的匹配点。
常用的方法是计算特征向量之间的欧式距离或相似性度量。
1.目标识别:SIFT算法可以检测并描述图像中的关键点,通过与预先训练好的模板特征进行匹配,可以在输入图像中快速准确地定位和识别目标物体。
2.图像拼接:SIFT算法可以提取图像中的特征点,并通过对这些特征点进行匹配来确定它们之间的对应关系。
这样,可以将多张图像拼接在一起,生成一个大的全景图像。
3.目标跟踪:SIFT算法可以提取图像中的关键点,并构建其特征描述子。
通过与之前的图像帧进行匹配,可以实现目标的跟踪和定位。
4.三维重建:使用多个图像拍摄同一场景,并通过SIFT算法提取特征点并进行匹配,可以推断出相机的位置和场景的结构,从而实现三维重建。
SIFT算法分析
第一部分 提取特征点
3.寻找极值点(续) 通过上一步寻找的的极值点并不精确,所以采用子像元 插值法求精。其限定要求为X(x,y, σ)为三维矢量。而x代表相 对插值中心的偏移量,如果x在任何方向上的偏移量都大于 0.5,则意味着插值中心点已经偏移到它的邻近点上,这样的 点删除。当|I(x)|<0.03(灰度值在0-1之间),由于其影响度太 小容易受到噪声干扰变得不稳定也要去掉。
第一部分 提取特征点
提 取 的 结 果
第二部分 特征点的存储
1.构建kd树 kd树(k dimension tree),是对数据点在K维空间的划分 一中数据结构。其思想和组要是采用分而治之。将整个空 间划分成几个小的空间。 假设有六个点{(2,3),(5,4),(9,6),(4,7),(8,1,),(7,2)}
第一部分 提取特征点
6.特征点特征矢量生成(续) 特征矢量需要进行加权处理,加权采用方差为m Bp/2的 标准高斯函数,下图大圆的半径值即为高斯函数方差的大小。 特征矢量形成以后,为了去除光照变化的影响,需要对它进 行归一化处理,在归一化处理以后,对特征矢量中值大于0.2 的要进行截断,即大于0.2的值只取0.2,然后再一次进行归 一化处理,变成单位长度其目的是提高特征的鉴别性。
其中, 表示在x,y两个方向上进行卷积操作,而G(x,y, σ)为 2 2 2 1 ( x y ) / 2 G(x,y,σ)= e
2
2
第一部分 提取特征点
2.构建高斯金字塔(续) 在程序实现的时,从下到上分解成O组:第一组是由 原图像扩大二倍后,按隔点采样得到;第二组则是从第一 组图像隔点采样得到,以此类推。而每一组的S层,则是 根据包含不同的 σ值高斯卷积核与图像卷积得到。 其中计算金字塔组数O=log2N (N*N大小的图像); σ(o,s)=σ0 2(o+s/S), o属于[omin+[0,…,O-1]],s属于[0,…,S-1] 同时σ0基准层尺度,o为组(Octave)的坐标,s为层(Level) 的坐标。
SIFT特征提取算法详解
SIFT特征提取算法详解SIFT(Scale-Invariant Feature Transform)特征提取算法是一种用于在图像中寻找关键点的方法,该算法具有尺度不变性,能够提取出能够对图像进行描述的稳定的局部特征。
本文将从算法原理、关键步骤以及优缺点等方面进行详细解析。
一、算法原理SIFT算法的主要思想是通过寻找关键点和计算这些关键点的特征向量,来描述图像中的局部特征,并实现对尺度、旋转和亮度的不变性。
1.尺度空间极值检测SIFT算法首先通过DoG(Difference of Gaussian)来检测图像中的关键点。
DoG是指在不同尺度下的高斯平滑图像之间的差异,这样可以有效地检测出图像中的尺度空间极值点。
2.关键点精确定位通过在DoG金字塔中精确定位关键点,SIFT算法可以找到图像中的关键点。
该算法使用了Hessian矩阵的近似来计算特征点的位置和尺度,并用Taylor展开来精确计算特征点的位置。
3.方向分配为了使特征具有旋转不变性,SIFT算法通过计算特征点周围的梯度方向直方图来分配特征点的主方向。
具体步骤是确定特征点周围像素的梯度幅值和方向,并将方向分配到主方向上。
4.特征描述在计算了特征点的尺度和方向之后,SIFT算法通过计算特征点周围的局部图像块的梯度直方图来描述特征。
这些梯度直方图能够描述特征点周围的领域特征,并且具有尺度和旋转不变性。
二、关键步骤详解1.构建高斯金字塔SIFT算法首先对输入的图像进行平滑处理,然后通过不断降采样生成高斯金字塔。
高斯金字塔能够提供多尺度图像。
2.构建差分金字塔利用高斯金字塔计算DoG金字塔。
通过对相邻两层高斯图像进行差分操作,可以得到相应的两层DoG图像。
3.检测尺度空间极值点在DoG金字塔上,通过比较每一个像素点与其8邻域和相邻的26个像素点的像素值来确定极值点。
具体方法是通过比较每一层图像的像素值与周围像素值进行判定。
4.精确定位关键点通过利用Taylor展开公式来精确定位关键点的位置,这可以减小特征点在尺度和位置上的误差。
特征点匹配——SIFT算法详解
特征点匹配——SIFT算法详解SIFT(Scale-Invariant Feature Transform)是一种用于在图像中寻找关键点并进行匹配的算法。
该算法由David Lowe在1999年发布,并且一直被广泛应用于计算机视觉领域。
SIFT算法具有尺度不变性和旋转不变性,可以在不同的图像尺度和旋转角度下进行特征点的匹配。
SIFT算法的主要步骤包括关键点检测、关键点描述和特征点匹配。
关键点检测:在一张图像中,关键点通常是指存在于不同尺度和方向上的局部最大值或局部最小值。
SIFT使用高斯差分金字塔来检测关键点。
首先,通过对原始图像进行高斯模糊,创建一个金字塔,然后在每一组金字塔中计算高斯差分图像。
接着,通过比较每个像素周围的8个像素和自身像素的差值,找到局部极值点。
最后,使用尺度空间极大值抑制来进一步过滤出稳定的关键点。
关键点描述:在关键点检测后,需要对每个关键点进行描述。
SIFT使用局部图像梯度的直方图来描述关键点。
首先,在每个关键点周围的16x16像素块上计算梯度的幅值和方向。
然后将这个块分成16个4x4的子块,并在每个子块上计算一个8方向的直方图。
最后,将这些直方图连接起来形成一个128维的向量,用来表示该关键点。
在对两幅图像提取出关键点并进行描述后,需要对这些特征点进行匹配。
SIFT使用欧式距离来计算特征向量之间的相似性。
对于每个特征点,将其描述子与另一幅图像中的所有描述子进行比较,选择最佳匹配的特征点对。
SIFT算法在匹配过程中还引入了RANSAC算法来排除错误的匹配。
RANSAC(Random Sample Consensus)是一种迭代的鲁棒性估计方法,可以通过随机选择一个小子集来估计模型参数,并通过计算剩余误差和阈值来确定最终的模型。
总结一下,SIFT算法通过关键点检测、关键点描述和特征点匹配三个步骤来实现对图像中的特征点进行匹配。
该算法具有尺度不变性和旋转不变性,可以在不同的图像尺度和旋转角度下进行特征点的匹配。
sift算法解析
a
b
13
相关的极值检测
• 作为加快理解的两个金字塔相关背景介绍 完毕,下面提出的是关于极值检测的方法, 极值的检测操作是基于第二个金字塔的, 与第一个金字塔没有直接关系,并且搜索 的基本原理我认为与harris的角点检测是十 分接近的,其原理如下图:
14
图示如下
极值点的搜索是通过同一 组内DOG相邻层之间比较 完成的. 为了寻找尺度空间的极值 点,每一个采样点都要和 它所有的相邻点比较,以 确保在尺度空间和二维图 像空间都检测到极值点。
19
• 导数 D 通过相邻采样点的差值计算。D 的 主曲率和 H 的特征值成正比,
• 令 , 为最大,最小特征值,则
tr ( H ) D xx D yy Det( H ) D xx D yy ( D xy ) 2
• 令 为最大特征值与最小特征值的比值,则
• 因为DOG算子会产生较强的边缘响应,所以 应去除低对比度的边缘响应点,以增强匹 配的稳定性,提高抗噪声能力。一个平坦 的DOG响应峰值往往在在横跨边缘的地方 有较大的主曲率,而在垂直边缘的方向有 较小的主曲率。 • 主曲率通过一个2*2的Hessian矩阵 H 求出:
Dxx H Dxy Dxy D yy
2
e
( x 2 y 2 )/2 2
( • 其中,x, y ) 是空间坐标, 代表高斯正态 分布的方差,亦即尺度坐标(在尺度空间 中)。
7
两个金字塔的引入
• 要实现极值的检测要引入两个金字塔(形 象化的表示,算法中为了便于理解):
1建立高斯金字塔 2生成DOG金字塔(Difference-of-Gaussian)
• 高斯金字塔的构建:
SIFT特征提取算法总结
SIFT特征提取算法总结SIFT(Scale-Invariant Feature Transform)特征提取算法是一种旋转不变性和尺度不变性较强的特征提取算法,被广泛应用于计算机视觉领域中的图像配准、目标识别、三维重建等任务中。
SIFT算法由David Lowe在1999年提出,并在2004年发表了他的论文,成为一种经典的特征提取算法。
本篇文章将对SIFT特征提取算法进行总结和分析。
1.SIFT特征提取算法原理(1)尺度空间极值检测:在不同的尺度空间中寻找关键点。
SIFT算法使用高斯金字塔对图像进行尺度空间的离散采样。
在每个尺度空间中,通过构建DoG(Difference of Gaussian)金字塔来检测图像中的局部极值点。
(2)关键点定位:对尺度空间极值点进行精确定位以得到关键点。
在尺度空间中使用Hessian矩阵来估计关键点的位置和尺度,并通过亚像素插值来获得更加精确的关键点位置。
(3)方向分配:为每个关键点分配主方向。
SIFT算法在关键点周围的邻域内计算梯度方向直方图,选择梯度方向最大的方向作为该关键点的主方向。
(4)描述子生成:对关键点周围的邻域进行描述子的生成。
SIFT算法将关键点周围的邻域划分为一个个小区域,并计算每个小区域内的梯度方向直方图,从而生成描述子。
2.SIFT特征提取算法优点(1)尺度不变性:SIFT算法在不同尺度空间中检测图像的关键点,使得检测到的关键点能够具有尺度不变性。
(2)旋转不变性:SIFT算法对每个关键点分配主方向,通过旋转关键点周围的邻域来实现旋转不变性。
(3)良好的特征描述性:SIFT特征由128维向量表示,能够克服一些小范围内的图像变换,如亮度变化等。
(4)鲁棒性:SIFT算法对噪声、模糊等干扰具有较强的鲁棒性,适用于复杂的图像条件下提取特征。
3.SIFT特征提取算法应用SIFT特征提取算法广泛应用于计算机视觉领域中的图像配准、目标识别、三维重建等任务中。
SIFT算法原理SIFT算法详细介绍
SIFT算法原理SIFT算法详细介绍SIFT(Scale-Invariant Feature Transform)算法是一种用于图像特征提取和匹配的算法,被广泛应用于计算机视觉领域。
SIFT算法的核心思想是在不同尺度空间中检测和描述图像的局部特征,通过这些特征可实现图像的匹配、识别和定位。
1.尺度空间极值点检测:首先,SIFT算法通过高斯平滑滤波器构建高斯金字塔,每一层都是由上一层进行降采样得到的。
在不同尺度空间的图像上,通过比较每个像素点与其相邻像素点的灰度值,找出尺度空间极值点,作为关键点候选。
2.关键点定位:通过对尺度空间的极值点进行精确定位,以获取更加准确的关键点。
在关键点候选集合中,利用尺度空间的极值点与梯度方向直方图等局部特征进行过滤,剔除低对比度和边缘响应的关键点。
3.方向分配:为了使SIFT算法具有旋转不变性,需要为每个关键点分配主方向。
采用梯度直方图对关键点周围的图像区域进行统计,找到梯度方向直方图的峰值,作为该关键点的主方向。
4.关键点描述:在每个关键点周围的图像区域内,构建128维的特征向量,用于描述该关键点的局部特征。
通过计算每个像素点周围的梯度幅值和方向,并将其转换为特征向量的模式,构成关键点的描述符。
5.特征匹配:对于待匹配的图像,通过计算两个图像的特征向量之间的欧氏距离,进行特征匹配。
采用距离比值方法,选取最匹配和次匹配之间的距离比值小于预先设定的阈值的特征点,进行最终匹配。
6.特征筛选:通过应用RANSAC(随机抽样一致性)算法,对匹配结果进行筛选,剔除外点,保留内点,从而得到更准确的匹配结果。
SIFT算法的应用非常广泛,常用于目标识别、图像拼接、图像检索、三维重建和运动估计等领域。
在目标识别中,通过提取图像的SIFT特征,并与模板图像进行匹配,可以实现目标的识别和定位。
在图像拼接中,通过寻找多幅图像之间的共同特征点,并根据特征点的位置关系进行配准,可以实现图像的自动拼接。
SIFT算法原理SIFT算法详细介绍
SIFT算法原理SIFT算法详细介绍SIFT(Scale-Invariant Feature Transform)是一种用于计算机视觉领域的算法,用于检测和描述图像中的局部特征。
它被广泛应用于目标识别、图像匹配和三维重建等任务中。
SIFT算法通过提取图像的稳定特征点来实现图像的尺度和旋转不变性。
下面详细介绍SIFT算法的原理和步骤。
1.尺度空间极值检测:SIFT算法首先在不同的尺度空间中通过高斯差分金字塔(Difference of Gaussian,DoG)寻找稳定的特征点。
通过对输入图像进行高斯滤波,得到一系列不同尺度的图像。
然后,通过对相邻的两个不同尺度的图像进行差分操作,得到高斯差分图像,即DoG金字塔。
接着,在DoG金字塔中寻找局部极值点,即该点的像素值在其周围的3×3×3邻域内最大或最小。
2.生成关键点:在尺度空间极值点检测后,通过插值计算亚像素精度的关键点位置,以获得更精确的特征点位置。
对比邻域像素的梯度幅值和方向,重新定位关键点位置。
3.消除边缘响应:排除低对比度的稳定特征点和位于边缘的特征点,以提高匹配的准确性。
通过计算Hessian矩阵的迹和行列式来判断是否为边缘响应。
4.计算主方向:为了使SIFT算法对旋转具有不变性,对每个关键点计算该点的主方向。
在关键点周围的邻域内,计算梯度幅值和方向直方图,选取主方向作为该特征点的方向描述符。
5.生成特征描述子:在关键点检测和主方向计算后,利用关键点附近的图像区域创建描述子。
以关键点为中心,将图像区域分为若干个子区域,并在每个子区域内计算局部特征。
对每个子区域,计算梯度幅值和方向直方图,形成一个向量。
最后将这些向量串联形成一个特征向量,作为该特征点的描述子。
6.特征点匹配:使用描述子来匹配不同图像中的特征点。
通过计算两个特征点描述子之间的距离来判断它们的相似性。
通常使用欧氏距离或余弦相似度来度量特征点之间的差异。
然后,根据距离进行特征点匹配,通过选取最佳匹配对的阈值来过滤不准确的匹配。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
SIFT算法分析1 SIFT 主要思想SIFT算法是一种提取局部特征的算法,在尺度空间寻找极值点,提取位置,尺度,旋转不变量。
2 SIFT 算法的主要特点:a)SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声也保持一定程度的稳定性。
b)独特性(Distinctiveness)好,信息量丰富,适用于在海量特征数据库中进行快速、准确的匹配。
c)多量性,即使少数的几个物体也可以产生大量SIFT特征向量。
d)高速性,经优化的SIFT匹配算法甚至可以达到实时的要求。
e)可扩展性,可以很方便的与其他形式的特征向量进行联合。
3 SIFT 算法流程图:4 SIFT 算法详细1)尺度空间的生成尺度空间理论目的是模拟图像数据的多尺度特征。
高斯卷积核是实现尺度变换的唯一线性核,于是一副二维图像的尺度空间定义为:L( x, y, ) G( x, y, ) I (x, y)其中G(x, y, ) 是尺度可变高斯函数,G( x, y, )2 1 2 y2(x )2 e / 22(x,y)是空间坐标,是尺度坐标。
大小决定图像的平滑程度,大尺度对应图像的概貌特征,小尺度对应图像的细节特征。
大的值对应粗糙尺度(低分辨率),反之,对应精细尺度(高分辨率)。
为了有效的在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间(DOG scale-space)。
利用不同尺度的高斯差分核与图像卷积生成。
D( x, y, ) (G( x, y,k ) G( x, y, )) I ( x, y) L( x, y,k ) L( x, y, )DOG算子计算简单,是尺度归一化的LoG算子的近似。
图像金字塔的构建:图像金字塔共O组,每组有S层,下一组的图像由上一组图像降采样得到。
图1由两组高斯尺度空间图像示例金字塔的构建,第二组的第一副图像由第一组的第一副到最后一副图像由一个因子2降采样得到。
图2 DoG算子的构建:图1 Two octaves of a Gaussian scale-space image pyramid with s =2 intervals. The first image inthe second octave is created by down sampling to last image in the previous图2 The difference of two adjacent intervals in the Gaussian scale-space pyramid create aninterval in the difference-of-Gaussian pyramid (shown in green).2) 空间极值点检测为了寻找尺度空间的极值点,每一个采样点要和它所有的相邻点比较,看其是否比它的图像域和尺度域的相邻点大或者小。
如图3所示,中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较,以确保在尺度空间和二维图像空间都检测到极值点。
一个点如果在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时,就认为该点是图像在该尺度下的一个特征点,如图1所示。
图3 DoG 尺度空间局部极值检测3) 构建尺度空间需确定的参数-尺度空间坐标O-octave坐标S-sub-level 坐标和O、S的关系o s / S(o,s) ,o o min [ 0,..., O1], s [0,..., S 1]0 2其中0 是基准层尺度。
o-octave坐标,s-sub-level 坐标。
注:octaves 的索引可能是负的。
第一组索引常常设为0或者-1,当设为-1的时候,图像在计算高斯尺度空间前先扩大一倍。
空间坐标x是组octave的函数,设x0 是0组的空间坐标,则x o 2 x0 ,o,x0 0,..., N0 1 0,..., M01如果M N 是基础组o=0的分辨率,则其他组的分辨率由下式获得:0 , 0N M0 0N0 , M 0o o2 2注:在Lowe的文章中,Lowe使用了如下的参数:1/ Sn 0.5, 1.6 2 ,o1,S 30 min在组o=-1,图像用双线性插值扩大一倍(对于扩大的图像 1n )。
4)精确确定极值点位置通过拟和三维二次函数以精确确定关键点的位置和尺度(达到亚像素精度),同时去除低对比度的关键点和不稳定的边缘响应点(因为DoG算子会产生较强的边缘响应),以增强匹配稳定性、提高抗噪声能力。
①空间尺度函数D( x, y, )T 2D 1 DTD( x, y, ) D x , y , X X X )泰勒展开式如下:0 20 2X0 0XTD x x12Tx2D2xD( x, y, ) D x, y, x对上式求导,并令其为0,得到精确的位置x?,x?2D2x1 Dx②在已经检测到的特征点中,要去掉低对比度的特征点和不稳定的边缘响应点。
去除低对比度的点:把公式(4)代入公式(3),只取前两项可得:T1 DD( x?) D x, y, x?2 x若D x?0.03,该特征点就保留下来,否则丢弃。
③边缘响应的去除一个定义不好的高斯差分算子的极值在横跨边缘的地方有较大的主曲率,而在垂直边缘的方向有较小的主曲率。
主曲率通过一个2x2 的Hessian矩阵H求出:H D Dxx xy D Dxy yy导数由采样点相邻差估计得到。
D的主曲率和H的特征值成正比,令为最大特征值,为最小的特征值,则令,则:(r + 1) 2 /r 的值在两个特征值相等的时候最小,随着r 的增大而增大,因此,为了检测主曲率是否在某域值r 下,只需检测在Lowe的文章中,取r=10。
5)关键点方向分配利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使算子具备旋转不变性。
式(5) 为(x,y) 处梯度的模值和方向公式。
其中L所用的尺度为每个关键点各自所在的尺度。
在实际计算时,我们在以关键点为中心的邻域窗口内采样,并用直方图统计邻域像素的梯度方向。
梯度直方图的范围是0~360度,其中每10度一个柱,总共36 个柱。
直方图的峰值则代表了该关键点处邻域梯度的主方向,即作为该关键点的方向。
图4是采用7个柱时使用梯度直方图为关键点确定主方向的示例。
(窗口尺寸采用Lowe推荐的1.5 σ× 1.5 σ)图4 由梯度方向直方图确定主梯度方向在梯度方向直方图中,当存在另一个相当于主峰值80%能量的峰值时,则将这个方向认为是该关键点的辅方向。
一个关键点可能会被指定具有多个方向(一个主方向,一个以上辅方向),这可以增强匹配的鲁棒性[53] 。
至此,图像的关键点已检测完毕,每个关键点有三个信息:位置、所处尺度、方向。
由此可以确定一个SIFT特征区域(在实验章节用椭圆或箭头表示)。
6)特征点描述子生成首先将坐标轴旋转为关键点的方向,以确保旋转不变性。
图5 由关键点邻域梯度信息生成特征向量接下来以关键点为中心取8×8的窗口。
图5-4左部分的中央黑点为当前关键点的位置,每个小格代表关键点邻域所在尺度空间( 和关键点是否为一个尺度空间) 的一个像素,利用公式(5)求得每个像素i, j 的梯度幅值m i , j 与梯度方向i ,j,箭头方向代表该像素的梯度方向,箭头长度代表梯度模值,然后用高斯窗口对其为该像' , , ,G ', i, j进行加权运算, 每个像素对应一个向量,长度为G i j m i , j素点的高斯权值,方向为i , j ,图中蓝色的圈代表高斯加权的范围(越靠近关键点的像素梯度方向信息贡献越大)。
高斯参数σ′取3倍特征点所在的尺度。
然后在每4×4的小块上计算8个方向的梯度方向直方图,绘制每个梯度方向的累加值,即可形成一个种子点,如图5右部分所示。
此图中一个关键点由2×2共4个种子点组成,每个种子点有8个方向向量信息。
这种邻域方向性信息联合的思想增强了算法抗噪声的能力,同时对于含有定位误差的特征匹配也提供了较好的容错性。
实际计算过程中,为了增强匹配的稳健性,对每个关键点使用4×4共16个种子点来描述,这样对于一个关键点就可以产生128个数据,即最终形成128维的SIFT特征向量。
此时SIFT特征向量已经去除了尺度变化、旋转等几何变形因素的影响,再继续将特征向量的长度归一化,则可以进一步去除光照变化的影响。
当两幅图像的SIFT特征向量生成后,下一步我们采用关键点特征向量的欧式距离来作为两幅图像中关键点的相似性判定度量。
取图像1中的某个关键点,并找出其与图像2中欧式距离最近的前两个关键点,在这两个关键点中,如果最近的距离除以次近的距离少于某个比例阈值,则接受这一对匹配点。
降低这个比例阈值,SIFT匹配点数目会减少,但更加稳定。
为了排除因为图像遮挡和背景混乱而产生的无匹配关系的关键点, 用比较最近邻距离与次近邻距离的方法, 距离比率ratio 小于某个阈值的认为是正确匹配。
因为对于错误匹配, 由于特征空间的高维性, 相似的距离可能有大量其他的错误匹配, 从而它的ratio 值比较高。
推荐ratio 的阈值为0.8 。
5 仿真结果分析将文件加入matlab 目录后,在主程序中有两种操作:op1:寻找图像中的Sift 特征:[image,discrips,locs]=sift('scene.pgm');Finding keypoints...1021 keypoints found.>> showkeys(image,locs);Drawing SIFT keypoints ...5010015020025030035050 100 150 200 250 300 350 400 450 500op2:对两幅图中的SIFT特征进行匹配:match('scene.pgm','book.pgm');Finding keypoints...1021 keypoints found. Findingkeypoints...882 keypoints found. Found 98matches.50100150200250300350100 200 300 400 500 600 700 8006 代码1)appendimages.m% im = appendimages(image1, image2)%% Return a new image that appends the two images side-by-side.function im = appendimages(image1, image2)% Select the image with the fewest rows and fill in enough empty rows% to make it the same height as the other image.rows1 = size(image1,1);rows2 = size(image2,1);if (rows1 < rows2)image1(rows2,1) = 0;elseimage2(rows1,1) = 0;end% Now append both images side-by-side.im = [image1 image2];2)match.m% num = match(image1, image2)%% This function reads two images, finds their SIFT features, and% displays lines connecting the matched keypoints. A match is accepted% only if its distance is less than distRatio times the distance to the% second closest match.% It returns the number of matches displayed.%% Example: match('scene.pgm','book.pgm');function num = match(image1, image2)% Find SIFT keypoints for each image[im1, des1, loc1] = sift(image1);[im2, des2, loc2] = sift(image2);% For efficiency in Matlab, it is cheaper to compute dot products between % unit vectors rather than Euclidean distances. Note that the ratio of % angles (acos of dot products of unit vectors) is a close approximation% to the ratio of Euclidean distances for small angles.%% distRatio: Only keep matches in which the ratio of vector angles fromthe% nearest to second nearest neighbor is less than distRatio.distRatio = 0.6;% For each descriptor in the first image, select its match to second image. des2t = des2'; % Precompute matrix transposefor i = 1 : size(des1,1)dotprods = des1(i,:) * des2t; % Computes vector of dot products [vals,indx] = sort(acos(dotprods)); % Take inverse cosine and sortresults% Check if nearest neighbor has angle less than distRatio times 2nd.if (vals(1) < distRatio * vals(2))match(i) = indx(1);elsematch(i) = 0;endend% Create a new image showing the two images side by side.im3 = appendimages(im1,im2);% Show a figure with lines joining the accepted matches.figure( 'Position' , [100 100 size(im3,2) size(im3,1)]);colormap( 'gray' );imagesc(im3);hold on ;for i = 1: size(des1,1)if (match(i) > 0)line([loc1(i,2) loc2(match(i),2)+cols1], ...[loc1(i,1) loc2(match(i),1)], 'Color' , 'c' );endendhold off ;num = sum(match > 0);fprintf( 'Found %d matches.\n' , num);3)showkeys.m% showkeys(image, locs)%% This function displays an image with SIFT keypoints overlayed.% Input parameters:% image: the file name for the image (grayscale)% locs: matrix in which each row gives a keypoint location (row,% column, scale, orientation)function showkeys(image, locs)disp( 'Drawing SIFT keypoints ...' );% Draw image with keypointsfigure( 'Position' , [50 50 size(image,2) size(image,1)]);colormap( 'gray' );imagesc(image);hold on ;imsize = size(image);for i = 1: size(locs,1)% Draw an arrow, each line transformed according to keypointparameters.TransformLine(imsize, locs(i,:), 0.0, 0.0, 1.0, 0.0);TransformLine(imsize, locs(i,:), 0.85, 0.1, 1.0, 0.0);TransformLine(imsize, locs(i,:), 0.85, -0.1, 1.0, 0.0);endhold off ;% ------ Subroutine: TransformLine -------% Draw the given line in the image, but first translate, rotate, and% scale according to the keypoint parameters.%% Arrays:% imsize = [rows columns] of image% keypoint = [subpixel_row subpixel_column scale orientation]%% Scalars:% x1, y1; begining of vector% x2, y2; ending of vectorfunction TransformLine(imsize, keypoint, x1, y1, x2, y2)% The scaling of the unit length arrow is set to approximately the radius % of the region used to compute the keypoint descriptor.len = 6 * keypoint(3);% Rotate the keypoints by 'ori' = keypoint(4)s = sin(keypoint(4));c = cos(keypoint(4));% Apply transformr1 = keypoint(1) - len * (c * y1 + s * x1);c1 = keypoint(2) + len * (- s * y1 + c * x1);r2 = keypoint(1) - len * (c * y2 + s * x2);c2 = keypoint(2) + len * (- s * y2 + c * x2);line([c1 c2], [r1 r2], 'Color' , 'c' );4)sift.m% [image, descriptors, locs] = sift(imageFile)% This function reads an image and returns its SIFT keypoints.% Input parameters:% imageFile: the file name for the image.%% Returned:% image: the image array in double format% descriptors: a K-by-128 matrix, where each row gives an invariant% descriptor for one of the K keypoints. The descriptor is a vector % of 128 values normalized to unit length.% locs: K-by-4 matrix, in which each row has the 4 values for a% keypoint location (row, column, scale, orientation). The% orientation is in the range [-PI, PI] radians.%% Credits: Thanks for initial version of this program to D. Alvaro and% J.J. Guerrero, Universidad de Zaragoza (modified by D. Lowe)function [image, descriptors, locs] = sift(imageFile)% Load imageimage = imread(imageFile);%If you have the Image Processing Toolbox, you can uncomment the following % lines to allow input of color images, which will be converted tograyscale.% if isrgb(image)% image = rgb2gray(image);% end[rows, cols] = size(image);% Convert into PGM imagefile, readable by "keypoints" executablef = fopen( 'tmp.pgm' , 'w' );if f == -1error( 'Could not create file tmp.pgm.' );endfprintf(f, 'P5\n%d\n%d\n255\n' , cols, rows);fwrite(f, image', 'uint8' );fclose(f);% Call keypoints executableif isunixcommand = '!./sift ' ;elsecommand = '!siftWin32 ' ;endcommand = [command ' <tmp.pgm >tmp.key' ];eval(command);% Open tmp.key and check its headerg = fopen( 'tmp.key' , 'r' );if g == -1error( 'Could not open file tmp.key.' );end[header, count] = fscanf(g, '%d %d' , [1 2]);if count ~= 2error( 'Invalid keypoint file beginning.' );endnum = header(1);len = header(2);if len ~= 128error( 'Keypoint descriptor length invalid (should be 128).' );end% Creates the two output matrices (use known size for efficiency)locs = double(zeros(num, 4));descriptors = double(zeros(num, 128));% Parse tmp.keyfor i = 1:num[vector, count] = fscanf(g, '%f %f %f %f' , [1 4]); %row col scale ori if count ~= 4error( 'Invalid keypoint file format' );endlocs(i, :) = vector(1, :);[descrip, count] = fscanf(g, '%d' , [1 len]);if (count ~= 128)error( 'Invalid keypoint file value.' );end% Normalize each input vector to unit lengthdescrip = descrip / sqrt(sum(descrip.^2));descriptors(i, :) = descrip(1, :);endfclose(g);。