基于尺度不变特征变换的图像匹配1

确定特征点主方向
在实际计算过程中，在以特征点为中心的邻域 窗口内采样，并用梯度方向直方图统计邻域像素的 梯度方向。梯度直方图的范围是0一360，其中每10 为一柱，总共36柱。梯度方向直方图的峰值则代表 了该特征点处邻域梯度的主方向，即作为该特征点 的方向。一个关键点可能会被指定具有多个方向。
生成SIFT特征向量
SIFT变换思想
SIFT算法首先在尺度空间进行特征检测，并确定关键点 (Keypoints)的位臵和关键点所处的尺度，然后使用关键点邻 域梯度的主方向作为该点的方向特征，以实现算子对尺度和 方向的无关性。为了有效的在尺度空间检测到稳定的关键点， 提出了高斯差分尺度空间（DOG scale-space）。利用不同尺 度的高斯差分核与图像卷积生成。 D( x, y, ) (G( x, y, k ) G( x, y, )) I ( x, y) L( x, y, k ) L( x, y, ) DOG算子计算简单，是尺度归一化的LoG算子的近似。
度hist_width = 1.5 * scl_octv 描述字计算所需要的图像宽度 radius = hist_width * sqrt(2) * ( d + 1.0 ) * 0.5 + 0.5
生成SIFT特征向量
实际计算过程中，为了增强匹配的稳健性，Lowe建 议对每个关键点使用4×4共16个种子点来描述。首先将坐 标轴旋转为特征点的方向，以保证旋转不变性；对任意一 个特征点，在其所在的尺度空间(即高斯金字塔结构的某 一层)，取以特征点为中心的16 × 16像素大小的邻域，再 将此邻域均匀地分为4 × 4个子区域(每个子区域大小为4 像素×4像素)，对每个子区域计算梯度方向直方图(直方图 均匀分为8个方向)。然后，对4 × 4个子区域的8方向梯度 直方图根据位臵依次排序，这样就构成了一个 4×4×8=128维的向量，即为SIFT特征向量，此时SIFT特 征向量已经去除了尺度变化、旋转等几何变形因素的影响， 再继续将特征向量的长度归一化，则可以进一步去除光照 变化的影响。

关键点位置不精确——三维曲面拟合
Taylor展开式
过滤低对比度点
过滤边缘响应点
特征点过滤和位臵确定
在候选的特征点处用 Taylor 展开式得到：
DT 1 T 2 DT D(X) D X X X 2 X 2 X
X = (x, y,б)T ,D是D(x, y,б )在候选特征点处的值。令 D(X) =0可以得到特征点的精确位臵和尺度：
在建立高斯金字塔过程中，高斯金字塔一般选择为4阶，每 一阶有s层尺度图像，s一般选择为5层。其中，第1阶的第l层 是放大2倍的原始图像，其目的是为了得到更多的特征点。在 同一阶中相邻两层的尺度因子比例系数是k。下一阶的第l层 由上一阶的中间层尺度图像进行子抽样获得，其尺度因子是 上一层的k倍。
高斯差分金字塔
通过以上步骤，已经得到了每个特征点的位臵、尺度、 方向。然后需要为每个特征点建立一个描述符，使其不随 各种变化而变化，比如光线变化、视角变化等。并且特征 点描述符要尽量与众不同，以便于特征点间的匹配。
生成SIFT特征向量
以关键点为中心取8×8的窗口。 图5-4左部分的中央黑点为当 前关键点的位臵，每个小格代 表关键点邻域所在尺度空间的 一个像素，箭头方向代表该像 素的梯度方向，箭头长度代表 梯度模值，图中蓝色的圈代表 高斯加权的范围（越靠近关键点的像素梯度方向信息贡献越大）。 然后在每4×4的小块上计算8个方向的梯度方向直方图，绘制每个 梯度方向的累加值，即可形成一个种子点，如图右，一个关键点 由2×2共4个种子点组成，每个种子点有8个方向向量信息。这种 邻域方向性信息联合的思想增强了算法抗噪声的能力，同时对于 含有定位误差的特征匹配也提供了较好的容错性。每一组梯度方向直方图占据的图像宽
T r(H)2 ( ) 2 ( 1)2 Det(H)
对于边缘，由于在两个主方向的方向导数差别 较大，(λ+1)2／λ的值将会较大，因此对于不满足 （lows论文中λ=10） 即可认为该点在边缘上，此时应该将其剔除。
T r(H)2 ( 1)2 Det(H)
如下图1左图所示，DOG金字塔通过高斯金字塔中相邻尺度空 间函数相减得到的，在图中，DOG金字塔的第l层的尺度因子与高 斯金字塔的第l层是一致的，其他阶也一样。
•高斯DOG金字塔
Sampling with step 4 =2

Original image
2
1 4

高斯差分金字塔
Lowe的sigma初值 为常量，用户设定，实 验时取1.6，做高斯卷积 的时候可以取 sigma,k*sigma,k*k*sigm
H DXY DYY
式中DXX、DXY、DYY均为二阶方向导数，设矩阵H的特 征值为α、β(α>β)，则有：
Tr(H) DXX DYY Det(H) DXX DYY - (DXY )2
精确确定关键点的位臵和尺度
其中Tr(H)为矩阵的迹，Det(H)为矩阵行列式值， 设α=λβ，则有：
SIFT特征向量特性
۞SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化 保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳 定； ۞独特性好，信息量丰富，适用于在海量特征数据库中进行快速、 准确的匹配。 ۞多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 ۞高速性，经优化的SIFT匹配算法甚至可以达到实时的要求。 可扩展性，可以很方便的与其他形式的特征向量进行联合。
特征点过滤和位臵确定
由于DOG值对噪声和边缘较敏感，因此，在上面DOG尺度中 检测到局部极值点还要经过进一步的处理，将候选特征点中低 对比度对噪声敏感的候选特征点或位于边缘的候选特征点过滤 掉。然后才能确定稳定特征点的位臵和尺度等信息。 得到候选的特征点后，需要利用其周围的数据对特征点进 行精确的定位。SIFT特征是通过拟和三维二次函数来精确确 定特征点的位臵和尺度的.
同的亮度属性、不同的位臵（平移和旋转）、不同 的比例尺、不同的非线性变形的图像对应起来。
尺度不变特征算法的提出
David G.Lowe在1999年所发表，2004年总结 了现有的基于不变量技术的特征检测方法，并 正式提出了一种基于尺度空间的、对图像缩放、 旋转甚至仿射变换保持不变性的图像局部特征 描述算子—尺度不变特征变换（SIFT算法）。
SIFT特征向量的匹配
当两幅图像的SIFT特征向量生成后，采用关键点 特征向量的欧式距离来作为两幅图像中关键点的相似 性判定度量。取图像1中的某个关键点，并找出其与图 像2中欧式距离最近的前两个关键点，在这两个关键点 中，如果最近的距离除以次近的距离少于某个比例阈 值，则接受这一对匹配点。降低这个比例阈值，SIFT 匹配点数目会减少，但更加稳定。
图像尺度空间
尺度空间理论是通过对原始图像进行尺度变 换, 获得图像多尺度下的尺度空间表示序列, 对 这些序列进行尺度空间主轮廓的提取, 并以该主 轮廓作为一种特征向量,提取的特征点可能是角点、 边缘点、暗区域的亮点以及亮区域的暗点等
高斯卷积核是实现尺度变换的唯一线性核
尺度空间的生成：
Koendetink证明高斯卷积核是实现尺度变换的唯一变换核，而 Lindeberg等人则进一步证明高斯核是唯一的线性核。二维高斯 函数定义如下： 1 ( x 2 y 2 ) G ( x, y , ) e / 2 2 σ代表了高斯正态分布的方差。 2 2 一幅二维图像，在不同尺度下的尺度空间表示可由图像与高斯 L( x, y, ) G( x, y, ) I ( x, y) 核卷积得到： 式中，(x,y)代表图像的像素位臵，σ称为尺度空间因子，其值 越小则表征该图像被平滑的越少，相应的尺度也就越小。大尺 度对应于图像的概貌特征，小尺度对应于图像的细节特征。L代 表了图像的尺度空间。 高斯尺度空间是一种模拟人眼视觉机理的理想数学模型。
(a)原始影像 (c)用对比度限制
(b) 在DoG检测的初始关键点 (d)用对比度和边缘响应去除
为每个关键点指定方向参数
在DOG尺度空间检测到的局部极值点在经过精确化点 的位臵、剔除低对比度的点、消除边缘响应后所保留的点 被称为关键点(Keypoint)，此时的关键点信息包括位臵信息 及尺度信息。 SIFT算法以关键点邻域图元点的梯度方向分布特性作 为指定方向参数，使算子具备旋转不变性。在实际计算时， 以关键点为中心的邻域窗口采样，计算每个像素点的梯度 向量，计算公式如下：
a... 这里k = pow(ห้องสมุดไป่ตู้2.0, 1.0 / intvls ，其中intvls就是你 想做几层高斯金字塔，一 般intvls>=3
高斯金字塔与高斯差分金字塔
尺度空间极值检测
寻找范围：差分金字塔中的第0 层和最上面的一层排除 中间的差分图像中，像素的横坐 标或者纵坐标中任一个值与图像 边界值之间的差值小于5的点排除。 为了检测到DOG空间的最大 值和最小值，DOG尺度空间中的 中间层(最底层和最顶层除外)的 每个像素点需要跟同一层的相邻8个像素点以及它上一层 和下一层的9个相邻像素点总共26个相邻像素点进行比较， 以确保在尺度空间和二维图像空间都检测到局部极值。初 步确定关键点位臵和所在尺度。
基于尺度不变特征变换的图像匹配
特征匹配 尺度不变特征变换（SIFT） 基于SIFT的图像匹配 匹配算法实验结果与分析
特征匹配
特征匹配是指通过分别提取两个或多个图像的 特征（点、线、面等特征），对特征进行参数描述， 然后运用所描述的参数来进行匹配的一种算法。 与基于灰度的匹配方法相比，特征相对于几何 图象和辐射度影响来说更不易变化，但特征提取方 法的计算代价通常较大。 图像匹配的核心问题：将不同的分辨率、不
SIFT特征匹配算法步骤
SIFT特征匹配算法包括两个阶段:第一阶段是SIFT特征的生 成，即从多幅待匹配图像中提取出对尺度缩放、旋转、亮度 变化无关的特征向量；第二阶段是SIFT特征向量的匹配。 一幅图像SIFT特征向量的生成算法总共包括4步： (1)尺度空间极值检测，以初步确定关键点位臵和所在尺度。 (2)通过拟和三维二次函数以精确确定关键点的位臵和尺度， 同时去除低对比度的关键点和不稳定的边缘响应点。 (3)利用关键点邻域像素的梯度方向分布特性为每个关键点指 定方向参数，使算子具备旋转不变性。 (4)生成SIFT特征向量。
建立DOG尺度空间
SIFT方法是通过寻找尺度空间中的极值来确定特征点， 首先必须来构建图像的高斯差分(DOG)金字塔尺度空间，然 后在DOG金字塔尺度空间中进行极值检测。 DOG差分尺度空间由不同尺度的高斯差分核与图像卷积生 成： k为常数
D( x, y, ) (G( x, y, k ) G( x, y, )) I ( x, y) L( x, y, k ) L( x, y, )
SIFT变换思想
Lowe在图像二维平面空间和DoG(Difference -ofGaussian)尺度空间中同时检测局部极值以作为特征 点，以使特征具备良好的独特性和稳定性。对于图像 上的点，计算其在每一尺度下DoG算子的响应值，这 些值连起来得到特征尺度轨迹曲线。特征尺度曲线的 局部极值点即为该特征的尺度。尺度轨迹曲线上完全 可能存在多个局部极值点，这时可认为该点有多个特 征尺度。
X
2 D -1 D X X 2 X

DT D(X) D X X

可以用来衡量特征点的对比度，即如果 D(X ) 则X 为不稳定的特征点。


D(X)


特征点过滤和位臵确定
因为DoG算子会产生较强的边缘响应，一个定义不好 的高斯差分算子的极值在横跨边缘的地方有较大的主曲率， 而在垂直边缘的方向有较小的主曲率。 特征点两个方向导数的大小反映在Hessian矩阵的特征 值中： DXX DXY