SIFT特征

描述符生成
20*20(单位为pixel)区域 划分为4*4(或2*2)的子区 域，每个子域计算8bin 直方图
20*20(单位为sigma)区域划分为 4*4子域，每个子域计算5*5个采 样点的Haar小波响 应，记录 ∑dx, ∑dy, ∑|dx|,∑|dy|。
3.SIFT研究现状
SIFT、PCA-SIFT
2.SIFT原理
尺度空间的极值点检测
建立高斯金字塔 建立DOG金字塔 DOG空间极值点检测 关键点的精确定位
确定关键点的主方向
生成SIFT特征矢量（生成关键点的描述算子）
2.SIFT原理
尺度空间的极值点检测
一个图像的尺度空间 L( x, y, ) 定义为原始图像 I ( x, y ) 与一个可变尺度的2维高斯函数 G( x, y,卷) 积运算。
T
对尺度空间DoG函数进 行曲线拟合其Taylor展 开式（1）； （1）式求导得（2）； 计算（4）； 所有取值小于0.04的极 值点均可抛弃。
D 2 D 1 X ( 2 ) (2) X X T 1 D D X D X (3) 2 X
T

| D( X ) | (4)
Octave 5 Octave 4 Octave 3
…
…
8
…
4
2
…
Octave 2

…
Octave 1
2.SIFT原理

建立高斯金字塔

高斯金字塔共O组， 每组S层，则有：
组内相邻两层的尺度 1 s 1 s S 2 组间相邻两层的尺度
o 1 ( s) o 2
关键点周围区域图像梯度
关键点描述子
2.SIFT原理

x
x
y
y
Lowe实验结果表明： 描述子采用4×4×8 ＝128维向量表征， 综合效果最优（不变 性与独特性）。
3 oct 3 oct 3 oct 3 oct
x
y
2.SIFT原理

生成SIFT特征矢量 步骤如下： 1.确定计算描述子所需的图像区域； 2.将坐标轴旋转为关键点的方向，以确保旋转不变性； 3.将邻域内的采样点分配到对应的子区域内，子区域内 的梯度值分配到8个方向上，计算其权值； 4.插值计算每个种子点八个方向的梯度； 5.如上统计的梯度信息即为该关键点的特征向量； 6.描述子向量门限； 7.按特征点的尺度对特征描述向量进行排序。
每组检测S个极值点， DOG金字塔每组需要S+2 层，高斯金字塔每组需要 S+3层。
2.SIFT原理

DOG检测局部极值点
关键点是由DOG空间的局部极值 点组成的。为了寻找DoG函数的 极值点，每一个像素点要和它所 有的相邻点比较，看其是否是所 有相邻点中的最大值或最小值， 若是就认为它是一个极值点。 中间的检测点和它同尺度的8个相 邻点和上下相邻尺度对应的9×2 个点共26个点比较，以确保在尺 度空间和二维图像空间都检测到 极值点。
2.SIFT原理

去除不稳定的边缘响应点：
获取极值点处的Hessian矩阵，主曲率 H Dxx Dxy D Dyy 通过一个 2*2的Hessian矩阵H求出。 xy D的主曲率和H的特征值成正比，令为最大特征值， 为 最小的特征值。
tr ( H ) Dxx Dyy Det ( H ) Dxx Dyy ( Dxy ) 2
2.SIFT原理

降采样 上一组图像的底层是由 前一组图像的最后一层 图像隔点采样生成的。
2.SIFT原理

建立DOG金字塔
在尺度空间中有效检测关 键点的位置，对图像使用 可变的高斯差分函数 D( x, y, ) 求尺度空间中的极值。
D( x, y, ) L( x, y, k ) L( x, y, )
2.SIFT原理
关键点的精确定位
上面检测到的极值点是离散的空间极值点， 通过三维二次函数精确确定关键点的位置和尺 度，同时去除低对比度的极值点和不稳定的边 缘响应点（DOG算子会产生较强的边缘响应）， 以增强匹配稳定性、提高抗噪声能力。
2.SIFT原理

去除低对比度的点
D 1 T 2 D D X D X X X (1) X 2 X 2
2.SIFT原理

确定关键点的主方向 关键点主方向：极值点周 围区域梯度直方图的主峰 值也是特征点方向 关键点辅方向：在梯度方 向直方图中，当存在另一 个相当于主峰值80%能量 的峰值时，则将这个方向 认为是该关键点的辅方向。
2.SIFT原理
生成SIFT特征矢量
描述子由2×2×8维向量表征，即2×2个8方向的方向直方图组成。 左图的种子点由8×8单元组成。每一个小格都代表了特征点邻域所 在的尺度空间的一个像素，箭头方向代表了像素梯度方向，箭头长 度代表该像素的幅值。在4×4的窗口内计算8个方向的梯度方向直 方图。绘制每个梯度方向的累加可形成一个种子点，如右图所示： 一个特征点由4个种子点的信息所组成。
2.SIFT原理
SIFT算法的实质可以归为 在不同尺度空间上查找 特征点（关键点）的问 题。 关键点，就是在不同尺 度空间的图像下检测出的 具有方向信息的局部极值 点。 尺度空间理论是通过对原 始图像进行尺度变换，获 得图像多尺度下的尺度空 间表示序列，对这些序列 进行尺度空间主轮廓的提 取，并以该主轮廓作为一 种特征向量，实现边缘、 角点检测和不同分辨率上 的特征提取等。
2.SIFT原理

旋转后区域内采样点的新坐标为：
ˆ x cos ˆ y sin sin x cos y
x
x
y
y
2.SIFT原理

在区域内对每个像素点求其梯度幅值和方向，然后对每 个梯度幅值乘以高斯权重参数，生成方向直方图。
L( x, y, ) G( x, y, )* I ( x, y)
G( x, y, ) 1 2
2 ( x2 y 2 )
e
2 2
2.SIFT原理

建立高斯金字塔
高斯金子塔的构建过程可 分为两步： 1）对图像做高斯平滑； 2）对图像做降采样。 根据不同的尺度，一幅图 像可以产生几组(octave) 图像，一组图像包括几层 (interval)图像。
common
good
best
good
4.SIFT在图像中的应用
4.1 图像匹配 4.2图像配准 4.3图像检索 4.4图像拼接 4.5人脸识别

4.SIFT在图像中的应用

4.1 图像匹配 郑永斌等人提出一种SIFT 和旋转不变LBP相结 合的图像匹配算法，以提高SIFT 算法的速度。 首先利用SIFT 关键点检测方法在2幅待匹配图 像上分别检测关键点，得到2个关键点集；然后 计算每个关键点周围图像区域的旋转不变LBP 特征， 并将其作为该关键点的描述；最后采用 基于关键点最近邻距离比值的匹配策略，找出2 个关键点集之间存在匹配关系的关键点对。


ASIFT 两个向量空间之间的一个 仿射变换。ASIFT可以抵 抗强仿射情况，提取的 特征点远多于SIFT算法。
3.SIFT研究现状
SIFT
特征点检测 用不同尺度的高斯函数 与图像做卷积
SURF
用不同大小的box filter与原始图 像做卷积，易于并行
方向
特征点邻域内，利用梯 度直方图计算
特征点邻接圆域内，计算x、y方 向上的Haar小波响应
weight w * drk * (1 dr)1k * dcm * (1 dc)1m * don * (1 do)1n
m,n,k取0或1。
dr 1-dc 1-dr dc
3.SIFT研究现状
优点 缺点 1)SIFT特征是图像的局部特征， 1）实时性不高； 其对旋转、尺度缩放、亮度变 2）有时特征点较少； 化保持不变性，对视角变化、 3）对边缘光滑的目标无法准 仿射变换、噪声也保持一定 确提取特征点。 程度的稳定性； 2)独特性好，信息量丰富，适用 于海量特征数据库中进行快速、 准确的匹配； 3)多量性，即使少数的几个物体 也可以产生大量的SIFT特征向 量； 4)高速性，经优化的SIFT匹配算 法可以达到实时的要求； 5)可扩展性，可以很方便的与其 他形式的特征向量进行联合。
sS S
(s) 0 2
s
S
o 2

sS
S
2 o 2
s
S
——尺度空间坐标； s——sub-level层坐标； ——初始尺度； 0 S——每组层数。
组内和组间尺度可归纳为 2i 1 ( , k , k 2 ,k n1 ) 1 k 2 S i—Octave n—intervals
4.SIFT在图像中的应用

实验结果表明，文中算法 对结构内容图像的匹配性 能与SIFT算法相当， 运 算速度比SIFT算法大为 提高。
4.SIFT在图像中的应用

4.2图像配准 刘向增等人提出了一种基于仿射不变稳健 SIFT 特征的 SAR 图像配准方法(RSIFT+SVD)。在以 Hessian 矩阵特征值为参数椭圆邻域内构造特征 点的 SIFT特征具有仿射不变性，并在构造过程 中采用 Premitt算子计算像素点的梯度和方向， 利用了更多的邻域信息减小了算法的对灰度变 化的敏感性。考虑了点邻域的灰度相关性和点 对的尺度比和方位差误差，定义了新的相似性 度量，提高了算法对大几何变化及灰度变化的 稳健性。
3.SIFT研究现状

改进 SIFT在图像的不变特征提取方面拥有优势，但 存在着实时性不高、有时特征点较少、对边缘 模糊的目标无法准确提取特征点等缺陷。
SБайду номын сангаасFT家族
SIFT Lowe,1999
PCA-SIFT Y.ke, 2004
CSIFT Farag.2006
SURF Bay,2006
ASIFT J.M. Morel 2009
?
3.SIFT研究现状

PCA-SIFT PCA是一种数据降维技 术。通过降维技术，可有 效化简SIFT算子的128维 描述子。 SURF SURF是SIFT算法的增强 版，SURF算法的计算量 小，运算速度快，提取 的特征点几乎与SIFT相 同。

CSIFT 彩色尺度特征不变变换， 可以针对彩色图像进行图 像的不变特征提取。

tr ( H ) 2 ( ) 2 ( ) 2 ( 1) 2 2 Det ( H )
不满足
tr ( H ) 2 ( 1) 2 Det( H )
10 的点就认为它不是关键点。
2.SIFT原理
确定关键点的主方向
与 SURF 的对比
method Sift PCA-sift
Time common good
Scale best good
Rotation best good
Blur common best
Illumination Affine common good good best
Surf
best
common
SIFT特征
主要内容

SIFT简介 SIFT原理 SIFT研究现状 SIFT图像中的应用 参考文献
1.SIFT简介

1999年David G.Lowe教授提出了一种基于 尺度空间的、对图像缩放、旋转甚至仿射 变换保持不变性的图像局部特征描述算子 －尺度不变特征变换（Scale Invariant Feature Transform，SIFT ），2004年得到 完善。
( x, y ) tan1 (( L( x, y 1) L( x, y 1) ( L( x 1, y) L( x 1, y))
2.SIFT原理

确定关键点的主方向 1.直方图以每10度方向为一个柱，共36个柱，柱所代表 的方向为像素点梯度方向，柱的长短代表了梯度幅值。 2.根据Lowe的建议，直方图统计半径采用3*1.5*σ。 3.在直方图统计时，每相邻三个像素点采用高斯加权， 根据Lowe的建议，模板采用[0.25,0.5,0.25]，并连续加权 两次。
通过尺度不变性求极值点，可以使其具有缩放不变的性 质，利用关键点邻域像素的梯度方向分布特性，可以为 每个关键点指定方向，使描述子对图像旋转具有不变性。 像素点( x, y ) 处的梯度表示：
m( x, y ) ( L( x 1, y ) L( x 1, y ))2 ( L( x, y 1) L( x, y 1))2