特征匹配算法

Harris points
Harris-Laplacian points
1.2 尺度不变特征检测

(5) The Hessian-Laplace Detector 思想与Harris-Laplacian Detector相同
图：Harris-Laplace算子在 同一场景下不同尺度的两幅 影像上特征检测结果，圆的 半径代表了特征尺度大小
图：利用二阶矩矩阵的特征值估计兴趣点区域的仿射形状， 变换是用该矩阵的平方根进行的，经过归一化的图像XL 和XR之间的变换是旋转变换关系，只取决于一个旋转因 子，因子大小代表了特征值的比率
图：Harris-Affine算子检测的从不同视角得到的结果图
图：Hessian-Affine算子得到的不同视图下的影像检测结果
2 I ( x, y ) I xx ( x, y ) I yy ( x, y ) 1 2 1 0 1 2 * I 1 1 0 1 4 1 0 1 *I 0
Laplacian算子具有旋转不变性，但对噪声很敏感，因此常需进行平滑
det( H ) I xx I yy I xy
2
I
Ixx
Ixy
Iyy
小总结

Harris detector ◇ Rotation invariant ? Yes
The eigenvalues of M reveal the amount of intensity change in the two principal orthogonal gradient directions in the window.

1.2 尺度不变特征检测



(1) 尺度选择 (2) The Laplacian-of-Gaussian (LoG) Detector (3) The Difference-of-Gaussian (DoG) Detector (4) The Harris-Laplacian Detector (5) The Hessian-Laplace Detector
I ( xw x, yw y ) I ( xw , yw
重新计算 f(x,y):
) I
x
( xw , y w )
I y ( xw , y w
x ) y
f ( x, y )
( x w , y w )W
[I
x ( xw , y w )
1. 几何变换
（1）平移Translation （2）欧几里德几何（平移+旋转） （3）相似性变换（平移+旋转+尺度） （4）仿射变换 （5）投影变换 2. 光照变化

一. 特征匹配过程 1 特征提取 1.1 Harris and Hessian Detector 1.2 尺度不变特征检测 1.3 仿射不变特征检测 1.4 特征提取总结 2 特征描述 3 特征匹配 二. SIFT算法
1.2 尺度不变特征检测

(3) The Difference-of-Gaussian (DoG) Detector 可用高斯差分函数(DoG)近似LoG
D( x, y, ) (G( x, y, k ) G( x, y, )) * I ( x, y)
•Computation in Gaussian scale pyramid
Dxx HD D xy Dxy Dyy Hessian matrix of D
Keypoint detection:
trace 2 H D th det H D
1.2 尺度不变特征检测

(4) The Harris-Laplacian Detector 1 初始化：多尺度下的Harris角点检测 2 基于Laplacian的尺度选择
Lowe’s DoG keypoints [Lowe] Edge zero-crossing Blob at corresponding scale: local extremum ! Low contrast corner suppression: threshold Assess curvature distinguish corners from edges
1.2 尺度不变特征检测

(1) 尺度选择
1.2 尺度不变特征检测

(1)尺度选择
f ( I i1 ... im ( x, ))
f ( I i1 ... im ( x' , ' ))
1.2 尺度不变特征检测

(2) The Laplacian-of-Gaussian (LoG) Detector ◇1 Laplacian filter
Autocorrelation (second moment) matrix
2 I x ( xw , y w ) ( xw , y w )W M I x ( xw , y w ) I y ( xw , y w ) ( xw , yw )W 1 0 0 2 x ( xw , y w )W
Scale No Yes Yes Yes
Affine No No No Yes
2 D
I x ( x, D ) g ( D ) * I ( x) x g ( ) 1 2 2
x2 y2
e
2 2
公式由来说明
影像信号的局部自相关函数
给定点(x, y)及位移(△x, △y)，窗口为W，用差平方和(SSD)近似自相关函数，计算窗 口W和位移窗口内灰度的差别。

（1）Harris detector (Harris, 1988)

Second moment matrix/ autocorrelation matrix
M Harris (x, I , D ) I x2 (x, D ) I x (x, D ) I x (x, D ) (x, I , D ) G ( I ) 2 I y (x, D ) I x (x, D ) I x (x, D )
f ( x, y )
xw
[I (x
yw


2 , y ) I ( x x , y y )] w w w w
( x w , y w ) W
[I ( x
w
, y w ) I ( xw x, y w y )]2
位移后影像函数通过一阶泰勒展开式近似
Sampling with step 4 =2

Original image
2
1 4


LoG and DoG


Zero crossings ―Mexican hat‖, ―Sombrero‖ Edge detector !
LoG : L (G I ) (G ) I 0 DoG : D G1 I G2 I 0
基于特征的匹配

一. 特征匹配过程 1 特征提取 2 特征描述 3 特征匹配 二. SIFT算法

Local features Detection:
2 x 2 matrix of image derivatives (averaged in neighborhood of a point).
The need for invariance
一. 特征匹配过程 1 特征提取 1.1 Harris and Hessian Detector 1.2 尺度不变特征检测 1.3 仿射不变特征检测 1.4 特征提取总结 2 特征描述 3 特征匹配 二. SIFT算法
Detector Harris corner DoG
Illuminati Rotation on Yes Yes Yes Yes Yes Yes
I y ( xw , y w
x ) y ]
2
I x ( xw , y w ) x x y y I x ( xw , y w ) I y ( xw , y w ) I ( x , y ) y w w ( xw , y w )W x x y M y ―second moment matrix M‖
操作
I(x,y) O(x,y)
Smooth
Laplacian
◇2 LoG filter
高斯滤波平滑，然后拉普拉斯滤波。
2 ( I ( x, y) * G( x, y)) 2G( x, y) * I ( x, y)
2G 2G G( x, y ) 2 2 x y
2
Laplacian-of-Gaussian (LoG)尺度空间的局部极大值点

Harris detector 流程 Image derivatives
1.
2. Square of derivatives
3. Gaussian filter g( I)
4. 源自文库ornerness function
cHarris det M trace M
5. Non-maxima suppression cHarris > tHarris
1 0 T M X X 0 2
◇ Scale invariant ? No

Hessian detector
◇ Rotation invariant ? Yes ◇ Scale invariant ? No

一. 特征匹配过程 1 特征提取 1.1 Harris and Hessian Detector 1.2 尺度不变特征检测 1.3 仿射不变特征检测 1.4 特征提取总结 2 特征描述 3 特征匹配 二. SIFT算法

Harris/Hessian Affine
给定一组由Harris-Laplace算子得到其尺度特征的初 始点，用椭圆形区域获得仿射不变性。具体处理步 骤如下： (1)由Harris-Laplace算子获得兴趣点初始区域 (2)由二阶矩矩阵估计区域仿射形状 (3)归一化仿射区域成为圆形区域 (4)在归一化的影像上重新检测新的位置和尺度 (5)如果二阶矩矩阵的特征值在新的点上不相等，则 转(2)
I (x , y )I (x , y I (x , y )
w w y w 2 y ( xw , y w )W w w
w
)
—M can be used to derive a measure of ―cornerness‖ —Independent of various displacements (Δx, Δy) —Corner: significant gradients in >1 directions rank M = 2 —Edge: significant gradient in 1 direction rank M = 1 —Homogeneous region rank M = 0
（2）Hessian detector ( Beaudet,1978)

Taylor二阶展开式
I ( x0 x) I ( x0 ) x I ( x0 ) x ( x0 )x
T T
得到Hessian矩阵
I xx ( x, D ) I xy ( x, D ) H I ( x , ) I ( x , ) D yy D xy 其中，Ixx是高斯平滑函数的二阶偏导数
图：Hessian-Laplace算 子应用于具有尺度改变 的影像结果

一. 特征匹配过程 1 特征提取 1.1 Harris and Hessian Detector 1.2 尺度不变特征检测 1.3 仿射不变特征检测 1.4 特征提取总结 2 特征描述 3 特征匹配 二. SIFT算法

1.3 仿射不变特征检测