特征的提取与匹配

图像自相关函数分析
➢矩阵A与信号处理中的自相关函数密切相关. ➢设α，β为矩阵A的特征值，则α，β与局部自相关函数的主 曲率成比例. ➢当两个曲率都低时，局部自相关函数是平坦的，那么窗口图 像区域的灰度值近似为常量；当只有一个曲率高而另一个曲 率低时，局部自相关函数呈脊形，那么E只有当沿山脊移动时 变化小，这就表示是边缘；当两个曲率都高时，局部自相关 函数是尖峰，那么E在任意方向上移动都会增加，这就表示是 角点. ➢因此我们可以由α，β的值判断是否是角点。为了不对M进 行分解求特征值，可以采用Tr(A)和Det(A)来代替α，β，
T cc (c 5)
当 q Tq同时 w Tw ，该像素为待选点
（5）选取极值点
即在一个适当窗口中选择最大的待选点
Harris算子
▪ 角点是景物轮廓线上曲率的局部极大点，对掌握景物 的轮廓特征具有决定作用。一旦找到了景物的轮廓特 征点也就大致掌握了景物的形状。直观的讲，角点就 是图像上所显示的物体边缘拐角所在的位置点。
ick jrk
ck 1 r k 1
gu gv
( gi1, j 1 gi, j )(gi, j 1 gi 1, j )
ick jrk
哪个图像块更容易被定位？
Aperture problems for different image patches:
判断两幅图像的相似度 由于无法得到另一幅图像，只能在当前图像内寻找 根据泰勒级数展开， 可得，
Forstner算子
计算各像素的Roberts梯度和像素（c，r）为中心 的一个窗口的灰度协方差矩阵，在图像中寻找具有 尽可能小而接近圆的误差椭圆的点作为特征点。
-1 1
r
l
Roberts梯度
1
-1
c
Forstner算子步骤
（l）计算各像素的Roberts梯度
gu
g u
g i 1,
j 1
gi,
j
▪ Harris角点检测法是一种基于图像灰度的检测方法， 这类方法主要通过计算点的曲率及梯度来检测角点。 该方法是由Harris和Stephen于1988年提出来的， 也叫Plessey角点检测法。其基本思想与Moravec角 点算子相似，但对其作了许多改进。
Moravec角点算子
计算各像素沿同方向的平均灰度变化，选取最小值作为对应 像素点的角点响应函数。定义在一定范围内具有最大角点响 应的像素点为角点。 Moravec角点算子简单快速，但是它存在一些缺点: •各向异性,只考虑四个方向 •对强边界敏感,只考虑了兴趣值的最小值
Moravec算子
Moravec于1977年提出利用灰度 方差提取点特征的算子
r
w
c
（1）计算各像素的兴趣值 IV
k 1
V1
( g c i,r g c i 1,r ) 2
ik
k 1
ቤተ መጻሕፍቲ ባይዱ
V2
( gci,r i
g
ci
1, r
i
1
)
2
ik
k 1
V3
( g c,r i g c,r i 1 ) 2
➢Harris算法认为，特征点是局部范围内的极大兴趣值对应的像 素。因此，在计算完各点的兴趣值后，要提取出原始图像中的 所有局部兴趣值最大的点。 ➢实际操作中，可以依次取出每个像素的8邻域中的8个像素， 从中心像素和这8个像素中提出最大值，如果中心点像素的兴趣 值就是最大值，则该点就是特征点。 ➢在提取特征点时，凡满足大于某一阈值的像素点均可被认为是 特征点。 ➢阈值选取的方法：通过确定图像中所能提取的最大可能的特征
Tr(A) A B Det(A) AB C2
A Ix2
B
I
2 y
C IxIy
（3）计算兴趣值q与w
1 DetN
trQ trN
q 4DetN (trN )2
DetN代表矩阵N之行列式 trN代表矩阵N之迹
(4）确定待选点
Tq 0.5 ~ 0.75
fw ( f 0.5 ~ 1.5)
Harris角点算子
这里一阶微分可以由下面的式子近似 因此,E可以表现成:
Harris角点算子
为消除噪声,进行高斯平滑:
在平移方向(x，y)上的E可以表示如下:
M
~
G(s)
gx gxg
y
M为 2×2的矩阵:
gxgy
gy
Harris角点算子
兴趣值的计算公式为:
I Det(M ) kTrace2 (M ), k 0.04
ik
V4
k 1
( g ci,r i
ik
g c i 1,r i 1 ) 2
K=int
(w/2)
IVc,r min{V1,V2 ,V3,V4}
（2）给定一经验阈值，将兴趣值大 于阈值的点作为候选点。
（3）选取候选点中的极值点作为 特征点。
综上所述，Moravec算子是在四个 主要方向上，选择具有最大――最 小灰度方差的点作为特征点。
点数目N来选择值最大的若干像素点作为特征点。局部极值点的 数目往往很多，根据I值进行排序，取其前N个为特征点。
SUSAN算子
▪ SUSAN算法由Smith S M在1997年提出, 是一种基于结构元的点特征提取算子.
▪ SUSAN是“Smallest Univalue Segment Assimilating Nucleus”的缩写, 即同化核分割最小值。
gv
g v
gi, j 1
gi1, j
（2）计算ll（如55或更大）窗口 中灰度的协方差矩阵
QN
gu 2
gu
gv
gv gu
gv2
ck 1 r k 1
g
2 u
( gi 1, j 1 gi , j )2
ick jrk
ck 1 r k 1
g
2 v
( gi , j 1 gi 1, j )2
第四章 特征的提取与匹配
特征的提取和匹配
左图像
角点
线
结构
▪ 对于左图像中的每一个特征…
特征的提取和匹配
右图像
角点
线
结构
▪ 在右图像中寻找相似度最大的特征
基于特征的计算机视觉处理的一般流程
▪ 特征提取
➢ 确定显著性图像特征（点、线、面）的位置
▪ 特征描述
➢ 对特征进行紧凑、唯一、可理解的描述
▪ 特征匹配
➢ 在其它图像中寻找相似度最大的特征
▪ 特征跟踪（可选，一般用于视频处理）
➢ 仅在原有特征的很小的邻域范围内寻找特征
主要内容
▪ 点特征的处理 ▪ 面特征的处理 ▪ 边缘特征的处理 ▪ 线特征的处理
点特征提取算法
点特征主要指 明显点，提取 点特征的算子 称为兴趣算子 或有利算子
点特征的灰度特征