5-目标检测：基于特征描述子的方法-harris
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目标检测—— 基于特征描述子的方法
吴金建 电子工程学院
目标检测—— 基于特征描述子的方法
引言
图像变化的类型
• 几何变化
– 旋转 – 相似(旋转 + 各向相同的尺度缩放) – 仿射 (非各向相同的尺度缩放) 适用于: 物体局部为平面
• 灰度变化
– 仿射灰度变化 (I a I + b)
引言
引言
角点特征是影像的重要特征，在各种影像特征中角点具
有旋转不变性和不随光照条件改变而改变的优点在一些
应用中使用角点特征进行处理，可以减少参与计算的数
据量，同时又不损失图像的重要灰度信息，利用角点特 征进行匹配可以大大提高匹配的速度。
其在三维场景重建、运动估计、目标跟踪、目标识别、
图像配准与匹配等计算机视觉领域起着非常重要的作用。
尺度和旋转的适应方面不及SIFT。
SURF 算法通过计算积分图像和 Fast-Hessian 矩阵大大 提高了特征点检测的速度，但特征匹配时采用的是全局最 近邻搜索方法，由于SURF特征向量是高维向量，其计算 量大、匹配正确率低。
HARRIS 角点检测
Harris角点检测基本思想
从图像局部的小窗口观察图像特征 角点定义：窗口向任意方向的移动都导致图像灰度
的明显变化
HARRIS 角点检测
Harris角点检测基本思想
平坦区域： 任意方向移动， 无灰度变化
边缘： 沿着边缘方向移 动，无灰度变化
角点： 沿任意方向移动， 明显灰度变化
HARRIS检测：数学表达
将图像窗口平移[u,v]产生灰度变化E(u,v)
窗口函数
平移后的 图像灰度 或 1 in window, 0 outside
什么是好的角点检测算法？
• 检测出图像中“真实的”角点；
• 准确的定位性能；
• 很高的重复检测率（稳定性好）；
• 具有对噪声的鲁棒性； • 具有较高的计算效率；
引言
Harris等人对Moravec算子进行改进，主要克服只对四个 方向进行研究的问题，提出了通过Taylor级数展开法，实现 窗口沿任何方向位移的灰度变化情况，最后特征点的确定用
轴方向的平面曲率。
E(u,v)的椭圆形式
(max)-1/2
(min)-1/2
快速变化的方向
缓慢变化的方向
HARRIS检测：数学表达
通过M的两个特征 值的大小对图像点 进行分类:
2 “Edge” 2 >> 1 “Corner” 1 和 2 都较大且数值 相当 1 ~ 2;
图像窗口在所有方向上移 动都产生明显灰度变化
两幅图像，寻找同一场景点投影到图像中的像素之间的对
应关系，主要步骤为图像特征点提取和最小距离计算。
不同类型的特征点
什么是角点？
目前关于角点的具体定义和描述主要有如下几种：
1．角点是两条及两条以上边缘的交点； 2．角点是指图像中梯度值和梯度方向的变化速率都很高的点。 3．角点是一阶导数(即灰度的梯度)的局部最大所对应的像素点； 4．角点处的一阶导数最大，二阶导数为零；
旋转不变性：
椭圆转过一定角度但是其形状保持不变 （特征值保持不变）
角点响应函数 R 对于图像的旋转具有 不变性
HARRIS角点的性质
对于图像灰度的仿射变化具有部分的不变性
只使用了图像导数 => 对于灰度平移变化不变 II+b 对于图像灰度的尺度变化: I a I
R
阈值
R
x (image coordinate)
如果1 和 2 都很小， 图像窗口在所有方向上 移动都无明显灰度变化
“Flat” region
“Edge” 1 >> 2 1
HARRIS检测：数学表达
定义：角点响应函数R
(k – empirical constant, k = 0.04-0.06)
HARRIS检测：数学表达
2 R 只与M的特征值有关 • 角点：R 为大数值正数 • 边缘：R为大数值负数 • 平坦区：R为小数值 “Flat” |R| small “Edge” R<0 1 “Edge” R<0 “Corner”
SIFT(Scale Invariant Feature Transform)特 征算子，该算子不仅具有尺度、旋转、仿射、视角、 光照不变性，对目标的运动、遮挡、噪声等因素也 保持较好的匹配性。
该算子目前已广泛应用于机器人定位和导航、地图
生成及三维目标识别中。
引言
2006 年 Bay 提 出 了 SURF(Speeded Up Robust Features)算法，进一步提高了特征的提取速度，但在对
x (image coordinate)
HARRIS角点的性质
对于图像几何尺度变化不具有不变性：
图像缩小
角点 !
这几个点被分类为边缘点
R>0
HARRIS角点检测
Harris算法认为：所谓的特征点就是极大角点响
应函数在局部范围内对应的像素点。
所以，当各点的角点响应函数被计算出之后，就要
将原图像中所有局部角点响应函数最大的点提取出
来。在实验过程中，通常在每个像素的3×3邻域
窗口内进行最大值的提取，如果中心像素点的兴趣 值恰好最大，就把中心点当作特征点。
图像灰度
窗口函数 w(x,y) =
Gaussian
HARRIS检测：数学表达
由：
得：
HARRIS检测：数学表达
于是对于局部微小的移动量 [u,v]，可以近似得到下面的表达：
其中M是 22 矩阵，可由图像的导数求得：
HARRIS检测：数学表达
窗口移动导致的图像变化：实对称矩阵M的特征值分析
max, min M的特征值 max, min也是矩阵M的旋转不变量，反映图像两
图像匹配在众多视觉应用中是一个关键技术，匹配算法直
接影响后续视觉处理的效果。
引言
图像匹配在众多视觉应用中是一个关键技术，匹配算法直
接影响后续视觉处理的效果。
对于运动目标，常采用光流等方法提取特征进行匹配，如
北航王兆仲等人提出了一种利用光流确定图像运动场的高
精度图像匹配算法。
对于静态目标，主要采用点匹配方法，即给定同一场景的
数学解析式做辅助。
Harris角点检测算子具有旋转不变以及缩放不变等许多优良
性能，因此广泛应用在各种图像匹配算法中。如Schmid和
Mohr采用Harris角点检测实现通用目标识别等，但它对尺
度、视角、照明变化比较敏感，而且抗噪声能力差。
引言
1999
年 Lowe 等 人 提 出 一 种 更 加 稳 定 的
HARRIS角点检测：流程
角点响应函数R
HARRIS角点检测：小结
沿方向
[u,v]的平均灰度变化可以表达成双 线性形式：
使用
M的特征值表Βιβλιοθήκη Baidu图像点局部灰度变化的情况，
定义角点响应函数：
一个好的角点沿着任意方向移动都将导致明显的
图像灰度变化，即：R具有大的正数值。
HARRIS角点的性质
吴金建 电子工程学院
目标检测—— 基于特征描述子的方法
引言
图像变化的类型
• 几何变化
– 旋转 – 相似(旋转 + 各向相同的尺度缩放) – 仿射 (非各向相同的尺度缩放) 适用于: 物体局部为平面
• 灰度变化
– 仿射灰度变化 (I a I + b)
引言
引言
角点特征是影像的重要特征，在各种影像特征中角点具
有旋转不变性和不随光照条件改变而改变的优点在一些
应用中使用角点特征进行处理，可以减少参与计算的数
据量，同时又不损失图像的重要灰度信息，利用角点特 征进行匹配可以大大提高匹配的速度。
其在三维场景重建、运动估计、目标跟踪、目标识别、
图像配准与匹配等计算机视觉领域起着非常重要的作用。
尺度和旋转的适应方面不及SIFT。
SURF 算法通过计算积分图像和 Fast-Hessian 矩阵大大 提高了特征点检测的速度，但特征匹配时采用的是全局最 近邻搜索方法，由于SURF特征向量是高维向量，其计算 量大、匹配正确率低。
HARRIS 角点检测
Harris角点检测基本思想
从图像局部的小窗口观察图像特征 角点定义：窗口向任意方向的移动都导致图像灰度
的明显变化
HARRIS 角点检测
Harris角点检测基本思想
平坦区域： 任意方向移动， 无灰度变化
边缘： 沿着边缘方向移 动，无灰度变化
角点： 沿任意方向移动， 明显灰度变化
HARRIS检测：数学表达
将图像窗口平移[u,v]产生灰度变化E(u,v)
窗口函数
平移后的 图像灰度 或 1 in window, 0 outside
什么是好的角点检测算法？
• 检测出图像中“真实的”角点；
• 准确的定位性能；
• 很高的重复检测率（稳定性好）；
• 具有对噪声的鲁棒性； • 具有较高的计算效率；
引言
Harris等人对Moravec算子进行改进，主要克服只对四个 方向进行研究的问题，提出了通过Taylor级数展开法，实现 窗口沿任何方向位移的灰度变化情况，最后特征点的确定用
轴方向的平面曲率。
E(u,v)的椭圆形式
(max)-1/2
(min)-1/2
快速变化的方向
缓慢变化的方向
HARRIS检测：数学表达
通过M的两个特征 值的大小对图像点 进行分类:
2 “Edge” 2 >> 1 “Corner” 1 和 2 都较大且数值 相当 1 ~ 2;
图像窗口在所有方向上移 动都产生明显灰度变化
两幅图像，寻找同一场景点投影到图像中的像素之间的对
应关系，主要步骤为图像特征点提取和最小距离计算。
不同类型的特征点
什么是角点？
目前关于角点的具体定义和描述主要有如下几种：
1．角点是两条及两条以上边缘的交点； 2．角点是指图像中梯度值和梯度方向的变化速率都很高的点。 3．角点是一阶导数(即灰度的梯度)的局部最大所对应的像素点； 4．角点处的一阶导数最大，二阶导数为零；
旋转不变性：
椭圆转过一定角度但是其形状保持不变 （特征值保持不变）
角点响应函数 R 对于图像的旋转具有 不变性
HARRIS角点的性质
对于图像灰度的仿射变化具有部分的不变性
只使用了图像导数 => 对于灰度平移变化不变 II+b 对于图像灰度的尺度变化: I a I
R
阈值
R
x (image coordinate)
如果1 和 2 都很小， 图像窗口在所有方向上 移动都无明显灰度变化
“Flat” region
“Edge” 1 >> 2 1
HARRIS检测：数学表达
定义：角点响应函数R
(k – empirical constant, k = 0.04-0.06)
HARRIS检测：数学表达
2 R 只与M的特征值有关 • 角点：R 为大数值正数 • 边缘：R为大数值负数 • 平坦区：R为小数值 “Flat” |R| small “Edge” R<0 1 “Edge” R<0 “Corner”
SIFT(Scale Invariant Feature Transform)特 征算子，该算子不仅具有尺度、旋转、仿射、视角、 光照不变性，对目标的运动、遮挡、噪声等因素也 保持较好的匹配性。
该算子目前已广泛应用于机器人定位和导航、地图
生成及三维目标识别中。
引言
2006 年 Bay 提 出 了 SURF(Speeded Up Robust Features)算法，进一步提高了特征的提取速度，但在对
x (image coordinate)
HARRIS角点的性质
对于图像几何尺度变化不具有不变性：
图像缩小
角点 !
这几个点被分类为边缘点
R>0
HARRIS角点检测
Harris算法认为：所谓的特征点就是极大角点响
应函数在局部范围内对应的像素点。
所以，当各点的角点响应函数被计算出之后，就要
将原图像中所有局部角点响应函数最大的点提取出
来。在实验过程中，通常在每个像素的3×3邻域
窗口内进行最大值的提取，如果中心像素点的兴趣 值恰好最大，就把中心点当作特征点。
图像灰度
窗口函数 w(x,y) =
Gaussian
HARRIS检测：数学表达
由：
得：
HARRIS检测：数学表达
于是对于局部微小的移动量 [u,v]，可以近似得到下面的表达：
其中M是 22 矩阵，可由图像的导数求得：
HARRIS检测：数学表达
窗口移动导致的图像变化：实对称矩阵M的特征值分析
max, min M的特征值 max, min也是矩阵M的旋转不变量，反映图像两
图像匹配在众多视觉应用中是一个关键技术，匹配算法直
接影响后续视觉处理的效果。
引言
图像匹配在众多视觉应用中是一个关键技术，匹配算法直
接影响后续视觉处理的效果。
对于运动目标，常采用光流等方法提取特征进行匹配，如
北航王兆仲等人提出了一种利用光流确定图像运动场的高
精度图像匹配算法。
对于静态目标，主要采用点匹配方法，即给定同一场景的
数学解析式做辅助。
Harris角点检测算子具有旋转不变以及缩放不变等许多优良
性能，因此广泛应用在各种图像匹配算法中。如Schmid和
Mohr采用Harris角点检测实现通用目标识别等，但它对尺
度、视角、照明变化比较敏感，而且抗噪声能力差。
引言
1999
年 Lowe 等 人 提 出 一 种 更 加 稳 定 的
HARRIS角点检测：流程
角点响应函数R
HARRIS角点检测：小结
沿方向
[u,v]的平均灰度变化可以表达成双 线性形式：
使用
M的特征值表Βιβλιοθήκη Baidu图像点局部灰度变化的情况，
定义角点响应函数：
一个好的角点沿着任意方向移动都将导致明显的
图像灰度变化，即：R具有大的正数值。
HARRIS角点的性质