SURF算法在图像检索中的应用

3x2x2
3x2
14:56:57
SURF：兴趣点检测 – 尺度空间
3
x 3 x 3非最大化抑制
14:56:57
SURF：兴趣点描述
通过计算尺度空间的Haar小波响应在x，y方
向的偏导数，来生成64D的描述子。
1、以兴趣点为中心，以6s（s为兴趣点所在尺度）
为半径的圆形区域内，确定主方向，以实现旋转 不变性；
马氏距离（Mahalanobis）
向量x
= (x1, x2, x3, … xp)T = (μ1, μ2, μ3, … μp)T
均值为μ
协方差矩阵为Σ
马氏距离为：
14:56:57
SURF：匹配 – 欧氏距离
欧氏距离（Euclidean）
如果马氏距离中的协方差矩阵Σ为单位阵，则马氏
14:56:57
SURF：示例
14:56:57
SURF：示例
SIFT的计算基于梯度方向 SURF基于主方向，抗噪声性更好
14:56:57
SURF：快速匹配
兴趣点检测时，计算了Hessian矩阵，可用拉
普拉斯算子，即Hessian矩阵的迹，排除一大 部分不匹配的点。
14:56:57
SURF：匹配 – 马氏距离
计算窗口内的x、y方向加权小波响应的和， 输出一个向量，向量长度最长的方向，即为 主方向
14:56:57
SURF：兴趣点描述 – 描述子

以兴趣点为中心，沿主方位构建一个边长为20s的正 方形，再等分为4*4的子区域 在每个子区域等间距选取5*5个采样点 旋转到主方向 主方向
14:56:57
SURF：兴趣点描述 – 描述子
X, t )为初始图像I0-(X)经过尺度参数为t ( t > 0 )的尺度变换所得到的图像；
则算子T-t : I0-(X)
→ I( X, t )定义为尺度空间 算子，算子族{T-t}t>0就定义为尺度空间。
14:56:57
SURF：兴趣点检测 – 高斯函数
经过高斯变换得到的尺度空间称为高斯尺度
图像检索 与 SURF:
Speeded-Up Robust Features
快速稳健特征点
Herbert Bay, Andreas Ess, Tinne Tuytelaars, and Luc Van Gool Computer Vision and Image Understanding, 2008
14:56:56
Google气味搜索
14:56:56
Tencent SOSO气味搜索
14:56:56
CBIR的两个关键问题
1、特征提取 2、特征匹配
14:56:56
特征提取
1、低层，视觉特征
颜色、纹理、形状等
2、高层，语义内容
图像中包含的物体
物体之间的语义关系
14:56:56
14:56:56
低层视觉特征的提取：颜色
1、颜色直方图(Color 2、颜色相关图(Color 3、颜色矩(Color
Histogram) Correlogram)
Moment)
4、颜色一致性矢量(Color
Coherence
Vectors, CCV)
14:56:56
低层视觉特征的提取：纹理
计算过程可用积分图进行加速
14:56:57
SURF：兴趣点检测 – 尺度空间
Lowe的SIFT中通过不断缩小图像得到金字塔 SUFT中只是增大高斯矩形滤波器，计算量小
14:56:57
SURF：兴趣点检测 – 尺度空间
SURF将尺度空间划分成若干组(Octaves),一
个组代表了固定数目的、逐步放大的滤波模 板对同一个输入图像的一系列响应。
使用高斯核函数，映射到高维后可分。
ቤተ መጻሕፍቲ ባይዱ
14:56:57
SURF：兴趣点检测 – 高斯函数
二 维 高 斯 曲 面 ， σ=1.2
0.12 0.1 0.08 0.06 0.04 0.02 0 5
4
3
2
1
0
-1
-2
-3
-4
-5
-5
-4
-3
-2
-1
0
1
2
3
4
5
14:56:57
SURF：兴趣点检测 – Hessian矩阵
2、构建一个沿主方向的正方形，并从中提取
SURF描述子。
14:56:57
SURF：兴趣点描述 – 主方向
以兴趣点为中心，6s为半径的圆形区域内，
计算Haar小波响应，小波边长为4s；
用中心位于兴趣点的σ=2s的高斯滤波器加权
14:56:57
SURF：兴趣点描述 – 主方向
以兴趣点为中心，用中心角为π/3的滑动窗口,
1、统计法 2、结构法 3、模型法
4、变换域检测
14:56:57
低层视觉特征的提取：形状
1、基于边缘检测 2、基于区域分割
14:56:57
SURF：介绍

SURF (Speeded-Up Robust Feature)是一种高稳定 性的局部特征点检测和描述算法，可用来检测两幅 图像之间的具有相同特征的点。
14:56:56
SURF适用的领域
1、图像检索 2、图像配准 3、目标识别
14:56:56
图像检索简介
1、基于文本的图像检索，TBIR(Text-Based
Image Retrieval) 2、基于内容的图像检索，CBIR(ContentBased Image Retrieval)
14:56:57
SURF：可用领域
图像检索 目标识别 图像配准
3D重建
14:56:57
SURF：作者目标
快速兴趣点检测
高鉴别度的兴趣点描述
快速描述子匹配 对常用图像变换的不变性
图像旋转 尺度变化 亮度变化 视角轻微变化
14:56:57
SURF：兴趣点检测 – 积分图
空间；
高斯尺度空间的概念是由Witkin最早提出的，
并经Koenderink等人的研究工作得到进一步 的发展；
Koenderink证明了高斯核函数是线性核函数，
而Lindeberg又证明了高斯核函数是唯一的线 性核函数。
14:56:57
SURF：兴趣点检测 – 高斯函数
模式分类，SVM，数据在低维线性不可分时，
积分图中任意一点IΣ(I,j)的值，等于原图像左
上角区域像素的和： I (i, j )
i 'i , j ' j

p(i ', j ')
A
C
B
D
SABCD = D – B – C + A
14:56:57
SURF：兴趣点检测 – 尺度变换
图像为I0-(X)，X 图像I(
= (x, y)；

计算这些点的相对于主方向的Haar小波响应（边长 为2s），得到dx，dy 用σ=3.3s的高斯滤波器加权 旋转到主方向 主方向
14:56:57
SURF：兴趣点描述 – 描述子

每个4x4子区域的4D描述向量如下，一共64D v = (Σdx, Σdy, Σ|dx|, Σ|dy|) 旋转到主方向 主方向
距离简化为欧氏距离
14:56:57
特征提取
14:56:56
语义鸿沟
人和计算机之间，对于图像相似性的判别依
据的不同
弥补的方法：
相关反馈（Relevance
图像分割（Image
Feedback）
Segmentation）
建立更复杂的分类模型
14:56:56
低层视觉特征的提取
1、颜色 2、纹理 3、形状
高斯二阶倒数的离散化和近似： Lyy→Dyy
Lxy→Dxy
14:56:57
SURF：兴趣点检测 – Hessian矩阵
用矩形滤波近似高斯函数，其近似Hessian行列
式为：
w
is needed for the energy conservation between the Gaussian kernels and the approximated Gaussian kernels
14:56:56
TBIR(Text-Based Image Retrieval)
沿用传统文本检索技术 将图像名称、大小、压缩类型、作者、年代，
以及其他标签信息保存在数据库中，查询检 索
14:56:56
CBIR(Content-Based Image Retrieval)
支持传统的文本查找 也支持特征值查找、草图查找、示例查找等
对图像中的点X
= (x, y)，尺度为σ的Hessian 矩阵H(X, σ)定义为：
其中Lxx(X,
σ)是尺度为σ的二维高斯函数的二 阶倒数与图像I在X点处的卷积：
g ( ) Lxx * I ( x, y ) 2 x
2
14:56:57
SURF：兴趣点检测 – Hessian矩阵