基于局部特征的图像匹配
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
结论：
将局部不变的特征描述符ARPIH 和直方图 的相似性距离( HSD) 结合起来,以实现对旋转、 亮度变化、透视等畸变图像的有效匹配。实 验证明,本算法可以有效地实现对上述畸变图 像的匹配,具有优越的抗畸变性能。
2.2 基于Shape Context
Shape Context描述符
整个区域分为12*5 块，所以像素 的特征信 息是以参考点为原点， 剩下点的LOG极坐标的柱 状图。任何物体的轮廓 可以被一个N*60大小的 矩阵表示。
件下图像提取的局部不变特征应该是相同的; 2)区分性：局部不变特征Fra Baidu bibliotek包含较大的灰
度或色度模式变化, 易于区分; 3)局部性：局部不变特征应具有局部性, 减
小遮挡的概率, 同时可以采用简单的变换模型 对图像间的变换进行近似建模;
一、局部不变特征
局部不变特征特性: 4)精确性：局部不变特征应可以在空域、
Step4：在目标图像中滑动模板图像，搜寻和 模板图像一样大小的子图像，计算ARPIH。 Step5：重复第三步和第四步直到扫描完整个 目标图像，匹配位置即为有最大的 的区域。
2.1 联合ARPIH和直方图相似性距离
2.1 联合ARPIH和直方图相似性距离
2.1 联合ARPIH和直方图相似性距离
2.2 基于Shape Context
Shape Context描述符
1 2 3 4 5 6 7 8 9 ……
60
1 a b c d e f g h i ……
2
3
4
5
…
N
2.2 基于Shape Context
Shape Context描述符
N*60
2.2 基于Shape Context
ＨＳＶ＋ＳＩＦＴ
2.3 联合色彩和几何信息
三、基于局部不变特征匹配的应用
局部不变特征在宽基线匹配、特定目标 识别、目标类别识别、图像及视频检索、 机器人导航、场景分类、纹理识别和数据 挖掘等多个领域得到了广泛的应用。
三、基于局部不变特征匹配的应用
例：基于shape context特征匹配的目标跟踪
ARPIH描述符
直方图的x轴是子区域的编 号, y 轴是灰度级(0-255) , 被均匀划分为18 个灰度范 围。将每一子区域中的像 素点按其灰度值划分到各 个灰度范围中。 例如:ARPIH 中, z 轴H (11 ,9) 表示第11 号子区域 中灰度值在[ 115 ,129) 范 围内的点的个数。
Step1：用Bresenham算法计算模板图像的 ARPIH。 Step2：从目标图像中的坐上角开始选择和模 板图像大小一样的子图像，并计算其ARPIH。 Step3：匹配两个直方图并计算 ,将其存入到 数组中并记录其相关联的的位置。
2.1 联合ARPIH和直方图相似性距离
这个匹配算法的匹配步骤如下：
Shape Context描述符
优点： 我们可以选择一些图像，比如人的，然 后训练得到SC特征并且建立局部特征的数据 库。 目标识别
2.2 基于Shape Context
相似度测量：
对新的图像，在边缘检测和训练后，我 们得到图像框架的SC特征，然后我们用COST 值估计目标特征点和数据库之间的相似度。
MN
DHSD
RHSD (H (m, n), H ' (m, n))
m1 n1
RHSD
(H
(m,
n),
H
' (m,
n))
1, 0,
| H (m, else
n)
H
' (m,
n)
|
T2
DHSD T1
2.1 联合ARPIH和直方图相似性距离
这个匹配算法的匹配步骤如下：
Cs
1 2
K [g(k) h(k)]2 k1 g(k) h(k)
2.3 联合色彩和几何信息
HSV空间 H：色调 S：饱和度 V：亮度
ＲＧＢ～ＨＳＶ
2.3 联合色彩和几何信息
可以看到，这种定义的一种好处是在亮度 加上一个不变值时色调是不变的。
反应几何信息的经典特征ＳＩＦＴ
三、基于局部不变特征匹配的应用
投票预计目标中心 关于检测点A的SC信息被定义为 { fi} ，并且 被定 义为数据库中的 cek 和 fi 之间的匹配概率，并且 目标O中的中心点C被A点估计定义为 p(o,c | cek , A) 。 所以我们可以得到目标中心的概率为：
利用图像的局部信息足以描述图像包含 的内容
2、D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2 (2004),91–110.
2.1 联合ARPIH和直方图相似性距离
ARPIH描述符
通过使用ARPIH 描述符,将2 个图像区域 的匹配转化成为2 幅直方图的匹配,减少了计 算的复杂性,且拥有良好的抗畸变能力
2.1 联合ARPIH和直方图相似性距离
直方图相似性距离
假设对于有相同大小的图像的两个直方图， 分别为H(m,n)和 H’(m,n)。
基于局部不变特征 的图像匹配
一、局部不变特征 二、基于局部不变特征的匹配方法 三、基于局部不变特征匹配的应用
一、局部不变特征
定义：
局部不变特征是指局部特征的检测或描 述对图像的各种变化, 例如几何变换、光度变 换、卷积变换、视角变化等保持不变。
一、局部不变特征
局部不变特征特性: 1)重复性：相同场景或目标在不同成像条
证明了局部信息足以用来进行图像识别
二、基于局部不变特征的匹配方法
2.1 联合ARPIH和直方图相似性距离 2.2 基于Shape Context 2.3 联合色彩和几何信息
2.1 联合ARPIH和直方图相似性距离
APPIH描述符
0.57 ∶0.85 ∶1
2.1 联合ARPIH和直方图相似性距离
尺度域及形状域上精确定位; 5)不变性：局部不变特征的检测和描述对
各种变换应具有不变性; 6)鲁棒性：局部不变特征的检测和描述应
对图像噪声、量化误差、模糊等不敏感。
一、局部不变特征
理论基础：
1、C. Schmid, R. Mohr, Local Grayvalue Invariants for Image Retrieval, IEEE PAMI, 19 (1997):530–534
将局部不变的特征描述符ARPIH 和直方图 的相似性距离( HSD) 结合起来,以实现对旋转、 亮度变化、透视等畸变图像的有效匹配。实 验证明,本算法可以有效地实现对上述畸变图 像的匹配,具有优越的抗畸变性能。
2.2 基于Shape Context
Shape Context描述符
整个区域分为12*5 块，所以像素 的特征信 息是以参考点为原点， 剩下点的LOG极坐标的柱 状图。任何物体的轮廓 可以被一个N*60大小的 矩阵表示。
件下图像提取的局部不变特征应该是相同的; 2)区分性：局部不变特征Fra Baidu bibliotek包含较大的灰
度或色度模式变化, 易于区分; 3)局部性：局部不变特征应具有局部性, 减
小遮挡的概率, 同时可以采用简单的变换模型 对图像间的变换进行近似建模;
一、局部不变特征
局部不变特征特性: 4)精确性：局部不变特征应可以在空域、
Step4：在目标图像中滑动模板图像，搜寻和 模板图像一样大小的子图像，计算ARPIH。 Step5：重复第三步和第四步直到扫描完整个 目标图像，匹配位置即为有最大的 的区域。
2.1 联合ARPIH和直方图相似性距离
2.1 联合ARPIH和直方图相似性距离
2.1 联合ARPIH和直方图相似性距离
2.2 基于Shape Context
Shape Context描述符
1 2 3 4 5 6 7 8 9 ……
60
1 a b c d e f g h i ……
2
3
4
5
…
N
2.2 基于Shape Context
Shape Context描述符
N*60
2.2 基于Shape Context
ＨＳＶ＋ＳＩＦＴ
2.3 联合色彩和几何信息
三、基于局部不变特征匹配的应用
局部不变特征在宽基线匹配、特定目标 识别、目标类别识别、图像及视频检索、 机器人导航、场景分类、纹理识别和数据 挖掘等多个领域得到了广泛的应用。
三、基于局部不变特征匹配的应用
例：基于shape context特征匹配的目标跟踪
ARPIH描述符
直方图的x轴是子区域的编 号, y 轴是灰度级(0-255) , 被均匀划分为18 个灰度范 围。将每一子区域中的像 素点按其灰度值划分到各 个灰度范围中。 例如:ARPIH 中, z 轴H (11 ,9) 表示第11 号子区域 中灰度值在[ 115 ,129) 范 围内的点的个数。
Step1：用Bresenham算法计算模板图像的 ARPIH。 Step2：从目标图像中的坐上角开始选择和模 板图像大小一样的子图像，并计算其ARPIH。 Step3：匹配两个直方图并计算 ,将其存入到 数组中并记录其相关联的的位置。
2.1 联合ARPIH和直方图相似性距离
这个匹配算法的匹配步骤如下：
Shape Context描述符
优点： 我们可以选择一些图像，比如人的，然 后训练得到SC特征并且建立局部特征的数据 库。 目标识别
2.2 基于Shape Context
相似度测量：
对新的图像，在边缘检测和训练后，我 们得到图像框架的SC特征，然后我们用COST 值估计目标特征点和数据库之间的相似度。
MN
DHSD
RHSD (H (m, n), H ' (m, n))
m1 n1
RHSD
(H
(m,
n),
H
' (m,
n))
1, 0,
| H (m, else
n)
H
' (m,
n)
|
T2
DHSD T1
2.1 联合ARPIH和直方图相似性距离
这个匹配算法的匹配步骤如下：
Cs
1 2
K [g(k) h(k)]2 k1 g(k) h(k)
2.3 联合色彩和几何信息
HSV空间 H：色调 S：饱和度 V：亮度
ＲＧＢ～ＨＳＶ
2.3 联合色彩和几何信息
可以看到，这种定义的一种好处是在亮度 加上一个不变值时色调是不变的。
反应几何信息的经典特征ＳＩＦＴ
三、基于局部不变特征匹配的应用
投票预计目标中心 关于检测点A的SC信息被定义为 { fi} ，并且 被定 义为数据库中的 cek 和 fi 之间的匹配概率，并且 目标O中的中心点C被A点估计定义为 p(o,c | cek , A) 。 所以我们可以得到目标中心的概率为：
利用图像的局部信息足以描述图像包含 的内容
2、D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60, 2 (2004),91–110.
2.1 联合ARPIH和直方图相似性距离
ARPIH描述符
通过使用ARPIH 描述符,将2 个图像区域 的匹配转化成为2 幅直方图的匹配,减少了计 算的复杂性,且拥有良好的抗畸变能力
2.1 联合ARPIH和直方图相似性距离
直方图相似性距离
假设对于有相同大小的图像的两个直方图， 分别为H(m,n)和 H’(m,n)。
基于局部不变特征 的图像匹配
一、局部不变特征 二、基于局部不变特征的匹配方法 三、基于局部不变特征匹配的应用
一、局部不变特征
定义：
局部不变特征是指局部特征的检测或描 述对图像的各种变化, 例如几何变换、光度变 换、卷积变换、视角变化等保持不变。
一、局部不变特征
局部不变特征特性: 1)重复性：相同场景或目标在不同成像条
证明了局部信息足以用来进行图像识别
二、基于局部不变特征的匹配方法
2.1 联合ARPIH和直方图相似性距离 2.2 基于Shape Context 2.3 联合色彩和几何信息
2.1 联合ARPIH和直方图相似性距离
APPIH描述符
0.57 ∶0.85 ∶1
2.1 联合ARPIH和直方图相似性距离
尺度域及形状域上精确定位; 5)不变性：局部不变特征的检测和描述对
各种变换应具有不变性; 6)鲁棒性：局部不变特征的检测和描述应
对图像噪声、量化误差、模糊等不敏感。
一、局部不变特征
理论基础：
1、C. Schmid, R. Mohr, Local Grayvalue Invariants for Image Retrieval, IEEE PAMI, 19 (1997):530–534