基于SIFT特征提取技术的视觉模式识别(正式版)

SIFT算法特点
1)SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对
视角变化、仿射变换、噪声也保持一定程度的稳定性。 2)独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。 3)多量性，即使少数的几个物体也可以产生大量SIFT特征向量。 4)高速性，经过优化的SIFT算法可满足一定的速度需求(应用与实时系统)。 5)可扩展性，可以很方便的与其他形式的特征向量进行联合。
simultaneous localization and mapping (SLAM) visual simultaneous localization and mapping（vSLAM）
Example result of SLAM using vSLAM
红色路线
vSLAM估计 的机器人轨迹
绿色路线
前景应用
ViPR是机器人系统的一个基本单元。它已经被用于人机互动， 定位与标记，导航与自控及操作。ViPR是第一个使用低成本硬件而 且执行可靠地的同类算法。ViPR可以集成作为其DSP实现的附加硬 件组件或作为一个纯粹的软件组件，因此我们可以开发和设计机器 人的各种可能性和极大灵活性的应用程序。因此，我们推测ViPR在 机器人产业可能是一个非常有价值的内容。
详细的信息（局部特征）也就是所谓的描述器；3、通过两方特征点（附带
上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，也就建立 了景物间的对应关系。
SIFT 算法步骤
1)关键点检测 2)关键点描述 3)关键点匹配 4)消除错配点
详细参考 [1]D.Lowe, “Object recognition from local scaleinvariant features ”, Sep 20，1999 [2]D.Lowe, " Distinctive Image Features from Scale-Invariant Keypoints", January 5, 2004
SIFT算法可以解决的问题
目标的自身状态、场景所处的环境和成像器材的成像特性等因 素影响图像配准/目标识别跟踪的性能。而SIFT算法在一定程度上可解决 ： 目标的旋转、缩放、平移（RST） 图像仿射/投影变换（视点viewpoint） 光照影响（illumination）
目标遮挡（occlusion）
ViPR在机器人中的创新应用
在现实环境中（未定义及不确定的环境，变化的光线，等等）,ViPR算法 （使用了SIFT特征）是一种计算数据高达90%识别率的算法。ViPR也为视觉同步 定位与地图创建（vSLAM）系统提供一个基准。在移动机器人学中，同步定位与 地图创建（SLAM）是最基础的，同样也是最具挑战性的问题之一。为了达到充 分的自主权，一个机器人必须拥有即使没有人的干预也能清楚自身周围环境的 能力，从而建立一个可靠的地图，并且标出自己在地图中的位置。特别是，如 果全球定位系统（GPS）数据和外部航标不能使用时，机器人必须自行决定在建 一张地图时，考虑到什么是适当的参考点或地标。VIPR提供了强大而可靠的识 别视觉地标的能力。 下图为机器人在一个典型的两居室公寓里运动后留下的vSLAM结果。 注释
杂物场景（clutter） 噪声
SIFT算法实现步骤简述
SI百度文库T算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题。
原图像 特征点 检测 特征点 描述 目标的特 征点集 特征点匹 配 特征点 描述 目标的特 征点集 匹配点矫 正
SIFT
目标图像
特征点 检测
SIFT
SIFT算法实现物体识别主要有三大工序，1、提取关键点；2、对关键点附加
在一张640×480的影像上，探测 器通常将找到2000左右的SIFT特 征量。
ViPR在识别中的应用
几种不同情况下通过ViPR的识别： 1.可靠的识别 2.旋转和仿射变换 3.尺度变化
4.光线变化
5.物体遮挡
将被识别的两个不同的目标
目标1
目标2
不同情况下的识别（1）
目标2
目标1 目标被正确识别
不同情况下的识别（2）
仿射与旋转
不同情况下的识别（3） 距 离 的 变 化
距离近
距离远
不同情况下的识别（4）
亮
暗
光线的变化
不同情况下的识别（5）
部分被遮挡
识别速度
识别速率是关于数据库中目标数量的一个log函数；也就是说， 识别速率是与log（N）成比例的，其中，N是数据库中目标的数量。 这个目标库在不需要显著提高计算的情况下，就可以储存成千上万 的目标。识别帧速率与CPU速度及图像分辨率成比例。 例如，在1400MHZ的奔腾4处理器上，处理分辨率为208 × 160的图像，识别算法可以达到14-18帧每秒；在 600-MHz处理器 上处理分辨率为208 × 160的图像可以到5帧每秒；在400-MHZ的 处理器上处理分辨率为208 × 160的图像仅为3帧每秒。 同时，降低图像分辨率会降低图像质量，最终也会降低识别率。 然而，目标识别系统允许减少图像像素的平滑退化。每个目标模型 需要40kB左右的内存去储存。
视觉模式识别（ViPR）
基于SIFT特征提取，ViPR描绘一个目标是用一组SIFT特征向量， 这组SIFT特征向量是通过抽取这个目标的多个图片而来的。 SIFT 特征向量具有高度的定位视觉模版， 同时具有平移、缩放、旋转 不变性，同时对光照变化及投影变换也有一定不变性。 ViPR的两个关键的内容 一方面：要特别选取有用的特征量（即SIFT特征量）； 另外一方面：要找到一条高效率的途径对拥有成千上万SIFT特征量 的数据库进行搜索和组织。
测程法估计的 机器人轨迹
蓝色圆圈
在操作过程中 vSLAM产生的地标
在上图中，机器人沿着一条参考路线（这条路线相对于vSLAM 算法来说是不确定的）行走。vSLAM算法建立了一张含有路标（此 路标就是图片中的蓝色圆圈）的地图。 图中那条红色路径是联合使用视觉特征和测程法进行了修改的， 它为机器人提供了稳定和准确的方位。 图中的绿色路径（此路径仅仅是用测程法得到的）很明显是错 误的，因为我们可以看出来，根据这条路径，机器人在行走过程中 穿过墙和家具。另一方面，红色路径（经vSLAM修正的路线）始终 跟随着参考路径。
视觉模式识别（ViPR）
视觉识别模式（ visual pattern recognition ）是自然界中 许多高级生物的一种基本的能力。人类大脑的大部分区域都致力于 视觉处理。在这些区域中，有一些固定区域用来进行模式识别。视 觉模式识别包含了许多任务，例如对象和目标的识别，导航，以及 在其他对象中对其抓取和操作。视觉模式识别解决了计算机视觉中 一些根本的问题：联系，姿态估计和运动方式。因此，我们把视觉 模式识作为机器人和自动化系统的一种重要的模块。
近年来，计算机视觉技术发展产生了具有一定鲁棒性的视觉模 式识别技术，而这种技术就是以从一个图像中提取一组特征向量为 基础的，这些特征量是通过尺度不变特征变换得到的。即基于SIFT 特征变量的视觉识别模式。在真实场景中，利用这些特征量来进行 识别的效果是非常稳定的。
视觉模式识别（ViPR）
通过机器人发展而来的视觉模式识别系统是多用途的，虽配置 低价的相机，却能稳定的工作，具有一定经济可行性。基本算法需 要解决的问题是，如何让视觉模式识别系统，在只具有廉价硬件和 有限计算能力的真实场景中，保持可靠的性能和有效的识别。 ViPR（visual pattern recognition）应用非常广泛。 例如操控，人与机器人之间的交流，安全方面等； 它可用于移动机器人来支持导航、定位、测绘、及视觉伺服；还可 用在机器视觉系统中来进行目标识别及手眼系统的协调。
SIFT-ing Through Features with ViPR
基于SIFT特征提取技术的视觉模式识别
尺度不变特征变换算法（SIFT） 简介 视觉模式识别（ViPR） ViPR在识别中的应用 ViPR在机器人中的创新应用
SIFT简介
• SIFT（ Scale Invariant Feature Transform） • 1999年，大卫.劳伊（David G.Lowe）教授总结了现有的基于不
变量技术的特征检测方法，并正式提出了一种基于尺度空间的、
对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述
算子－SIFT（尺度不变特征变换).
SIFT简介
Original image courtesy of David Lowe
将一幅图像映射（变换）为一个局部特征向量集；特征向量具有平移 、缩放、旋转不变性，同时对光照变化、仿射及投影变换也有一定不变 性。
谢谢！