基于SIFT特征匹配和动态更新背景模型的运动目标检测算法

268
计算机应用与软件
2010 年
7］ 的影响。文献［ 等提出的基于鲁棒背景运动补偿的运动目标 检测， 该算法能有效消除摄像机运动引起的背景运动， 在摄像机 运动的情况下得到完整的目标 。此算法是在补偿后的前一帧和 当前帧之间做光流， 用光流的大小判定前景和背景， 而光流易受 在判断前景背景上容易出现问题， 光照和灰度等级变化的影响， 8］ 而且该算法计算复杂、 运算时间长。 文献［ 等人提出的动摄 9］ 用文献［ 的方法估计相邻两帧 像机的自动目标识别与分类， 之间的光流， 并假设目标没有覆盖图像的每个角落， 在这样的情 况下， 图像角上显著的运动就是摄像机的运动 。 模型的参数可 以通过线性最小二乘解来估计 。如果出现异常（ 孤立点） ， 线性 缺少背景纹理或 最小二乘估计的性能就会变坏 。 像丢失特征、 者目标占据了一个角， 都将成为异常（ 孤立点） 。 该算法用的也 是易受影响的光流法， 在选取点的问题上， 选取的是四个角上不 容易出现目标的点区域来求解仿射模型参数 。如果目标出现在 就会使参数不准确， 运动补偿失败。 角上， 针对运动摄像机情况下运动补偿中出现的难点：对应点选 本文提出了基于 SIFT 取的准确性和异常点剔除等， 特征匹配 SIFT 它能很好地解决上述问题， 利用 算法提 的运动补偿技术， 取鲁棒的特征点（ 每个特征点用一个特征矢量表示） 对图像的 旋转、 尺幅缩放、 亮度变换等都保持不变的特点 。建立特征点的 KD － TREE， 用两点间的欧氏距离快速准确地找出相邻两幅图
［ 11 ］ 像中的对应点。 用 RANSAC 算法剔除选在目标上的特征对 ［ 10 ］
据转化成尺度不变坐标的局部特征 。 SIFT 特征是图像的局部特征， 其对旋转、 尺度缩放、 亮度变 化保持不变性， 对视角变化、 仿射变换、 噪声也保持一定的稳定 性；独特性好， 信息量丰富， 适用于在海量特征数据库中进行快 速、 准确的匹配；多量性， 即使少数的几个物体也可以产生大量 经优化的 SIFT 匹配算法甚至可以达 的 SIFT 特征向量；高速性， 到实时的要求；可扩展性， 可以很方便地与其他形式的特征向量 进行联合。 SIFT 主要算法步骤：检测尺度空间极值点；精确定位极值 点；为每个关键点指定方向参数；关键点描述子的生成。 求出 SIFT 特征矢量后， 采用欧氏距离判断两幅图像中关键 在寻找两幅图像中最相似的两个对应点时， 我们采 点的相似性， KDTREE 。 用了 的方式寻找
要 运动摄像机情况下的运动目标检测是视频监控中的难点和热点问题 。 为了能够有效地检测出运动目标 ， 提出了一个基 SIFT （ Scale Invariant Feature Transform ） 。 SIFT ， 于 特征匹配和动态背景建模的背景差算法 首先利用 算法提取特征点 采用 RANSAC 摘 （ Random Sample Consensus） 方法求得仿射变换模型参数并实现图像的全局运动补偿 ， 然后用背景差方法实现运动目标的检测 ， 同时 进行阴影和鬼影的去除 。SIFT 特征点匹配的准确性和 RANSAC 方法去除异常点的有效性使得仿射变换模型参数计算准确 ， 动态更 新背景模型的背景差则完整地检测出了前景目标 。与 Ninad Thakoor 实验结果对比说明： 该算法能够准确地检测出运动目标 ， 并且 保持了前景目标的完整性 。 关键词 运动摄像机 全局运动补偿 SIFT RANSAC 背景差 目标检测
应点， 最后利用背景差实现目标的检测， 同时进行阴影和鬼影的 去除。采用背景动态更新模型的背景差算法完整地检测出了前 景目标。
[ ][
f tx f ty =
t x
a0 f tx － 1 + a1 f ty － 1 + a2 a3 f tx － 1 + a4 f ty － 1 + a5
t y
]
1
基于 SIFT 特征匹配的运动目标检测算法
Abstract
It is a difficult and hot topic in video surveillance to detect moving objects with moving camera. In order to detect moving objects
effectively， we propose a background subtraction method based on SIFT features matching and dynamic background modelling. Firstly， feature points are extracted by SIFT algorithm to compute the parameters of affine transform model guided by RANSAC， and to realise global motion compensation. Then we adopt background subtraction approach to detect moving objects， with shadow and ghost removing. The precision of SIFT feature points matching and the validity of picking out outliers by RANSAC algorithm make the parameters of affine transform model to be and by the background subtraction approach with dynamic updating background model， foreground objects can be deteccomputed accurately， ted perfectly. Experimental results demonstrate that comparing with Ninad Thakoor method， our algorithm can detect moving objects accurately and keep the integrity of foreground objects. Keywords （ RANSAC） Moving camera Global motion compensation Objects detection 目标检测， 而国内的研究处于起步阶段， 下面介绍一下国内外的 4 ］ 研究现状：文献［ 等人提出了基于运动矢量置信测量度目标 跟踪的算法， 该算法由于引进了置信水平测量， 达到了更精确的 全局估计， 减小了变化检测的背景补偿误差 。 但是此算法在求 准确性不能保证， 而且用帧差检测 运动矢量时用的是块匹配法， 5］ 运动目标， 检测的结果缺少完整性 。 文献［ 等用前向后向运 缺点在于运动历史图的 动历史图定位热成像图中的运动目标， 产生需要若干帧， 所以在检测过程中要引进一个检测的滞后， 这 6］ 等提出的基于稀 对高速运动目标的检测是不适合的 。文献［ 疏采样的局部补偿误差函数泰勒展开算法， 它能快速的寻找出 在寻找相邻两帧之间的对应点时， 采 背景运动的仿射模型参数， 用的是图像匹配算法， 由于这个算法是通过对不同邻域内的运 故对于不同的邻域 动矢量做聚类运算得到的最终的目标定位， 或同一邻域内运动矢量差异较大的块， 都将被视为不同的运动 目标。此方法易受光照、 噪声、 矢量聚类的门限以及设定的步长
整个检测算法主要包括 SIFT 特征点的提取与匹配、 运动补 偿及背景建模， 如图 1 所示。 首先， 提取输入图像帧的特征点， 用欧氏距离作为相似度准则， 求得当前输入帧中特征点在前一 帧中的匹配特征点， 然后采用 RANSAC 的方法剔除选在目标上 的异常特征点对， 精确求得仿射模型的参数 。最后， 对前一帧更 消除由于摄像机运动产生的背景运 新后的背景帧作仿射变换， 动， 用当前帧和仿射变换后的背景帧作差， 检测运动目标。为了 使背景更新法则能够正常有效地运行， 在处理过程中加入了阴 影和鬼影的检测及去除， 防止由于阴影或产生的鬼影的存在使 整个更新过程恶化。
全局运动补偿与背景建模摄像机的运动状态主要包括左右转动上下转动焦距变化追平追踪垂直追踪等而仿射变换具有平行线转换成平行线和有限点映射到有限点的一般特性平移旋转缩放及反射等是二维仿射变换的特例因此仿射变换一直是运动估计的标准模型仿射模型有三参数四参数六参数等模型参数越多运动估计也就越准确不过计算也就越复杂为了既能准确地描述摄像机的运动又能降低运算的复杂度我们一般采用六参数仿射模型
DETECTION ALGORITHM OF MOVING OBJECTS BASED ON SIFT FEATURES MATCHING AND DYNAMIC UPDATING BACKGROUND MODEL
Wang Liangfen
（ JCISS， School of Electronic Science and Engineering， National University of Defense Technology， Changsha 410073 ， Hunan， China）
f 表示在 t 时刻的图像 其中 f 表示在 t 时刻的图像帧的 x 坐标， a1 ， a3 ， a4 ） 表示图像的旋转和缩放， （ a2 ， a5 ） 表 帧的 y 坐标；（ a0 ， 示图像的平移。 前面求出的两幅图中的对应匹配点， 一部分在背景上， 另一 部分在运动目标上。相对于背景来说， 目标比较小， 对应的匹配 但是如果用在运动模型中求解参数就会影 点个数也是少量的， 响参数的准确性， 因此在求解过程中需要采用 RANSAC 的方法 来精确求解模型参数。 得到全局运动模型的参数后， 对背景进行运动补偿。 背景 更新的基本原则是检测为前景的区域用仿射变换后的背景模型 更新， 检测为背景的用当前帧来更新， 基本算法如下： （ 1 ） 背景初始化， y） 。 用第一帧作为背景 B0 （ x， （ 2 ） 运动目标检测： 0 | f t （ x， y） － B′ y） | < Th t （ x， M （ x， y） = 1 | f t （ x， y） － B′t （ x， y） | ≥Th （ 3 ） 背景更新法则：
第 27 卷第 2 期 2010 年 2 月
计算机应用与软件 Computer Applications and Software
Vol. 27 No. 2 Feb. 2010
基于 SIFT 特征匹配和动态更新背景模型的运动目标检测算法
王 亮 芬
（ 国防科学技术大学电子科学与工程学院智能感知系统联合研究中心 湖南 长沙 410073 ）
收稿日期：2008 － 09 － 03 。王亮芬， 硕士， 主研领域：计算机视觉， 图 像处理。
Scale invariant feature transform （ SIFT ）
Random sample consensus
Background subtraction
0

引
言
视频图像序列中的运动目标检测是许多视觉系统中一个基 ［ 1 识别非静态区域是所有更高层处 础的部分 〗。在监控应用中， 理的前提， 如目标识别、 跟踪、 行为分析等。 许多算法是建立在 前景是由观察图像和存储的背景之 背景模型的基础上进行的， 间的统计差异确定的。 目标检测主要有两种模式：摄像机静止—目标运动和摄像 ［ 2］ 机运动—目标运动 。 对于 视 频 监 控 任 务， 图像通常是静止 因此， 背景模型已知， 目标检测相对容易。 背景模型估计和 的， 背景差技术在这种情况下得到广泛应用 。 摄像机运动时， 由于 使得运动目标检测任务变得更有 摄像机运动产生了背景运动， ［ 3］ 挑战性 。静止摄像机情况下的目标检测跟踪技术已经比较 成熟， 运动摄像机情况下的目标检测和跟踪还在发展中 。 许多 重要的应用， 如机器人导航、 航拍图像的目标检测跟踪 、 视频压 缩等等， 都与运动摄像机情况下的目标检测跟踪密不可分 。 1992 年就有人开始研究运动摄像机情况下的运动 在国外，
1. 2
全局运动补偿与背景建模
摄像机的运动状态主要包括左右转动 、 上下转动， 焦距变 化、 追平追踪、 垂直追踪等， 而仿射变换具有平行线转换成平行 线和有限点映射到有限点的一般特性， 平移、 旋转、 缩放及反射 因此仿射变换一直是运动估计的标 等是二维仿射变换的特例， 准模型， 仿射模型有三参数、 四参数、 六参数等模型， 参数越多， 运动估计也就越准确， 不过计算也就越复杂， 为了既能准确地描 述摄像机的运动， 又能降低运算的复杂度， 我们一般采用六参数 仿射模型。 六参数的仿射模型如下：