基于无人机视频的运动目标快速跟踪

{1 0
（ 5） （ 6）
| D n （ x， y） | ＞ T 其他
T 表示阈值。 如果两帧影像相对应的像素的 式中， 绝对差值大于阈值 T（ T = 60 ） ， 则表明该像素为运动 目标像素， 将其值设为 1 ； 如果小于阈值则表明是该 像素为背景像素， 设为 0 。 这样可以得到二值图像 DP n （ x， y） 。
以及基于轮廓的算法
。 但这
些算法很少用于无人机视频跟踪处理中 。 由于物 体的变形、 光照的变化、 物体的遮挡等原因使得实 现一种快速的、 鲁棒的运动目标检测跟踪仍然是一 个巨大的挑战。 一般的运动目标的检测跟踪算法不适合于无 人机视频中的运动目标检测跟踪， 主要原因有以下 几个方面。 1 ） 计算耗时量大， 不适合实时的应用。 无人机 视频分析处理需要快速地跟踪多个运动目标 ， 因此 在完成实时跟踪的同时必须要考虑算法的鲁棒性 。 2 ） 算法的通用性。 大多数的算法是在理想的 条件下进行的， 如相机静止、 图像质量很好、 目标非 常清晰、 目标移动缓慢和简单的背景等。 但是搭载 视频中 可见光或者红外相机的无人机移动速度快 ， 的目标也可能移动很快。 因此， 无人机视频中目标 的分辨率比较低， 背景比较复杂， 给视频处理带来 了一定的困难。 3 ） 目标的特性。对于一般视频中的目标， 有非 常明显的特征或边界。 然而对于无人机视频中的 一些点目标来说， 仅仅由一些像素组成， 大小跟噪 声非常相似， 因此检测跟踪一个小目标将比较困难 。
g xy = xg y － yg x ； g t = I1 － I0 。 式中， 通过最小二乘法的运动估计可以得到亚像素 级的精度。 但是这个精度是在假设平移和旋转角 度很小的情况下求得的。 为了提高精度， 可以采用 迭代的运动估计。首先将式 （ 4 ） 计算出的运动参数 作为初始值带入 I0 计算 I1 ， 重复迭代直到运动参数 小于一定的阈值。 这种方法在大多数情况下很快 就能收敛。 在运动估计中如果所有的像素参与计 仅仅使用图 算将非常耗时。本文采用亚采样图像， 像的一个子集， 可以牺牲少量的像素精度来节省大 量的计算时间。
2 yq） g x （ x， y） － （ T y － xq） g y （ x， y） ］
y） y） I 0 （ x ， I 0 （ x ， ； g x （ x， y） = 。 y x
∑ gx gy ∑ gx gxy ∑ gx gt ∑ g2y ∑ gy gxy · ∑ gt gy ∑ gy gxy ∑ g2xy ∑ gt gxy
标的跟踪。 整个跟踪流程计算量小， 速度较快， 并 ， 且取得了较好的试验效果 能够达到无人机视频快 速实时跟踪的目的。
图4
目标跟踪结果 1
图3
形态学操作后的二值图像
3． 基于区域的目标跟踪 运动目标的跟踪实质是建立影像中目标之间 跟踪包括两个步骤： 目标检测和目标运动 的关系， 预测。目标运动预测是估计下一帧中目标出现的 而目标检测的精确度直接影响跟踪的准确性 。 位置， 一种快速有效的目标跟踪方法是基于区域的 运动目标跟踪。 基于区域的跟踪实际上是一个模 板匹配的过程， 在完成目标检测后， 可以从图像中 大小、 形状等信息， 将目标作 得到运动的目标位置、 为一个模板， 从图像中获取一块区域， 计算这块区 。 域与模板之间对应像素的相关系数 这种方法的 优点是： 当目标未被遮挡时， 跟踪精度较高， 跟踪比 较稳定。 利用基于区域的目标跟踪方法进行两组试验 。 从图 4 可以看出， 得到了很好的试验结果， 跟踪比较 准确， 计算速度较快； 图 5 是由无人机拍摄的视频影 像， 运动目 标 较 小， 目 标 特 征 不 明 显， 在这种情况 下， 该算法也能够比较准确的跟踪目标 。
［7 ］
在运动估计中， 为了得到精确的运动参数， 应 。 3 尽量选择背景像素而避免目标像素 在计算出 个 运动参数后， 双线性内插得到 I1 ， 然后目标的运动 检测就能够通过连续两帧影像之间的计算获得 。 试验采用下载的无人机视频数据， 图 2 中（ a） 、 （ b） 是视频中连续两帧影像， （ c） 是经过运动补偿后 得到的影像。为了显示出背景运动补偿后的效果， 对 补 偿 后 的 图 像 进 行 差 分 计 算。 计 算 结 果 如 （ e） 所示。 图 2 （ d） 、 由试验结果可以看出： 由于背景移动的影像， 直接差分结果不是很理想， 目标中出现了空洞和多 余不分。而经过背景运动补偿后， 目标的大致轮廓 可以比较清楚地分割出来， 得到了较好的效果， 有 利于后续的目标检测与跟踪。
关键词： 序列影像； 运动估计； 目标检测； 目标跟踪
一、 引
言
为了解决这些问题， 本文提出了一种基于无人 机视频的运动目标快速跟踪算法 。
目前， 运动目标的检测跟踪是计算机视觉领域 的一个研究热点， 运动目标的检测跟踪技术方法很 如基于认识理论算法 多， 基于特征的算法
［45 ］ ［1 ］ ［23 ］ 、 、 基于区域的算法 ［6 ］
TAN Xiong，YU Xuchu，LIU Jingzheng，HUANG Weijie
摘要： 无人机视频序列影像是无人机在高速运动的条件下获取地面目标的动态信息， 相机的运动给目标检测、 跟踪带来了一定的
困难。针对无人机视频序列影像背景位移的特点， 将运动目标检测与跟踪技术分为运动估计 、 目标检测、 目标跟踪 3 个部分。 由 分辨率较低， 因此采用基于区域的目标跟踪算法。该方法计算量小， 计算速度快， 能够满足实 于无人机视频序列影像中目标较小 、 时跟踪的需求， 试验效果良好。
32 0911 （ 2011 ） 09003203 文章编号： 0494-
测
绘
通
报
2011 年
第9 期
中图分类号： TP237
文献标识码： B
基于无人机视频的运动目标快速跟踪
谭 熊， 余旭初， 刘景正， 黄伟杰
（ 信息工程大学 测绘学院， 河南 郑州 450052 ）
Object Fast Tracking Based on Unmanned Aerial Vehicle Video
图1
跟踪算法流程图
图 1 包含 3 个步骤： 补偿由相机运动引起的图 像位移； 检测每一帧图像的运动区域； 适时的跟踪 运动区域。 全局运动补偿包括估计相邻两帧视频 影像之间的运动参数； 运动目标的检测用时空变化 检测算法； 跟踪是把后一帧影像的运动区域分割出 在两帧之间建立运动目标之间的联系 ， 进而确 来， 定目标在下一帧的位置。
（ 4）
Hale Waihona Puke Baidu
－1
图2
视频序列影像的全局运动补偿
2． 运动目标的检测 由于经过全局运动补偿， 消除了背景的位移， 可以直接对视频序列影像进行帧差法处理 ， 经过阈 y） 、 I n +1 （ x， 值变换， 得到运动目标的区域。 设 I n （ x， y） 表示连续两帧影像， 二值差分图像表示为 D n （ x， y） = I n +1 （ x， y） － I n （ x， y） DP n （ x， y） =
34
测
绘
通
报
2011 年
第9 期
在实际情况下， 运动图像的背景并不能完全消 ， 2 （ e ） 所示。虽然运动目标可以明显地检 除掉 如图 测出来， 但是出现了道路边界等一些噪声。 为了消 除噪声的影响， 可以采用形态学滤波的腐蚀膨胀方 法。图 3 是将二值图像经过腐蚀膨胀后得到的试验 结果， 从中可以看出， 经过差分计算、 形态学滤波操 作后， 可以得到一个较为完整的目标区域。 帧差法 的优点是： 在基本消除了背景的移动后， 能够检测 出物体的基本形状， 并且该方法计算简单， 速度快， 比较适合于实时的检测。
图5 目标跟踪结果 2
参考文献：
［ 1］ COHEN I，MEDIONI G G． Detecting and Tracking Moving Objects for Video Surveillance［ C］ ∥Computer Vision and Pattern Recogintion． Fort Collins，CO，USA： IEEE， 1999 ： 23192325． ［ 2］ MEYER F，BOUTHEMY P． Regionbased Tracking Using a Fine Motion Models in Long Image Sequences ［J］ ． CVCIP： Image Understanding， 1994 ， 60 （ 2 ） ： 119140． ［ 3］ BASCLE B，DERICHE R． Region Tracking Through Image Sequences ［C］ ∥ Proeeedings of IEEE International Conferenee of Computer Vision． Cambridge． MA， USA： IEEE， 1995 ： 302307． ［ 4］ TISSAINAYAGAM P ， SUTER D． Object Tracking in Image Sequences Using Point Features［J］ ． Pattern Recognition， 2005 ， 38 （ 1 ） ： 105113． ［ 5］ NICKELS K， HUTCHINSON S． Estimating Uncertainty in SSDbased Feature Tracking［ J］ ． Image and Vision Com2002 ， 20 （ 1 ） ： 4758． puting，
来估计由相机运
I1 （ x ， y） = I0 （ xcos θ － ysin θ + T x ， ycos θ + （ 1） Tx 、 Ty 、 式中， θ 分别表示水平位移、 垂直位移和旋 转角 度。 当 旋 转 角 度 θ 很 小 时， 可以近似地将 cos θ、 sin θ 分别用 1 和 θ 代替。 将式 （ 1 ） 用泰勒级 数展开， 有 I1 （ x ， y ） ≈ I0 （ x ， y ） + （ T x － y θ） g x （ x ， y） + （ T y － x θ） g y （ x ， y） （ 2） g y （ x， y） = 式中， 误差函数为 E（ Tx ， Ty ， q） = y） ∑［I1 （ x， － I0 （ x ， y） － （ T x － （ 3） 通过计算误差函数的最小值来求解这 3 个变量 的值。解出运动参数的估计值为 g2 Tx ∑ x T = ∑ gx gy y θ ∑ gx gxy
二、 方法的提出
在前文中提到， 很多种跟踪算法不能用于无人 机视频的目标跟踪， 主要是因为这些方法不适用于 小目标的 检 测 跟 踪 以 及 计 算 量 较 大 的 实 时 跟 踪。 与其他跟踪方法相比较， 基于区域的跟踪比较适合 无人机视频目标的跟踪。 改进基于区域跟踪的算 法， 将运动目标的跟踪分为 3 个步骤： 运动估计、 目 标检测、 目标跟踪。算法的流程图如图 1 所示。
0820 收稿日期： 2010作者简介： 谭 熊（ 1986 —） ， 男， 四川邻水人， 硕士生， 主要研究方向为计算机视觉、 视频处理。
2011 年
第9 期
谭
熊， 等： 基于无人机视频的运动目标快速跟踪
33
1． 运动估计和全局运动补偿 无人机视频数据是无人机在高速运动的条件 下摄取运动目标的动态信息。 要对场景中的运动 目标进行检测与跟踪， 首先要考虑的就是背景的位 移估计即全局的运动补偿； 然后移除背景的影响， 消除误差， 从而更加准确地提取运动目标、 跟踪目 标。运动估计和运动补偿为后续的运动目标检测 与跟踪奠定了基础。 设连续的两帧影像照度分别用 I0 ，I1 表示， 用 运动模型可以估计出 I0 和 I1 之间的几何变化参数， 最常用的模型包括仿射变换模型和二次逼近模型 。 本文用旋转平移的三参数模型 动产生的影像背景位移。 xsin θ + T y ）