一种运动目标检测与跟踪快速算法的研究

。由于我
们认为对应同一个点， 所以
（６）
将上式右边做泰勒公式展开，并令 ｄｔ →
２５４ 科技资讯 ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
学 术 论 坛
０，便可得到光流场的基本方程（简称 ＢＯＦＥ）：
（７）
式中
和
）
为该点的光流。
光流法的主要任务就是通过求解光流约
（１）
因此，对于场景中的静态物体（如背景），△ Ｉｔ（ｘ，ｙ）为零；而对于场景中运动物体的轮廓， △ Ｉｔ（ｘ，ｙ）一般不为零。所以可利用 △ Ｉｔ（ｘ， ｙ ） 来检测物体的运动。利用法， 适当的选取
阈值可以有效地抑制噪声， 提取运动信息， 获 得差值图Ｉｔ（ｘ，ｙ），即
（２）
比较， 计算结果如表 １ 。 根据表 １ 的实验数据可知，采用本文算法
的光流场平均 ＤＦＤ 统计误差参数比单纯采用 光流场的方法要小， 并且运算速度要快， 故本 文提出的算法优于单纯用光流场的计算方 法。从表 ２ 中的合成序列图像的运动物体的 速度计算结果来看，采用了改进的光流场方程 后，其结果更接近真实结果，但误差仍然较大， 这主要是由于该合成图像中的运动物体具有 透明性。
２ 运动目标的检测方法
序列图像中对运动目标的检测常依据特 征与灰度。基于特征的检测多是依据图像特 征或由其组成的模型来检测运动目标；基于灰 度的方法是依据图像中灰度模式等来实现运 动分割。近年来， 常用的方法有背景差法［２］、 相邻帧差法、区域分割法及光流法等。 ２．１ 帧间差阈值法检测运动目标
在假设用于获取序列图像的摄像机是静 止的前提下，检测运动目标的最简单的方法是 帧间差阈值法。假设运动物体为刚性，在 ｔ 时 刻，图像在（ｘ，ｙ）像素处的灰度值为Ｉ（ｘ，ｙ，ｔ）； 在 ｔ＋１ 时刻，（ｘ，ｙ）像素处的灰度值变化为 Ｉ （ｘ，ｙ，ｔ），则 ｔ＋１ 时刻与 ｔ 时刻（ｘ，ｙ）像素处的 灰度差为：
Ｄ（ｘＯ，ｙＯ），运动目标重心点正下方的边缘点的
三维立体坐标为
， 该点在图像上
的投影点坐标为
， 则三角形 Ａ Ｃ Ｏ 与
三角形 Ｃ Ｄ Ｂ 相似， 经过计算可以得出物体地
面上的点与摄像机的水平距离 ｍ Ｚ。 ｍＺ＝ｆ × Ｈ／（ＹＢ－ｙＯ）ｄｙ （５） 其中：ｆ 为摄像机焦距，ｄｙ 是摄像机成像
常用的方法之一。本文提出了基于帧间差阈值法和光流场相结合的快速运动目标检测与跟踪算法， 计算结果表明该算法简单实用、运
算速度快， 克服了单纯光流场方法的不足。
关键词：目标跟踪 目标检测 跟踪算法 光流场
中图分类号： Ｔ Ｐ ３ ９ １ ． ４ １
文献标识码： Ａ
文章编号：１６７２－３７９１（２００７）０７（ｂ）－０２５４－０２
科技资讯 ２００７ ＮＯ．２０
ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ
件和计算方法， 如： 微分法、匹配法、频域 法和马尔可夫随机场方法等［１，５，６］。在实际计 算中，基于微分法的最小加权二乘法可取得较 好的效果，该算法由 Ｌｕｃａｓ 和 Ｋａｎａｄｅ［７］提出， 即在像素 的邻域Ω内，用加权最小二乘法 来求该点的光流，该方法的约束条件为光流计 算误差最小， 即
其中 为阈值。 帧间差阈值法检测运动目标速度快，可用 硬件实现。对于多目标的运动检测与跟踪， 仍可采用此方法作为初始分割，求出运动物体 轮廓的外接矩形，然后用基于光流场的计算方 法， 求出运动物体的速度以便进行跟踪。 ２．２ 区域分割对运动目标的特征提取 当检测出场景中的运动目标，需对场景中 的目标进行特征提取，以获取运动目标特征深 度信息。差分出的图像进行二值化， 对目标 区域进行开启闭合运算，求其重心。 计算如 下： ａ ． 计算运动目标区域重心点的横坐标、 纵坐标为：
在实际情况中，由于光流场的不连续性及 违反守恒假设条件处的光流场分布是不可靠 的，若针对差值图中不为零处的像素来计算其 光流，其光流场的分布较之计算整个运动物体 的光流场要可靠得多，这是因为它们往往对应 于灰度梯度较大的点，而这些点处的光流场基 本方程近似成立； 采用这种约束措施后， 可使 得计算出的光流场分布更为可靠和精确，同时 也减少了计算量（这是因为不必计算整幅图像， 只需计算差值图中不为零处的光流场分布） 。
（１０） 式中 其中：△ｇ为几何分量（也即运动物体的速 度），△Ｉ 为照度分量，其比值△ｇ △Ｉ可作为它 们之间相对强弱的参数。若该比值较大， 则 可以认为估计出的速度分量较为准确。反 之， 估计出的速度不准确， 此时阴影的成分较 大，这对估计运动参数和物体结构参数是非常 有意义的。 为准确求出光流场的分布，人们在基本光 流场方程的基础上提出了各种各样的约束条
为：
（８）
式中 Ｍ（ｒ）＝１＋ △ ｍ（ｒ），Ｃ（ｒ）＝ △ ｃ（ｒ），则
有
（９）
若△ ｍ＝ △ ｃ＝０，公式（１０）就转化为光流 场基本方程的灰度守恒假设，即是说灰度守恒 假设是 Ｇ Ｄ Ｉ Ｍ 假设的特例。于是便可得到改 进的光流场基本方程（简称 ＩＢＯＦＥ）
５ 结语
利用本文提出的快速运动目标检测与跟 踪算法，具有运算速度快和计算出的光流场更 为可靠的特点， 综合了背景差法、图像帧间 差阈值法和光流场方法的优点，并有效地计算 目标深度；这就为运动参数和结构参数的估计 提供了可靠的基础。
参考文献
［１］ Ｂａｒｒｏｎ Ｊ Ｌ， Ｆｌｅｅｔ Ｄ Ｊ， Ｂｅａｕｃｈｅｍｉｎ Ｓ Ｓ． Ｐｅｒｆｏｒｍａｎｃｅ ｏｆ ｏｐｔｉｃａｌ ｆｌｏｗ ｔｅｃｈｎｉｑｕｅｓ［Ｊ］． Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ， １９９４，１２（１）：４３－４７．
［２］ Ｓｔｒｉｎｇａ Ｅ，Ｒｅｇａｚｚｏｎｉ Ｃ Ｓ．Ｒｅａｌ－ｔｉｍｅ ｖｉｄｅｏ－ｓｈｏｔ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｓｃｅｎｅ ｓｕｒ－ ｖｅｉｌｌａｎｃｅ ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓｌａ－ ｔｉｏｎ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０００，９（１）： ６９－７９．
光流场是分析序列图像中运动目标的重 要方法之一， 它既可用于运动目标的检测， 也 可用于运动目标的跟踪，特别是当运动物体重 叠时， 利用其光流场的分布， 可以进行检测与 跟踪。但由于噪声、多光源、阴影、透明 性和遮挡性等影响的原因［１］，使得计算出的光 流场分布并不是十分可靠和精确，同时光流场 的计算也十分耗时。为了克服帧间差阈值法 和光流场方法的不足， 并使其优点互补， 本文 给出了一种基于上述两种方法的适用于序列 图像中运动目标检测与跟踪的快速实用算法， 即先用帧间差阈值法检测出运动物体的运动 区域， 再计算差值图中不为零处的光流， 然后 利用其光流场来实现运动目标的跟踪。计算 结果表明该算法简单实用， 运算速度快。
实现序列图像中的运动目标的检测与跟 踪的步骤可以分为：首先用 ３ × ３ 窗口的中值 滤波对图像进行预处理；其次采用帧间
其图４中（ａ）为图２（ａ）与图２（ｂ）的差值图， 图（ｂ）为图３（ａ）与图３（ｂ）的差值图 差阈值法求出差值图，并求出运动物体的 外接矩形，选取阈值τ ＝９（图 ４）；然后对差值 图中不为零处的光流用最小加权二乘法求出， 采用 ５ × ５ 的邻域， 其一维加权系数为（ ０ ． ０６２５，０．２５，０．３７５，０．２５，０．０６２５），选取阈值λ ＝１．０；最后计算运动物体的速度； 对于运动序 列图像，本文提出的算法同时采用了光流场的 基本方程和改进的光流场基本方程来求运动 物体的光流场分布。为了比较该算法的优 劣，Ｈｏｒｎ［８］和Ｌｕｃａｓ提出的基于微分的光流场 计算方法进行了比较，同时也采用了峰值信噪 比（ＰＳＮＲ）和 Ｄ Ｆ Ｄ［９］（Ｄｉｓｐｌａ－ｃｅｄ ｆｒａｍｅ ｄｉｆｆｅｒｅｎｃｅ）统计误差参数来对不同的算法进行
大时， 基本方程才成立。对于用帧差法获得
的差值图中不为零的像素点往往对应于灰度
的梯度较大的点，故采用帧间差阈值法和光流
场相结合的计算方法将使计算出的光流场分
布更为准确和有效。因此根据 Ｇ Ｄ Ｉ Ｍ
（ｇｅｎｅｒａｌｉｚｅｄ ｄｙｎａｍｉｃ ｉｍａｇｅ ｍｏｄｅ）模型［４］，
则有灰度不再保持恒定， 而是变化的， 可表示
（１１）
Ｗ （ ｋ ） 表示窗口权重函数， 设 （Ｔ 为矩阵转置）
（ｄｉａｇ为对角线矩阵）
则有
， 这样求出其解为
对于光流场的基本方程，光流的可靠性可 由 ＡＴＷ２Ａ 矩阵的特征值来决定， 假设其特征 值为λ １ 和λ ２，若它们均大于给定的阈值λ， 则计算出的光流是可靠的， 反之， 是不可靠 的。该算法的运算速度较快， 能得到较好的 效果。对于改进的光流场基本方程， 光流的 可靠性除由 Ａ Ｔ Ｗ ２ Ａ 矩阵的特征值来决定， 还 可由△ ｇ ／ △ Ｉ 的比值γ来约束光流场的分 布。
算出深度距离 ｍ ｚ 值。
实际中Βιβλιοθήκη Baidu器人摄像机采用的是正对前方
的放置方式， 高度已经测定为 Ｈ ， 焦距已经测
定为 ｆ，运动目标本身的重心距离地面有一定
的高度，采用运动目标重心点正下方的运动目
标区域边缘点在图像中的坐标表示 Ａ 点，具体
计算如下：
由图（１）可得，Ｃ 是摄像机，Ｏ 是摄像机在
地面上的投影， 图像成像面中心点坐标为
在一个图像平面上，物体的运动往往是通过图
像序列中不同图像灰度分布的不同体现的。
从而，空间中的运动场转移到图像上就表示为
光流场，光流场反映了图像上每一点灰度的变
化趋势。光流可以看作带有灰度的像素点在
图像平面运动产生的瞬时速度场。
假设
为 点在时刻ｔ的灰度（照
度），设在 ｔ ＋ ｄｔ 时刻该点运动到
点， 他的照度为
科技资讯 ２００７ ＮＯ．２０ ＳＣＩＥＮＣＥ ＆ ＴＥＣＨＮＯＬＯＧＹ ＩＮＦＯＲＭＡＴＩＯＮ 一种运动目标检测与跟踪快速算法的研究
学 术 论 坛
朱克忠 （合肥工业大学电气与自动化工程学院 安徽合肥 ２３０００９）
摘 要： 运动目标的检测与跟踪是计算机视觉和图像编码研究的主要内容之一， 有着广泛的应用领域。而基于光流场的检测与跟踪是其
４ 实验结果及讨论
为了比较本文提出的算法，采用了合成序 列图像（图２）与实际序列图像（图３），图像均为 １４４ × １７６，８ 位灰度图；图 １ 中的大矩形运动 物体的速度为向上向左 １．０ 像素 ／ 帧，小矩形 运动物体的速度为向上向左 ２．０ 像素 ／ 帧；图 ２中的运动序列图像是在固定摄像机的条件下 采集的， 采样频率为 ２ ５ 帧 ／ 秒。
１ 引言
序列图像中运动目标的检测与跟踪是计 算机视觉和图像编码技术研究的主要内容之 一， 在机器人导航、智能监视系统、医学图 象分析以及视频图象压缩和传输等领域中都 有应用。
运动目标检测是实现目标识别与跟踪的 基础。由于视频序列在时间上具有一定连续 性的图像帧序列构成的，故检测序列图像中运 动目标的最简单的方法是帧间差阈值法（简称 ＴＩＦＤ），其速度快，易于硬件实现，已得到广泛 应用。但其不足是很难求出运动物体的速 度， 且当运动物体在成像平面有重叠时， 帧间 差阈值法难以检测出有重叠的运动物体。为 了利用帧间差阈值法的优点， 克服其不足， 将 帧间差阈值法和其它运动分析方法结合，取得 了很好的效果。
像素的纵向物理尺寸， Ｈ 为摄像机与地面高
度。
图 １ 小孔成像原理的测距示意图
３ 光流场用于目标跟踪
所谓光流是指图像中灰度模式运动的速
度；它是景物中可见点的三维速度矢量在成像
平面上的投影，它表示了景物表面点在图像中
位置的瞬时变化，同时光流场携带了有关运动
和结构的丰富信息。
在空间中， 运动可以用运动场描述。而
（３）
（４）
其中：Ｏｔ为二值化图像 跟踪的运动目标区域。
中的确定要
ｂ ． 计算跟踪运动目标区域的重心点的深
度坐标值
在没有特殊已知信息的条件下计算物体
的深度信息是一件比较困难的事，由于跟踪本
身对精度的要求并不是很高，本文采用单摄像
机近似小孔成像原理的测距方法，较精确地计
束方程求出 ｕ，ｖ。但是由于只有一个方程，所
以这是个病态问题。但是由于我们用于摄像
机固定的这一特定情况，所以问题可以大大简
化。
在实际应用情况中， 由于如遮挡性、多
光源和透明性等原因，光流场基本方程的灰度
守恒假设条件往往不能满足。Ｖ ｅ ｒ ｒ ｉ 和
Ｐｏｇｇｉｏ［３］曾证明了当且仅当图像灰度的梯度很