第14章二维运动估计

第十四章 二维运动估计

早期设计的机器视觉系统主要是针对静态场景的，为了满足更高级的应用需求，必须研究用于动态场景分析的机器视觉系统．动态场景分析视觉系统一般需要较大的存储空间和较快的计算速度，因为系统的输入是反应场景动态变化的图像序列，其包含的数据十分巨大．图像动态变化可能由摄象机运动、物体运动或光照改变引起，也可能由物体结构、大小或形状变化引起．为了简化分析，通常我们假设场景变化是由摄象机运动和物体运动引起的，并假设物体是刚性的．

根据摄象机和场景是否运动将运动分析划分为四种模式：摄象机静止－物体静止，摄象机静止－物体运动，摄象机运动－物体静止，摄象机运动－物体运动，每一种模式需要不同的分析方法和算法。摄象机静止－物体静止模式属于简单的静态场景分析．摄像机静止－场景运动是一类非常重要的动态场景分析，包括运动目标检测、目标运动特性估计等，主要用于预警、监视、目标跟踪等场合。摄象机运动—物体静止是另一类非常重要的动态场景分析，包括基于运动的场景分析、理解，三维运动分析等，主要用于移动机器人视觉导航、目标自动锁定与识别等．在动态场景分析中，摄象机运动—物体运动是最一般的情况，也是最难的问题，目前对该问题研究的还很少．

图像运动估计是动态场景分析的基础，现在已经成为计算机视觉新的研究热点。根据所涉及的空间，将图像运动估计分为二维运动估计和三维运动估计，显然，这种划分不是十分严格，因为二维运动参数的求解有时需要三维空间的有关参数引导，而许多三维参数的求解需要以二维参数为基础。本章主要讨论二维运动估计，三维运动估计和分析将在第十五章讨论。

14.1图像运动特征检测

对许多应用来说，检测图像序列中相邻两帧图像的差异是非常重要的步骤．场景中任何可察觉的运动都会体现在场景图像序列的变化上，如能检测这种变化，就可以分析其运动特性．如果物体的运动限制在平行于图像平面的一个平面上，则可以得到物体运动特性定量参数的很好估计．对于三维运动，则只能得到物体空间运动的定性参数估计．场景中光照的变化也会引图像强度值的变化，有时会引起较大的变化．动态场景分析的许多技术都是基于对图像序列变化的检测．检测图像变化可以在不同的层次上进行，如像素、边缘或区域．在像素层次上要对所有可能的变化进行检测，以便在后处理阶段或更高层次上使用．

14.1.1差分图像

检测图像序列相邻两帧之间变化的最简单方法是直接比较两帧图像对应像素点的灰度值．在这种最简单的形式下，帧),,(j y x f 与帧),,(k y x f 之间的变化可用一个二值差分图像),(y x f DP jk 表示：

⎩⎨⎧>-=其它如果0),,(),,(1),(T k y x f j y x f y x f DP jk (14.1)

式中T 是阈值．

在差分图像中，取值为1的像素点被认为是物体运动或光照变化的结果．这里假设帧与帧之间配准或套准得很好．图14.1和14.2示意了两种图像变化情况，一种是由于光照变化造成的图像变化，另一种是由于物体的运动产生的图像变化．需要指出，阈值

在这里起着非常重要的作用．对于缓慢运动的物体和缓慢光强变化引起的图像变化，在一个给定的阈值下可能检测不到．

(a) (b) (c)

图14.1 (a)和(b)是取自一个运动摄象机获取的静态场景图像序列的两帧图像，

(c)是它们的差分图像(T=40)

(a) (b) (c)

图14.2 (a)和(b)是取自光照变化的图像序列的两帧图像，

(c)是它们的差分图像(T=80)

(1) 尺度滤波器

在实际中，使用上述差分方法计算的差分图像经常会含有许多噪声．一个简单噪声消除方法是使用尺度滤波器，滤掉小于某一尺度的连通成分，因为这些像素常常是由噪声产生的，留下大于某一尺度阈值的4-连通或8-连通成分，以便作进一步的分析．对于运动检测，这个滤波器非常有效．但也会将一些有用的信号滤掉，比如那些来自于缓慢运动或微小运动物体的信号．在图14.3中，我们给出了图14.1、14.2图像差分图像的尺度滤波结果．

(a) (b)

图14.3 (a)图14.1差分图像的尺度滤波结果

(b)图14.2差分图像的尺度滤波结果

(2) 鲁棒检测方法

为了使图象变化检测更鲁棒，可以使用统计方法或基于强度分布的局部逼近方法来比较两帧图像之间的光强特性，比如使用第三章讨论过的似然比

2

1222121)2(2σσμμσσλ*⎥⎦⎤⎢⎣⎡-++= (14.2) 来进行两帧图像之间的比较，(式中和表示区域的平均灰度和方差)，然后计算差分图像：

⎩

⎨⎧>=其它如果01),(T y x f DP jk λ (14.3) 式中T 是阈值．对于许多真实场景，将似然比和尺度滤波组合起来使用是非常有效的． 上面讨论的似然比测试是基于区域服从均匀二阶统计的假设．如果使用小平面和二次平面来近似这些区域，似然比测试方法的性能还能有显著的提高．注意，似然比测试是在像素层次上检测相似度,，因此只能确定所考察的区域是否有同样的灰度特征；有关区域的相对强度信息则没有得到保留．使用似然比方法检测图像序列中的运动部分可能增加计算量。

(3) 累积差分图像

缓慢运动物体在图像中的变化量是一个很小的量，尺度滤波器可能会将这些微小量当作噪声滤掉．当使用鲁棒检测方法时，因为是基于区域的变化检测，因此会使得检测小位移或缓慢运动物体的问题变得更加严重．

解决这一问题的一种方法是累积差分图像方法(accumulative difference picture, ADP )，其基本思想是通过分析整个图像序列的变化(而不是仅仅分析两帧之间的变化)来检测小位移或缓慢运动物体．这种方法不仅能用来可靠检测微小运动或缓慢运动的物体，也可用来估计物体移动速度的大小和方向以及物体尺度的大小．累积差分图像可分为一阶累积差分图像(FADP )和二阶累积差分图像(SADP )。

一阶累积差分图像的形成过程如下：将图像序列的每一帧图像与一幅参考图像进行比较，当差值大于某一阈值时，就在累积差分图像中加1．通常将图像序列的第一帧作为参考图像，并且置累积差分图像0FADP 的初始值为0．这样，在第k 帧图像上的累积差分图像),(y x FADP k 为：

⎩

⎨⎧-==-其它),(),(00),(11y x DP y x FADP k y x FADP k k k (14.4) 图14.4是利用累积差分图像检测的结果示意图．

二阶差分图像的构造为：对应于第n 帧)110(>=n N n 且，，， 的二阶差分图像在),(y x 位置的值为“1”

，表明在这个位置上第1-n 帧和第n 帧的一阶差分图像FADP 具有不同的符号．

⎩

⎨⎧>≠=

-其它01),(),(1),(1k y x SADP y x SADP y x SADP k k k (14.5) 累积差分图像具有许多性质，可以用于描述物体运动的总体参数[Jain]

(a) (b) (c)