图像序列分析

1 图像序列分析

1.1 运动估计

图像序列时空变化的一个重要起因为运动，包括摄像机运动和场景中的物体运动。这种三维运动通过投影到图像平面，形成二维运动，常常称为表观运动（apparent motion ），有时也称为光流（optical flow ）。如何从视频序列的图像灰度和颜色信息估计出这个二维运动，即基于图像序列的运动建模和计算，是图像序列分析的重要内容之一。在视频处理与压缩以及计算机视觉中都有着重要的应用，例如在视频处理中，运动信息广泛用于运动补偿（motion-compensated ）采样（制式转换）、滤波（去噪）、复原（去模糊）等。

首先，我们必须确定有关运动估计问题中的三个方面：

1. 模型选择：运动的表示及其支撑域（region of support ）、观测模型，以及运动边缘与遮

挡等建模。运动表示的核心为运动场的模型参数化，这些模型及其参数的选择往往与应用及场景对象有关

2. 估计准则：即运动估计中模型参数的优化准则，其形式多样，如最简单的为关于块的均

方误差，更为复杂的包括贝叶斯准则或框架、马尔可夫随机场模型等

3. 搜索策略：即优化过程或方法，可以是确定性的或随机的。最简单的确定性方法有穷举

方法和松弛迭代方法，另外还有条件迭代（iterated conditional modes – ICM ）和最高置信优先（highest confidence first - HCF ）方法；典型的随机方法为模拟退火（simulated annealing – SA ）等

下面我们按问题的这三个方面进行探讨。

1.1.1 模型选择

1.1.1.1 运动的表示

考虑一个物体点在三维空间中运动，设其在时刻t 的位置（摄像机坐标系）为X (t )=(X (t ),Y (t ),Z (t ))∈?3，三维运动轨迹为一条四维时空曲线(X (t ),t )，对于任意两个时刻t 和τ的物体点三维位移为D t ,τ(X )= X (τ)- X (t )。

图像采集系统将三维场景投影到一个二维图象平面上，图像坐标为x =(x ,y )∈Λ，其中Λ为图像采样网格。同样，二维运动轨迹为三维时空(x (t ),t )，二维位移为d t ,τ(x )= x (τ)- x (t )。

由上述二维位移，有

...))(())(()()(221+?+?+=t t t t t τττx x x x &&&

其中忽略高次项，得

221))(())(()()(t t t t t ?+?+≈τττx x x x &&&

其中和分别为瞬间速度和加速度，u (x )和v (x )分别为速度矢量的水平和垂直分量。若忽略加速度项，则

)](),([)()(x x x v x v u t ==&)(t x

&& ())()()()(t t t ??≈ττx x x

& 一般来说，一个运动场（motion field ）由一个在连续空间坐标系中定义的矢量函数所表示，而在实际中，该函数通常为参数形式，具有有限个参数。如三维和二维仿射运动分别为

b x I A x d s X I R X D +?=?+?=)()()()(

其中R =(r ij )为一个三维仿射变换矩阵，s 为一个三维平移矢量。考虑一个空间平面αX +βY +γZ =1和正投影x =cX , y =cY ，则有 ???

?????++=????????????=2231132322232113121311,cs r cs r r r r r r r r r c c γγγβγαγβγαb A 1.1.1.2 运动表示的支撑域

所谓的运动表示支撑域，是运动模型应用的图像像素范围R ?Λ，即运动估计计算所牵涉的图像范围（区域大小和形状）。不同的运动模型具有不同的支撑域（下图）。

(a)全局运动 (b)密集运动 (c)基于分块的运动 (d)基于区域的运动

全局运动：该模型所描述的运动为所有图像像素以某种相同的方式运动，因此所涉及的支撑域为整幅图像，即R =Λ。全局运动一般对应于摄像机运动（移动、变焦等）而场景保持静止的情况。

单个像素运动：这是运动的另一个极端情况，每个像素点有自己的运动，从而所涉及的支撑域为单像素，即R x ={x }, x ∈Λ。我们称这种运动估计为基于像素的运动估计。这属于密集（dense ）型运动估计方法。

区域运动：这种形式介于上述两个极端之间，运动模型分别应用于某个或某些图像区域，其中最简单为分块（block ）：将图像划分为许多非覆盖矩形区，每个矩形分块具有一个运动。称为基于分块的运动估计。一个更为合理的方式为按场景中进行图像分割以获得物体分区，而每个物体分区具有一个运动，称为基于区域的运动估计。

分级运动模型：分块的方式可以利用图像分析中广泛采用的多分辨率（multi-resolution ）或多尺度（multi-scale ）结构形式，即分级（hierarchical ）结构来进行，因此运动估计可以用多细节层次（multiple levels of detail ）来建模。该模型的优点在于更好的场景适应性和更高的计算效率。

综上所述，运动表示形式主要有：基于像素的表示、基于区域的表示和基于分块的表示。

基于像素表示的特点为：未知参数多（至少为两倍于像素数），而且其解可能在物理上不正确，除非在求解过程中施加合适的约束；基于区域的表示适合于多运动物体的场景，它包括一个分割图和多个运动参数集合，其求解一般采用迭代（包括分割和估计），因此计算量大；基于分块的表示是基于区域表示中的一种较简单的规则区域的情况，每个分块可以用一个简单模型来表征其运动，从而在计算精度和复杂性之间取得较好的平衡，但在相邻分块间的运动无任何约束。

1.1.1.3 图像序列与运动之间的关系

序列图像灰度/颜色值与运动参数之间的关系是运动估计算法的主要基础，其中一个重要假设为：运动轨迹上的图像值不变。该假设表明，只是运动造成图像序列中像素值的改变，而场景光照不变。

设g (x ,t )为第t 帧图像像素x 的图像值，s 为运动轨迹变量，则上述假设可表达为约束方程: dg (x ,t )/ds =0。该方程可写为下述著名的运动约束方程

()0=??+??=??+??+??t

g g t g v y g u x g T v 上述运动约束方程限定在场景光照不变的情况下有效，但在场景光照改变时，就有必要寻求其它不变量来取代图像值，一种可行的不变量为运动方向上图像空间梯度的一致性，即

0)(0222222r r =???+????????

???????????=?t g y g y x g y x g x g ds g d v

1.1.2 估计准则

1.1.

2.1 基于位移帧差的准则

在图像值不变的假设下，一个重要的准则为对下述误差最小化

)),((),(),(?),()(,,τετττx d x x x x x t t g t g t g

t g +?=?= 后一项称为g (x ,t )的运动补偿预测。如果是全局运动（R =Λ），则称上式为位移帧差（displaced frame difference – DFD ），如果R 为分块或任意形状的区域，则称为位移块差或位移区差（displaced block/region difference ）。我们知道，所有微分算子对噪声敏感，通过对上式误差最小化来计算运动场，在支撑域很小或图像较为平坦的情况下，往往由于噪声而难以获得良好的估计结果。

在支撑域内的预测误差测度常常采用的几个典型测度

()

()()()∑∑∑∈∈∈∈+?+=+?=+?=+?=R R R R g t g J g t g med J g t g J g t g J x x x x x d x x d x d x x d x d x x d x d x x d 2

242

32212)),((),(1log )()),((),()()

),((),()()),((),()(σττττ

分别为均方、平均绝对值、中方（median-squares ）和基于Lorentz 函数的运动补偿误差。

1.1.

2.2 频域方法

利用傅里叶变换的位移性质，对于平移运动g (x ,t )= g (x+b ,τ)

()

T y x T f f j g F t g F ),(,2exp )},({)},({==+f b f b x x πτ

因此可由相位直接计算出平移矢量b 。可以将该方法思想扩展到均速运动的估计[2]。 1.1.2.3 正则化

由于其小孔效应（aperture effect ）1，对上述基于图像值不变的运动约束方程的求解是一个病态问题，而解决病态问题的一个有效方法为，根据某些先验知识对方程求解进行额外的显性约束或惩罚（penalize ），称为正则化（参见《图像分析中的正则化问题》中的内容）。对于图像序列的运动估计，一个著名的方法为H-S 约束[3]，即考虑速度场的空间平滑性：

()()∫∫?+?+??+??=x x x x x v x v d v u t g g J T 22)()()()()()(λ

在实际的离散实现中，上式中的第一项用J 1(d )取代，而第二项则为拉普拉斯算子的离散实现。运动估计为对上述准则函数的最小化

)(min arg ?v v v

J =利用变分计算，上式可表达为下述方程组 ?????????????=??+??????????=????+??t

g y g t v t v y g t u y g x g t g x g t u t v y g x g t u x g ),(?),(?(),(?),(?),(?),(?)(222222x x x x x x λλ 数值实现时，用FIR 高通滤波器近似速度分量的拉普拉斯，并常用Gauss-Seidel 迭代：

())

222)()()()()()1()()()1()()()()()(),(),()(),(?),(?),()(),(?),(?y g x g t g v y g u x g t w t w y g t v t v

t w x g t u t u k k k k k k k k k ??+??+??+??+?=??????=??=++λx x x x x x x 其中k 为迭代计数，u 和v 为速度分量的局部加权平均，初始估计和通常取零。

)0(?u

)0(?v 1.1.2.4 贝叶斯准则 贝叶斯方法为运动场估计提供了一个一般性框架[4]。将运动场d 考虑为一个随机场D 的一个给定后验概率分布的实现，而一个估计则为该后验分布的一个特殊实现，如均值或最大值，最常用的为MAP 估计

1 在“小孔”中观察物体轮廓运动，只能感知沿轮廓法线方向上的运动

()()({})(;log )(;|)1(log max arg )();1(|max arg ?11t g P t g t g G P t g t g G P t t d D d D d D d d d

=+=+==+===++

)上式中的第一项为给定一个运动场d 和前一帧图像g (t )时当前帧图像g (t +1)的似然，利用d 和g (t )，我们可以计算G t +1的运动补偿预测。通常假设的观测模型为：似然完全由DFD 的随机场E 确定，即P (G t +1=g (t +1)|D =d ; g (t )) = P (E =ε)，而分布P (E =ε)的模型有零均值白高斯、拉普拉斯、分段平稳广义高斯等。上式中的第二项为运动场d 的先验概率分布，有关随机场D 的一个公认的模型为马尔可夫/Gibbs 模型，详细内容参见《图像分析与随机场》。

1.1.3 搜索策略

1.1.3.1 匹配方法

当运动参数不多且状态空间（可能的运动参数集合）较小时，如基于分块的运动估计，实现预测误差最小化的最适合的搜索策略为匹配（matching ）：在运动模型支撑域中，将由多个可能的运动参数集合所对应的运动补偿预测与对应帧的原始图像相比较，得到最好的候选估计。

块匹配基本思想：取一个以当前帧中像素(x ,y )为中心、尺

寸为W x ×W y 的块，在下帧（搜索帧）中找出同尺寸的最佳匹

配块位置，两个对应块中心坐标差形成位移矢量（如右图所

示）。

这种搜索策略属于穷举（exhaustive ）方法，其效率一般很

低。如果假设在状态空间中，在估计的运动附近估计准则函数

J (d )变化缓慢，则可采用分级搜索策略来降低计算复杂性。该

策略将运动场表示为分级结构，以缩小搜索范围，从粗到精，逐步改善估计精度。以三级分块匹配为例（下图）：分级越高，分辨率越低，首先在最高分级计算粗匹配，其状态空间为全分辨率状态空间的下采样，其次在粗匹配的分块范围内再计算中间匹配，最后在最低分级计算最终匹配。

1.1.3.2 松弛方法

对于多变量优化问题，松弛方法是一个常用的方法。它构建一个估计序列，其中相邻的

估计最多相差一个变量。考虑对一个密集运动场d 的估计，通过预先确定的扫描方式（线扫描或随机选取）构建一个运动场序列d (0), d (1), …，其中两个相邻估计d (k -1)和d (k )最多只相

差单个位置x k ，

因此在松弛过程中的每步只需计算单个位置处的运动矢量，而其它位置处的运动矢量保持不变。

松弛方法有确定性松弛（deterministic relaxation ）和随机性松弛（stochastic relaxation ）两种。稳定性松弛的一个典型方法为ICM 算法（见参考文献[5]和《图像分析与随机场》中的相关内容），而随机性松弛往往采样贝叶斯估计准则，从全状态空间中选取最佳运动矢量：

())();1(,),()(|)()(max arg )(1)

()(t g t g G P t k k k k k k +=≠?===+x x x d x D x d x D x d x d 采用马尔可夫/Gibbs 随机场可以简化上式，单个变量D (x k )的条件概率分布完全由其邻域决定，即上式可简化为

()

)();1(,),()(|)()(max arg )(1)()(t g t g G N P t k k k k k k +=∈?===+x x d x x d x D x d x D x d 1.1.3.3 最高置信优先方法

HCF 是一种用于马尔可夫随机场的确定性优化方法，每步更新一个位置。与松弛方法不同的是，其位置范围顺序不是优先固定，而是由输入数据驱动。该方法首先在处理图像分割问题时提出，有关内容参见[1, 6]中相关部分。

1.1.3.4 基于梯度的优化方法

该方法要求估计准则函数J (d )可导，如采用L 2范数或均方误差准则J 1(d )。但由于常利用泰勒展开该准则函数来近似求取运动参数，因此限制在较小的运动范围。

1.2 运动分割

大部分实际图像序列所表达的场景中包含多个运动或运动物体，运动分割为从图像序列中分割出某个或某些特定的运动物体或区域，又称为基于运动的分割。在这些独立运动区域内，运动场为均匀的，如其运动模型可以是常量、线性或二次等等。一般来说，运动区域对应于独立物体，可以由其灰度、颜色和纹理来区分。运动分割是图像序列分析中的一个重要部分和内容，主要用于：①改善光流估计，②多运动物体的三维运动与结构估计，③视频图像中时变内容的高层描述。

最简单的分割方法为先估计每个像素的

光流，然后应用静态矢量图像分割方法对像

素进行分类。但由于光流估计对噪声很敏感，

且区域均匀性较差，因此在没有附加约束时，

分割有很大的难度。同静态图像分割一样，

有效的运动分割取决于合适的特征选取，如

果仅采用灰度、颜色和纹理特征并利用标准的图像分割方法则不一定仍然有效。例如，

尽管多运动的光流场也会表现出不连续情

况，但将边界检测等方法直接应用于光流数据不一定会得到想要的结果。因此，有必要对运

动分割问题进行相应的研究，如结合运动模型描述并将模型参数作为分割特征的组成部分，将有利于分割。该部分内容的主要参考文献为[7]。

1.2.1 直接方法

首先我们讨论一种利用时空图像的灰度和梯度信息将图像分割为独立的运动区域的方法（上图）。直接方法主要利用位移参数模型和帧差，对两帧间有变化的区域用最小二乘方法进行参数模型的分级拟合，其主要步骤如下：

1. 利用一个变化区域检测器（见有关变化检测器的讨论），根据相邻两帧图像，将图

像划分为变化和不变区域，并对变化区域中不同连通区（可认为对应于不同物体）进行标记

2. 对每个物体构建一个对应的参数模型并估计其参数（见有关参数估计的讨论）

3. 利用映射参数将变化区域（物体）划分为运动区域和未覆盖的背景区：利用所估计

映射参数计算的运动矢量的逆矢量，将第k +1帧变化区域中所有像素投射到第k 帧中，如果该像素投影在第k 帧中的变化区内，则将其归类为第k +1帧中的运动区域像素，否则归类为未覆盖背景区域像素

4. 在运动区域中更新模型参数，重复第2和第3步直到收敛（参数变化很小或不变） 变化检测器

对于两幅相邻帧图像，定义其帧差（frame difference ）为其对应的像素值差，即d t (x )=g (x ,t )-g (x ,t -1)，假设光照条件不变，则场景中运

动物体区域可以通过对帧差设置一个合适的阈值T 来判断

?

??>=otherwise T d z t t ,0|)(|,1)(x x

其中z t (x )称为一个分割标记场。为了消除由于噪声等

影响而存在的孤立点获小区域，可以对该标记场进行

某些后处理，如数学形态学滤波等，以得到比较完整

的连通区域，即有意义的运动物体区域。

参数估计 设观测模型为g (x ,k )=s (x ,k )+n (x ,k )，在无遮挡情况下，s (x ,k +1)=s (x ’,k )，x ’=h (x ,θ)，其中h 为唯一的和可逆的帧间变换（运动模型），θ为参数矢量，则参数求取由下述优化过程完成

()[]{}

221),,()1,()(min arg ?k h g k g E J θx x θθθ?+== 为方便理解，下面给出两个变换实例

例1． 设有一个平面块，其正投影变换为

T

i i a a a a a a a ]6,...,1,[635421==???????+??????=′θx x

例2． 设有一个平面块，其透视投影变换为

T i T i c y c x c c y c x c y c x c c y c x c ]8,...,1,[1,187********==??????++++++++=′θx

1.2.2 光流分割

直接分割方法的输入为时空图像序列，而光流分割的输入则是估计的光流场。一般来说，光流场分割所采用的特征为光流模型参数。一个简单的分割策略为：首先根据场景视频序列情况确定独立运动物体数目K ，对应于K 个运动模型，然后在模型参数空间（如采用仿射运动模型，则为一个6维空间）进行聚类以求取K 个有代表性的运动。

设场景中有K 个独立运动物体，每个独立运动可以用一个参数矢量来精确描述，相应的，一个光流矢量对应于一个可见物体的三维刚体运动的投影，由此得到的光流称为合成光流矢量。因此，一个基于参数模型的光流分割方法的原理为：计算每个像素对应的光流矢量，以K 个参数矢量为均值，对每个像素赋予最靠近的合成光流矢量的标记。

W-A 方法[8]：首先将图像划分为N 个非覆盖分块，在每个分块中用一个仿射模型来拟合估计的光流，拟合过程采用合成光流矢量与估计光流矢量之间的均方距离最小化准则。所

获得的N 个模型参数矢量{A n , n =1,2,…,N }，

经过聚类得到K 个有代表性的模型参数矢量{āk , k =1,2,…,K }（K <

。其聚类算法步骤如下 {}

change not do means class the until S3 and S2 steps Repeat S4.1

:(means) centers cluster the Update S3. matrix, scaling 66 a is where ,),(min arg ? ,1block each S2.empty

to }]21[,{set y,arbitraril ,...,, Initialize S1.?21k S n S n n k k k T n k n k k K k k End for

n

S D k do

,...,N n, n For ,...,K ,k S A A A M A M A A A A A A ∑∑∈∈=←×===∈

在确定K 个聚类中心后，利用下述最小化过程对每个像素x 赋予一个分割标记z (x ) ??

????+?+++?=?=6,5,4,3,2,1,2

)1()1(),(),()(min arg )(k k k k k k k k k a y a x a a y a x a P P v z x A x A x x 仿射运动算子：

1.2.3 最大似然方法

光流分割的统计方法是一类鲁棒性良好的方法。此外，最大似然（ML ）方法将上述利用时空图像序列的灰度信息和光流场的两种方法统一在一个对密集的参数化运动矢量和/或运动补偿灰度的描述框架下。

设分割标记为z (x )∈[1,2,…,K ]，g (x )为观测数据，可以是密集运动（光流）矢量，也可

以是序列图像的灰度值，条件概率p (g |z)描述了在给定分割标记条件下分段参数化运动模型与观测数据的拟合程度。设参数化表示观测数据的算子为O (A k ,x )，其中A k 为第k 个参数化运动模型，观测数据与其参数化表示之间的误差η(x )=g (x )?O (A k ,x )，可以用一个零均值、方差为σ2的高斯白噪声来表征，其条件pdf 为

()?

???????=∑=M i i k i M O g z g p 1222/22),()(exp )2(1

)|(σπσx A x 其中M 为x i 处可能的观测数。我们的问题是：通过对log 似然函数L (g |z )=log (p (g |z ))的最大化，求取K 个运动模型{A k , k =1,2,…,K }和一个标记场z (x )？如果所有类别的方差相同，则该最大化问题等价于下述代价函数的最小化：Σx || g (x )?O (A k ,x )||2，其算法步骤如下 change

not do means class the until S3 and S2 steps Repeat S4.operator

motion the is ),( ,)(label motion with the pixel of set the is ere wh ),()(min arg as

Update S3.],...,2,1[,),()(min arg )( as

pixel each to )( label motion a Assign S2. Initialize S1.2

21221k k Z k K k k K

P k z Z P , ..., , K k O g z z , ..., , k A x A x x x A x v A A A A x A x x x x A A A x A =?=∈?=∑∈

上述算法为一般性情况，对于直接分割和光流场分割的相关代价函数定义分别为

()),()(? with ,)(?)()(),( with ,)1,(),()(22

2x A x v x v x v x x A x x x x x v of i direct

P P t g t g =?=+=′?′?=ηη

ML 方法的优点在于不需要基于梯度的优化或其它优化计算，因此计算效率高；但其缺点为无法对分割标记场施加空间或时间连续性等约束，为此可采用MAP 方法（见《图像分析与随机场》部分内容）。

1.3 参考文献

1. C.Stiller & J.Konrad, Estimating Motion in Image Sequences – A Tutorial on Modeling and

Computation of 2D Motion , IEEE Sig. Proc. Mag., 1999

2. L.Jacobson & H.Wechsler, Derivation of Optical Flow using a Spatiotemporal-frequency

Approach , CVGIP, 28:29-65, 1987

3. B.Horn & B.Schunck, Determining Optical Flow , Artif. Intell., 17:185-203, 1981

4. J.Konrad & E.Dubois, Bayesian Estimation of Motion Vector Fields , IEEE T-PAMI,

14:910-927, 1992

5. J.Besag, On the Statistical Analysis of Dirty Pictures , J. Royal Statistical Society, Ser.H,

48:259-302, 1986

6. S.Z.Li, Markov Random Field Modeling in Computer Vision ,

https://www.360docs.net/doc/d56880962.html,/users/szli/mrf-book/book.html#toc

7. A.M.Tekalp, Digital Video Processing , Prentice Hall, 1995

8. J.Y .A.Wang & E.Adelson, Representing Moving Images with Layers , IEEE T-IP, 3(9):625-638, 1994