LK光流算法

通过大量实验发现，Lucas Kanade光流法要求图像质量比较高、图像纹理丰富，对质
量较差的图像跟踪效果并不理想，主要表现在以下几点：
（1）不容易选定一个固定的邻域大小，使其适合不同的视频段和不同的特征点；
（2）容易出现特征点跟踪不稳定的情况；
（3）某些点处的矩阵G病态或者不可逆，此时方程的解不可靠从而发生跟踪漂移
下所示:
A(x,y)～=IL(x,y)
?(x,y)∈[px?ωx?1,px+ωx+1]×[py?ωy?1,py+ωy+1]
(4-3-13)
B(x,y)～=JL(x+gL
x
,y+gL
y
)
?(x,y)∈[px?ωx,px+ωx]×[py?ωy,py+ωy]
(4-3-14)
注意到A(x,y)和B(x,y)的定义域稍微有些差异。实际上，A(x,y)是在窗口大小为
像表示是以一种回归形式而建立的：根据I0计算I1，I1计算I2，I2计算I3，以此类推；
令L=1,2,…表示一系列金字塔图像层次，图像IL的大小为：(nx/2L)×(ny/2L)，图像IL通
过对图像IL?1隔行隔列采样得到。
采用金字塔图像表示方法的主要目的是处理大矢量的运动问题（处理大于积分窗
的目标运动的问题）。因此应当用图像中最大期望的光流来恰当的确定金字塔图像的
y
]
T
是在点X处图像的速度，即点X处图像的
光流。令ωx和ωy表示两个整数，假定图像速度d是使得下面的残差函数ε最小的函数：
ε(d)=ε(dx,dy)=
ux+ωx
x=ux?ωx
uy+ωy
y=uy?ωy
(I(x,y)?J(x+dx,y+dy))
2
(4-3-5)
根据上面的定义，相似度的函数被在(2ωx+1,2ωy+1)的区域内定义。这个区域也
y=py?ωy
(ITυ?δI)IT(4-3-22)
1
2
?ε(υ)
?υ
T
≈
px+ωx
x=px?ωx
py+ωy
y=py?ωy
I2
x
IxIy
IxIy I2
y
υ?
δI Ix
δI Iy
(4-3-23)
其中：
G～=
px+ωx
x=px?ωx
py+ωy
y=py?ωy
I2
x
IxIy
IxIy I2
y
(4-3-24)
?
b
解决方案）:
?ε(υ)
?υ
=?2
px+ωx
x=px?ωx
py+ωy
y=py?ωy
(A(x,y)?B(x,y)?[?
B
?x
?B
?y
]υ)?[
?B
?x
?B
?y]
(4-3-18)
注意到A(x,y)?B(x,y)可以看作是在点[x,y]T的一个导数，所以：
δI(x,y)～=A(x,y)?B(x,y)
?(x,y)∈[px?ωx,px+ωx]×[py?ωy,py+ωy]
(2ωx+3)×(2ωy+3)的范围内定义，而不是(2ωx+1)×(2ωy+1)。在后面运用中心差分算子
计算A(x,y)的导数时，这个差异将变得更加明显。为了说明的清晰起见，改变运动向量
的表示方法，新的表示方式为υ=[υx,υy]T，而图像位置新的表示方式为p=[px,py]T。
依据新的表达方式，找到一个偏移向量υ=[υx,υy]T，它使得下面的残差函数取得最小
关于金字塔图像定义的描述，则向量uL的计算公式如下：
uL=
u
2L
(L=0,1,...,Lm)(4-3-6)
式(4-3-6)中的除法是对两个坐标分别进行的。
基于金字塔图像Lucas Kanade光流法跟踪的处理过程如下：首先在最深的一个层
Lm计算光流，然后，这个计算结果传递到Lm?1层；根据最初的假定，在Lm?1层
(4-3-19)
矩阵[?B
?x
?B
?y
]仅仅是一个梯度向量，令：
I=
Ix
Iy
=[?
B
?x
?B
?y
]T(4-3-20)
注意到图像的梯度Ix和Iy可以不必考虑第二幅图像B，而只需根据图像在点P的
域(2ωx+1)×(2ωy+1)的信息求得（在迭代法求光流的过程中，这一点很重要）。使用
分近似微分算子，这两幅图像的导数的形式如下所示:
量范围达到dmaxfinal=(2Lm+1?1)。例如，金字塔图像的层次Lm=3，这意味着像素
的偏移量可以达到15层。这就是能够使用较小的积分窗口来计算较大的像素运动矢量
的原因。
§4.3.3迭代的光流法计算过程
在金字塔图像的每个层次L，找到偏移向量dL实际上就是找到使得残差函数εL最
小的d。因为这个计算步骤对各个层次都是一样的，丢掉上标L，且定义新图像A、B如
值：
ε(υ)=ε(υx,υy)=
px+ωx
x=px?ωx
py+ωy
y=py?ωy
(A(x,y)?B(x+υx,y+υy))
2
(4-3-15)
对这个式子采用标准的光流法处理。为了优化这个问题，ε对υ的一阶导数为零:
?ε(υ)
?υ
=[0,0](4-3-16)
将这个式子展开以后得到:
?ε(υ)
?υ
=?2
px+ωx
第二幅图像。从实际的图像来说，I和J是两个离散的函数，并且左上角的像素点坐标
是[0,0]T。用nx和ny表示图像的宽度和高度，右下端图像的坐标是[nx?1,ny?1]T。
考虑第一幅图像I(X)=I(x,y)上的一点，跟踪的目的就是在第二幅图像J(X)=
J(x,y)上找到与之相对应的一点，d=[d
x
,d
称之为积分窗口。典型的ωx、ωy是2、3、4、5、6、7个像素。
§4.3.2跟踪算法描述
基于特征点的跟踪的两个关键问题是准确度和鲁棒性。准确度是从直觉上来说，
为了不抹去图像中的细节，需要小的积分窗口。鲁棒性因素需要考虑光照变化，图像
运动时对尺寸变化的敏感性。特别的，为了了解大矢量运动的问题需要一个大的积分
已被广泛的应用于运动车辆跟踪和人脸特征点跟踪[47,48]；下面介绍文献[27]，并对其
进行相关实验。
§4.3.1问题提出
用I和J来代表两个灰度图像。那么I(x)=I(x,y)和J(x)=J(x,y)代表了这两个灰度图
像在点X=[x,y]T的灰度值，x和y是图像的点X坐标。称图像I为第一幅图像，称J为
现象；
（4）光流跟踪依靠的是特征点的局部信息，每个点都是独立跟踪的结果，其跟踪
结果并不稳定。
通过计算稀疏特征点处的光流即可跟踪目标，Lucas Kanade光流法用于目标跟踪
已基本解决了计算速度慢的缺点，而且对图像质量比较高、图像纹理丰富的慢速运动
目标跟踪的效果还是不错。但仍然存在跟踪目标容易丢失且鲁棒性不高的缺点。
(a)第11帧(b)第43帧(c)第68帧
(d)第78帧(e)第93帧(f)第107帧
图4.3 Lucas Kanade光流法跟踪结果
图4.3为Lucas Kanade光流法跟踪结果。图中绿色的“1”和蓝色的“2”为目标的ID，
同一个目标标注了同一ID，红色的方框为跟踪框，红色“+”为Lucas Kanade光流法预
窗口。实际上，仅仅考虑等式(4-3-5)，理想的情况是dx<ωx,dy<ωy。这样我们就必
须兼顾准确度和鲁棒性来选择积分窗口。为了更好的解决这个问题，采用了基于金字
塔图像的光流跟踪方法。这个方法对局部跟踪的准确性提出了一个很好的解决方案。
一、金字塔图像表示
描述一个nx×ny的图像I，令I0=I表示第0层图像（原始图像），那么金字塔图
εL(dL)=
uL
x
+ωx
x=uL
x
?ωx
uL
y
+ωy
y=uL
y
?ωy
(IL(x,y)?JL(x+gL
x
+dL
x
,y+gL
y
+dL
y
))2
(4-3-7)
达到最小的偏移向量:
dL=[dL
x
,dL
y
]T(4-3-8)
注意到，在第L层的积分窗口的大小是保持恒定的尺寸，即:(2ωx+1)×(2ωy+1)。
在第二幅图像中，用这里得到的最初估计gL作预平移。这样，求得的残余光流向
dL=[dL
x
,dL
y
]T就足够小，因此能够通过标准的光流法来求出这个运动矢量。
计算残余光流的细节将在下一节介绍。假定这个向量已经计算出来（为了说明算
的完整性）。然后，这个计算过程的结果就传送到第L-1层，传递的向量是:
gL?1=2(gL+dL)(4-3-9)
下一层次的残余光流dL?1，也可以通过同样的步骤计算出来。这个通过光流法计
这个偏移量也可以用下列的式子来表示：
d=
Lm
L=0
2LdL(4-3-12)
–28–第四章目标跟踪
使用金字塔图像计算光流的一个明显的好处是，对于一个有着较大的像素偏移的
矢量d，可以通过计算几个比较小的残余光流来得到。注意到每个层次基本的光流法可
以搜索得到的运动矢量达到dmax，这样运用金字塔图像的方法最多能够处理的大的意义。