机器视觉—运动场和光流

i, j i, j x i, j i, j y i, j i, j 2 t
2 2 u u u i , j 1 i, j i, j i , j 1 2 2 i , j 1 vi , j vi , j vi , j 1
• 最优化：寻找一组{ui,j, vi,j}，使得
T


F
vx
ˆ0 , Fv y n

4. 差分化求解 1 u u u u u s • 平滑项： 4 v v v v v • 数据项： d I u I v I
2 2 i 1, j i, j i, j i 1, j i, j 2 2 i 1, j i, j i, j i 1, j





1. 运动场和光流
• 物体在图像上所产生的亮度模式的变化称为光流。 • 光流和运动场不总是一致的！
运动场不为0，光流为0！
运ቤተ መጻሕፍቲ ባይዱ场为0，光流不为0！
1. 运动场和光流
• 从序列图像中能够提取出来的是光流，而不是运动场。 • 必须假设：大多数情况下，光流和运动场的区别不是很大。只有这样才能够 根据光流来估计物体和相机之间的相对运动。
v
T n I x , I y
u I x u I y v I t 0 I x , I y v It I u I t 沿着灰度梯度方向的光流分量可以确定！
I xu I y v I t 0
但是垂直于灰度梯度方向上的光流分量无法确定！——孔径问题


ui , j
1 ui1, j ui1, j ui, j 1 ui, j 1 ; vi, j 1 vi1, j vi1, j vi, j 1 vi, j 1 4 4
4. 差分化求解
i, j i, j i, j i, j 1 I i , j 2 u u I I I i , j i, j x It x x y i, j i, j i, j i, j i, j 2 v v I 1 I y y It i, j I x I y i, j
u I x u I y v I t I x
v I x u I y v I t I y

偏微分方程的定解条件 • 第一类边界条件：给定边界点的函数值 • 第二类边界条件：给定边界点的法向导数
3. 变分光流原理
• 对于亮度均匀的区域：已知边界上的光流值，或者已知边界上光流的法向导 数，区域内的光流都可以唯一的确定！ • 变分的自然边界条件：让解在边界上自由变化 ——> 光流场的法向导数在 边界上为零！


• 方程组系数矩阵的行列式值为： i, j 2 i, j i, j 1 I x I x Iy i, j 2 i, j 2 1 I x I y i, j i, j i, j 2 I x I y 1 I y


i, j 2 x i, j 2 y
1. 运动场和光流
• 运动场的定义：摄影机和空间环境存在相对运动；图像中的每一个点都对应 于一个空间点；每一个空间点相对于摄影机的速度向量都可以投影为像平面 上一个点上的二维速度向量，图像上每个像素的二维速度向量就构成运动场。 dro dri vo t vo and vi dt dt Po ri ro ro T ro ˆ f ro z ro z f T T ˆ vo vo z ˆ ro ro vo z ˆ ro z 1 z vi ri 2 2 T T f ˆ ˆ ro z ro z pi ˆ vo ro z ˆz ˆ vo ro ro vo z vi t A B C B A C C A B
i, j i, j i, j i, j I I v I i, j x y i, j x It
i, j i, j y t
I
4. 差分化求解
) • 迭代解形式： ui(,nj1) ui(, n j i, j i, j Ix ui(, nj ) I y vi(, nj ) I ti , j
min F u, v, u x , u y , vx , v y dxdy dy dx dy dx Fu x Fu y ; Fu x Fu y ds ds ds ds dy dx ˆ ˆ 0; n , Fu x , Fu y n ds ds ˆ 0; vx , v y n ˆ0 u x , u y n
2 2



2
u u0 x, y
Fv 2 I x u I y v I t I y

2u Fu y 2 u y 2 2 y y y v Fv y 2 v y 2 2 y y y
2 2
un un x, y
机器视觉 —— 运动场与光流
研发部培训讲义 2016-05-18
导 论
• 序列图像——视频 • 当摄影机和被摄影物体之间存在相对运动时，在物体所成的图像序列中，可 以观测到的亮度模式的明显变化称为光流。 • 主要内容
• • • • 运动场和光流 光流约束方程 变分光流原理 差分化求解
• 研究现状分析
• 方程组的解：
ui , j
1 I u
i, j 2 y
vi , j
I I
i, j i, j x y
I u 1 I v I 1 I I
1 I
i, j i, j 2 x i, j i, j 2 x i, j 2 y




mines ed
数据项
3. 变分光流原理
2 2 2 2 F ux uy vx vy I x u I y v I t
Fu 2 I x u I y v I t I x 2u Fu x 2 u x 2 2 x x x v Fv x 2 v x 2 2 x x x
i, j Iy
像素(i, j)上第n+1次的 光流迭代值是像素(i, j) 邻域像素的第n次迭代 的光流的加权平均值
• 灰度偏导数： 1 1 I i1, j ,k I i1, j ,k 1 I i1, j 1,k I i 1, j 1,k 1 I i, j ,k I i, j ,k 1 I i, j 1,k I i, j 1,k 1 Ix 4x 4x 1 I i, j 1,k I i, j 1,k 1 I i 1, j 1,k I i1, j 1,k 1 1 I i, j ,k I i, j ,k 1 I i 1, j ,k I i1, j ,k 1 Iy 4y 4y 1 1 I i, j ,k 1 I i, j 1,k 1 I i 1, j ,k 1 I i1, j 1,k 1 I i, j ,k I i, j 1,k I i 1, j ,k I i1, j 1,k It 4t 4t
e i, j i, j i, j 2ui , j ui , j 2 I x ui , j I y vi , j I ti , j I x ui , j


e min si , j d i , j i j
e i, j i, j i, j 2vi , j vi , j 2 I x ui , j I y vi , j I ti , j I y vi , j
通过图像的局部信息不能够唯一确定光流
2. 光流约束方程
• 亮度一致性假设：假设3D场景中摄影目标上每个点的亮度值在微小时空间 隔内保持恒定。
I x x, y y, t t I x, y, t I I I I x, y, t x y t e I x, y, t x y t I dx I dy I dI 0 0 x dt y dt t dt
u
3. 变分光流原理
• 根据光流约束方程无法唯一确定光流信息！必须引入假设。 • 光滑性假设：运动场在图像中的大部分区域是连续变化的。 • 衡量光流“不光滑”的程度： • 光流约束方程的偏差： • 变分问题：
ed I x u I y v I t dxdy
2
2 2 2 2 es u v dxdy u x uy vx vy dxdy 平滑项 2 2
1 I 1 I

i, j 2 x
I
i, j 2 y i, j 2 y
i, j Ix
vi(,nj1) vi(, nj )
i, j i, j Ix ui(, nj ) I y vi(, nj ) I ti , j

i, j 2 x
I