第二章+二维运动估计

2 2 2 −1
2 2 误差函数： E ( v ) = ∫ x∈Α (eof (v) + ws eds (v))dx
2 1 1 2 2 当F=0， δ = 1 时， e ( v) = ( ∇vx + ∇v y ) = es ( v) 2 2 2 ds
∂ψ ∂t ∂ψ ∂t
对 E (v )求关于 v x 和 v y 的偏微 分，并令其为0，可得：
v 表示对像素邻域（不包括当
前像素）求平均。 表示迭代次数，初始光流矢 量 v ( 0 )可设为零。
( v xl +1)
l
v (yl +1)
∂ψ (l ) ∂ψ (l ) ∂ψ vx + vy + ∂ψ ∂x ∂y ∂t = vx(l ) − 2 2 ∂x ∂ψ ∂ψ ws + + ∂y ∂x ∂ψ (l ) ∂ψ (l ) ∂ψ v + vy + ∂ψ ∂x x ∂y ∂t = v y(l ) − 2 2 ∂y ∂ψ ∂ψ ws + + ∂x ∂y
∂ψ ∂ψ ∂ψ dx + dy + dt = 0 ∂x ∂y ∂t ∂ψ ∂ψ ∂ψ ∂ψ vx + vy + = 0 或 ∇ψ T v + =0 ∂x ∂y ∂t ∂t
T
∂x
∂y
∂t
∂ψ ∂ψ , ∇ψ = 其中 为空间梯度向量，v = (v x , v y ) 为光流场。 ∂x ∂y
提纲
概述 基于光流的运动估计 基于像素的运动估计 基于块的运动估计 基于网格的运动估计 基于区域的运动估计 全局运动估计 多分辨率运动估计
基于光流的运动估计
光流
观察动态物体时在视网膜上产生连续的光 强变化，如同光的 “流动”。 在视频序列运动估计中，观察到的二维运 动。 视频序列空间坐标关于时间的变化率 --像素的瞬时速度矢量。
基于光流的运动估计
有向平滑约束
Horn-Schunck方法的运动平滑假设并不一定成立 “运动边缘”现象：
实际的运动场在物体边缘处是不连续的，施加全局平滑约 束导致物体边界的运动估计不精确
引入有向平滑，减少图像空间梯度方向上的平滑约 束 方法：将平滑约束 es2 ( v) 中引入权值矩阵 W ，即：
二维运动估计
高绍帅 中国科学院研究生院
提纲
概述 基于光流的运动估计 基于像素的运动估计 基于块的运动估计 基于网格的运动估计 基于区域的运动估计 全局运动估计 多分辨率运动估计
概述
运动分析与估计
数字视频处理的基本内容 难点和热点
应用场合
计算机视觉 机器人导航，无人驾驶飞机 目标跟踪 军事侦察、地面和空中的交通管制 工业监视 工业自动化控制 视频压缩
前向运动估计与后向运动估计
在基于运动补偿的视频编码中常用
后向运动估计 t-dt t x d(x,t;t-dt) x x d(x,t;t+dt) t+dt
前向运动估计
典型的摄像机运动
对应于摄像机运动的二维运动
摄像机变焦
摄像机绕Z轴旋转
刚体运动
对应于刚体运动的二维运动
透 视 投 影
体
对应于不同刚体运动模型的二维运动
∫
x∈Α
其中 Α 为运动估计的定义域，可以是整幅图像或一个局部窗。
∂ψ ∂ψ ∂ψ 2 为光流方程误差的平方函数 eof ( v) = vx + vy + ∂x ∂y ∂t 2 2 2 2 ∂v y ∂v y 2 2 ∂v ∂v es2 ( v ) = ∇v x + ∇v y = x + x + ∂y ∂x + ∂y ∂x
m,n
m+1,n
∂ψ 1 = {ψ (m, n + 1, k ) −ψ ( m, n, k ) +ψ (m + 1, n + 1, k ) ∂y 4 −ψ (m + 1, n, k ) +ψ ( m, n + 1, k + 1) −ψ (m, n, k + 1) +ψ ( m + 1, n + 1, k + 1) −ψ (m + 1, n, k + 1)}
概述
不同场合对运动估计的要求
计算机视觉领域：真实运动估计
目标跟踪、工业监视、机器人视觉等
视频压缩编码领域：率失真最优运动估计
最大限度地减小视频数据量 估计的结果不一定是真实的运动参数 可视电话、流媒体、DVD、HDTV、IPTV等
概述
运动分类
根据摄像机和目标物体的运动状态 摄像机不动物体不动（SCSO） 摄像机不动物体动（SCMO） 摄像机动物体不动（MCSO） 摄像机动物体动（MCMO） 根据观察者 单摄像机系统、多摄像机系统 根据对象 单目标、多目标
图像梯度的计算
光流方程的要求：亮度函数可微 数字视频：有限差分法近似
∂ψ 1 = {ψ (m + 1, n, k ) −ψ ( m, n, k ) +ψ (m + 1, n + 1, k ) ∂x 4 −ψ (m, n + 1, k ) +ψ ( m + 1, n, k + 1) −ψ (m, n, k + 1) +ψ ( m + 1, n + 1, k + 1) −ψ (m, n + 1, k + 1)}
基于光流的运动估计
光流方程 未知数 多点邻域约束
∂ψ ∂ψ ∂ψ vx + vy + = 0一个方程，两个 ∂x ∂y ∂t
假设 xi 的邻域 Β( xi ) 内所有像素具有相同的光流矢量， 光流方程在领域 Β( xi ) 上的误差定义为： 2 ∂ψ ∂ψ ∂ψ E = ∑ w(x) ∂x v x + ∂y v y + ∂t x∈B ∂E ∂E = =0 其中 w(x) 为分配给 x 的权重。令 ∂vx ∂v y 可得： ∂ψ ∂ψ ∂ψ ∂ψ ˆ ˆ ∑ w( x) ∂x vx + ∂y v y + ∂t ∂x = 0 x∈B ∂ψ ∂ψ ∂ψ ∂ψ ˆ ˆ w( x) vx + vy + ∑ ∂x ∂y = 0 ∂y ∂t x∈B
一阶：位移 二阶：速度 三阶：加速度
运动图像处理
二维运动参数估计 三维运动参数估计 运动目标检测与分割 运动物体的三维结构及各个物体之间的空间关系
二维运动估计
两帧视频图像 ψ ( x, y, t1 ) 和 ψ ( x, y, t 2 )之间的运动 估计。 t1到t2时刻的位移矢量（运动矢量）为 d(x, t1 , t 2 ) ， x = ( x, y ) 其中 所有点的运动矢量形成运动场 当前帧： ψ ( x, y, t1 ) 参考帧： ψ ( x, y, t 2 )
基于光流的运动估计
光流v的分解
将光流v分解为两个正交的分量：
v = vne n + vt e t
其中：
vt e t
v
vn e n
∇ϕ
en为图像空间梯度方向
上的单位矢量 et 为切线方向上的单位矢量
只能确定图像空间梯度方向上的分量（法向流）vn 即：孔径问题
∂ψ ∇ψ v + =0 ∂t
T
∂ψ vn ∇ψ + =0 ∂t
−1
∂ψ − ∑ w( x) ∂x x∈B − ∑ w( x) ∂ψ x∈B ∂y
∂ψ ∂t ∂ψ ∂t
基于光流的运动估计
运动场的平滑性
基于光流的运动估计
运动平滑约束
由Horn和Schunck提出，对整个运动场或局部窗施 加全局平滑约束。 2 目标误差函数为： E ( v) = (eof ( v) + ws es2 ( v ))dx
简单默认的运动情况
单摄像机固定不动的单一运动目标
概述
时间序列图像（运动图像）
摄像机放置在三维空间的某一位置上，对运动物体进行观 测，所拍摄到的一系列图像 不仅是空间位置的函数，也是随时间变化的函数 ψ ( x, y , t )
运动物体特征
特征点： 尖锐点 特征直线：边缘直线 特征曲线：边缘曲线 可用来观察分析物体的运动
(vx , v y )T = (dx / dt, dy / dt )T
基于光流的运动估计
光流方程
亮度守恒假设：运动物体点的亮度（或色度）在其 运动轨迹上保持不变，变化的是物体的位置。
ψ ( x, y, t ) = ψ ( x + d x , y + d y , t + dt ) ∂ψ ∂ψ ∂ψ ψ(x + dx , y + dy ,t + dt ) =ψ(x, y,t) + dx + dy + dt
2
es2 ( v ) 为光流空间梯度 光流空间梯度的平方函数，它反映了光流矢量随像素 光流空间梯度
变化的快慢程度
基于光流的运动估计
运动平滑约束
最小化 e ( v) 光流约束 最小化 es2 ( v) 运动平滑约束
2 of
施加 施加
2 ∂ψ ∂ψ ∂ψ ∂ψ ws + vx + v y = ws vx − ∂x ∂y ∂x ∂x 2 ∂ψ ∂ψ ∂ψ ∂ψ v y = ws v y − v x + ws + ∂y ∂x ∂y ∂y
光流、像素、随机场 --- 估计每个像素运动矢量 块匹配 --- 分割成小的规则块，估计每个块的运 动矢量 网格 --- 分割成不重叠的多边形单元，可克服块失 真
四种二维运动估计方法
基 全 局 素 像 于
基 于 块 域 区 于
基
最优化方法
全搜索方法 基于梯度下降的方法 多分辨率方法
基于梯度下降的方法
运动估计要研究的基本问题
估计运动前后相邻时刻两幅图像上对应点坐标 之间的差值，即运动矢量。 特征对应：运动物体上的特征与其在二维图像 平面上的投影坐标的对应关系
O X
Y
p’(x,y)
(∆x,∆y)
x
y
p(x,y) P’(X,Y,Z)
(∆X,∆Y,∆Z)P(X,Y,Z)Z运动分析方法
根据时间相邻的两幅或多幅图像求解物体的运动参 数和三维结构信息 图像序列的光流分析方法 运动信息
基于光流的运动估计
多点邻域约束
则光流矢量的估计值为：
∂ψ w( x) ˆ v x ∑ ∂x = x∈B v ˆ y ∑ w( x) ∂ψ x∈B ∂x ∂ψ ∂x ∂ψ ∂y ∂ψ ∂x x∈B ∂ψ ∑ w( x) ∂y x∈B
∑ w( x)
∂ψ ∂y ∂ψ ∂y
平移
仿射
双线性
透视投影
观察到的二维运动与真实的投影二维运动 的不一致性
二维运动估计存在的几个问题 遮挡问题
孔径问题
噪声问题
二维运动模型及估计方法
参数模型：物体运动被建模为某种映射形式。
全局 --- 摄像机移动、单个运动物体 区域 --- 多个运动物体 （运动区域分割）
非参数模型：对运动场施加平滑约束条件。
2 eds ( v) = (∇vx )T W (∇vx ) + (∇v y )T W (∇v y )
W=
F + δI tr (F + δI)
δ 为常数
基于光流的运动估计
有向平滑约束
∂ψ 2 ∂ 2ψ 2 ∂ 2ψ 2 2 + b 2 + ∂x ∂x∂y ∂x F= 2 2 ∂ψ ∂ψ ∂ 2ψ 2 ∂ ψ ∂ ψ ∂x ∂y + b ∂x∂y ∂x 2 + ∂y 2 ∂ψ ∂ψ ∂ψ 2 ∂ ψ ∂ ψ 2 + 2 +b ∂x ∂y ∂x∂y ∂x ∂y 2 ∂ 2ψ 2 ∂ 2ψ 2 ∂ψ + b 2 ∂y ∂x∂y + ∂y 2
m,n+1
m+1,n+1
∂ψ 1 = {ψ (m, n, k + 1) −ψ (m, n, k ) + ψ (m + 1, n, k + 1) ∂t 4 −ψ (m + 1, n, k ) + ψ (m, n + 1, k + 1) −ψ (m, n + 1, k ) + ψ (m + 1, n + 1, k + 1) −ψ (m + 1, n + 1, k )}