数字图像处理与识别第6章 运动图像序列分析

b0 2 nx1 V1 , nx2 V2 ,...,nxN VN T

2 4 2
2
2

b1 2 ny1 V1 , ny2 V2 ,...,nyN VN T
第6章 运动图像序列分析
第6章 运动图像序列分析
6.1图像序列的概念 6.2运动基础知识 6.3基于光流场的运动分析 6.4基于匹配的运动分析 6.5变形模型技术
6.1 图像序列的概念
6.1.1 图像序列
图像的数学表示
I xi , yi ,tk , l
(i, j=0,1,…,N-1，k=0,1,…,n-1，l=1,2,…,m) 时间图像序列的数学表示
P′
三维物体的实际运动在图像
P
平面上的投影
y
z
S 光源 x
6.3 基于光流场的运动分析
6.3.1 光流的概念
③ 光流场和运动场的关系： 理想情况下二者互相吻合 特殊情况
Barber’s pole
Barber’s pole Motion field
Optical flow
Uniform sphere
血管中心线可以用二维图像点的有序集合 (xi , yi )
表示，需要确定的是连续两帧之间骨架点的运动
速度 ViN
定义函数：
N

ui ui1 2 vi vi1 2 N Vi ni Vi 2
6.2.2 非刚性运动
蛇形体变形
局部变形：如手风琴式的褶皱变形
6.2 运动基础知识
6.2.2 非刚性运动
X射线左心室造影图像序列
6.3 基于光流场的运动分析
6.3.1 光流的概念
① 光流场
Image V Plane
图像中亮度图案的表观运动(apparent
motion)
p′ O pU
② 二维运动场
A1 2 diag nx1 2, nx2 2,..., nxN 2 T
2 2 2 4 2


A2 2 diag ny1 2, ny2 2,..., nyN 2 T
T

. .. ... .. .
{I xi , yi ,t0 ,, I xi , yi ,t1,,..., I xi , yi ,tk , ,..., I xi , yi ,tn1, } (i, j=0,1,…,N-1)
运动图像序列——LCA血管造影序列
6.1 图像序列的概念
6.1.2 运动图像序列分析
6.2.2 非刚性运动
尖化

X Y

fx (z)x f y (z)y
Z z
弯曲

X x
Y

cos

y

1 kb


1 kb
Z

sin

y

1 kb

弯曲角 kb z(180 )
弯曲参数：kb
6.2 运动基础知识
从二维图像序列中检测目标运动，提取运 动参数，分析运动规律。
光流法（optical flow） 匹配法（match） 变形模型（deformable model）
6.2 运动基础知识
6.2.1 刚性运动
物体作刚性运动时，其形状和大小都保持 不变。任何刚性运动都可以分解为平移和旋转：
X Y Z T R x y zT T
运动场不为零 光流场为零
光流场不为零 运动场为零
6.3 基于光流场的运动分析
6.3.2 光流约束方程
Ixu I yv It 0
u dx dt v dy dt 光流 V (u,v)
I x I x I y I y I t I t
6.3 基于光流场的运动分析
i2
i 1
令 ui 0 and vi 0 得到方程组

A1 A0
A0 A2

u v



b0 b1

u u1,u2 ,...,uN T v v1,v2 ,...,vN T
A0 2 diag nx1 ny1, nx2 ny 2 ,...,nxN ny N T
Traffic tracking
Tracking ball
6.2 运动基础知识
6.2.2 非刚性运动
物体发生非刚性运动时，除了可能发生 位置的改变之外，还会发生形状的变化。可 以采用平移向量和仿射矩阵来描述：
X Y Z T A x y zT T
T tx ty tz T
T tx ty tz T
R Rz Ry Rx
cos sin 0cos 0 sin 1 0
0
sin
cos
0

0
1
0
0
cos
sin


0
0 1sin 0 cos 0 sin cos
孔径问题(Aperture Problem)：
根据OFCE仅能求出光流 V (u,v) 在灰度梯度 (Ix, Iy)方向的分量 V It I x2 I y2
6.3 基于光流场的运动分析
6.3.3 如何计算光流——附加约束条件
最经典的约束——全局平滑约束
同一物体上相邻点的速度是相似的，那么
A RD
6.2 运动基础知识
6.2.2 非刚性运动
膨胀/收缩
X axx Y ay y Z az z
沿z轴的扭转
Z
Z
K z X x cos y sin Y x sin y cos
Z z
Y
X
X
Y
6.2 运动基础知识
其投影到图像上的光流变化也是平滑的。
，
6.3 基于光流场的运动分析
6.3.3 如何计算光流
例子——X射线血管造影图像序列中冠状动脉血管的 运动估计
6.3 基于光流场的运动分析
6.3.3 如何计算光流
step1: 提取中心线—减少计算量
step2: 计算中心线上点的光流，将整体平
滑性约束应用于中心线