基于光流的运动分析理论及应用

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
http://www.cnki.net
・ 220 ・
计算机测量与控制
第 15 卷
平滑约束来建立光流误差测度函数 。不同在于 , Nagel 提出的 面向平滑的约束不是强加在亮度梯度变化最强烈的方向 ( 即边 缘方向) 上 。目的是为了处理遮挡问题 。 基于匹配的方法是将速度 ( u , v) 定义为不同时刻的图像 区域的位移量 d = ( d x , d y ) , 使得不同时刻的图像区域匹配 最佳 。其实质是在图像序列的顺序图像对之间实施位置对应 。 为了找到最佳匹配 , 可对定义在 d 上的相似度量如归一化互 相关系数进行最大化 ( 模板匹配法 ) ; 也可对某一距离度量如 光强度差的平方和进行最小化 。对于大运动问题 , 可采用由粗 到细的策略解决 。根据估计理论 , 利用加权最小二乘法可得到 真实速度的一个估计 :
∫
∫
使式中 Φ最小的 ( ui , v i ) 就是所要求解的速度集 。式中的 第一部分表示沿中心线的速度变化 , 第二部分是平衡因子 。V = ( u , v) T 是要估计的光流 ; n = ( nx , ny ) T 是垂直于边缘
( 即灰度梯度方向) 的单位向量 ; V ⊥是光流在灰度梯度方向上
教育厅 、 财政厅" 高校产学研结合示范基地" 专项经费支持 。 作者简介 : 胡以静 (19822) , 女 , 湖北黄梅人 , 研究生 , 主要从事计算 机视觉应用方面的研究开发工作 。 胡跃明 (19602) ,男 , 安徽人 , 教授 , 博士生导师 , 副院长 , 主要从事微 电子自动化生产设备 、 智能检测与控制系统等方面的研究 。
基金项目 :2004 年粤港关键领域" 精密制造关键装备" 专项招标项 目 (20041A01) ; 广东省科技厅重 大科技攻关专 项 ( 2004A10403001 ) ;
2003 年广东省重大装备技术创新招标项目 ( 0612A2003040/ 6) ; 广东省
运动的关系 。研究光流场的目的就是为了从序列图像中近似计 算出不能直接得到的运动场 。由于图像光流的计算不需在图像 序列中建立起特征之间的对应关系 , 因此光流属于较高层次的 计算机视觉表述 。目前 , 光流法被广泛地应用于目标分割 、识 别 、跟踪 、机器人导航 、目标形状信息恢复 、3D 结构恢复与 运动估计等重要的计算机视觉与图像处理领域 , 也被广泛地应 用在相关的医学 、海洋和天文等领域 。
2 光流法在实际中的应用
21 1 梯度光流法用于红外图像序列的运动目标检测
人满意的分割效果 。但是 , 该方法也存在一些不足之处 : ( 1) 分割的结果与活动轮廓的初始位置有关 ; ( 2) 活动轮廓很难收敛到曲率高的边缘 对于运动速度较快的物体 , 采用 snake 模型得到的初始轮 廓位置与实际位置往往有较大的差距 , 常导致错误的收敛 。为 此 , 可用光流匹配法得到物体的初始速度 , 从而预测出更精确 的初始位置 , 大大提高了分割的准确性 。 针对 snake 模型难以正确收敛到运动速度较快的物体边 缘 , 为此将光流匹配法引入 snake 模型 , 提高了其初始轮廓的 正确性 , 从而帮助其正确地收敛到物体边缘 。同时引入的图像 统计势能减弱了 snake 模型对初始位置的敏感性 。实验结果表 明 , 该方法提高了 snake 模型对运动速度较快物体的正确分 割。 21 3 特征光流法在医学中的应用[ 13] 冠状动脉是供应心脏血液的血管 。目前在临床上广泛采用 冠状动脉造影直接观察血管病变的位置 、狭窄程度 、病变性质 等 。通过分析造影图像序列可以得到丰富的 、多种多样的运动 信息 。这里用基于光流的特征法估计血管运动参数 。 求图像点位移的特征法 , 就是找到图像的特征 ( 如边缘 、 拐点或其它位置确定的二位结构 ) , 并且跟踪它们的运动 。它 包括 2 个步骤 : 从 2 幅或多幅连续图像中提取出特征 ; 对各帧 图像的特征进行匹配 。对于冠状动脉造影图像 , 首先从原始图 像中提取出主要血管分支中的中心线 , 用点 ( x i , y i ) , i = 1 , 2 , …N 的有序几何表示 。假设光流在整幅图像上光滑变化 , 使沿中心线的光流变化最小 : → 9u 9v ( ) 2 + ( ) 2 d s +β ( V ・n - V ⊥) 2 d s Φ= 9 s 9 s 廓 廓
V c = ( uc , vc ) uc =
vc =
∑ ∑ R ( u , v) u ∑ ∑ R ( u , v) ∑ ∑ R ( u , v) v ∑ ∑ R ( u , v)
u v u v u v u v
其中 , 加权在 - N ≤u , v ≤N 上实施 。 基于梯度的方法实现比较简单 , 计算复杂度低 , 缺点是在 图像相邻帧之间偏移量大的时候误差较大 , 而且该方法要求图 像灰度必须是可微的 。基于匹配的方法通过特征匹配来确定偏 移量 , 可以解决相邻帧之间偏移量大的问题 ; 但是特征匹配比 较困难 , 运算量也较大 , 且块匹配法对噪声敏感 。匹配块的大 小对光流计算有影响 — — — 块太小 , 孔径问题比较严重 ; 块太 大 , 则容易漏掉局部的微小运动信息 [10 ] 。
0 引言
运动检测的目的是在序列图像中将变化区域从背景中分割 出来 。然而光照的变化 、背景混乱运动的干扰 、运动目标的影 子 、摄像机的抖动以及运动目标的自遮挡现象的存在给运动目 标的正确检测带来了极大的挑战 。由于运动目标的正确检测与 分割影响着运动目标能否正确跟踪和分类 , 因此成为计算机视 觉研究中一项重要的课题 。 现有的运动对象的检测方法可归纳为 4 种 : 光流法 [1 - 2 ] , 相邻帧差法 [3 ] , 背景减法 [ 4 ] 和运动能量检测法 [5 ] 。背景差法预 先选取不含前景运动目标的背景图像 , 然后将当前帧与该背景 图像相减 。但背景往往会发生变化 , 所以对背景图像的自适应 性提出了更高的要求 。相邻帧差法能够适应环境的动态变化 , 实现实时的运动检测 , 但分割出的运动目标不完整 。 光流的概念是 Gibson 于 1950 年首先提出的 。光流是空间 运动物体在观测成像面上的象素运动的瞬时速度 ; 光流场是指 图像灰度模式的表面运动 [ 6 ] 。光流的研究是利用图像序列中象 素强度数据的时域变化和相关性来确定各自象素位置的 “运 动” , 即研究图像灰度在时间上的变化与景象中物体结构及其
随着红外成像器件的发展 , 红外图像越来越多地运用于目 标检测 、识别等领域 , 包括运动目标的识别与跟踪等 [ 11 ] 。红 外图像用于运动目标检测 、跟踪最主要的问题是噪声问题 。由 于红外图像是红外成像器件接受的物体热辐射的能量分布 , 具 有较大的高斯噪声 ; 背景噪声不定且相关性强 , 兼有随机噪声 和非随机噪声 , 因此很少采用光流场分析法进行红外目标识别 和跟踪 [ 10 ] 。 然而 , 物体的热辐射具有空间的连续性 , 从而目标边缘比 较模糊 ; 物体热辐射随时间的变化比较缓慢 , 在序列图像的相 邻两帧时间内没有变化 , 即图像背景具有较大的相似性 [ 12 ] 。 这些特点与基本光流约束方程的模型吻合 。因此 , 理论上可对 红外图像计算光流 。但图像中的随机噪声会影响光流场的计算 结果 , 需 尽 可 能 地 消 除 随 机 噪 声 的 影 响 。光 流 场 可 用 Horn &Schunck 方法中的公式迭代求解 , 得到目标光流场后 , 就可估计出目标的运动矢量 , 实现目标运动状态分析和分割 、 跟踪等处理 。 21 2 引入匹配光流法的活动轮廓模型 [ 12 ] 活动轮廓模型 ( Snake 模型) 是一形变模型 , 可用于图像 分割和运动跟踪 。其本质上是一能量最小的样条曲线 , 在内力 和外力的作用下变形 , 外力推动活动轮廓向着物体的边缘活 动 , 而内力保持活动轮廓的光滑性和连续性 , 达到平衡位置时 的活动轮廓收敛到物体边缘 。snake 模型是一种有效的图像分 割 、边缘跟踪方法 。这种方法同时考虑了几何约束条件和与图 像数据 、轮廓形状有关的能量最小等约束条件 , 所以能得到令 中华测控网 chinamca. com
Abstract : Moving object detection is currently one of t he most active research topics in t he do main of co mputer vision. Optical flow met hod is an important met hod of motion image analysis. So me basic conception of optical flow are int roduced ; secondly , so me image analy2 sis met hods based on optical flow equation are int roduced. Then t heir feat ures and drawbacks and range of using are analyzed and co mpared by using several practical examples. In t he end , p ro spect of applications of optical flow is discussed. Key words : Moving object detection , optical flow ; differential met hod ; block matching met hod
Theories and Appl ications of Motion Analysis Based on Optical Flo w
Hu Yijing1 , Li Zhengfang2 , Hu Yueming1
( 1. College of Auto mation Science and Engineering , Sout h China U niversity of Technology , Guangzho u 510640 , China ; 2. College of Elect ro nics and Info rmation , So uth China University of Technology , Guangzho u 510640 , China)
设计与应用
计算机测量与控制 . 2 0 0 7 . 1 5 ( 2 ) Computer Measurement & Control
・ 219 ・
文章编号 :167124598 (2007) 0220219203 中图分类号 : TP911. 73 文献标识码 :A
基于光流的运动分析理论及应用
胡以静 , 李政访 , 胡跃明
( 1. 中南大学 信息科学与工程学院 , 湖南 长沙 410083 ; 2. 中南大学 电子信息学院 , 湖南 长沙 410083)
摘要 : 运动目标的检测是计算机视觉领域中最活跃的研究主题之一 , 运动目标的正确检测与分割影响着运动目标能否正确跟踪和分 类 ; 光流法是运动图像分析的重要方法 , 它能够检测出独立运动的对象 , 不需要预先知道场景的任何信息 , 并且可用于摄像机运动的情 况 ; 文中首先引入光流的基本概念 , 然后介绍基于光流方程的两种常用的图像分析方法 — — — 梯度法 、块匹配法 ; 接着结合光流法在红外 图像序列的运动目标检测 、活动轮廓模型以及医学图像处理方面的应用 , 对这两种光流法的优缺点进行分析 ; 最后对光流法在未来其他 领域如电子制造业和芯片检测行业的应用提出展望 。 关键词 : 运动目标检测 ; 光流 ; 微分法 ; 块匹配法
度相结合 , 引入光流约束方程 , 得到光流计算的基本算法 。假 设光流在整个图像上光滑变化 , 即假设运动场既满足光流约束 方程又满足全局平滑性 , 将求解 u 和 v 表示成迭代方程
un+1 = u - I x
n+1 - n - n - n - n
I x u + I y v + It , 2 α + I2 x + Iy
1 光流的几种计算方法
Barron [ 7 ] 等人按照理论基础与数学方法将光流计算技术分
为 4 种 : 微分技术 ( 梯度法 ) 、基于区域的匹 配法 ( 块匹配 法Fra Baidu bibliotek 、基于能量的方法和基于相位的方法 。通常使用微分法和 块匹配法 。
1981 年 , Horn 和 Schunck [8 ] 创造性地将二维速度场与灰
- n - n
v
I x u + I y v + It = v - Iy 2 α + I2 x + Iy
其中 n 是迭代次数 , u0 和 v0 是光流的初始估值 , 一般取 为零 。当相邻两次迭代结果的值小于预定的某一小值时 , 迭代 过程终止 。 L ucas 和 Kanade [6 ] 假设在一个小空间邻域 Ω 上运动矢量 保持恒定 , 使用加权最小二乘法估计光流 。Nagel [9 ] 用二阶导 数来估计光流 。和 Horn - Schunck 法一样 , Nagel 也采用全局 中华测控网 chinamca. co m