基于光流的人体运动实时检测方法

式中 : k 为迭代次数 ; k = 0 时 , u 0 和 v 0 为光流的初 始估计值 , 一般取为 0 . 当相邻两次迭代结果值小 于预定的某一小值时 , 迭代过程结束 .
3 目标区域分割
得到运动目标的光流场后 , 由光流图像的均值 确定阈值 , 然后对光流图像进行快速阈值分割 , 得到 初始分割图像并对其进行中值滤波 , 如图 2 ( a ) . 为 了连接邻近的物体 , 填平狭窄的间断和细长的鸿沟 , 填补小的孔洞 , 使用形态学图像处理中的闭运算对 其进行后续处理 [ 9 ] . 使用结构元素 f B 对集合 f A 的闭运算 , 表示为 (8) f A ・f B = f A ⊕ f B Θf B . 其中 f A ⊕ f B Θf B 表示使用结构元素 f B 对图像 f A 进行形态学膨胀 , 然后再使用结构元素 f B 对结 果进行腐蚀 . 针对人体行走的运动特性 ,选择如图 2 ( b) 所示 的结构元素对阈值图像进行闭运算 , 其处理结果如 图 2 ( c) 所示 . 结果表明 , 闭运算能够有效地连接目 标中间断区域 . 最后 ,由于光流检测和形态滤波处理 得到的运动目标区域能够较好地反映出各目标的位
置信息 ,所以可通过连通性分析最终确定运动目标
的位置 .
图 2 目标分割
Fig. 2 Object segmentation
4 仿真实验及结果分析
仿真实验以主频为 21 11 GHz 的 CPU , 1 GB 内 存的普通 PC 机为硬件平台 ,采用 Matlab/ Simulink 进行系统建模和仿真 . 系统工作原理如图 3 所示 . 人体运动视频是由普通摄像头采集的 240 像素 × 320 像素视频序列 ,图 4 ( a ) 、 图 4 ( b) 为视频中连续 的两帧图像 ,通过运动区域检测模块可快速确定图 像中的运动区域 ( 图 4 ( c ) ) , 并提取出该区域 ( 图
收稿日期 : 2008204217 基金项目 : 国家部委预研项目 (06104040) ) ,男 ,博士生 , E2mail : sjd215 @bit . edu. cn ; 王建中 (1963 — ) ,男 ,教授 ,博士生导师 . 作者简介 : 施家栋 (1982 —
第9期
施家栋等 : 基于光流的人体运动实时检测方法
Real2Time Detection Method of Human Motion Based on Optical Flow
S H I J ia2do ng , WAN G J ian2zho ng , WAN G Ho ng2ru
( State Key Laboratory of Explo sio n Science and Technology , Beijing Instit ute of Technology , Beijing 100081 , China)
图 4 实验结果
Fig. 4 Experimental result s
上述检测方法与传统的光流法对比表明 , 基于 上述硬件平台 ,省去处理过程中中间结果显示 ,只显
示最终的分割结果 ,对 240 像素 ×320 像素的人体 运动视频序列进行处理 , 传统的光流算法大约可以
第9期ຫໍສະໝຸດ Baidu
施家栋等 : 基于光流的人体运动实时检测方法
第 28 卷 第9期 2008 年 9 月
北 京 理 工 大 学 学 报 Transactio ns of Beijing Instit ute of Technology
Vol. 28 No . 9 Sep . 2008
基于光流的人体运动实时检测方法
施家栋 , 王建中 , 王红茹
( 北京理工大学 爆炸科学与技术国家重点实验室 , 北京 100081)
( u , v) .
κe
2
m + a s
2 2
m
d x d y.
(5)
上述问题可用递归算法来求解 , 这里只考虑离 散情况 , 考虑点 i , j 及其四邻域上的光流值 , 可由 以下 2 个迭代方程求得 u 和 v .
u
图 1 基于 S A D 检测运动区域 Fi g. 1 M otion re gion detection based on S A D
时性要求很高 . 为此 , 作者提出了一种通过计算图 像的差分绝对值和 ( S A D ) 来确定运动区域 , 再 进行基于 H orn2S chunck [ 8 ] 光流场计 算的新 方法 , 从而避免了在整幅图像上进行全局光流计算 , 减少 了不必要的计算开销 . 在后续处理中 , 应用了形态 学的闭运算和连通性分析 , 较完整地分割出人体运 动目标 .
Horn2Schunck 使用假设 ② 来求解光流 , 即满足
光流约束方程又满足全局平滑性 . 根据光流约束方 程 , 光流误差为
e m = I x u + I y v + It . (3)
C =
∑∑ f
0 0
- ft .
(1)
式中 C 为两帧图像差分的绝对值和 ( S A D) . 将图像 区域分为 3 ×4 = 12 块子区域 , 如图 1 ( a) 所示 . 依 次对每一块区域进行 S A D 的计算 , 并通过与阈值 T 比较确定运动区域 . 图 1 ( b) 中高亮显示区域为计 算后的 S A D 大于阈值 T 的运动区域 .
2 Horn2Schunck 计算方法
光流法计算最初是由 H orn 和 S ch unck 于 1981 年提出的 , 创造性地将二维速度场与灰度相联系 , 引 入光流约束方程 , 得到光流计算的基本算法 . 光流 计算基于物体移动的光学特性提出了 2 个假设 : ①运动物体的灰度在很短的间隔时间内保持不变 ; ② 给 定邻 域内 的速 度向 量场 变化 是缓慢 的 . 设 I x ,y ,t 为时刻 t 图像像素点 m = x ,y 的灰度值 , u x ,y 和 v x ,y 是该点光流的 x 和 y 分量 , 由假 设① 可以导出光流约束方程为
摘 要 : 针对目前广泛使用的光流法计算耗时严重问题 , 提出了基于差分图像绝对值和 ( S A D) 与光流法相结合的 人体运动检测方法 . 通过计算 S A D 检测出运动区域 , 在已确定的运动区域内进行 Horn2S chunck 光流场计算 , 准确 地计算出人体的运动信息 . 在后续处理中 , 应用形态学的闭运算和连通性分析 , 较完整地分割出人体运动目标 . 实 验结果表明 , 该方法有效地提高了系统的计算速度 , 能够实时准确地对人体运动进行检测 . 关键词 : 人体运动 ; 差分图像绝对值 ( S A D) ; 光流法 ; 目标分割 中图分类号 : T P 391 文献标识码 : A 文章编号 : 100120645 ( 2008) 0920794204
k+1
= u - Ix = v - Iy
- k
- k
I x u + I y v + It , 2 2 a + Ix + Iy I x u + I y v + It . 2 2 a + Ix + Iy
- k - k
- k
- k
(6) (7)
v
k+1
利用图像差分检测是一种快速的运动区域检测 方法 . 但是 , 简单的两帧图像差分不能获得足够的 运动信息 . 因此 , 采用光流法对已检测出来的运动 区域进行进一步的光流场计算 , 以获取人体的部分 运动信息 .
4 ( d) ) 输入光流计算模块 , 计算得到运动人体的光
流场 ( 图 4 ( e) 、 图 4 (f ) ) , 然后 , 通过阈值 、 闭运算和 连通性分析分割出人体运动目标 ,最后显示结果 ( 图 4 (i) 、 图 4 (j ) 、 图 4 ( k) ) .
图 3 系统结构图
Fig. 3 Overview of t he system
目标的表面结构等 . 对进一步进行跟踪 、识别等后 续处理提供了丰富的信息 . 但是 , 大多数光流检测 法计算开销较大 , 实时性差 . 在智能车辆针对行人 的检 测 [ 3 测
[ 5] 4]
、无 人 武 器 系 统 针 对 运 动 目 标 的 检
7]
和实时智能监控 [ 6 -
等应用中 , 对检测的实
对于光滑变化的光流 , 其速度分量的平方和积分为 5u 2 5u 2 5v 2 5v 2 2 s m = + + + , 5x 5y 5x 5y (4) 式中 s m 为光流的平滑度量 . 将光滑性测度和加权微分约束测量组合起来 , 有
E =
2
式中 : E 为光滑性测度和加权微分约束的组合 ; a 为 控制平滑度的参数 , a 越大 , 则平滑度就越高 , 估计 的精度也越高 . 使 E 2 最小化可计算得到光流速度
Abstract : Co nsidering t he p ro blem t hat t he t raditio nal optical flow algorit hm is a time2co nsuming co mp utatio n. An integrated met hod of detecting human motio n is p ropo sed based o n t he sum of absolute differences ( SAD ) and optical flow. The motio n sub2regio n is detected by t he co mp utatio n of SAD. The optical flow vectors of t he o bject can be o btained by co mp uting optical flow o n t he motio n sub2regio n. In t he po st p rocessing , clo sing and co nnected co mpo nent s analysis are used for t he segmentatio n of human o bject . Experimental result s showed t he effectiveness and ro bust ness of t he p ropo sed met ho d. Key words : human motio n ; sum of absolute differences ( SAD) ; optical flow met hod ; o bject seg2 mentatio n
795
1 基于 SAD 检测运动区域
在摄像机固定不动且光照条件变化不明显的情 况下 , 使用差分图像法可以快速有效地检测出运动区 域 . 设图像为 M × N 的灰度图像 ,时刻 t 和 t + 1 的图 像分别为 f x ,y ,t 和 f x ,y ,t + 1 , S A D 定义为
M N t+1
I・ v + It = 0.
T
(2)
式中 : I = Δ
5I 5I , 和 v = u , v 分别为图像在点 5x 5y m 处的梯度和速度 ; I ・v = I x u + I y v 为两向量的 Δ
点积 ; I t 为前后两帧图像点的灰度变化率 .
Δ
796
北 京 理 工 大 学 学 报
第 28 卷
人体运动分析 [ 1 ] 是近几年来计算机视觉领域 最为活跃的研究方向之一 , 在智能监控 、 运动分析 、 虚拟现实 、 人机交互等领域具有潜在的应用前景 . 人体运动分析的主要目的是从包含有人的图像序列 中检测 、 识别 、 跟踪人并对其行为进行理解和描述 . 人体运动的检测对于目标分类 、 跟踪和行为理解等 后期处理非常重要 . 然而 , 由于光照条件的变化 、 人 体的影子 、 遮挡等方面的影响 , 使得准确有效地检测 出运动目标成为一件困难的事情 [ 2 ] . 光流法是运动目标检测的重要方法 之一 , 通 过对独立运动目标进行光流分析 , 能够获得运动 目标的运动信息 , 包括相对运动速度 、 目标距离和