视频序列对称差分法检测与预测人脸技术

收稿日期 :2008201202 基金项目 :重庆市应用基础研究资助项目 (6976) 作者简介 :印勇 (19632) ,男 ,重庆大学副教授 ,主要从事图像信息处理 ,视频分析与检索等方向研究 , ( Tel ) 13983175851 ;
( E2mail) yy @ccee. cqu. edu. cn 。
对后续帧中的人脸加以预测 。实验表明 ,该算法复杂度小 ,准确率较高 ,对姿态 、表情 、背景等变化
情况下人脸的检测均具有较好的鲁棒性 ,预测跟踪效果好 。
关键词 :人脸检测 ;人脸跟踪 ;视频监控 ;对称差分
中图分类号 : TP391
文献标志码 :A
Face detection and prediction technology based on video surveillance
2 人脸检测
2. 1 运动区域提取
通过视频中相邻两帧的差分 , 可以得到运动区
域的大致范围 ,并对此区域进行一系列的处理 , 如中
值滤波 、数学形态学处理 ,去除一些干扰因素 。为了
增加实验的准确性 , 选取连续ห้องสมุดไป่ตู้帧的每相邻两帧之
间差分 ,得到 2 个差分图像 ,这 2 个差分图像的相与
结果即可视为中间帧的运动区域 。式 (1) 描述了算
第 7 期 印 勇 ,等 :视频序列对称差分法检测与预测人脸技术
787
小 、位置 、方向 、姿态 (正面 、侧面) 、颜色 、大小等有很 大的可变性 ; ②人脸图像获取过程的不确定性 。例 如光照强度 、光源的数目和方向 、拍摄角度 、照相机 的特性等 ; ③人脸可能被其他物体部分遮住 。所以 , 提出一种能有效地检测到任何情况下任何人脸的通 用算法还不现实[1] 。
为了使其更具鲁棒性 , 不仅可以运用于单人脸 检测 ,而且可以用于多人脸的检测 , 笔者在原算法的 基础上进行了改进 。具体步骤为 :
1) 将得到人脸候选区域的视频序列的第 k 帧投 影到水平方向 , 并且找到水平轴上的突变点 。如下
m
6 所示 , jsum ( j) = I ( i , j) 。式中 ,jsum ( j) 为本帧 i =1
化 ; r( i , j) 为 2 个差分区域相与结果 , 表示中间帧的 运动区域 。运动区域提取结果如图 2 所示 。
区域为候选人脸区域 ,否则忽略 ,并将本帧二值化。
图 3 Cr 分量分布图
图 2 运动区域提取
2. 2 彩色空间选取 目前 ,在视频中进行人脸检测常用的彩色空间
有 R GB 、TSL 、YU V 、YCrCb 、HSV 、CIE L uv 等 , 笔 者选用了 YCrCb 彩色空间 , 从 R GB 空间到 YCrCb 空间的转换矩阵为式 (2)
目前 ,常用的人脸检测算法中 , 变形模板匹配法 计算量非常大 ; 神经网络法每个像素就要用到一个 神经元 ,所需神经元数目非常庞大 , 网络训练比较复 杂 ;特征脸法 、概率模型法和矢量机法等需要搜集大 量的人脸和非人脸样本作为训练集 , 训练的好坏对 检测结果影响非常大 。
Zheng [2] 等 提 出 了 一 种 基 于 镶 嵌 图 ( mo saic image) 的人脸检测方法 , 利用人脸内部的灰度分布 规律构建了 3 级人脸检测系统 。该方法的不足之处 在于整个系统中参数较多 、计算量较大 、搜索较费 时 。Sung[3] 等提出基于样本的分布和神经网络的方 法检测人脸 ,但是所需神经元数目庞大 , 训练比较困 难 。张宇[4] 运用差分和肤色相结合的人脸检测方法 检测人脸 ,但是检测效果不是非常好 。潘志庚[5] 等 提出了基于特征人脸和肤色统计的视频人脸检测方 法 ,它在 Kalman 滤波预测的基础上 , 用肤色过滤方 法最终确定人脸的位置和大小 , 是一种能适应不同 环境和光照变化的实时的人脸检测方法 。徐从东[6] 等将肤色信息 、马氏距离和 B P 神经网络相结合对 人脸进行检测 ,取得了较好的实验结果 。H su RL [7] 提出了 一 种 可 变 光 照 及 复 杂 背 景 下 的 肤 色 检 测 算法 , 应用于人脸检测之中 , 取得了较好的结果 。 但是 ,这种方法对颜色偏差问题不能很好地解决 。 Kot ropo ulo s 和 Pitas[8] 提出了一种 基于 规则 的人 脸定位方法 ,上海大学的张友明[9] 、西安电子科技大 学的李春明[10] 分别对这种算法进行了一些改进 , 也 取得了不错的效果 , 但是仍然是仅能对单人脸简单 视频的处理 , 对复杂背景下的多人脸定 位就 无法 处理 。
Y
0. 299 0 0. 578 0 0. 114 0 R
Cr = 0. 500 0 - 0. 418 7 - 0. 081 3 G +
Cb - 0. 168 7 - 0. 331 3 0. 500 0 B
0
0. 500 0 。
(2)
0. 500 0 因为在此空间中 ,亮度分量 Y 对色度分量影响较 小 ,可以部分免除光照的影响 ; Cr、Cb 2 个色度分量独 立分布 ,互不影响 ;并且人脸的肤色在 Cr、Cb 分量上 相对比较集中 。宋红 、石峰[12] 等人给出了人脸肤色在
并且提高检测准确率 。同时将视频帧由 R GB 彩色 空间转换到 YCrCb 彩色空间 ,结合运动区域找到人 脸候选区域 。然后用投影算法结合人脸的几何特征 信息找到人脸 , 实现人脸的检测 。为了对人脸进行 预测跟踪 ,根据连续两帧得到的人脸区域间的差别 信息类推后面几帧的人脸大体位置 。
图 1 视频监控下的人脸检测与预测系统框架
Yin Yong , Liu Xi2fu
(College of Co mmunicatio n Engineering , Cho ngqing U niver sit y , Cho ngqing 400030 , P. R. China)
Abstract : Based on the continuity and relativity in time and space of video surveillance sequences , similar face areas were found in motion areas using symmetrical frame differences of video sequences and the clustering of skin2color features. By improving the algorithm for face locating and using geometric facial features , multiple faces were detected in complex video sequences. The faces in video sequences were predicted via motion quotiety and horizontal and vertical adjustment factors. The experimental results show that this algorithm has lower complexity , higher veracity , and better robustness in face detection in situations with changing gestures , expressions and backgrounds. The prediction and tracking effect s are satisfied. Key words : face detectio n ; face t racking ; video surveillance ; symmet rical f rame difference
第 31 卷第 7 期 2008 年 7 月
重庆大学学报 Jo urnal of Cho ngqing U niver sit y
文章编号 :10002582X(2008) 0720786206
Vol. 31 No . 7 J ul. 2008
视频序列对称差分法检测与预测人脸技术
印 勇 ,刘西富
图 4 Cb 分量分布图
2. 3 人脸区域的确定 Kot ropo ulo s 和 Pitas 提出的基于规则的人脸定
位方法思路为 :首先定位人脸的范围 ,令 I ( i , j) 表示 图像中象素点 ( i , j) 的强度值 , 求出其水平投影积分 和垂直投影积分 。通过水平投影的积分突变可以找 到头的左边界和右边界 , 通过垂直投影积分的突变 可以找到头的上边界和下边界 。这种方法用欧洲的 AC TSM2V TS 数据库对 37 个人的视频序列获得 86. 5 %的成功率 。
法的具体实现过程 。
1 , i f f ( i , j , k) - f ( i , j , k - 1) ≥Td , d1 ( i , j) =
0 , i f f ( i , j , k) - f ( i , j , k - 1) < Td ; 1 , i f f ( i , j , k + 1) - f ( i , j , k) ≥Td , d2 ( i , j) = 0 , i f f ( i , j , k + 1) - f ( i , j , k) < Td ;
笔者设计了一个视频监控下的人脸检测与预测 流程 ,改进了人脸检测算法 ,使其不仅可以应用于单 人脸检测 ,而且对多人脸的检测同样有较好的准确 率 ,对后续帧中人脸区域进行预测 , 取得较好的 效果 。
1 人脸检测与预测跟踪系统流程
笔者提出的视频监控下人脸检测与预测系统框 架如图 1 所示 。运用对称差分算法得到视频帧中的 运动信息 ,以减少人脸检测时的检测范围 , 节省时间
r( i , j) = d1 ( i , j) &d2 ( i , j) ,
(1)
其中 : d1 ( i , j) 为中间帧与前一帧的差分 ; d2 ( i , j) 为
后一帧与中间帧的差分 ; Td 为根据自适应阈值选取
方法选取的阈值[11] , 并根据此阈值将差分结果二值
788
重 庆 大 学 学 报 第 31 卷
随着科学技术的发展和人的安全意识的提高 , 识别技术越来越受到人们的关注 。由于人脸识别不 带有人身侵犯性 , 使用范围广泛 , 使用者无心理障 碍 ,更易于为用户所接受等特点 ,所以基于视频监控 的人脸识别技术倍受人们重视 , 其应用领域也越来 越广泛 :
1) 在生物特征识别方面 , 可用于公安系统的罪 犯身份识别 ,驾驶执照及护照的核对 , 外来移民的管 理等 ;
(重庆大学 通信工程学院 ,重庆 400030)
摘 要 :根据视频监控图像在时间和空间上的连续性和相关性 ,利用视频图像对称差分 ,找到
运动区域 ,再结合人脸肤色的聚类特征确定出人脸候选区域 ,改进了基于规则的人脸定位方法 ,利
用人脸的几何特征 ,实现复杂视频图像中的多人脸检测 。运用运动系数加上横向和纵向调节因子 ,
2) 在信息安全方面 , 如 Windows 登陆身份鉴 别 、数据库安全管理 、Internet 访问管理 , 以及档案 管理等 ;
3) 用于视频会议 、人机交互和视觉监控 , 以及小 区或其他公共场所的出入口的访问控制等 。
而在人脸识别技术中 , 人脸检测与预测跟踪技 术又是一个至关重要的突破口 , 只有这个问题解决 好了 ,识别技术才能很好地进行 。然而 , 人脸检测技 术还是一项具有挑战性的任务 , 因为 : ①人脸的大
Cr、Cb 2 个分量上的分别情况如图 3 、图 4 所示 。 人脸 区 域 的 Cr、Cb 分 量 的 分 布 范 围 大 约 为 :
135 ≤Cr ≤156 ,108 ≤Cb ≤123 。将视频中的第 k 帧进 行彩色空间变换 ,如果它的 Cr、Cb 分量同时满足这 2 个范围 ,并且是在以上得到的运动区域中 , 就认为此