人脸检测与跟踪模型

2
]
T
,L , ω L
]
， µ k 表示特征子脸
T
可以作为识别向量， 反映了每一个特征子脸作为空间基底对
样本的贡献。本文从信息损失的角度进行识别，测试样本 Γ 经均值规正后在子脸空间的投 影Φp ：
Φ p = µ 1 , µ 2 ,L , µ L ⋅ Ω = ∑ ω k µ k
k =1
[
]
L
(3)
3
人脸检测与跟踪模型
刘明宝 高文
哈尔滨工业大学计算机科学与工程系 PO BOX 321 150001
摘要 本文提出了人脸检测与跟踪模型 —FDTM，给出了模型结构和工作过程。针对复
杂背景下的人脸检测问题，本文使用模板匹配进行粗检测，并提出特征子脸的概念进行双 空间检测。本文提出了由运动预测和运动目标检测构成的运动模型及人脸肤色模型进行实 时人脸跟踪，并给出了适应彩色/灰度图象，摄象机随动/自主运动的人脸检测与跟踪方法。 关键词 ：人脸检测与跟踪，特征子脸，运动模型，人脸肤色模型
定义投影距离 ε p ： ε p = Φ − Φ p 。||.||表示某中距离测度，这里采用均方距离。 ε p 反 映了样本 Γ 与子脸空间的距离，对于人脸样本 ε p 较小，而非人脸样本 ε p 较大。这种方法存 在两个缺点：① θ只能根据人脸样本确定。由于训练样本集中人脸的数量是有限的，很难 得到恰当的阈值θ。② 缺乏反例样本的信息。 为改进上述缺点，本文提出双空间检测的方法，即建立非人脸子脸空间，为叙述方便， 而将人脸子空间称为 α 空间。 人脸样本在空间分布上靠近 α 空间， 其在 α 以下称为 β 空间， 空间的投影有较少的信息损失，即与 α 空间的距离较小；而非人脸样本正相反，与 β 空间 的距离较小。测试样本 Γ 与 α 、 β 空间的距离分别为 ε p , ε p 。按以下规则判别( x,y )处是 否子脸：
r
[
]
T
的估计是：
$ x (t i ) = v
x i −1 − x i − 2 t i − t i −1
y − yi − 2 $ y ( t i ) = i −1 v t i − t i −1
(4)
4
预测目标坐标，即预测搜索中心为：
$ i +1 x y = $ i +1
$ x (t i ) v xi ⋅ (t i − t i −1 ) + v yi $ y (t i )
3 人脸检测方法
3.1 模板匹配
人脸检测与跟踪的本质是确定输入图象中某一小窗口图象是否 为人脸。设训练样本图象尺寸为 n ×n ， 输入图象尺寸 N ×N ， N > n 。可检测的人脸范 围 n × n ~ N ×N 。检测 n ' ×n ' （ n ' ≥ n ）的人脸时，将输入图象按比例 n ' / n 缩小 ，然后将一窗口 在此图象中滑动，取窗口图象作为测试图象送入检测模块 。 首先利用模板匹配进行粗检测，方法是：首先利用一屏蔽模板滤 掉测试图象边缘的无用信息（图 3），然后根据人脸灰度分布将人脸
2 人脸检测与跟踪模型 —FDTM
FDTM 结构如图 1。 该模型主要包括人脸检测（DM）和人脸跟踪（TM）两个模块。系统启动后，首先启动 DM，对第一帧图象进行人脸检测，定位人脸后，向 TM 发出锁定信号。TM 根据锁定的人 脸提取参考特征， 开始进行人脸跟踪。 如果跟踪失锁， 向 DM 发出失锁信号， 重新启动 DM， 开始一个新的检测与跟踪过程。在摄象机随动系统的跟踪过程中，摄象机控制模块根据人 脸信息（位置、尺寸）动态调整摄象机姿态。 FDTM 的一个重要特征是，人脸跟踪模块依赖于人脸检测模块。我们知道，在模式识别 中存在识别精度与识别速度的矛盾，识别率越高，方法往往越复杂，势必降低速度。反之 亦然。产生这种现象的主要原因是由样本的分布性引起的。DM 必须是一个精度较高的检
图 1 人脸检测与跟踪模型 该模型主要包括人脸检测（DM）和人脸跟踪（TM）两个模块。系统启动后，首先启动 DM，对第一帧图象进行人脸检测，定位人脸后，向 TM 发出锁定信号。TM 根据锁定的人 脸提取参考特征， 开始进行人脸跟踪。 如果跟踪失锁， 向 DM 发出失锁信号， 重新启动 DM， 开始一个新的检测与跟踪过程。在摄象机随动系统的跟踪过程中，摄象机控制模块根据人 脸信息（位置、尺寸）动态调整摄象机姿态。 FDTM 的一个重要特征是，人脸跟踪模块依赖于人脸检测模块。我们知道，在模式识别 中存在识别精度与识别速度的矛盾，识别率越高，方法往往越复杂，势必降低速度。反之 亦然。产生这种现象的主要原因是由样本的分布性引起的。DM 必须是一个精度较高的检 测模块，而 TM 必须是一个实时跟踪模块。FDTM 的另一个特点是：TM 中的参考特征是基 于目标的动态特征，而不是根据先验知识的训练结果。这样，参考特征只是单独样本的特 征，有效性比较高，有利于实现高精度的实时跟踪。 对于摄象机随动的人脸检测与跟踪系统，需要不断判断人脸当前位置，当位置超出一定 范围时，向摄象机控制模块输出当前人脸坐标，根据摄象机模型计算参数，调整摄象机姿 态。而对于摄象机自主运动的系统，这部分不需要。 人脸检测与人脸跟踪并没有本质的差别， 二者都是取输入 图象中的窗口图象作为测试图象， 都是视平面上的搜索问 题。区别在于搜索路线的不同，如图 2。人脸检测的搜索 (a)人脸检测 (b)人脸跟踪 路线是顺序的，这样可以检测多个人脸。而人脸跟踪是围 图 2 搜索路线 绕搜索中心的放射状搜索。
2
量作为特征子脸，形成 L 维子脸空间。 基于特征子脸的人脸检测方法 特征子脸产生之后，人脸检测就变成模式识别问题。特征子脸在 M 维图象中张成 L 维子空间。测试样本 Γ 经如下运算可变换成其在此空间的投影坐标：
2
v Ω = µ ⋅ (Γ − Ψ)
(2)
[ 向量 Ω = [ω , ω
v
1
其中 µ = µ 1 , µ 2 ,L , µ L
1
测模块，而 TM 必须是一个实时跟踪模块。FDTM 的另一个特点是：TM 中的参考特征是基 于目标的动态特征，而不是根据先验知识的训练结果。这样，参考特征只是单独样本的特 征，有效性比较高，有利于实现高精度的实时跟踪。
连续图象
人脸信息 （位置、 尺寸）
人脸跟踪
锁定信号
摄象机控制
失锁信号
人脸检测
参考特征
(α) (β )
ε (pα ) ( x , y ) < ε (pβ ) ( x , y ) ε (pα ) ( x , y ) > ε (pβ ) ( x , y )
子脸 非子脸
双空间检测方法的检测能力与反例样本集有直接的关系，反例样本集应选择有代表性 的非人脸样本，即模式与人脸接近，在图象空间中靠近人脸样本集合的非人脸图象。本文 通过反例样本基建立反例样本集，即：取若干不包含人脸的复杂图象，称为反例样本基， 对反例样本基实施模板匹配，将误识样本组成反例样本集。 窗口图象 ℜ E , ℜ C , ℜ M 都通过检测，才能确定窗口图象是人脸。双空间方法较单空间方法 必须对 ℜ E , ℜ C , ℜ M 分别进行单空间和双空间检测。 只有( x,y ) 子脸包括 ℜ E , ℜ C , ℜ M ，
{
{
} 。计算所有样本的平均样本Ψ。规正样本
(1)
}
Φ i = Γi − Ψ 。协方差矩阵
C=
1 N
Hale Waihona Puke Baidu
∑Φ Φ
i =1 i
N
T i
求解协方差矩阵 C 的特征值及特征向量。若训练样本图象分辨率是 M × M ，则 C 是
M × M 2 的矩阵，共可求得特征值及特征向量 N 个。选择 L 个具有最大特征值的特征向
具有更强的检测能力，但显然计算量也增加了一倍。应用中我们可以首先用单空间方法排 除一部分背景图象，而用双空间方法检测与人脸极为相似的图象。正例样本与反例样本在 样本空间的分布上是不相同的， α 空间与 β 空间的维数通过实验确定。
4 人脸跟踪方法
4.1 运动模型
运动预测 一个简单的运动预测的方法是利用当前目标的相对位置和速度。 考虑到目标跟踪的计算 延迟，只能用过去的位置坐标来近似当前坐标。图 4 为跟踪信息流。 时间： t1 实际坐标： 跟踪坐标： s1 t2 s2 s1 t3 s3 s2 t4 s4 s3 图4 当前目标运动速度 v ( t i ) = v x ( t i ), v y ( t i ) s4 跟踪信息流 ti-1 si-1 si-2 ti si si-1 ti+1 si+1 si
图 3 人脸模板
2
划分成不同区域，计算每个区域的灰度平均值表示该区域，用整个样本的灰度平均值规正， 得到一维连续特征向量。所有样本的平均向量是均方误差准则下的最佳参考样本。
3.2 特征子脸
• 基本思想 大多数人脸处理方法注重人脸的直观特征，而忽略了隐含在人脸样本集合内部的信息。 利用这些信息对人脸编码，可以作为人脸图象与非人脸图象的类间分离判据。从信息论的 角度，就是提取人脸图象的相关信息，一个简单途径是计算人脸图象样本集的分布。从数 学角度，就是寻找人脸图象分布的基本元素，即人脸图象样本集协方差矩阵的特征向量。 人脸图象在特征向量上的分量可以作为该图象的表征。这些特征向量称为特征脸 （eigenface）。Sirovich 和 Kirby 最早提出：人脸图象可以由权集合与一标准人脸图象集合 重建[5]。MIT 的 Pentland 等人继而提出特征脸的概念，并将这一方法应用于人脸识别[6]。 本文发展了特征脸的思想，提出了特征子脸的概念，理由是：① 人脸是器官的配置。 将一幅人脸图象的某个器官与另一幅人脸图象的相同位置交换，其各自作为人脸的属性不 变。 对于一个正面人脸，可以将其分为眼睛、面颊和下颌三个区域，分别以 ℜ E , ℜ C , ℜ M 表 示。②若样本象素数是 n，则求解协方差矩阵的计算复杂度为 o(n3)，将人脸划分成小区域， 降低了样本维数，减少了计算量，提高了训练速度。 眼睛、面颊、下颌样本集协方差矩阵的特征向量称为特征眼、特征颊和特征颌，统称特 征子脸，其原理与特征脸相同。特征子脸在相应的图象空间中张成子空间，称为子脸空间。 求解方法 设训练样本集（ ℜ E , ℜ C , ℜ M ）为 F1 , F2 ,L , FN ，对其中每个元素用其样本灰度平 均 值 规 正 ， 得 到 样 本 集 Γ1 , Γ2 ,L , Γ N
1 引言
人脸检测是指在静态图象中定位人脸并输出人脸的位置及大小等信息。人脸跟踪的任 务是在连续图象中跟踪捕获人脸的运动。目前人们正致力于提高计算机的智能交互水平， 人类的面部提供了大量视觉信息，计算机的多种感知输入通道，如人脸识别、口型识别、 表情识别等，目前大多数系统都要求使用者固定在摄象机前的某一位置。然而，人总是处 于运动中的，尤其在信息交互过程中，对使用者的这种要求显然降低了系统的实用性[1][2]。 近年来，随着 Internet 的飞速发展及电视会议（Video Conference）研究的兴起，人们纷纷 探索低比特率（Low Bit-rate）的视频编码技术。其中一类是基于目标（Object-Oriented）的 方法，人脸检测与跟踪技术引起了人们的普遍关注，在这一领域有着重要的应用价值[3]。从 学术研究的角度，人脸检测与跟踪是一类极有意义的模式识别问题[2]。 对于人脸检测，国际上曾提出了模板匹配（固定模板、变形模板），人脸规则，样本学 [2] 习 等方法，而在人脸跟踪中一般采用运动与模型技术相结合的方法[4]。目前国际上的研究 普遍将人脸检测与人脸跟踪作为两个独立的系统，没有形成统一的人脸检测与跟踪模型， 使得有些系统只能检测静态人脸[2]，而有些系统只能跟踪动态人脸[4]。目前大多数方法的缺 陷是检测精度低，实时性不够理想。 本文从建立人脸检测与跟踪模型的角度出发， 将人脸检测与人脸跟踪作为一个系统的两 个环节， 建立 FDTM ( Face Detection & Tracking Model ) 模型， 并给出模型结构和工作流程。 该模型适用于彩色/灰度图象，摄象机随动/自主运动等不同应用环境。本文提出了特征子脸 的概念进行复杂背景下的人脸检测，提出由运动预测和运动目标检测构成的运动模型和人 脸肤色模型进行实时人脸跟踪。