基于决策融合的红外与可见光图像人脸识别研究

１引言 有效的人脸识别算法，必须充分挖掘不同方面
的特征信息，就是要有效利用人脸的形状拓扑结构 特征和灰度分布特征等多种特征。因此，出现了融 合上述特征信息的一些新算法。过去的２０年，已经
提出了很多方法来解决可见光人脸识别中的问题，
基金项目：国家自然科学基金项目（Ｎｎ ６０５７３０１６）资助。 作者简介：赵云丰（１９７９一），男，博士研究生，主要研究方向为 图像处理与模式识别。Ｅ—ｍａｉｌ：ｙｕｎｆ＿ｚｌｕｉｏ＠ｙａｈｏｏ．ｃｏｍ．ｃｎ 收稿日期：２００７—１２．１８
万方数据
则该类人脸中对应红外与可见光的其他本类人脸图 像识别置信度也较高。这样就可以对已识别的红外
与可见光的各个人脸识别置信度进行加权识别，即
对它们的置信度进行融合加权求和产生该类人脸的 总置信度，然后根据各类人脸的总的置信度进行判
决，得到最终的人脸识别结果。
对红外图像，待识别的人脸图像是第ｉ个人脸 图像的人脸置信度设为ｈ，。，则红外图像人脸识别结
与可见光融合的人脸识别方法被证明比任意单一识别更有效。为了提高人脸识别的鲁棒性，
提出了一种基于决策融合的红外与可见光图像人脸识别方法，即加权求和与求最大值组合的
图像决策融合方法。对红外与可将光人脸图像分别采用ＰＣＡ与线性辨别分析相结合的方法
进行特征提取和识别，并利用获得的识别结果与它们各自的置信度进行决策融合，确定最终的
见光图像有待识别人脸图像是第＿『类人脸的总置信
度为：
妒轰轨 ｉ酗ｔ”‘
（５）
其中，成为权系数，根据实验经验取值。可见光图 像人脸识别结果为：Ｒ２＝ＡｒｇＭａｒ（ｈ赫）（０＜＿『≤Ⅳ，０＜ ｉ≤Ⅳ２）。这样最终人脸识别结果是融合加权后的置 信度为最大值所对应的那类人脸，即：
Ｒ＝ＡｒｇＭａｒ（ａｈ２『＋胁≈），口，卢为权系数，根据实 验经验取值。 ３实验
第３８卷 第６期 ２００８年６月
激光与红外 ＩＡＳＥＲ ＆ ＩＮＦＲＡＲＥＤ
Ｖ０１．３８．Ｎｏ．６ Ｊｕｎｅ，２００８
文章编号：１００１－５０７８（２００８）０６－０６２２－０４
·图像与信号处理·
基于决策融合的红外与可见光图像人脸识别研究
赵云丰，尹怡欣
（北京科技大学信息工程学院，北京１０００８３）
摘要：可见光图像受光源影响较大，红外图像可以独立光源，但对温度变化比较敏感，而红外
影权值矢量之间的距为：
ｒ：——————————————一
ｄ驴＝ｌ Ｉ哦一形垆Ｉ ｌ＝
ｏ＾一埘０１驰）２
（１）
该欧氏距越小，两图像越相关，由此可以定义待
识别人脸图像是第＿『类人脸的第ｉ个人脸图像的基
于欧氏距离的人脸置信足Ａ≥Ｍａｘ（ｄ。ｉ）。同 理，对可见光人脸图像而言可以定义待识别人脸图
匿啕１ 模型，如图ｌ所示。 红外特征 级匹配
蛩一。｛ 捧 可见光特 征级匹配 ～…。－＿．－。…’ 图１ 红外与可见光图像融合人脸识别模型
２．２人脸的特征提取、识别 基于统计的人脸识别方法，不论是对可见光图像
还是红外图像人脸识别都是一种性能较稳定和优越 的方法，因而对于可见光和红外人脸的特征提取和识 别算法，采用ＰＣＡ和ＬＤＡ方法进行提取和识别。
考虑到红外与可见光图像的人脸识别是采用统 计人脸识别方法实现的，它们在提供人脸识别结果 的同时，也可提供了基于矢量之间的最小距离的置 信度。这样，就可以利用红外与可见光图像的人脸
６２４
激光与红外
第３８卷
识别结果和它们各自的置信度进行决策融合，确定 最终的人脸识别结果。
２．３．１ 红外与可见光待识别人脸图像置信度 计算【１０】
从Ｅｑｕｉｎｏｘ公司的人脸数据库中选取一组人脸 数据库（含ＨＩＤ库）和自拍人脸图像，包含大量红外 人脸图像质量不高、戴有眼镜以及待识别的人脸图
像与训练的人脸图像存在较大时间误差的人脸图像 进行测试，以考察图像融合人脸识别方法在这种情 况下的人脸识别性能。
文章通过分析红外与可见光人脸图像的特性。 利用红外图像与可见光图像的冗余信息和互补信息 进行决策级的融合研究【６。ｊ，提高识别的鲁棒性和 效率Ⅲ。 ２红外与可见光图像融合的人脸识别方法 ２．１ 融合模型
人脸识别需要提取人脸的相关特征，最后进行
万方数据
人脸分类、识别。根据对特征级和决策级图像融合 方法的研究成果，以及红外与可见光人脸图像各自 的特性，利用信息的互补性和冗余性，结合二者的特 点，提出了一种红外与可见光图像融合人脸识别的
其中，Ｇａｂｏｒ小波变换和弹性图匹配的人脸识 别是一种形状拓扑结构和局部灰度特征的算法，较 好地利用了人脸的结构和局部灰度分布信息，具有 良好的识别效果，缺点是时间复杂度高、实现复杂。 另一种融合多种面部特征的识别方法是可变形统计 模型的人脸识别算法，综合利用了人脸形状信息、局 部灰度分布和全局灰度分布特征，具有较高的识别 精度，其缺点同样是系统时间复杂度高、速度较慢。 文献［３］研究了基于红外和可见光图像融合的人 脸，探寻红外成像对由眼镜造成的脸部遮挡的灵敏 度，指出当眼镜出现在探测图像而不是图库中时，红 外识别的性能会急剧地下降，反之亦然。为了提高 人脸识别的性能，文献［４］采用经验模式分解方法 来实现可见光与红外图像的融合，通过与其他方法 的比较来突出其算法的优越性，实验表明可以降低 计算复杂度，但局限性在于必须满足比较苛刻的假 设条件。以上关于人脸图像的融合研究主要集中在 像素级的融合¨Ｊ，对于决策级的人脸图像融合研究 较少。
像是第，类人脸的第ｉ个人脸图像的基于欧氏距离 的人脸置信度为：
呼与掣
（３）
２．３．２融合人脸识别决策 提出一种利用加权求和与求最大值组合的图像
决策融合方法。具体融合人脸识别决策方法如下： 一般情况下，待识别人脸图像应该与该人脸的相应 训练人脸图像相关性最强，首先分别在红外与可如 图像人脸识别结果中寻找置信度最大值，由此确定 相应的红外与可见光人脸识别结果。另外，某类人 脸的各个人脸图像之问具有一定的相关性，使得该 类人脸的各个人脸图像的识别结果有一定的联动 性，如果某类人脸中某个人脸图像识别置信度很高，
ＺＨＡＯ Ｙｕｎ—ｆｅｎｇ，ＹＩＮ Ｙｉ—ｘｉｎ （Ｓｃｈｏｏｌ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ Ｂｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ，１０００８３，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｈｅ ｎａｔｕｒｅ ｏｆ ｔｈｅ ｉｍａｇｉｎｇ ｅｎｖｉｒｏｎｍｅｎｔ，ｉｌｌｕｍｉｎａｔｉｏｎ ｐｌａｙｓ ａｌｌ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｔｈｅ ｅｆｆｉｃｉｅｎｃｙ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉ－ ｔｉｏｎ ｏｎ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ．Ｉｎｆｒａｒｅｄ ｉｍａｇｅ ｉｓ ｉｎｄｅｐｅｎｄｅｎｔ ｏｆ ｔｈｅ ａｍｂｉｅｎｔ ｉｌｌｕｍｉｎａｔｉｏｎ，ｂｕｔ ｉｔ ｉｓ ｓｅｎｓｉｔｉｖｅ ｔｏ ｔｅｍｐｅｒａ· ｔｕｆｔｓ．Ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ａｌｇｏｒｉｔｈｍｓ ａｐｐｌｉｅｄ ｔｏ ｔｈｅ ｆｕｓｉｏｎ ｏｆ ＩＲ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ ｃｏｎｓｉｓｔｅｎｔｌｙ ｄｅｍｏｎｓｔｒａｔｅｄ ｂｅｔｔｅｒ ｐｅｒ－ ｆｏｒｍａｎｃｅ ｔｈａｎ ｗｈｅｎ ａｐｐｌｉｅｄ ｔｏ ｅｉｔｈｅｒ ｖｉｓｉｂｌｅ ｏｒ ＩＲ ｉｍａｇｅｒｙ ａｌｏｎｅ．Ａｎ ａｐｐｒｏａｃｈ ｂａｓｅｄ ｏｎ ｄｅｃｉｓｉｏｎ—ｌｅｖｅｌ ｆｕｓｉｏｎ ｏｆ ｉｎｆｒａ－ ｒｅｄ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ ｆｏｒ ｒｏｂｕｓｔ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｓ ｐｒｅｓｅｎｔｅｄ，ｃｏｍｂｉｎａｔｏｒｙ ｏｆ ｌｉｎｅａｒ ｗｅｉｇｈｔｅｄ ｓｕｍ ａｎｄ ｂｉｇｇｅｓｔ ｍａｔｃｈ ｓｃｏｒｅ．Ｔｈｅ ｃｏｍｂｉｎａｔｉｏｎ ｏｆ ＰＣＡ ａｎｄ ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ａｎａｌｙｓｉｓ ｍｅｔｈｏｄ ｗａｓ ｕｓｅｄ ｔｏ ｅｘｔｒａｃｔ ａｎｄ ｒｅｃｏｇｎｉｚｅ ｆａｃｅ ｆｅａ－ ｔｕｒｅ．Ｉｎ ｏｒｄｅｒ ｔｏ ａｃｈｉｅｖｅ ｔｈｅ ｆｉｎａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｒｅｓｕｌｔ，ｔｈｅ ｄｅｃｉｓｉｏｎ—ｌｅｖｅｌ ｆｕｓｉｏｎ Ｗａｓ ｉｍｐｌｅｍｅｎｔｅｄ ｂｙ ｐｒｅｖｉｏｕｓ ｏｕｔｃｏｍｅ ｏｆ ｉｎｆｒａｒｅｄ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｔｈｅｉｒ ｃｏｎｆｉｄｅｎｃｅ ｍｅ嬲ｕｒｅ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｈａｖｅ ｓｈｏｗｎ ｉｔ ｉｍｐｒｏｖｅｓ ｔｈｅ ｐｅｒ－ ｆｏｒｍａｎｅｅ ａｎｄ ａｄａｐｔａｂｉｌｉｔｙ ｏｆ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｉｎ ｌｏｔｓ ｏｆ ａｃｔｕａｌ ａｐｐｌｉｃａｔｉｏｎ ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｆｕｓｉｏｎ；ｉｎｆｒａｒｅｄ ｉｍａｇｅ；ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ；ｄｅｃｉｓｉｏｎ—ｌｅｖｅｌ ｉｍａｇｅ ｆｕｓｉｏｎ
设参加训练的人脸类别为Ⅳ类，每类人脸红外
与可见光图像分别为Ⅳｌ与Ⅳ２个训练样本，对红外
人脸图像我们把第＿『类人脸的第ｉ个人脸图像记为 Ｃ，ｉ（０＜＿『≤Ⅳ，０＜ｉ≤Ⅳ１），对可见光人脸图像我们把 第，类人脸的第ｉ个人脸图像则记为Ｃ硝（０＜＿『≤Ⅳ，
０＜ｉ≤Ｎ２）。将Ｃ。。在人脸的第ｋ个特征矢量上投影
人脸识别结果。实验表明，可以有效提高人脸识别性能和对各种应用环境的适用性。
关键词：图像融合；红外图像；人脸识别；决策级融合
中图分类号：Ｔｌ珍９１．４１
文献标识码：Ａ
Ｄｅｃｉｓｉｏｎ．１ｅｖｅｌ Ｆｕｓｉｏｎ ｏｆ Ｉｎｆｒａｒｅｄ ａｎｄ Ｖｉｓｉｂｌｅ Ｉｍａｇｅｓ ｆｏｒ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ
的权值记为职船’Ｃ：ｉ在人脸第ｋ个特征矢量上投影 的权值记为伽勰。
第，类人脸的第ｉ个人脸图像在红外人脸图像
上投影的权值矢量为职Ⅳ（加帆，ｔ￡Ｊ。面，…，埘拗），９为 投影矢量维数。待识别人脸在红外人脸图像中的投