【CN109902581A】一种基于多步加权的单样本部分遮挡人脸识别方法【专利】

发明内容 [0004] 为了提取未遮挡的图像区域、有效保留人脸整体结构信息的局部特征，本发明提 出一种基于多步加权的单样本部分遮挡人脸识别方法，如图1，包括： [0005] a)提取图库图像集所有图像和探针图像Pro的关键点，并对图像进行分块处理； [0006] b)提取具有关键点的图像块的SILBP描述符，计算图像块中的关键点个数，并利用 L2范数对关键点个数进行归一化，将归一化的关键点个数作为权重对描述符加权； [0007] c)通过描述符加权匹配的方式获取探针图像块与和探针图像块是匹配部位的图 库图像块之间的度量距离。 [0008] d)求所有探针图像块所对应的度量距离的平均值并用匹配关键点个数的倒数对 平均值 加权 ，最终的 这个 加权度量距离就是探针图 像 和图 库图 像之间的匹配度量距离 ，与 探针图像具有最小度量距离的图库图像所对应的标签就是探针图像的身份。 [0009] 进一步的，提取图库图像集所有图像和探针图像Pro的关键点包括：将图库图像集 表示为Gal＝{Gal1 ,Gal2 ,… ,GalC ,… ,GalL}；当Pro和GalC进行匹配时，根据关键点邻域描述 符之间的欧式距离找出Pro中每个关键点在GalC关键点中的最近邻点和次近邻点，在Pro中 关键点与最近邻点之间的距离和与次近邻点之间的距离的比值大于关键点阈值Threshold 时 ，表示最近邻点邻域描述符和次近邻点邻域描述符都与Pro中的关键点邻域描述符相似 ， 不具有判别能力，因此将被视为没有作用的关键点淘汰掉，即关键点满足：
均，即将度量距离求平均值DistC，表示为：
3
CN 109902581 A
说 明 书
1/6 页
一种基于多步加权的单样本部分遮挡人脸识别方法
技术领域 [0001] 本发明涉及单样本部分遮挡人脸识别，特别涉及一种基于多步加权的单样本部分 遮挡人脸识别方法。
背景技术 [0002] 近年来，人脸识别作为图像分析和理解最成功的的应用之一受到了极大的关注， 并且在数据库中有大量样本集且是受控条件下时 ，对人脸进行识别已 经取得了非常可观的 成果。然而，现实生活中由于采集样本的困难或系统的存储限制等，数据库中每个人可能仅 有一张人脸，一些现有的人脸识别算法会受到很大的影响，如：PCA，LDA，SRC等等，这个问题 叫做单样本问 题 ，定义如下 ：根据每人仅存储有一张图 像的 面部数据库来识别存在姿势变 化、光照变化或外部物体遮挡等的人脸图像。该问题具有很大的挑战性，因为现有的人脸识 别算法大多是通过大样本集进行 训练来获取良 好的识别性能 ，很难从有限的数据中学习出 一个可以有效判别人脸的特征或分类器。除了数据库的问题以外，如果待识别图像存在遮 挡将给人脸识别带来更大的困难，因为现在并没有一种有效的方法能排除掉自然场景下的 遮挡区域，而遮挡会造成特征损失、对准误差和局部混叠等问题，这些问题将会严重影响人 脸识别算法的 性能。遮挡可分为三种类型 ：1) 极端光照 (如阴影) 2) 姿势变化 引起的自 遮挡 (如侧脸)3)外部物体遮挡(如墨镜)等，本论文仅针对外部物体遮挡进行讨论。 [0003] 面对单样本部分遮挡人脸识别问题，由于局部遮挡仅影响人脸的局部区域，提取 局部区域的特征是解决该问题的常用方法。通过将图像分为数个等大小的图像块进行识别 工作是局部特征提取的常用方法，如Wei等人在2014年所提出DICW算法在将图像分块后，按 照光栅扫描的顺序将图像块排列为了一个图像块序列，然后用传统的DTW(the Dynamic Time Warping)算法实现图像块之间的弹性匹配，这样做保留了人脸的整体结构信息，并减 弱了遮挡带来的影响。类似的基于图像分块的人脸识别方法还有Soodeh Nikan等人提出的 方法 ,该方法是通过将人脸图像分为等大小的块，然后将这些图像块作为独立单元进行分 类，最后整合这些分类结果来得出两幅图像的相似度。Niall McLaughlin等人在2016年提 出通过计算两幅匹配图 像中每个位置最大 邻域的匹配概率 ，来估算两幅图 像的匹配程度 ， 对于遮挡问题，通过给予遮挡区域匹配的一个极小的后验概率，来弱化遮挡带来的影响，这 是一种通过概率匹配来估算人脸相似度的方法。类似的还有Seo等人通过将SIFT特征和统 计学 习相结合 ，来建立SIFT特征的 概率分布函数 ，最后通过概率分布函数来赋予不同图 像 块不同的 权重来综合决策两幅图 像的 相似度。以 上这些方法都需要人脸预对齐 ，但在遮挡 面积较大时 ，可能无法进行人脸预对齐 ，且将具有遮挡部分的图像区域 用于决策 ，势必会对 识别结果造成影响。有一类方法是 利 用了关键点的匹配程度来识别人脸 ，该类方法不需要 人脸预对齐且有很好的 识别性能 ，如Liao等人[9]提出的先提取人脸图 像的特征点 ，提取特 征点邻域的Gabor Ternary Pattern Descriptor(GTP)特征，利用所有图库图像的GTP特征 建立字典，最后将测试图像的所有GTP特征用特征字典稀疏重建，通过重构误差来度量他们 的 相似性 ；还有Weng等人[10]提出的 将两幅图 像检 测到的 关键点集之间进行匹配的 配准代
( 19 )中华人民 共和国国家知识产权局
( 12 )发明专利申请
(21)申请号 201910077715 .X
(22)申请日 2019 .01 .28
(71)申请人 重庆邮电大学 地址 400065 重庆市南岸区南山街道崇文 路2号
(72)发明人 钟福金 闫硕 于洪
(74)专利代理机构 重庆辉腾律师事务所 50215 代理人 卢胜斌
19中华人民共和国国家知识产权局12发明专利申请10申请公布号43申请公布日21申请号201910077715x22申请日2019012871申请人重庆邮电大学地址400065重庆市南岸区南山街道崇文路2号72发明人钟福金闫硕于洪74专利代理机构重庆辉腾律师事务所50215代理人卢胜斌51intclg06k900200601g06k934200601g06k96220060154发明名称一种基于多步加权的单样本部分遮挡人脸识别方法57摘要本发明涉及单样本部分遮挡人脸识别特别涉及一种基于多步加权的单样本部分遮挡人脸识别方法包括提取图像的关键点并对图像进行分块处理
4
CN 109902581 A
说 明 书
2/6 页
价 和匹配关键点邻域纹理梯度特征的 度量距离综合决策人脸 相似度。这两种方法 ，前者仅 利用关键点的描述符进行识别，损失了人脸的整体结构信息且在图库集变动时需要重新构 建字典。Weng等人提出的方法虽然在提取关键点邻域信息的同时利用点集匹配弥补了局部 特征 损失的 整体结构信息 ，但点集匹配过程消耗了大量的时间 ，失去了单样本人脸识别的 运行效率的优势。
本发明涉及单样本部分遮挡人脸识别，特别 涉及一种基于多步加权的单样本部分遮挡人脸 识别方法 ，包括提取图 像的 关键点 ，并对图 像进 行分块处理 ；提取具有关键点的图 像块的 SILBP 描述符 ，计算图 像块中的 关键点个数 ，并 将处理 后的关键点个数作为权重对描述符加权；通过描 述符加权匹配的方式获取匹配部位图像块之间 的度量距离；求所有度量距离的平均值并用匹配 关键点个数的倒数对平均值加权，最终的这个加 权度量距离作为两图像之间的匹配度量距离，将 具有最小度量距离的标签作为人脸识别的标签； 本发明利用加权描述符匹配的方法省去了图像 分块方法所需要的人脸预对齐处理 ，同时提出了 一种通过关键点个数加权来选择未遮挡图像块 进行匹配的方法。
(51)Int .Cl . G06K 9/00(2006 .01) G06K 9/34(2006 .01) G06K 9/62(2006 .01)
(10)申请公布号 CN 109902581 A (43)申请公布日 2019.06.18
( 54 )发明 名称 一种基于多步加权的单样本部分遮挡人脸
识别方法 ( 57 )摘要
一个类别的图像； 为距离探针图像的第i个图像块的加权描述符最近的第C类单样本图
库图像的图像块的下标；||·||2表示计算欧式距离。
9 .根据权利要求8所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于 ，求出K个探针图 像块所对应的 度量距离Cd istpi…Cd is tpK 后 ，对这K个 度量距离求平
3 .根据权利要求1所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于 ，对图 像进行分块处理包括 ：将探针图 像 和图 库图 像分为n×s个等大小无重叠的图 像 块。
4 .根据权利要求1所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于 ，提取具有关键点的图 像块的 SILBP描述符包括 ：采样点为P个 ，邻域半径为R的 N个像 素 ，其中这N个采样点使 用1或者0表示 ，1表示采样点的 灰度值比 中 心点大 ，0表示采样点的 灰度值比中心点小或者相等；用P个数字组成的二进制数表示中心位置的局部二值模式LBP 值；旋转邻域半径为R的圆形邻域内的LBP特征，得到多个不同的LBP特征值，用最小的LBP特 征值来代表这一系列特征值 ；在邻域中1的个数相同时 ，用从0到1跳变次数为2的LBP值来代 表所有其他跳变次数的LBP值。
5 .根据权利要求4所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于 ，采 用4组不同的 邻域采样点的 个数 和邻域半 径 ，利 用等价旋转不变的 局部二值模式 uniform rotation invariant LBP编码将4组邻域采样点的个数P和邻域半径R的描述符串 联。
6 .根据权利要求5所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征＝8 ,R＝2}，{P＝16 , R＝2}，{P＝16 ,R＝3}。
权利要求书2页 说明书6页 附图2页
CN 109902581 A
CN 109902581 A
权 利 要 求 书
1/2 页
1 .一种基于多步加权的单样本部分遮挡人脸识别方法，其特征在于，包括以下步骤： a)提取图库图像集所有图像和探针图像的关键点，并对图像进行分块处理； b) 提取具有关键点的图 像块的 等价旋转不变的 局部二值模式 SILBP描述符 ，计算图 像 块中的 关键点个数 ，并 利 用L2范数对关键点个数进行归一化 ，将归一化的 关键点个数作为 权重对描述符加权； c) 通过描述符 加权匹 配的 方式获取探针图 像块 与 和探针图 像块是匹 配部位的图 库图 像块之间的度量距离； d) 求所有探针图 像块所对应的 度量距离的 平均值并 用匹 配关键点个数的 倒数对平均 值 加权 ，最终的 这个 加权度量距离就是探针图 像 和图 库图 像之间的匹配度量距离 ，与探针 图像具有最小度量距离的图库图像所对应的标签就是探针图像的身份。 2 .根据权利要求1所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于 ，提取图 库图 像集所有图 像 和探针图 像Pro的 关键点包括 ：将图 库图 像集表示为Gal＝ {Gal1 ,Gal2 ,… ,GalC ,… ,GalL}，即图像库中包括L个类别的图像；当Pro和第C个类别的图像 GalC进行匹配时 ，根据关键点邻域描述符之间的欧式距离找出Pro中每个关键点在第C个类 别的图 像GalC关键点中的 最近邻点 和次 近邻点 ，在Pro中关键点与最近邻点之间的 距离 和 与次近邻点之间的 距离的比 值大于关键点阈值Threshold时 ，表示最近邻点邻域描述符和 次近邻点邻域描述符都与Pro中的关键点邻域描述符相似，不具有判别能力，因此将被视为 没有作用的关键点淘汰掉，即关键点满足：
7 .根据权利要求1所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于，利用L2范数对关键点个数进行归一化包括：
2
CN 109902581 A
权 利 要 求 书
2/2 页
其中 ，Cnumi表示第i个图 像块的匹配关键点个数 ，cwi表示归一化之后的匹配关键点个 数。
8 .根据权利要求1所述的一种基于多步加权的单样本部分遮挡人脸识别方法，其特征 在于，将归一化的匹配关键点个数作为权重对描述符加权包括：求出探针图像的第i个图像 块pi的加权描述符分别与单样本图库图像库中各个类别下的所有K '个图像块的加权描述 符之间的欧式距离，将在每个类别中最小的欧式距离作为探针图像的第i个图像块pi与图 库图像块中第C个类别的图像的度量距离，其中第C类单样本图库图像的图像块与探针图像 的第i个图像块的加权描述符的度量距离表示为：
其中，CDpi表示探针图像的第i个图像块的描述符，cwpi为CDpi的权值，i＝1 ,2 ,… ,K，K为 探针图 像的图 像块数量 ；CDgj表示第C类单样本图 库图 像的 第j个图 像块 ，cwgj表示CDgj的 权 值，j＝1 ,2 ,… ,K '，K '是第C类单样本图库图像的图像块数量；C为单样本图库图像库中任意