【CN110148085A】人脸图像超分辨率重建方法及计算机可读取的存储介质【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910323776.X
(22)申请日 2019.04.22
(71)申请人 智慧眼科技股份有限公司
地址 100193 北京市海淀区昆明湖南路51
号中关村军民融合产业园C座207
(72)发明人 刘蒸蒸　刘伟华　
(74)专利代理机构 长沙智嵘专利代理事务所
(普通合伙) 43211
代理人 刘宏
(51)Int.Cl.
G06T 3/40(2006.01)
(54)发明名称
人脸图像超分辨率重建方法及计算机可读
取的存储介质
(57)摘要
本发明公开了一种人脸图像超分辨率重建
方法。

本发明的人脸图像超分辨率重建方法，独
创性地提取了两种人脸语义先验知识，将两种人
脸先验信息和人脸超分辨率重建网络的编码部
分拼接合并后作为人脸超分辨率重建网络的解
码部分的输入，确保了重构的人脸图像包含更多
的人脸先验信息，并且将人脸超分辨率重建网络
和多任务人脸语义先验知识提取网络共同作为
生成对抗网络的生成器，使得重建后的高分辨率
人脸图像更加真实逼真，执行速度也很快，对于
不同程度低分辨率的人脸图像都具有良好的鲁
棒性。

本发明的人脸图像超分辨率重建方法，对
于由于采集设备和环境以及网络传输介质、图像
压缩等因素引起的低分辨率图像的超分辨率重
建具有良好的应用效果。

权利要求书3页 说明书8页 附图5页CN 110148085 A 2019.08.20
C N 110148085
A
1.一种人脸图像超分辨率重建方法，用于对低分辨率人脸图像进行超分辨率重建处理，其特征在于，
包括以下步骤：
步骤S1：采用多任务人脸语义先验知识提取网络提取低分辨率人脸图像的两种人脸先验信息，两种人脸先验信息分别为face parsing maps和face landmark heatmaps；
步骤S2：构建人脸超分辨率重建网络，人脸超分辨率重建网络包括解码部分和编码部分；
步骤S3：将提取的两种人脸先验信息和人脸超分辨率重建网络的编码部分拼接合并后作为人脸超分辨率重建网络的解码部分的输入；
步骤S4：将人脸超分辨率重建网络的解码部分和编码部分、以及多任务人脸语义先验知识提取网络共同作为生成对抗网络的生成器G，并构建判别器D进行对抗训练，同时构建人脸超分辨率重建网络的整体损失函数；
步骤S5：输入低分辨率人脸图像并采用Adam最优化方法迭代更新人脸超分辨率重建网络的参数；
步骤S6：重复执行步骤S5直至整体损失函数收敛，并保存网络模型和参数。

2.如权利要求1所述的人脸图像超分辨率重建方法，其特征在于，
所述步骤S1中的多任务人脸语义先验知识提取网络通过以下步骤构建：
步骤S11：采用3个Residual模块和2个Hour -Glass模块并结合skip connection机制构建多任务人脸语义先验知识提取网络；
步骤S12：初始化多任务人脸语义先验知识提取网络的参数，并构建基于像素级别L2范数的损失函数，然后采用Adam最优化方法训练网络，保存训练好的模型。

3.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于，
所述基于像素级别L2范数的损失函数为
其中，p truth 表示真实的人脸先验信息，p estimate 表示多任务人脸语义先验知识提取网络估计的人脸先验信息。

4.如权利要求2所述的人脸图像超分辨率重建方法，其特征在于，
所述步骤S11具体包括以下步骤：
步骤S111：先利用双线性插值算法对输入的低分辨率人脸图像进行重建，再将重建后得到的人脸图像输入至卷积核为7*7、步长为2的“CONV -BN -ReLU ”卷积结构，“CONV -BN -ReLU ”卷积结构输出人脸图像；
步骤S112：将“CONV -BN -ReLU ”卷积结构输出的人脸图像输入至3个Residual模块，Residual模块的卷积核为3*3、步长为1，Residual模块输出人脸图像；
步骤S113：将Residual模块输出的人脸图像输入至2个Hour -Glass模块，Hour -Glass模块输出人脸图像；
步骤S114：采用两个单独的1*1卷积核对Hour -Glass模块输出的人脸图像进行多任务人脸语义先验信息提取，分别输出表示face parsing maps的特征图和表示face landmark
权　利　要　求　书1/3页2CN 110148085 A。