一种基于端到端卷积神经网络的颅骨面貌复原方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202010931407.1
(22)申请日 2020.09.07
(71)申请人 东南大学
地址 211189 江苏省南京市玄武区四牌楼2
号
(72)发明人 胡轶宁　潘玥利　谢理哲　王浩　
顾正宇　
(74)专利代理机构 南京众联专利代理有限公司
32206
代理人 叶涓涓
(51)Int.Cl.
G06T 5/00(2006.01)
G06T 7/136(2017.01)
(54)发明名称
一种基于端到端卷积神经网络的颅骨面貌
复原方法
(57)摘要
本发明提供了一种基于端到端卷积神经网
络的颅骨面貌复原方法，包括以下步骤：S1：对人
体颅骨CT扫描图像进行数据预处理并制作数据
集；S2：搭建卷积神经网络；S3：使用训练样本训
练步骤S2中搭建好的卷积神经网络，每训练五
轮，便用模型对检测样本进行检测，评判生成的
预测面型；S4：选取步骤S4中效果最好的一轮作
为最终结果。

本发明采用神经网络的方法自动提
取颅骨的特征，根据颅骨本身的特性预测面型，
具有较高的灵活性，流程少，耗时短，并提升了预
测准确率。

本发明利用深度卷积编解码器，学习
头骨和面貌之间的相互关系及特征，根据颅骨信
息还原面型，充分考虑了面部点的空间特性，弥
补了稀疏特征点带来的误差。

权利要求书3页 说明书6页 附图3页CN 112132759 A 2020.12.25
C N 112132759
A
1.一种基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，包括如下步骤：
S1：对人体颅骨CT扫描图进行数据处理，制作数据集，并划分训练集和测试集；
S2：根据训练样本的样本特征搭建卷积神经网络G(x)；
S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型；
S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。

2.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S1具体包括如下子步骤：
S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割对颅骨进行分割，自适应设置阈值，得到精确的颅骨数据；
S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据；
S1.3：将颅骨高程图及其对应的人脸高程图按照预设比例划分训练集，测试集。

3.根据权利要求2所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S1.1包括如下子步骤：
S1.1.1：读取颅骨CT扫描图，手动去除空气杂质；
S1.1.2：采用3*3大小的窗口进行均值滤波去噪；
S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据；
S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈值，即
求出当前窗口内最大灰度值t max和最小灰度值t min，然后根据阈值将图像分为
目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值若T k+1＝T k，则T k为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值，选取较大者最为当前窗口阈值进行分割；
S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据；首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；
S1.1.6：对S1.1.5得到得点云数据进行柱体投影；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值；对于当前层，扫描每个数据点，每个
数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离作
为投影后对应坐标上的像素值,即最终得到512*360大小的二维颅骨图像。

4.根据权利要求2所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S1.2包括如下子步骤：
S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强；
S1.2.2：使用一个滑动窗口对图像进行阈值分割处理；窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值；
S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，扫描
每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴的距
离作为投影后对应坐标上的像素值,即相同角度选择距离最远的点，最终得到512*360大小的二维人脸高程图。

5.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S2中网络G(x)包括特征编码模块和特征解码模块，其具体工作流程如下：首先输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64得特征图；Leaky_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23* 512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成。

6.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S3中训练过程包括如下子步骤：
(1)从训练集中随机选取400个样本{s1,s2,…s400}输入到网络G(x)中,G(x)生成对应的二维人脸高程图{f′1、f′2、……、f′400}；
(2)利用梯度下降算法减小损失函数函数值，优化网络，使用的优化器为自适应矩估计优化器，设定学习率为2e-4，使用的损失函数为
(3)重复步骤(1)～(2)直至训练集中所有的图片都参与了训练。

7.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，所述步骤S3中测试过程具体包括如下子步骤：
(1)将测试集中的样本{s1,s2,…s128}输入到网络G(x)中，得到预测人脸高程图{f′1、f ′2、……、f′128}；
(2)计算f与f′之间的MSE误差：
8.根据权利要求1所述的基于端到端卷积神经网络的颅骨面貌复原方法，其特征在于，步骤S4中所述效果最好的模型选取为MSE最小的模型。

一种基于端到端卷积神经网络的颅骨面貌复原方法
技术领域
[0001]本发明属于颅骨面貌复原技术领域，结合计算机技术，涉及一种基于端到端卷积神经网络的颅骨面貌复原方法。

背景技术
[0002]颅骨具有耐腐蚀性、坚固、难以被任意篡改等优点，通过对颅骨进行面貌复原，对考古学、医学整容学、法医学和刑事侦探学等都有着广泛应用前景。

目前，传统的颅骨面貌复原方法将面部特征点处的平均软组织厚度作为待复原的颅骨软组织厚度，完全忽略了个体之间的差异性和其本身的特性。

显然，传统方法没有考虑颅骨自身特性，依靠平均测量值进行预测估计，导致精度不高。

发明内容
[0003]为解决上述问题，本发明提供一种基于端到端卷积神经网络的颅骨面貌复原方法。

利用端到端的卷积神经网络结构自动提取颅骨本身的特性，根据软组织厚度与颅骨之间的内在联系预测面型，精度更高、效率更高。

[0004]为了达到上述目的，本发明提供如下技术方案：
[0005]一种基于端到端卷积神经网络的颅骨面貌复原方法，包括如下步骤：
[0006]S1：对人体颅骨CT扫描图进行数据处理，制作数据集，并划分训练集和测试集；[0007]S2：根据训练样本的样本特征搭建卷积神经网络G(x)；
[0008]S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型；
[0009]S4：选取步骤S3中效果最好一轮对应的模型作为最终结果。

[0010]进一步的，所述步骤S1具体包括如下子步骤：
[0011]S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割对颅骨进行分割，自适应设置阈值，得到精确的颅骨数据；
[0012]S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据；
[0013]S1.3：将颅骨高程图及其对应的人脸高程图按照预设比例划分训练集，测试集。

[0014]进一步的，所述步骤S1.1包括如下子步骤：
[0015]S1.1.1：读取颅骨CT扫描图，手动去除空气杂质；
[0016]S1.1.2：采用3*3大小的窗口进行均值滤波去噪；
[0017]S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据；
[0018]S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈
值，即求出当前窗口内最大灰度值t max和最小灰度值t min，然后根据阈值将图像分为目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值
若T k+1＝T k，则T k为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值，选取较大者最为当前窗口阈值进行分割；
[0019]S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据；首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；
[0020]S1.1.6：对S1.1.5得到得点云数据进行柱体投影；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值；对于当前层，扫描每个数据点，
每个数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离
作为投影后对应坐标上的像素值,即最终得到512* 360大小的二维颅骨图像。

[0021]进一步的，所述步骤S1.2包括如下子步骤：
[0022]S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强；[0023]S1.2.2：使用一个滑动窗口对图像进行阈值分割处理；窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割；小于阈值的像素值置为零，反之保存原值；[0024]S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x；以y轴为准线进行裁剪，保留x上半轴图像；遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
[0025]S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f；以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值；对于当前层，
扫描每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴
的距离作为投影后对应坐标上的像素值,即相同角度选择距离最远的点，最终得到512*360大小的二维人脸高程图。

[0026]进一步的，所述步骤S2中网络G(x)包括特征编码模块和特征解码模块，其具体工作流程如下：
[0027]首先输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64得特征图；Leaky_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23*512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8* 6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块5得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活；之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图
与之前经过下采样4得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图；激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样3得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图；激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样2得到的128*90*128的特征图在“通道”维度上连接得到128*90* 256的特征图；激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图与之前经过下采样1得到的256*180*64的特征图在“通道”维度上连接得到256*180*128的特征图；然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成。

[0028]进一步的，所述步骤S3中训练过程包括如下子步骤：
[0029](1)从训练集中随机选取400个样本{s1,s2,…s400}输入到网络G(x)中,G(x)生成对应的二维人脸高程图{f′1、f′2、……、f′400}；
[0030](2)利用梯度下降算法减小损失函数函数值，优化网络，使用的优化器为自适应矩
估计(A d a m)优化器，设定学习率为2e-4，使用的损失函数为
[0031](3)重复步骤(1)～(2)直至训练集中所有的图片都参与了训练。

[0032]进一步的，所述步骤S3中测试过程具体包括如下子步骤：
[0033](1)将测试集中的样本{s1,s2,…s128}输入到网络G(x)中，得到预测人脸高程图{f′1、f′2、……、f′128}；
[0034](2)计算f与f′之间的MSE误差：
[0035]
[0036]进一步的，步骤S4中所述效果最好的模型为MSE最小的模型。

[0037]与现有技术相比，本发明具有如下优点和有益效果：
[0038]本发明采用神经网络的方法自动提取颅骨的特征，根据颅骨本身的特性预测面型，具有较高的灵活性，流程少，耗时短，并提升了预测准确率。

本发明利用深度卷积编解码器，学习头骨和面貌之间的相互关系及特征，根据颅骨信息还原面型，充分考虑了面部点的空间特性，弥补了稀疏特征点带来的误差。

附图说明
[0039]图1为512*360*1大小的二维人脸高程图；
[0040]图2为512*360*1大小的二维颅骨高程图；
[0041]图3为本发明的网络结构；
[0042]图4为网络中上采样块的结构图；
[0043]图5为网络中下采样块的结构图。

具体实施方式
[0044]以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。

[0045]本发明提供的一种基于端到端卷积神经网络的颅骨面貌复原方法，包括如下步骤：
[0046]S1：对人体颅骨CT扫描图像进行数据处理，制作数据集，并划分训练集和测试集，数据集制作方法如下：
[0047]S1.1：读取颅骨CT扫描图，采用基于先验值和UM的局部自适应迭代阈值分割方法对颅骨进行分割，准确设置阈值，得到精确的颅骨数据，分割的具体方法如下：
[0048]S1.1.1：读取颅骨CT扫描图，手工去除空气杂质；
[0049]S1.1.2：采用3*3大小的核进行阈值滤波去噪；
[0050]S1.1.3：对S1.1.2去噪后的数据，根据sobel算子得出高频部分，高频部分乘上倍数1加到原数据，从而增强原数据的边界信息。

其中sobel算子包含两组3x3的矩阵a,b，
a,b分别与原数据卷积得到G a,G b,最终高频部分为
G a+G b；
[0051]S1.1.4：对S1.1.3增强后的数据设置15*15滑动窗口，根据迭代阈值算法求出阈
值，即求出当前窗口内最大灰度值t max和最小灰度值t min，然后根据阈值将图像
分为目标与背景，再分别求出目标与背景的平均灰度t1,t2，根据t1,t2求得阈值
若T k+1＝T k，则T k为迭代阈值算法所求最优阈值T，比较最优阈值T与颅骨先验值2000，选取较大者最为当前窗口阈值进行分割；
[0052]S1.1.5：对S1.1.4得到的数据进行裁剪，得到前半部分颅骨的点云数据。

首先建立坐标系，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x，垂直于x,y轴，层数增加方向为z轴。

以y轴为准线进行裁剪，保留x上半轴图像。

遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分颅骨的点云数据；
[0053]S1.1.6：对S1.1.5得到的点云数据进行柱体投影。

以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的第二维坐标值。

对于当前层，扫描每个数据点，
每个数据点的角度作为投影后的第一维坐标值，该点与投影轴的距离
作为投影后对应坐标上的像素值,即最终得到如图1所示512*360大小的二维颅骨图像；
[0054]S1.2：读取颅骨CT扫描图，采用局部阈值分割方法，得到面型数据，具体阈值分割方法如下：
[0055]S1.2.1：对于CT扫描图的每一层，使用反锐化掩膜算法对图像进行边缘增强，参数α＝2；
[0056]S1.2.2：使用一个滑动窗口对图像进行阈值分割处理。

窗口大小为7*7，首先对滑动窗口内的所有CT值进行升序排序，然后选择排在第7*7*0.8个的CT值和先验阈值500进行比较，取较大值作为最终的阈值进行分割。

小于阈值的像素值置为零，反之保存原值；[0057]S1.2.3：对S1.2.2得到的图像建立坐标轴，以图像中心点为原点O，箭头指向右的水平中轴线为y轴，垂直与y轴向上的轴为x。

以y轴为准线进行裁剪，保留x上半轴图像。

遍历像素值非零像素P，计算OP连线与y轴形成的角度，将角度除以180，乘上360从而将角度映射到0°～360°,并进行向下取整处理，相同角度只保留连线最长的点，最终得到前半部分脸的点云数据，其中x,y轴不变，垂直于x,y轴的向上的轴为z；
[0058]S1.2.4：对S1.2.3得到的点云数据进行柱体投影,得到二维人脸高程图f。

以z轴为投影轴，从下到上依次扫描每层数据点，当前层数z0作为投影后的y轴坐标值。

对于当前层，
扫描每个数据点，每个数据点的角度作为投影后的x轴坐标值，该点与投影轴
的距离作为投影后对应坐标上的像素值,即最终得到512*360大小的二维人脸高程图，如图2所示；
[0059]S1.3：将颅骨高程图及其对应的人脸高程图按照比例11：1划分训练集，测试集；[0060]S2：根据训练样本的样本特征搭建卷积神经网络，神经网络G(x)如图3所示，其包括特征编码模块和特征解码模块。

[0061]如图4所示，网络中“上采样块”的结构为UpSampling->Conv->GN。

如图5所示，“下采样块”的结构为Conv->GN->leaky_Relu。

其中Conv代表卷积层、leaky_Relu代表leaky_ Relu激活层——leaky_relu(x)＝max(0.1x,x)、GN代表GroupNormalization层——组归一化；C o n v指卷积层，改变特征图的维度。

图中的“t a n h”则代表t a n h激活层——
图中的“Concat”则代表两个特征图在“通道”这一维度上连接。

[0062]网络G(x)首先会对输入图像进行降采样得到一个特征图，之后会对此特征图上采样得到预测图像。

在训练阶段，将二维颅骨高程图像作为输入，网络通过“降采样——上采样”的过程对输入重构。

之后根据重构结果计算损失函数，再利用梯度下降算法优化损失函数从而达到优化网络的目的。

网络具体工作流程为：
[0063]输入512*360*1的二维颅骨高程图，经过一层卷积层后得到256*180*64的特征图。

Leak_relu激活后依次经过下采样块1、2、3、4、5分别得到128*90*128、64*45*256，32*23* 512，16*12*512，8*6*512的特征图，至此特征编码模块完成；然后特征解码模块，8*6*512的特征图经过上采样块1得到16*12*512的特征图，再与之前经过下采样块4得到的16*12*512的特征图在“通道”维度上连接得到16*12*1024的特征图，然后经过leak_relu激活。

之后将此16*12*1024的特征图再经过上采样块2得到32*23*512的特征图，将该特征图与之前经过下采样3得到的32*23*512的特征图在“通道”维度上连接得到32*23*1024的特征图。

激活后将此32*23*1024的特征图再经过上采样块3得到64*45*256的特征图，将该特征图与之前经过下采样2得到的64*45*256的特征图在“通道”维度上连接得到64*45*512的特征图。

激活后将此64*45*512的特征图再经过上采样块4得到128*90*128的特征图，将该特征图与之前经过下采样1得到的128*90*128的特征图在“通道”维度上连接得到128*90*256的特征图。

激活后将此128*90*256的特征图再经过上采样块5得到256*180*64的特征图，将该特征图
与之前经过第一层卷积层得到的256*180*64的特征图在“通道”维度上连接得到256*180* 128的特征图。

然后256*180*128的特征图经过线性插值得到512*360*128的特征图，再经过一层卷积层得到512*360*1的特征图，经tanh激活，至此人脸高程图生成；
[0064]S3：使用训练样本训练步骤S2中搭建好的卷积神经网络，每训练五轮，便用模型对测试样本进行测试，评判生成的预测面型，共训练400轮；
[0065](1)从训练集中随机选取400个样本{s1,s2,…s400}输入到网络G(x)中,G(x)生成对应的二维人脸高程图{f′1、f′2、……、f′400}；
[0066](2)利用梯度下降算法减小损失函数函数值，优化网络，使用的优化器为自适应矩
估计(A d a m)优化器，设定学习率为2e-4，使用的损失函数为
[0067](3)重复步骤(1)～(2)直至训练集中所有的图片都参与了训练。

[0068]其中，步骤S3测试的具体方法如下：
[0069](1)将测试集中的样本{s1,s2,…s128}输入到网络G(x)中，得到预测人脸高程图{f′1、f′2、……、f′128}；
[0070](2)计算f与f′之间的MSE误差：
[0071]
[0072]S4：选取步骤S3中效果最好一轮对应的模型作为最终结果，即取MSE最小模型为最优模型。

[0073]本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。

应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

图1
图2
图3
图4
图5。