一种基于深度学习语义分割网络的二维相位解包裹方法[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910988106.X
(22)申请日 2019.10.17
(71)申请人 杭州电子科技大学
地址 310018 浙江省杭州市下沙高教园区2
号大街
(72)发明人 颜成钢　张腾　楼杰栋　姚婷婷　
方运志　孙垚棋　张继勇　张勇东　
沈韬　
(74)专利代理机构 杭州君度专利代理事务所
(特殊普通合伙) 33240
代理人 杨舟涛
(51)Int.Cl.
G01B 9/02(2006.01)
G06K 9/34(2006.01)
(54)发明名称一种基于深度学习语义分割网络的二维相位解包裹方法(57)摘要本发明公开了一种基于深度学习语义分割网络的二维相位解包裹方法。

本发明包括如下步骤：步骤1、利用Zernike多项式产生网络训练数据并对网络进行训练；步骤2、用步骤1得到的训练数据对语义分割DeepLabV3+网络进行训练：步骤3、利用训练后的网络对包裹相位进行分割并和包裹相位相加，得到初步解包裹相位，并对初步解包裹相位进行后处理得到最终解包裹相位。

本发明提出的方法的求解速度快，对噪声鲁棒，尤其针对于散斑干涉仪测到的大噪声相位图的相位解包裹。

在光学成像研究领域有着很大的应
用前景。

权利要求书2页 说明书5页 附图8页CN 111043953 A 2020.04.21
C N 111043953
A
1.一种基于深度学习语义分割网络的二维相位解包裹方法，其特征在于包括如下步骤：
步骤1、利用Zernike多项式产生网络训练数据并对网络进行训练；
步骤2、用步骤1得到的训练数据对语义分割DeepLabV3+网络进行训练：
步骤3、利用训练后的网络对包裹相位进行分割并和包裹相位相加，得到初步解包裹相位，并对初步解包裹相位进行后处理得到最终解包裹相位。

2.根据权利要求1所述的一种基于深度学习语义分割网络的二维相位解包裹方法，其特征在于步骤1具体实现如下：
复值函数集{V pq(x,y)}具有完备性和正交性，可以表示定义在单位圆盘内的任何平方可积函数，其定义为：
V pq(x,y)＝V pq(ρ,θ)＝R pq(ρ)e jqθ
其中，ρ表示原点到点(x,y)的矢量长度；θ表示矢量长度ρ与x轴逆时针方向的夹角；R pq (ρ)是实值径向多项式：
利用Zernike多项式的前十阶产生相位未包裹的光学相位图；
其中，φ是未包裹相位图；Z i、c i分别代表第i阶Zernike多项式及其系数；之后我们对包裹相位进行取角度值得到包裹相位图；
其中angle(x)代表x的相位，1i为虚数单位；
将解包裹的过程理解为就是将不同的相位分割出来，然后填写相应的相位值，而且填写的相位值为2π的整数倍；最后将填好的相位值和光学包裹相位图相加；整个过程如下公式所示：
其中，(x,y)代表图像中像素点的坐标；k(x,y)代表该像素点需要叠加2π的倍数，为整数；因为包裹相位与未包裹相位的差值中的数值都是2π的整数倍，而且仅需要知道包裹相位的相对值即可；所以对k进行减去平均值并除以2π的整数作为语义分割网络的Ground Truth，具体如下：
其中k是语义分割网络DeepLabV3+的Ground Truth；同时为了保证对于噪声的鲁棒性，对语义分割网络输入的包裹相位叠加了不同程度的高斯和散斑噪声，具体如下：
其中，是语义分割网络DeepLabV3+的输入；Noise(d)代表相应参数是d的散斑或者
高斯噪声；通过以上的处理过程，最终生成26200张不同噪声、不同包裹程度的原始数据；将其中的25000张作为训练数据，1200张作为测试数据。

3.根据权利要求2所述的一种基于深度学习语义分割网络的二维相位解包裹方法，其特征在于步骤2具体实现如下：
语义分割网络DeepLabV3+由一个编码器和一个解码器组成；其中编码器采用XCeption 网络结合金字塔池化提取到了不同尺度的特征信息，之后解码器从提取到的特征信息恢复出分割的边界信息；
采用DeepLabV3+的语义分割模型，将含不同程度噪声的包裹图像作为DeepLabV3+语义分割模型的输入图像，将上一步骤得到的k作为DeepLabV3+语义分割模型的Ground Truth 图像；然后对这个网络进行了训练，经过20万次的迭代，训练的网络收敛，得到网络各层的权重值。

4.根据权利要求3所述的一种基于深度学习语义分割网络的二维相位解包裹方法，其特征在于步骤3具体实现如下：
3-1.将包裹相位图作为语义分割网络DeepLabV3+的输入，通过步骤2训练得到的网络权重值计算网络的分割结果；
3-2.将分割结果和2π相乘之后再和包裹结果进行相加，得到初步的解包裹相位；
3-3.利用类似拉普拉斯滤波器进行后处理，对初步解包裹相位进行了细化操作；得到了最终的解包裹相位；计算像素e和周围8个像素的差值:
之后按照下面的公式对像素值e进行修改：
经过这样的后处理之后，就得到了最终的解包裹相位。

一种基于深度学习语义分割网络的二维相位解包裹方法
技术领域
[0001]本发明属于二维解包裹领域，尤其针对光学相位图像，具体涉及一种基于深度学习语义分割网络的二维相位解包裹方法。

背景技术
[0002]由于光也是一种电磁波，在数学表达式是以复数的形式存在。

这就说明了光即包含幅度值也包含相位值。

但生活中的相机只能记录幅度值而无法直接获取相位值。

然而通过间接获取的相位值，因为反正切函数的限制，使得真实的相位值被包裹在区间[-π,π]内。

这一现象就是相位包裹，而相位解包裹就是从这些包裹的相位中恢复原始的相位值。

[0003]目前的二维相位解包裹方法主要有两类。

第一类是基于路径的方法；第二类是基于最小范数的方法。

基于路径的算法是一种局部的相位图解包裹算法，即在积分结果仅与起点和终点有关而与路径无关的条件下，对包裹相位梯度进行积分。

在实际的相位图解包裹过程中，由于获得的相位图存在由噪声、断点、阴影以及欠采样等造成的残差区域，沿不同积分路径获得的结果存在差异，解包裹获得的相位信息质量依赖于所选积分路径。

因此路径跟踪算法需要选取合适的积分路线，避开上述区域对包裹相位进行积分，从而避免残差沿着解包路径传递。

目前，路径跟踪解包算法主要有以下几种：枝切法、质量图导向法、掩膜切割算法、最小不连续算法。

基于最小范数算法是一种全局的相位图解包算法，该方法是在保证包裹相位的微分与解包裹相位的局部微分相一致的前提下，寻求在某种程度上最逼近真实相位分布的解包相位，即寻找包裹相位差与真实相位的偏导数的差分值最小。

最小范数算法的相位解包过程与所选取的路径无关，实质上是一种目标函数优化算法。

[0004]然而上述方法面临着解包裹时间随图像大小成指数增加，在大噪声情况下解包裹错误等问题。

因此本发明提出了一种基于深度学习语义分割网络的二维相位解包裹方法。

发明内容
[0005]本发明主要考虑随着光学成像技术的发展，越来越多应用到了成像信号中相位的信息。

如何更好的解决光学相位的解包裹是值得探讨的问题。

本发明的语义分割网络DeepLabV3+训练数据是由Zernike多项式产生的。

同时，本发明利用了散斑干涉测量获取了真实的包裹相位，并对本发明的算法进行了验证。

具体按照以下步骤实施：
[0006]步骤1、利用Zernike多项式产生网络训练数据并对网络进行训练；
[0007]Zernike在1934年引入了一组定义在单位圆上的复值函数集{V pq(x,y)}，{V pq(x, y)}具有完备性和正交性，使得它可以表示定义在单位圆盘内的任何平方可积函数。

其定义为：
[0008]V pq(x,y)＝V pq(ρ,θ)＝R pq(ρ)e jqθ
[0009]其中，ρ表示原点到点(x,y)的矢量长度；θ表示矢量长度ρ与x轴逆时针方向的夹角；R pq(ρ)是实值径向多项式：
[0010]
[0011]Zernike多项式满足正交性。

由于Zernike多项式的正交完备性，所以在单位圆内的任何图像都可以唯一的表示。

由于Zernike多项式和光学检测中观测到的像差多项式的形式是一致的，因而常用Zernike描述波前特性。

因此，在本发明中我们利用Zernike多项式的前十阶产生相位未包裹的光学相位图。

[0012]
[0013]其中，φ是未包裹相位图；Z i、c i分别代表第i阶Zernike多项式及其系数。

之后我们对包裹相位进行取角度值得到包裹相位图。

[0014]
[0015]其中angle(x)代表x的相位，1i为虚数单位。

[0016]由于解包裹的过程可以理解为就是将不同的相位分割出来，然后填写相应的相位值，而且填写的相位值为2π的整数倍。

最后将填好的相位值和光学包裹相位图相加。

整个过程如下公式所示：
[0017]
[0018]其中，(x,y)代表图像中像素点的坐标；k(x,y)代表该像素点需要叠加2π的倍数，为整数。

因为包裹相位与未包裹相位的差值中的数值都是2π的整数倍，而且我们仅需要知道包裹相位的相对值即可。

所以我们对k进行减去平均值并除以2π的整数作为语义分割网络的Ground Truth，具体如下：
[0019]
[0020]其中k是语义分割网络DeepLabV3+的Ground Truth。

同时为了保证本方法对于噪声的鲁棒性，对语义分割网络输入的包裹相位叠加了不同程度的高斯和散斑噪声，具体如下：
[0021]
[0022]其中，是语义分割网络DeepLabV3+的输入；Noise(d)代表相应参数是d的散斑或者高斯噪声。

通过以上的处理过程，可以生成26200张不同噪声、不同包裹程度的原始数据。

将其中的25000张作为训练数据，1200张作为测试数据。

[0023]步骤2、用步骤1得到的训练数据对语义分割DeepLabV3+网络进行训练：
[0024]语义分割网络DeepLabV3+是2018年由谷歌提出的一个新的语义分割网络，并且在各个数据集上都取得了最好的分割结果。

其他DeepLabV3+由一个编码器和一个解码器组成。

其中编码器采用XCeption网络结合金字塔池化提取到了不同尺度的特征信息，之后解码器从提取到的特征信息恢复出分割的边界信息。

[0025]在本发明中，采用了DeepLabV3+的语义分割模型，将含不同程度噪声的包裹图像作为DeepLabV3+语义分割模型的输入图像，将上一步骤得到的k作为DeepLabV3+语义分割
模型的Ground Truth图像。

之后我们对这个网络进行了训练，经过20万次的迭代，我们训练的网络收敛，得到网络各层的权重值。

[0026]步骤3、利用训练后的网络对包裹相位进行分割并和包裹相位相加，得到初步解包裹相位，并对初步解包裹相位进行后处理得到最终解包裹相位：
[0027]首先，我们将包裹相位图作为语义分割网络DeepLabV3+的输入，通过步骤2训练得到的网络参数去计算网络的分割结果。

之后将分割结果和2π相乘之后再和包裹结果进行相加，得到初步的解包裹相位。

但由于语义分割网络无法完全准确的分割每一个像素，在我们的实验中，边界的像素会出现分割错误的情形。

导致在分割错误的像素点处初步解包裹相位会增加2π或者-2π。

因为未包裹相位有连续的先验信息，所以2π或者-2π很容易被检测到。

[0028]因此我们采用了类似拉普拉斯滤波器进行了后处理。

以图2中像素e为例，我们首先计算像素e和周围8个像素的差值:
[0029]
[0030]之后按照下面的公式对像素值e进行修改：
[0031]
[0032]经过这样的后处理之后，我们就得到了最终的解包裹相位。

所以本发明采用了先利用DeepLabV3+语义分割网络对光学包裹相位图进行分割，分割结果与2π相乘之后与包裹相位图进行相加得到初步的相位解包裹图。

最后又利用了后处理对初步解包裹相位进行了细化操作。

得到了最终的解包裹相位。

[0033]在我们的实验结果中，可以发现我们的解包裹算法要比对比方法对噪声更加鲁棒，在大噪声的情况下都能进行解包裹；同时解包裹时间也比对比方法要短。

相对于对比的相位解包裹算法都有了很大的改进。

[0034]本发明方法具有的优点及有益结果为：
[0035]1、本发明提出了一种新的光学相位解包裹方法。

该方法先利用了DeepLabV3+语义分割网络进行分割，之后将分割结果与2π相乘之后与包裹相位图进行相加得到初步的相位解包裹图。

最后又利用了后处理对初步解包裹相位进行了细化操作。

[0036]2、本发明提出的方法的求解速度快，对噪声鲁棒，尤其针对于散斑干涉仪测到的大噪声相位图的相位解包裹。

在光学成像研究领域有着很大的应用前景。

附图说明
[0037]图1为本发明的算法流程图
[0038]图2为后处理的具体说明
[0039]图3(a)为测试集中不含噪声的相位包裹图；
[0040]图3(b)为测试集中不含噪声的相位包裹图对应的Ground Truth；
[0041]图3(c)为基于质量图的解包裹相位图；
[0042]图3(d)为基于TIE的解包裹方法的解包裹相位图；
[0043]图3(e)为基于TIE迭代的解包裹方法的解包裹相位图；
[0044]图3(f)为基于改进TIE的解包裹方法的解包裹相位图；
[0045]图3(g)为本发明不做后处理的解包裹方法的解包裹相位图；
[0046]图3(h)为本发明做后处理的解包裹方法的解包裹相位图。

[0047]图4(a)为散斑干涉实验中含大噪声的相位包裹图；
[0048]图4(b)为基于质量图的解包裹相位图；
[0049]图4(c)为基于TIE的解包裹方法的解包裹相位图；
[0050]图4(d)为基于TIE迭代的解包裹方法的解包裹相位图；
[0051]图4(e)为基于改进TIE的解包裹方法的解包裹相位图；
[0052]图4(f)为本发明做后处理的解包裹方法的解包裹相位图。

具体实施方式
[0053]下面结合具体实施方式对本发明进行详细的说明。

[0054]本发明在训练完成之后具体实施的时候，只需要执行从上面的步骤3即可。

在具体实施的时候，可以按照以下步骤实施。

[0055]步骤1：利用训练后的网络对包裹相位进行分割
[0056]首先，我们将包裹相位图作为语义分割网络DeepLabV3+的输入，通过步骤2训练得到的网络参数去计算网络输出的分割结果。

该分割结果就相当于是我们需要求解的整数k。

[0057]步骤2：分割结果乘以2π并和包裹相位图相加，得到初步解包裹相位
[0058]得到整数k之后，我们将其和2π相乘之后再和包裹相位图相加。

这就使得我们获取了解包裹相位，但由于该解包裹相位比较粗糙，会有一些错分的情形，所以我们在步骤3对其进行了后处理进行细化。

[0059]步骤3：对初步解包裹相位进行后处理，得到最终解包裹相位
[0060]由于语义分割网络无法完全准确的分割每一个像素，在我们的实验中，边界的像素会出现分割错误的情形。

导致在分割错误的像素点处初步解包裹相位会增加2π或者-2π。

因为未包裹相位有连续的先验信息，所以2π或者-2π很容易被检测到。

[0061]因此我们采用了类似拉普拉斯滤波器进行了后处理。

以图2中像素e为例，我们首先计算像素e和周围8个像素的差值:
[0062]
[0063]之后按照下面的公式对像素值e进行修改：
[0064]
[0065]经过这样的后处理之后，我们就得到了最终的解包裹相位。

所以本发明采用了先利用DeepLabV3+语义分割网络对光学包裹相位图进行分割，分割结果与2π相乘之后与包裹相位图进行相加得到初步的相位解包裹图。

最后又利用了后处理对初步解包裹相位进行了细化操作。

得到了最终的解包裹相位。

[0066]实施例
[0067]本发明所采用的实施例1是测试集中不含噪声的图像，如图3(a)所示。

图3(b)是对应的解包裹相位的Ground Truth，图3(c)、图3(d)、图3(e)、图3(f)、图3(g)、图3(h)分别是基于质量图的解包裹方法、基于TIE的解包裹方法、TIE迭代的解包裹方法、改进TIE迭代解
包裹方法、我们不后处理解包裹、后处理解包裹的相位解包裹结果。

从中可以看出我们的方法RMSE最小，说明我们算法效果最好。

[0068]本发明所采用的实施例1是散斑干涉实验中采集的大噪声的图像，如图4(a)所示。

图4(b)、图4(c)、图4(d)、图4(e)、图4(f)分别是基于质量图的解包裹方法、基于TIE的解包裹方法、TIE迭代的解包裹方法、改进TIE迭代解包裹方法、我们后处理解包裹的相位解包裹结果。

从中可以看出我们的方法算法解包裹效果最好。

图1
图2
图3(a)
图3(b)
图3(c)
图3(d)
图3(e)
图3(f)
图3(g)
图3(h)
图4(a)
图4(b)
图4(c)
图4(d)
图4(e)
图4(f)。