【CN110084238A】基于LadderNet网络的指静脉图像分割方法、装置和存储介质【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910278800.2
(22)申请日 2019.04.09
(71)申请人 五邑大学
地址 529000 广东省江门市蓬江区东成村
22号
(72)发明人 曾军英　王璠　秦传波　朱伯远　
甘俊英　翟懿奎　
(74)专利代理机构 广州嘉权专利商标事务所有
限公司 44205
代理人 谭晓欣
(51)Int.Cl.
G06K 9/34(2006.01)
G06K 9/62(2006.01)
G06K 9/00(2006.01)
(54)发明名称
基于LadderNet网络的指静脉图像分割方
法、装置和存储介质
(57)摘要
本发明公开了一种基于LadderNet网络的指
静脉图分割方法、装置和存储介质。

对指静脉图
像进行预处理得出预处理图像，从预处理图像中
随机选取一个点作为子块中心点并生成子块图
像，从所述子块图像中获取静脉纹路作为网络训
练的金标准，将子块图像和静脉纹路同时输入至
LadderNet网络中完成特征提取。

本发明通过子
块图像获取静脉纹路，以静脉纹路作为网络训练
的金标准，在不需要静脉数据集的情况下实现特
征提取，大大减少了网络的计算量，提高特征提
取的准确率和效率。

权利要求书1页 说明书7页 附图5页CN 110084238 A 2019.08.02
C N 110084238
A
1.一种基于LadderNet网络的指静脉图像分割方法，其特征在于，包括以下步骤：
获取指静脉图像，对所述指静脉图像进行预处理，得出预处理图像；
从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中心点为中心生成子块图像；
从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

2.根据权利要求1所述的一种基于LadderNet网络的指静脉图像分割方法，其特征在于，所述预处理包括：ROI提取、归一化、对比度受限的自适应直方图均衡和伽马调整。

3.根据权利要求1所述的一种基于LadderNet网络的指静脉图像分割方法，其特征在于：所述静脉纹路通过检测指静脉图像的指静脉横截面局部最大曲率的方法获取。

4.根据权利要求3所述的一种基于LadderNet网络的指静脉图像分割方法，其特征在于，所述指静脉横截面局部最大曲率的方法具体包括以下步骤：
从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；
获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路。

5.根据权利要求1所述的一种基于LadderNet网络的指静脉图像分割方法，其特征在于：所述LadderNet网络包括两个U -net网络，所述两个U -net网络之间通过跳过连接相整合。

6.一种用于执行基于LadderNet网络的指静脉图像分割方法的装置，其特征在于，包括CPU单元，所述CPU单元用于执行以下步骤：
获取指静脉图像，对所述指静脉图像进行预处理，得出预处理图像；
从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中心点为中心生成子块图像；
从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

7.根据权利要求6所述的一种用于执行基于LadderNet网络的指静脉图像分割方法的装置，其特征在于，所述CPU单元还用于执行以下步骤：
从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；
获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路。

8.一种计算机可读存储介质，其特征在于：所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如权利要求1-5任一项所述的一种基于LadderNet网络的指静脉图像分割方法。

权　利　要　求　书1/1页CN 110084238 A
基于LadderNet网络的指静脉图像分割方法、装置和存储介质
技术领域
[0001]本发明涉及图像处理技术领域，特别是一种基于LadderNet网络的指静脉图像分割方法、装置和存储介质。

背景技术
[0002]目前，随着人们对生物识别系统安全性和准确性的要求越来越高，生物特征识别技术得到越来越多的关注。

指静脉识别作为众多生物特征识别技术中的一种，由于具有非接触式采集、活体检测、不易伪造、成本较低等优点，成为当前研究的热点。

指静脉图像中血管的分割是指静脉识别技术中的一个关键步骤，而拍摄采集到的指静脉图像不仅含有静脉纹路，还含有不规则的噪声、指骨骼和肌肉的不同厚度所产生的阴影。

此外，指静脉会随着温度或物理条件的变化而变化，很难精确地提取指静脉血管的细节，因此如何对指静脉图进行准确的分割，直接影响后续识别的精度和准确度。

[0003]传统的Otsu算法、熵算法等需要较多的阈值，对于低质量的指静脉图不能实现较好的分割效果。

为了解决这个问题，目前主要使用FCN、SegNet等语义分割方法对图像进行处理，虽然从图像的分割和分类上具有较好的性能，但是需要较大的指静脉数据集作为神经网络训练指静脉图像的参考标准，实现难度较大。

发明内容
[0004]为了克服现有技术的不足，本发明的目的在于提供一种基于LadderNet的指静脉图分割方法、装置和存储介质。

在实际应用中能够通过对指静脉图像的分割获取静脉纹路，以静脉纹路作为金标准完成图像的特征提取，无需静脉数据集，简化网络，提高特征提取的效率。

[0005]本发明解决其问题所采用的技术方案是：第一方面，本发明提供了一种基于LadderNet网络的指静脉图像分割方法，包括以下步骤：
[0006]获取指静脉图像，对所述指静脉图像进行预处理，得出预处理图像；
[0007]从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中心点为中心生成子块图像；
[0008]从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；
[0009]将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

[0010]进一步，所述预处理包括：ROI提取、归一化、对比度受限的自适应直方图均衡和伽马调整。

[0011]进一步，所述静脉纹路通过检测指静脉图像的指静脉横截面局部最大曲率的方法获取。

[0012]进一步，所述指静脉横截面局部最大曲率的方法具体包括以下步骤：
[0013]从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；
[0014]获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
[0015]对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路。

[0016]进一步，所述LadderNet网络包括两个U-net网络，所述两个U-net网络之间通过跳过连接相整合。

[0017]第二方面，本发明提供了一种用于执行基于LadderNet网络的指静脉图像分割方法的装置，包括CPU单元，所述CPU单元用于执行以下步骤：
[0018]获取指静脉图像，对所述指静脉图像进行预处理，得出预处理图像；
[0019]从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中心点为中心生成子块图像；
[0020]从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；
[0021]将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

[0022]进一步，所述CPU单元还用于执行以下步骤：
[0023]从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；
[0024]获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
[0025]对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路。

[0026]第三方面，本发明提供了一种用于执行基于LadderNet网络的指静脉图像分割方法的设备，包括至少一个控制处理器和用于与至少一个控制处理器通信连接的存储器；存储器存储有可被至少一个控制处理器执行的指令，指令被至少一个控制处理器执行，以使至少一个控制处理器能够执行如上所述的基于LadderNet网络的指静脉图像分割方法。

[0027]第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上所述的基于LadderNet网络的指静脉图像分割方法。

[0028]第五方面，本发明还提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使计算机执行如上所述的基于LadderNet网络的指静脉图像分割方法。

[0029]本发明实施例中提供的一个或多个技术方案，至少具有如下有益效果：本发明采用了一种基于LadderNet网络的指静脉图像分割方法、装置和存储介质。

对指静脉图像进行预处理得出预处理图像，从预处理图像中随机选取一个点作为子块中心点并生成子块图像，从所述子块图像中获取静脉纹路作为网络训练的金标准，将子块图像和静脉纹路同时输入至LadderNet网络中完成特征提取。

对比起现有技术而言，本发明通过子块图像获取静脉纹路，以静脉纹路作为网络训练的金标准，在不需要静脉数据集的情况下实现特征提取，大大减少了网络的计算量，提高特征提取的准确率和效率。

附图说明
[0030]下面结合附图和实例对本发明作进一步说明。

[0031]图1是本发明第一实施例提供的一种基于LadderNet网络的指静脉图像分割方法的流程图；
[0032]图2是本发明第一实施例提供的一种基于LadderNet网络的指静脉图像分割方法中获取静脉纹路的流程图；
[0033]图3是本发明第一实施例提供的一种基于LadderNet网络的指静脉图像分割方法的LadderNet网络结构图；
[0034]图4是本发明第一实施例提供的一种基于LadderNet网络的指静脉图像分割方法的完整流程图；
[0035]图5是本发明第二实施例提供的一种用于执行基于LadderNet网络的指静脉图像分割方法的装置示意图。

具体实施方式
[0036]目前，随着人们对生物识别系统安全性和准确性的要求越来越高，生物特征识别技术得到越来越多的关注。

指静脉识别作为众多生物特征识别技术中的一种，由于具有非接触式采集、活体检测、不易伪造、成本较低等优点，成为当前研究的热点。

指静脉图像中血管的分割是指静脉识别技术中的一个关键步骤，而拍摄采集到的指静脉图像不仅含有静脉纹路，还含有不规则的噪声、指骨骼和肌肉的不同厚度所产生的阴影。

此外，指静脉会随着温度或物理条件的变化而变化，很难精确地提取指静脉血管的细节，因此如何对指静脉图进行准确的分割，直接影响后续识别的精度和准确度。

[0037]传统的Otsu算法、熵算法等需要较多的阈值，对于低质量的指静脉图不能实现较好的分割效果。

为了解决这个问题，目前主要使用FCN、SegNet等语义分割方法对图像进行处理，虽然从图像的分割和分类上具有较好的性能，但是需要较大的指静脉数据集作为神经网络训练指静脉图像的参考标准，实现难度较大。

[0038]基于此，本发明采用了一种基于LadderNet网络的指静脉图像分割方法、装置和存储介质。

对指静脉图像进行预处理得出预处理图像，从预处理图像中随机选取一个点作为子块中心点并生成子块图像，从所述子块图像中获取静脉纹路作为网络训练的金标准，将子块图像和静脉纹路同时输入至LadderNet网络中完成特征提取。

对比起现有技术而言，本发明通过子块图像获取静脉纹路，以静脉纹路作为网络训练的金标准，在不需要静脉数据集的情况下实现特征提取，大大减少了网络的计算量，提高特征提取的准确率和效率。

[0039]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

[0040]需要说明的是，如果不冲突，本发明实施例中的各个特征可以相互结合，均在本发明的保护范围之内。

另外，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。

[0041]参考图1，本发明的第一实施例提供了一种基于LadderNet网络的指静脉图像分割
方法，包括以下步骤：
[0042]步骤S100，获取指静脉图像，对所述指静脉图像进行预处理，得出预处理图像；[0043]步骤S200，从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中心点为中心生成子块图像；
[0044]步骤S300，从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；
[0045]步骤S400，将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

[0046]其中，在本实施例中，指静脉图像可以通过任意采集设备采集，也可以通过上传图像的方式直接输入。

[0047]其中，在本实施例中，可以生成任意数量的子块图像，本实施例中优选20万个，实现数据扩充，同时将每个子块图像作为训练网络的输入，提高提取网络的准确性。

[0048]其中，子块图像可以是任意形状的图像，能够以子块中心点为图像的中心点即可，本实施例中优选为矩形图像，且子块中心点为预处理图像中任意选取的一个点，从而实现获取子块图像后静脉的细节被放大，更有利于神经网络的训练。

[0049]其中，在本实施例中，优选以静脉纹路作为网络训练的金标准，对脉宽和亮度波动具有较强的鲁棒性。

同时实现了无需训练数据集，以金标准作为提取标准，简化训练网络。

[0050]进一步，在本发明的另一个实施例中，所述预处理包括：ROI提取、归一化、对比度受限的自适应直方图均衡和伽马调整。

[0051]其中，在本实施例中，采用上述操作作为预处理能够实现突出静脉纹路丰富的区域，减少处理时间，增加精度。

[0052]进一步，在本发明的另一个实施例中，所述静脉纹路通过检测指静脉图像的指静脉横截面局部最大曲率的方法获取。

[0053]其中，提取静脉纹路可以通过任意方法，本实施例中优选检测指静脉图像的指静脉横截面局部最大曲率的方法，该方法不受脉宽和亮度波动的影响，具有较高的匹配精度。

[0054]参考图2，进一步，在本发明的另一个实施例中，所述指静脉横截面局部最大曲率的方法具体包括以下步骤：
[0055]步骤S310，从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；[0056]步骤S320，获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
[0057]步骤S330，对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路。

[0058]其中，在本实施例中的步骤S310中，具体的计算过程如下：
[0059]设F是手指图像，F(x，y)定义为像素(x，y)处的强度，P f(z)是从F(x，y)任意方向和位置获得的静脉横截面的轮廓，z为轮廓的位置。

为了把P f(z)的位置和F(x，y)联系起来，定义一
个映射函数使得F(x，y)＝T rs(P f(z))。

横截面处的曲率定义为k
(z)为正表示横截面轮廓是凹的，计算每个凹的区域中k(z)的局部最大值即为静脉的中心位置，局部最大值点的位置定义为z i′，i＝0，1，…，N-1，N为局部最大值的数目。

[0060]其中，在本实施例的步骤S320中，在根据步骤S310获取横截面曲率之后，分配给中心位置的分数定义为S cr(z i′)＝k(z i′)×W r(i)，W r(i)表示曲率为正的区域的宽度，当W r(i)很大时，它是静脉的概率也很大；此外，当一条静脉的中心明显出现时，曲率通常较大，因此将区域的宽度和曲率均考虑到它们的分数中。

在本实施例中，为了获得各个方向的指静脉纹路，根据水平方向、垂直方向、与水平和垂直方向呈45°相交的两个倾斜方向共计四个方向的横截面轮廓，通过计算局部最大曲率来检测静脉的所有中心位置。

[0061]其中，在本实施例的步骤S330中，滤波操作优选首先检查像素(x，y)右侧的两个相邻像素和左侧两个相邻像素。

若(x，y)和两边的像素值相等，则水平画一条线；若(x，y)处的像素值小于两边的像素值，则画一条间隙为(x，y)的线；若(x，y)处的像素值大于两边的像素值，则在(x，y)处为噪声，这时应减小其值以消除噪声。

上述操作可由下式表示：C d1(x，y)＝min{max(v(x+1，y)，v(x+2，y))+max(v(x-1，y)，v(x-2，y))}，以此类推，对步骤320中选取的垂直方向、与水平和垂直方向呈45°相交的两个倾斜方向分别进行类似的计算，得到C d2，C d3，C d4，最后通过选择每个像素的C d1，C d2，C d3，C d4的最大值，得出滤波后的图像G＝max(C d1，C d2，C d3，C d4)。

[0062]其中，本实施例中对静脉纹路G(x，y)通过预先设定的阈值进行二值化，二值化后的像素值小于阈值的像素被标记为图像背景的一部分，值大于或等于阈值的像素被标记为静脉区域的一部分。

[0063]参考图3，进一步，在本发明的另一个实施例中，所述LadderNet网络包括两个U-net网络，所述两个U-net网络之间通过跳过连接相整合。

[0064]其中，图3是LadderNet网络的架构。

以现有的U-Net网络为基础，冻结最后两层重复结构，得出第一U-net网络3100和第二U-net网络3200。

其中，第一U-net网络3100和第二U-net网络3200均包括收缩路径和扩展路径，收缩路径遵循卷积网络的典型结构，即一种重复结构，每次重复中都有两个卷积层和一个池化层，卷积层中卷积核大小均为3*3，激活函数为ReLU函数，两个卷积层连接一个2*2的步长为2的最大池化层。

扩展路径中包括两次反卷积，通过学习得到的卷积核进行上采样，从而恢复出原先的分辨率；每次使用反卷积都将特征通道数量减半，并将反卷积的结果与收缩路径中对应的相同通道数的特征图拼接；对拼接后的特征映射进行两次3*3的卷积，最后一层的卷积核大小为1*1，将32通道的特征图转化为2通道的结果。

优选地，本实施例中的第一U-net网络3100和第二U-net网络3200均包括十三个卷积层，两个池化层，有效实现简化网络，减少参数计算。

[0065]其中，LadderNet网络将两个U-Net网络进行拼接使信息传输路径增多，从而可以捕捉到更复杂的静脉特征。

在本实施例中，优选第一U-net网络3100和第二U-net网络3200之间在空间尺度上有跳过连接，将编码分支和解码分支的特征分别相加，信息传输路径随着编解码对的数目和不同空间尺度的数目呈指数增长，因此可以捕捉更复杂的特征，获得更高的精度。

[0066]参考图4，另外，本发明的另一个实施例还提供了一种基于LadderNet网络的指静脉图像分割方法，包括以下步骤：
[0067]步骤S4100，获取指静脉图像，对所述指静脉图像进行ROI提取、归一化、对比度受限的自适应直方图均衡和伽马调整，得出预处理图像；
[0068]步骤S4200，从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中
心点为中心生成子块图像；
[0069]步骤S4300，从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；[0070]步骤S4310，获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
[0071]步骤S4320，对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路；
[0072]步骤S4330，从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；
[0073]步骤S4440，将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

[0074]其中，本实施例对指静脉图像进行预处理得出预处理图像，从预处理图像中随机选取一个点作为子块中心点并生成子块图像，从所述子块图像中获取静脉纹路作为网络训练的金标准，将子块图像和静脉纹路同时输入至LadderNet网络中完成特征提取。

对比起现有技术而言，本发明通过子块图像获取静脉纹路，以静脉纹路作为网络训练的金标准，在不需要静脉数据集的情况下实现特征提取，大大减少了网络的计算量，提高特征提取的准确率和效率。

[0075]参照图5，本发明的第二实施例还提供了一种用于执行基于LadderNet网络的指静脉图像分割方法的装置，该装置为智能设备，例如智能手机、计算机和平板电脑等，本实施例以计算机为例加以说明。

[0076]在该用于执行基于LadderNet网络的指静脉图像分割方法的计算机5000中，包括CPU单元5100，所述CPU单元5100用于执行以下步骤：
[0077]获取指静脉图像，对所述指静脉图像进行预处理，得出预处理图像；
[0078]从所述预处理图像中随机选取一个点作为子块中心点，以所述子块中心点为中心生成子块图像；
[0079]从所述子块图像中获取静脉纹路，并将所述静脉纹路设置为用于网络训练的金标准；
[0080]将所述子块图像和金标准输入至LadderNet网络中完成特征提取。

[0081]其中，在本实施例中，所述智能装置中安装有用于执行上述所述基于LadderNet网络的指静脉图像分割方法的客户端，所述基于LadderNet网络的指静脉图像分割方法在本实施例中不需要通过用户操作完成，而是在所述计算机5000启动时，通过CPU单元初始化时自动完成。

[0082]进一步，本发明的另一个实施例中，所述CPU单元5100还用于执行以下步骤：[0083]从所述子块图像中随机获取静脉横截面的轮廓，获取横截面曲率；
[0084]获取横截面曲率为正的区域，从所述横截面曲率为正的区域中获取曲率的局部最大值的点，设置为中心位置；
[0085]对所述中心位置进行滤波操作和二值化操作，若二值化操作后的像素的值大于或等于预先设定的阈值，则将该像素标记为静脉像素，将所获取的所有静脉像素组合成静脉纹路。

[0086]计算机5000和CPU单元5100之间可以通过总线或者其他方式连接，计算机5000中。