一种基于改进ResU-Net的角膜神经分割算法
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第47卷第1期
Vol.47No.1计算机工程Computer Engineering
2021年1月
January 2021
一种基于改进ResU -Net 的角膜神经分割算法
郝华颖1,2
,赵
昆2,3
,苏
攀2,张辉3,赵一天2,刘江2,
4
(1.宁波大学机械工程与力学学院,浙江宁波315211;2.中国科学院宁波材料技术与工程研究所慈溪生物医学工程研究所,
浙江宁波315201;3.沈阳建筑大学信息与控制工程学院,沈阳110168;
4.南方科技大学计算机科学与工程系,广东深圳518055)
摘要:角膜神经图像的自动分割对于糖尿病神经病变等疾病的诊断与筛查至关重要。
针对由于角膜神经图像存
在对比度低且包含非神经结构而造成分割效率较低的问题,在ResU -Net 结构基础上引入多尺度残差、注意力机制、多尺度图像输入与多层损失函数输出模块,提出一种基于注意力机制的角膜神经分割算法。
多尺度残差模块通过在残差模块中加入多尺度表征信息以提高卷积层提取多尺度特征的能力,而注意力机制模块在双重注意力作用下,利用网络对编码器与解码器中的目标特征进行权重优化,使得在增强图像目标区域特征的同时抑制背景及噪声区域,并采用多尺度图像输入与多层函数输出模块以监督网络中每一层的特征学习。
实验结果表明,与主流分割算法相比,该算法的分割效果更优,且曲线下面积与敏感度分别可达到0.990和0.880。
关键词:角膜神经;多尺度残差;注意力机制;ResU -Net 结构;Dice 系数损失函数开放科学(资源服务)标志码(OSID ):
中文引用格式:郝华颖,赵昆,苏攀,等.一种基于改进ResU -Net 的角膜神经分割算法[J ].计算机工程,2021,47(1):217-223.
英文引用格式:HAO Huaying ,ZHAO Kun ,SU Pan ,et al.A corneal nerve segmentation algorithm based on improved ResU -Net [J ].Computer Engineering ,2021,47(1):217-223.
A Corneal Nerve Segmentation Algorithm Based on Improved ResU-Net
HAO Huaying 1,2,ZHAO Kun 2,3,SU Pan 2,ZHANG Hui 3,ZHAO Yitian 2,LIU Jiang 2,
4
(1.Faculty of Mechanical Engineering &Mechanics ,Ningbo University ,Ningbo ,Zhejiang 315211,China ;2.Cixi Institute of Biomedical Engineering ,Ningbo Institute of Materials Technology &Engineering ,Chinese Academy of Sciences ,Ningbo ,Zhejiang 315201,China ;rmation and Control Engineering School ,Shenyang Jianzhu University ,Shenyang 110168,China ;
4.Department of Computer Science and Engineering ,Southern University of Science and Technology ,Shenzhen ,Guangdong 518055,China )【Abstract 】The automatic segmentation of corneal nerve images is crucial to the diagnosis and screening of several diseases such as diabetic neuropathy ,but it suffers from the low segmentation efficiency caused by the low contrast of corneal nerve images and the existence of non -neural structures.To address the problem ,this paper proposes a novel corneal nerve segmentation algorithm based on attention mechanism ,which introduces multi -scale residual module ,attention mechanism module ,multi -scale image input module ,and multi -layer loss function output module into the ResU -Net structure.The multi -scale residual module is used to add multi -scale representation information into the residual module to improve the multi -scale feature extraction ability of the convolutional layer.The attention mechanism module consisting of channel and spatial attentions uses the network to optimize the weight of the target features in the encoder and decoder ,so as to enhance the features of the target area as well as suppress the features of background and noise area.Furthermore ,the multi -scale image input and multi -layer function output modules are added to supervise the feature learning of each network layer.Experimental results show that the proposed method outperforms the existing mainstream segmentation algorithms with its Area Under Curve (AUC )reaching 0.990and its Sencificity (Sen )reaching 0.880.
【Key words 】corneal nerve ;multi -scale residual ;attention mechanism ;ResU -Net structure ;Dice coefficient loss function
DOI :10.19678/j.issn.1000-3428.0056831
基金项目:国家自然科学基金(61906181);中国博士后科学基金(2019M 652156)。
作者简介:郝华颖(1996─),女,硕士研究生,主研方向为医学图像处理;赵昆,硕士研究生;苏
攀(通信作者),博士;张
辉,副教授、
硕士;赵一天,副研究员、博士;刘江,教授、博士。
收稿日期:2019-12-06
修回日期:2020-01-31
E⁃mail :**************.cn
·图形图像处理·
文章编号:1000-3428(2021)01-0217-07
文献标志码:A
中图分类号:TP391.41
计算机工程2021年1月15日
0概述
角膜是人体神经分布最密集的部位,神经末梢终点密度约为7000/mm2[1]。
角膜神经负责触觉、疼痛与温度等感觉,并在眨眼反射、伤口愈合与泪液产生及分泌中起重要作用[2]。
共聚焦显微镜是一种实用、安全、无侵入且重复性良好的新型角膜神经检测工具,它可以清晰观测到活体角膜的各层组织及角膜神经[3]。
临床研究结果表明,角膜基底的神经纤维与部分眼表及系统性疾病之间具有重要联系,比如干眼症、圆锥角膜与糖尿病神经病变等。
其中,糖尿病神经病变患者的角膜神经长度及密度与正常人相比均较低,而弯曲度增大,且随着病情的加重,上述参数的变化将更为显著[4]。
通过分析神经长度、密度与弯曲度等形态学参数的变化,可早期筛查并诊断出一些眼科疾病,从而降低视力损伤及失明率。
因此,定量分析角膜神经的形态学参数具有重要的临床意义,而精准提取角膜神经是进行形态学参数分析的基础。
利用角膜神经图像诊断眼科疾病时,通常由眼科医生手动标记角膜神经,该方法主观性强、诊断效率低且耗时长,无法满足大规模角膜神经的分割需求。
然而,自动分割技术可有效降低医生主观因素的影响,提高处理速度与诊断效率。
借助计算机完成角膜神经自动分割对于实现大规模疾病的筛查与诊断尤为重要,但是由于对焦不准确造成图像灰度不均衡以及病理引起神经结构不连续等因素会对其造成不利影响。
受深度卷积神经网络模型的启发,本文提出一种基于注意力机制的角膜神经分割算法,并将其应用于角膜神经的自动分割任务中。
该算法以ResU-Net为基础框架,针对角膜神经图像的特性,使用多尺度残差模块代替原有残差模块,并提取输入图像的多尺度层级信息。
同时,利用通道注意力机制和空间注意力机制对特征图进行重标定,通过加强解码器中通道和空间像素特征的重要程度来提升分割效果,以更好地辅助医疗诊断。
1相关工作
关于角膜神经自动分割算法的研究众多,如文献[5]将视网膜血管分割算法迁移到角膜神经分割任务中,该算法预处理均衡化亮度和对比度后,使用模糊c-均值聚类法实现角膜神经分割并利用graph-search技术连接断裂神经,且在后处理阶段消除错误分割。
文献[6]提出一种基于随机森林和神经网络的多尺度自适应双模型神经检测算法。
文献[7]利用相移分析技术以增强共聚焦显微图像,并在此基础上使用基于相位对称的滤波器来识别神经结构。
文献[8]通过顶帽滤波和一组log-Gabor滤波器增强神经结构,再使用支持向量机识别神经。
文献[9]通过结合手动提取特征和学习上下文滤波器实现了曲线结构的分割。
上述研究在特定情况下均可取得良好的分割结果,但是其分割过程中通常需要手动特征和先验知识,且计算复杂度较高,因此不适用于实际应用过程。
深度学习技术已广泛应用于医学图像分类、检测[10]与分割[11]等多项任务中。
其中,为提高传统卷积神经网络对像素级图像的分割效果,文献[12]提出了全卷积神经网络(Fully Convolutional Neural Networks,FCNN),该网络在经过多层卷积和池化操作后,利用反卷积操作对高维特征图进行上采样,得到与输入图像相同分辨率的预测结果。
文献[13]提出完全对称的U-Net分割网络,且该网络在医学图像分割任务中性能良好,现已成为医学图像分割任务中常见的网络结构。
U-Net分割网络采用编码器提取特征,利用解码器将特征图恢复至原始分辨率,并在FCNN的基础上增加了编码器和解码器的跳跃连接,以融合利用先前特征层提取的细节特征。
受到U-Net的启发,ResU-Net[14]、R2U-Net[15]和Attention U-Net[16]相继被提出并应用于医学图像的分割,且取得了显著效果。
其中,ResU-Net将U-Net中的每个子模块均替换为具有残差连接的卷积模块,从而提取图像的更深层特征,以提高分割精确度。
R2U-Net 将残差连接和循环卷积相结合并替换U-Net中的子模块,其中,残差连接可用来训练更深的网络,而循环卷积可更好地对分割任务的特征进行表示。
Attention U-Net在U-Net跳跃连接部分引入注意力机制模块,并重新调整编码器的输出特征。
该模块通过生成一个门控信号来控制不同空间位置处的重要特征,从而提高图像分割精度。
2基于注意力机制的改进ResU-Net
如图1所示,本文提出的分割网络框架共分为多尺度图像输入、编码器与解码器、注意力机制以及多层损失函数输出4个部分。
其中,实线箭头代表下采样,虚线箭头代表上采样,点划线箭头代表顺序连接。
编码器与解码器部分采用多尺度残差卷积模块对编码部分提取的多尺度图像特征进行上采样,并与上一层编码信息相融合,直至恢复输入图像的原尺寸大小。
此外,本文算法在网络的跳跃连接和解码器部分引入了注意力机制,并采用2个注意力模块分别对通道和空间生成权重图,以强化目标特征。
在解码器部分,该网络对各层输出均采用多损失函数监督机制,保证在解码器的最后一层获得最优分割结果。
218
第47卷第1期郝华颖,赵昆,苏攀,等:一种基于改进ResU-Net的角膜神经分割算法2.1多尺度图像输入
本文提出的网络结构在编码器部分以3个不同
尺寸的角膜神经图像作为输入。
其中,原始图像尺
寸为384×384,对其经过双线性插值操作分别生成
192×192、96×96尺寸的图像。
该网络将不同尺度的
角膜神经图像分别经过一个3×3卷积层后与编码器
下采样得到的特征图相连接,并将得到的新特征图
输入下一个编码器层,接下来将多尺度特征集成到
解码器层中,这样不仅避免参数的大幅增长,还增加
解码器路径的网络宽度。
此外,因为编码器中下采
样操作会损失特征图的底层特征,所以本文网络利
用提出的多尺度图像输入模块来补充角膜神经图像
的细节信息,增强网络预测图的结构完整性。
2.2编码器与解码器
编码器与解码器是本文所提网络的主体结构。
编码器可提取输入图像的深度特征,并通过跳跃连
接将编码器提取的浅层和深层特征与解码器中上采
样得到的特征相融合,最终得到与原图尺寸相同的
分割图。
U-Net中的编码器结构采用的是VGG[17]结
构中的卷积层,且每一个卷积层包括2个3×3的卷积
核、线性整流ReLU函数以及步长为2的最大池化
层。
虽然角膜神经图像中的神经呈树状,且结构较
为完整、拥有更多的上下文信息,但是卷积神经网络
对图像的感受野仍是固定的。
目前,随着不同内核
大小的卷积层InceptionNets[18-19]、残差模块ResNet[20]
与多尺度残差模块Res2Net[21]等相继提出,卷积层的
多尺度能力效率明显得到提升。
因此,为增强分割
网络对多尺度特征的表征能力,本文以ResNet-34为
网络的基本框架,用多尺度残差模块替换原网络中
的残差模块,从而构建出新的残差网络。
如图2所示,多尺度残差模块在经过1×1卷积
后,特征图被均匀划分为s个特征子图,用x
i
表示,
iÎ{1 2 s},s设置为4。
与输入特征图相比,每个
特征子图都有一个对应的3×3卷积,用K
i 表示,y
i
表
示K
i 的输出。
特征子图x
i
与K
i
的输出相加后输入到
K
i
中,因此,y
i
可表示为::
y
i
=
ì
í
î
ïï
ïï
x
i
i=1
K
i(
)x i i=2
K
i(
)
x
i
+y
i-1
2<i≤s
(1)
其中,每个3×3卷积运算K
i
都有可能从x
i
接收特征
信息,每次将特征拆分的x
i
通过3×3卷积运算时,输
出的感受野可能比x
i
大。
多尺度残差模块可输出包含不同数量的感受野
大小组合,这样有利于提取角膜神经图像的局部神
经和全局图像信息。
为进一步融合不同感受野的信
息,模块将每个特征子图的输出通过1×1卷积进行
通道交互,这种先分离后连接的策略可以使卷积层
有效处理通道和空间特征。
在编码器模块中,新的残差网络能够提取不同
感受野的特征并进行融合,使得最后编码层能够提
取更多角膜神经图像的上下文特征,为解码层恢复
角膜神经图像信息提供更多的上下文语义信息。
当
输入图像大小为384×384时,编码器中的每一层输
出特征图大小分别为192×192、96×96、48×48。
在解
图2多尺度残差模块
Fig.2Multi-scale residual
module
图1分割网络整体框架
Fig.1Overall frame of segmentation network
219
计算机工程2021年1月15日
码器模块中,编码器的输出特征图通过跳跃连接与解码器上采样得到的特征图相拼接,并采用2个如图3所示的双重多尺度残差模块对每一层生成的特征图进行处理。
此外,本文网络提出将注意力机制模块作用于分割网络,在跳跃连接和编码器阶段将输出特征图通过注意力机制来强化目标特征,以弱
化背景特征。
其中,图3中的F c
sq (·)表示特征压缩,F c ex (. w )表示特征激励,F c scale (·)表示特征融合。
2.3注意力机制模块2.
3.1通道注意力模块
注意力机制在近期研究中已被证明在图像分类及分割等方面表现卓越。
文献[22]提出的SENet 采用一种新的特征重标定策略,通过学习自动获取每个特征通道的重要程度,以提升对当前任务有用的特征并抑制无关特征。
本文提出一种新的注意力机制使用方法,将SENet 中的通道注意力拓展到空间上,通过采用双重注意机制不仅可以提升角膜神经图像的目标像素特征,而且使得目标与背景之间更易区分,同时还可检测到更多不易分割的细小神经。
通道注意力模块由特征压缩(F c
sq (.))、特征激励
(F c
ex
(. w ))和特征融合(F c scale (.))3个部分组成。
首先,采用全局平均对输入的特征图(H ×W ×C )进行池化操作,通过沿空间维度进行特征压缩,将每个二维特征通道逐一映射为一个实数值,该值在理论上具有全局感受野,且输出的维度(1×1×C )和输入的特征通道数相匹配。
其次,特征激励部分包括2个全连接层、一个ReLU 函数和一个Sigmoid 函数。
第一个全连接层的权重W 1维度为C /r×C (r 为缩放系数,本文设置为16),该维度经过一个ReLU 函数后仍保持不变。
将得到的特征图与第二个全连接层W 2相乘,W 的维度为C×C /r ,因此输出维度为1×1×C 。
最后,经过Sigmoid 函数得到维度不变的概率图。
在特征融合部分,将特征激励输出的概率图利用逐相素相乘对先前的特征图进行加权,完成在通道维度上对原始特征的重标定。
2.3.2空间注意力模块
SENet 利用全局上下文对不同通道进行权值重标定来调整通道依赖,然而,采用在通道上的权值重标定的特征融合不能充分利用空间位置信息。
因
此,本文提出了空间注意力模块,并将通道注意力从通道拓展到空间结构。
空间注意力模块采用全局平均通道进行池化,与通道注意力机制不同,池化之后的原特征图大小变为H ×W ,但与输入的每个通道特征图维度保持一致。
在特征激励阶段,为适应不同阶段的特征图大小,本文提出的算法采用7×7卷积核对新特征图进行卷积操作,通过使用较大尺寸的卷积核来扩大感受野,从而在整幅图像上进行全局权重学习,接下来再经过一个Sigmoid 函数得到空间概率图。
空间注意力模块将输出的概率图通过逐像素相乘对先前的特征图进行加权,完成在空间维度上对原始特征的重标定。
将通道注意力和空间注意力串联起来可对全局上下文进行有效建模,2种注意力机制是通过自注意力分别对通道和空间进行重标定,以提取出更具判别性的特征。
从图1所示的网络整体结构来看,网络在跳跃连接和解码器每层输出的位置都添加了通道和空间注意力机制。
跳跃连接位置的注意力机制主要是为了将更具判别性的角膜神经图像特征输入解码层中补充细节信息;解码器输出层的注意力机制主要是对上采样得到的特征图进行信息选择,利用通道和空间注意力的作用可得到加权后的特征,更有利于分割出角膜神经图像中肉眼不易察觉的神经。
2.4多层损失函数输出
在分割算法中,交叉熵损失是常见的损失函数。
由于在角膜神经图像中,角膜神经面积通常只占据图像的一小部分,而交叉熵损失函数很容易忽略这些细节信息,因此本文使用Dice 系数损失函数来代替交叉熵损失函数。
Dice 系数损失函数是一种计算重叠区域的度量函数,其能够有效评估分割性能,且可定义为:
L Dice =1-∑
k
K 2w k ∑i
N
p ()k i g ()
k i ∑i
N
p
2
()
k i +∑i
N g 2
()
k i (2)
其中,N 表示像素的个数,
p ()x i Î[0 1]、g ()x i Î[0 1]分别表示对应第k 个类别时的预测概率与真实像素类
别,K 表示需要分割的种类个数,
w k 表示第k 个类别的权重,且满足∑k
w k =1(本文中w k =1k )。
此外,在解码器的每个输出层都增加Dice 系数损失函数,以监督不同尺度的特征学习,且网络通过优化每一层的该损失函数,可指导每个编码层和解码层的输出。
本文将所有层损失函数的均值作为最终网络反向传播值。
3
实验结果与分析
3.1
数据集
实验数据集有1578张角膜神经图像,包含正常志愿者、糖尿病患者和干眼症患者3个类别。
采集的角膜神经图像为二维灰度图,分辨率为384×384,覆盖角膜大约400μm×400μm
的区域。
为评估本文算法的性
图3
双重注意力机制模块
Fig.3
Dual attention mechanism modules
220
第47卷第1期郝华颖,赵昆,苏攀,等:一种基于改进ResU-Net 的角膜神经分割算法
能,所有角膜神经图像均采用人工标注,而人工标注是
通过眼科专家使用Neuron J 软件手动标注所有可见神经的单像素中心线来实现的,并将标注结果作为金标准。
实验数据集分为2个部分:1)包含1390张图像的训练集;2)包含188张图像的测试集。
角膜神经图像及对应金标准示例如图4所示。
3.2
评价标准
为评估算法的分割效果,本文用特异性(Specificity ,Spe )、准确率(Accuracy ,Acc )与敏感度(Sensitivity ,Sen )来评估算法性能,且其计算方法分别为:
Spe =TN
TN +FP
(3)
Acc =TP +TN
TP +FP +TN +FN (4)
Sen =TP
TP +FN
(5)
其中,TP 表示正确识别为神经的像素,TN 表示正确识别为背景的像素,FP 表示错误识别为神经的像素,FN 表示错误识别为背景的像素。
此外,本文还
计算了ROC 曲线下面积(Area Under Curve ,AUC )。
3.3实验设置
本文提出的网络结构基于Pytorch 开源深度学习框架实现,并使用NVIDIA TITAN XP 显卡进行加速。
在网络训练时,本文使用带动量的随机梯度下降(SGD )方法优化算法训练模型,初始学习率为0.001,批处理大小(Batch Size )设置为4,使用poly 学习率衰减策略,并采用L 2正则化(衰减因子为0.0005)以避免过拟合情况的发生。
在评估实验结果时,采用五折交叉验证方法对1390张图像进行训练,并将训练集随机分为5个训练子集,每次不重复地选取其中4个子集作为训练集,1个作为验证集。
训练结束后可以在每个验证集上得到最好的5个模型,最后在188张测试集上测试并求平均值得到最终结果。
3.4对比实验分析
本文共进行两组实验来评价网络的分割效果,结果如表1与图5所示。
其中,表1中的最优结果加粗表示。
从表1与图5可以看出:U -Net 作为经典的医学图像分割网络之一,同时也是本文网络的基本骨架,在角膜神经上图像上得到的AUC 、Sen 分别为0.930、0.819,但其分割结果存在欠分割现象;ResU -
Net 在U -Net 基础上增加了残差机制,使得AUC 增大
至0.942,且表现优于U -Net ;R 2U -Net 在残差机制基础上引入循环机制模块,进一步使得AUC 增大至0.955,高于ResU -Net ,
原因可能是与其他网络相比,
图4角膜神经图像及其对应金标准示例
Fig.4
Corneal nerve image and corresponding gold
standard example
表1
不同分割算法的评估结果对比Table 1
Comparison of evaluation results of different
segmentation algorithms
分割算法U -Net ResU -Net R 2U -Net Attention U -Net Attention ResU -Net
本文算法
AUC 0.9300.9420.9550.9680.9790.990
Spe 0.9820.9830.9880.9860.9870.986
Acc 0.9800.9810.9820.9830.9810.981
Sen 0.8190.8280.8470.8590.860
0.880
图5
不同分割算法的实验效果对比
Fig.5
Comparison of experimental effects of different segmentation algorithms
221
计算机工程2021年1月15日
循环网络机制的优化较为困难,导致分割表现不如注意力机制网络;Attention U-Net和Attention ResU-Net将注意力机制引入分割网络中,重新调整编码器的输出特征,从而提高解码器中输出预测图精度,分割结果显示该方法优于其他深度学习分割算法,但是存在过分割现象;本文提出的改进ResU-Net网络的分割性能明显优于其他深度学习分割算法,AUC、Sen分别达到0.990、0.880,且其能够较完整地分割出角膜神经结构,有效区分神经与非神经区域,避免欠分割和过分割现象的发生。
消融实验研究了本文算法中6种模块的评估结果与实验效果对比,结果如表2与图6所示。
从表2与图6可以看出:当使用多尺度残差模块代替ResU-Net残差模块时,AUC由0.942提升至0.965,Spe达到0.992,Sen由0.828提升至0.842,分割效果得到提升,且预测图像也表明多尺度残差模块能够将相对完整的角膜神经分割出来,这主要是因为多尺度残差模块在增加卷积核感受野的同时,又将全局和局部信息相融合,有效增强网络对上下文信息的提取;而当通道注意力和空间注意力机制共同作用于该网络时,该网络分割性能得到明显提升,AUC由0.965提升到0.980,Sen也达到0.861,且与多尺度残差模块相比,空间注意力模块的图像不仅将原图中细小的神经分割出来,还去掉了多尺度残差模块中多余的非神经像素,因此注意力机制的引入对图像的前景和背景进行了有效区分;多尺度输入和多层损失函数监督模块的引入也进一步使得原网络的分割结果更加准确,在保持较高AUC和Spe的同时,增强了对角膜神经分割的敏感度和对目标像素的特征学习。
在2个多尺度输入输出模块作用下,该模型能够完整分割出神经区域,并对背景相似特征信息进行有效区分。
如图6中第3行预测图像所示(虚线箭头所指),原图中存在线状区域与神经特征类似,在医生的金标准中并未被标注为神经,但是在网络中被错误识别为神经区域。
这种过分割现象在角膜神经图像分割方法中普遍存在,而本文所提网络仅能在一定程度上优化,并不能完全解决该问题。
4结束语
本文在深度学习分割网络模型的启发下,通过对ResU-Net结构进行改进,提出一种角膜神经自动分割算法。
该算法使用多尺度残差模块替换原有ResU-Net残差模块以增加多尺度表征信息,利用引入的注意力机制模块在通道与空间双重注意力作用下,增强角膜神经图像上的目标区域特征,并使得角膜神经的背景及前景更具判别性。
通过加入多尺度图像输入与多层损失函数输出模块,以监督网络中每一分割层的特征学习。
实验结果表明,与U-Net、ResU-Net等分割算法相比,该算法的分割效果得到显著提高。
下一步考虑将临床先验知识引入角膜神经自动分割系统中,在系统后处理阶段依据临床先验知识对网络分割出的神经结构进行筛选,以更有效地识别神经与非神经区域。
表2本文算法中不同模块评估结果对比
Table2Comparison of evaluation results of different modules
in the proposed algorithm
模块
ResU-Net
多尺度残差模块
通道注意力模块
空间注意力模块
多尺度输入模块
多层损失函数模块
本文算法
AUC
0.942
0.965
0.977
0.980
0.983
0.990
0.990
Spe
0.983
0.992
0.986
0.986
0.988
0.986
0.986
Acc
0.981
0.980
0.983
0.980
0.981
0.981
0.981
Sen
0.828
0.842
0.850
0.861
0.878
0.880
0.
880
图6本文算法中不同模块的实验效果对比
Fig.6Comparison of experimental effects of different modules in the proposed algorithm
222
第47卷第1期郝华颖,赵昆,苏攀,等:一种基于改进ResU-Net的角膜神经分割算法
参考文献
[1]CRUZAT A,QAZI Y,HAMRAH P.In vivo confocal microscopy of corneal nerves in health and disease[J].
The Ocular Surface,2017,15(1):15-47.
[2]NISHIDA T,CHIKAMA T,SAWA M,et al.Differential contributions of impaired corneal sensitivity and reduced
tear secretion to corneal epithelial disorders[J].Japanese
Journal of Ophthalmology,2012,56(1):20-25.
[3]HERTZ P,BRIL V,ORSZAG A,et al.Reproducibility of in vivo corneal confocal microscopy as a novel screening
test for early diabetic sensorimotor polyneuropathy[J].
Diabetic Medicine,2011,28(10):1253-1260.
[4]KALLINIKOS P,BERHANU M,O’DONNELL C,et al.
Corneal nerve tortuosity in diabetic patients with neuropathy[J].
Investigative Ophthalmology&Visual Science,2004,
45(2):418-422.
[5]RUGGERI A,SCARPA F,GRISAN E.Analysis of corneal images for the recognition of nerve structures[C]//Proceedings
of2006International Conference of the IEEE Engineering in
Medicine and Biology Society.Washington D.C.,USA:IEEE
Press,2006:4739-4742.
[6]DABBAH M A,GRAHAM J,PETROPOULOS I N,et al.
Automatic analysis of diabetic peripheral neuropathy using
multi-scale quantitative morphology of nerve fibres in
corneal confocal microscopy imaging[J].Medical Image
Analysis,2011,15(5):738-747.
[7]FERREIRA A,MORGADO A M,SILVA J S.A method for corneal nerves automatic segmentation and
morphometric analysis[J].Computer Methods and Programs
in Biomedicine,2012,107(1):53-60.
[8]GUIMARÃES P,WIGDAHL J,RUGGERI A.A fast and efficient technique for the automatic tracing of
corneal nerves in confocal microscopy[J].Translational
Vision Science&Technology,2016,5(5):436-444.[9]ANNUNZIATA R,KHEIRKHAH A,HAMRAH P,et al.
Boosting hand-crafted features for curvilinear structure
segmentation by learning context filters[EB/OL].[2019-
11-02].http:///rannunziata/
files/MICCAI%202015%20Bosting%20HCFs%20for%
20curvilinear%20structures%20segmentation%20by%
20learning%20context%20filters.pdf.
[10]ZHU Hui,QIN Pinle.U-Net pulmonary nodule detection algorithm based on multi-scale feature structure[J].
Computer Engineering,2019,45(4):260-267.(in Chinese)
朱辉,秦品乐.基于多尺度特征结构的U-Net肺结节检
测算法[J].计算机工程,2019,45(4):260-267.[11]LIU Zhe,ZHANG Xiaolin,SONG Yuqing,et al.Liver segmentation with improved U-Net and Morphsnakes
algorithm[J].Journal of Image and Graphics,2018,
23(8):1254-1262.(in Chinese)
刘哲,张晓林,宋余庆,等.结合改进的U-Net和
Morphsnakes的肝脏分割[J].中国图象图形学报,2018,
23(8):1254-1262.
[12]LONG J,SHELHAMER E,DARRELL T.Fully convolutional networks for semantic segmentation[C]//
Proceedings of the IEEE Conference on Computer
Vision and Pattern Recognition.Washington D.C.,
USA:IEEE Press,2015:3431-3440.
[13]RONNEBERGER O,FISCHER P,BROX T.U-Net:convolutional networks for biomedical image segmentation
[EB/OL].[2019-11-02].https:///pdf/1505.04597.
pdf.
[14]SHANKARANARAYANA S M,RAM K,MITRA K,et al.
Joint optic disc and cup segmentation using fully
convolutional and adversarial networks[C]//Proceedings of
International Conference on Medical Image Computing and
Computer Assisted Intervention;International Workshop on
Fetal and Infant Image Analysis.Berlin,Germany:Springer,
2017:168-176.
[15]ALOM M Z,YAKOPCIC C,TAHA T M,et al.Nuclei segmentation with recurrent residual convolutional neural
networks based U-Net(R2U-Net)[C]//Proceedings of
NAECON2018-IEEE National Aerospace and Electronics
Conference.Washington D.C.,USA:IEEE Press,2018:
228-233.
[16]OKTAY O,SCHLEMPER J,FOLGOC L L,et al.Attention U-Net:learning where to look for the pancreas[EB/OL].
[2019-11-02].https:///abs/1804.03999.[17]SIMONYAN K,ZISSERMAN A.Very deep convolutional networks for large-scale image recognition[EB/OL].[2019-
11-02].https:///abs/1409.1556.
[18]SZEGEDY C,LIU W,JIA Y Q,et al.Going deeper with convolutions[C]//Proceedings of the IEEE Conference on
Computer Vision and Pattern Recognition.Washington D.C.,
USA:IEEE Press,2015:1-9.
[19]SZEGEDY C,VANHOUCKE V,IOFFE S,et al.
Rethinking the inception architecture for computer
vision[C]//Proceedings of2015IEEE Conference on
Computer Vision and Pattern Recognition.Washington D.C.,
USA:IEEE Press,2016:2818-2826.
[20]HE Kaiming,ZHANG Xiangyu,REN Shaoqing,et al.
Deep residual learning for image recognition[C]//
Proceedings of2016IEEE Conference on Computer
Vision and Pattern Recognition.Washington D.C.,
USA:IEEE Press,2016:770-778.
[21]GAO Shanghua,CHENG Mingming,ZHAO Kai,et al.
Res2Net:a new multi-scale backbone architecture
[EB/OL].[2019-11-02].https:///pdf/1904.01169.
pdf.
[22]HU J,SHEN L,SAMUEL A,et al.Squeeze-and-excitation networks[J].IEEE Transactions on Pattern Analysis and
Machine Intelligence,2020,42(8):2011-2013.
编辑刘继娟
223。