基于自监督学习的卷积神经网络在CT图像中的肝脏自动分割研究

科学技术创新2021.03
基于自监督学习的卷积神经网络在C T 图像中的
肝脏自动分割研究
刘祥强李强何多魁*王文瑞黄建民(兰州财经大学信息工程学院,甘肃兰州730020)
1概述
肝癌目前是世界第四大致死癌症,在肝脏的临床诊断治疗中常常需要有经验的医生勾画出肝脏及肝脏肿瘤的轮廓等等
信息,及其耗时耗力,因此此类工作亟需一种全自动的方法能帮助医生减少工作量。

现有肝脏肿瘤分割方法中,都将肝脏分割作为肿瘤分割的前提工作,因此精准的肝脏分割可以有效的提高肝脏肿瘤的精确性。

由于肝脏在CT 图像中与邻近组织灰度值接近且形状相似,精准的分割肝脏成为了十分具有挑战性的任务[5]。

传统的基于机器学习的方法例如阈值法、区域生长法[6]及其他一些方法,并没有完全摆脱人工参与,例如在区域生长法中的种子点选择对最终分割结果影响往往很大[3]。

与自然图像相比,医学图像往往数据更难获取尤其是金标准的获取,解决医学影像任务的深度学习模型缺少类似于I m agenet 那样可供预训练的数据集,自监督学习这种利用数据本身的结构或者特性解决一些前置任务的学习办法可以让模型得到一个较好的预训练参数[9]。

2相关介绍
2.1基于深度学习的方法
2006年深度学习理论被提出后以及计算机硬件条件的提升,由于其强大的特征学习能力,卷积神经网络迅速发展。

2015年提出的U -net [7]
网络结构将图像分割领域的精度推到的一个
新的高度,Ben-Cohen [2]将卷积神经网络应用于肝脏与肝脏肿瘤
的中,取得了不错的效果。

H -dens enet [8]将三维特征与二维特征
融合。

以上网络都有一个共同的特点就是都没有权重的初始化或者采用预训练模型,无法让网络从一个更优的起点开始训练。

2.2自监督学习
自监督学习属于无监督学习方法中的一个分支,利用数据本身特有信息和结构,设置不同的辅助任务,让模型尽可能拥有更多的知识储备。

计算机视觉当中主流的自监督学习任务主要分为两类,生成式任务和对比式任务。

3方法
3.1训练自监督模型
如图1所示,同时输入三张相邻切片,每一次输入模型的
图像大小以及通道数为256×256×3,随机打乱相邻切片排列顺序,模型通过预测被打乱的切片的顺序,学习到每张切片的特征,。

连续三张图片顺序打乱的方式有六种,随机生成一种顺序打乱方式并将该打乱方式对应的编号变成one-hot 编码形式
作为金标准,将被打乱顺序的三张切片图像放入分类器,这个分类器由U -net 网络的下采样部分以及一个M LP 层组成,M LP 层的作用是将CN N 网络学到的图像特征映射到一维空间,代表着对于改组数据顺序排列的预测结果,得到的结果与对应打乱方式的编号的one-hot 编码求交叉熵损失之后反向传播同时优化这个分类器,交叉熵损失函数公式如下:L=1
N
i
移-[y i
*l og
(p i
)+(1-y i
)*l og (1-p i
)]其中p i 表示第i 个样本属于正例的概率,y i 表示第i 个样本的金标准,由此可以看出当金标准为正例时,p i 值越大,总体损失L 的值越小,以此达到优化网络的目的。

本文实验中的顺序预
测属于多分类问题,一共有六类,每一种连续三张图片顺序排列
方式算一类。

图1自监督训练流程
摘要:肝脏肿瘤是世界上主要癌症致死类型之一,为了帮助医生辅助诊断治疗,临床上亟需全自动的精准的肝脏分割方法
[1]。

卷积神经网络在医学图像分割任务中拥有各类比赛的SOTA 效果,本文中采用此类模型结构作为验证我们提出的自监督方法
有效性的Backbone 。

分割模型的下采样阶段作为自监督任务的分类器,将打乱顺序的相邻CT 切片输入分类器,分类器通过预测出它们的顺序信息作为自监督任务,训练完分类模型后将该模型的参数迁移到分割网络作为权重初始化。

在2017LiTS 数据集上验证该方法的有效性,实验表明,该自监督方法对模型性能提升有显著帮助。

关键词:肝脏;CT 图像;自监督;参数迁移;卷积神经网络中图分类号:TP391.41,TP18文献标识码:A
文章编号:2096-4390(2021)03-0078-02
作者简介:刘祥强(1995-),男,汉族,江苏省盐城市滨海县,硕士研究生,医学图像处理。

78--
2021.03科学技术创新
3.2参数迁移
在分类器训练完毕后,将该分类器的权重迁移到分割模型当中。

在分割肝脏的时候,为了利用到CT图像数据中z轴上的部分信息,依然采用连续输入三张相邻切片,金标准以中间一张切片对应的金标准为准。

在将分类器参数迁移到分割模型中的时候,由于分割模型无全连接层,分类器中的M LP层被丢弃。

4实验与结果
4.1数据预处理
本文实验所使用的数据来自于2017M I CCA I Li TS肝脏肿瘤分割挑战赛公开数据集。

该数据集CT图像数据由多部机器产生,所以CT图像之间的差异变化较大,层内分辨率的变化从0.55m m到1.0m m,序列层间距离从0.45m m到6.0m m。

该数据中共有131例数据拥有标签,每例数据从拥有三百多张到一千多张切片不等,在数据集划分中,我们将前106例数据作为训练集,将后25例数据作为测试集。

4.2评价指标
D i ce系数是一种集合相似度度量函数,通常用于计算两个样本的相似度,取值范围在[0,1]。

在本实验中,A代表医生手动标注的属于肝脏区域的像素点集合,B属于模型预测的属于肝脏区域的像素点的集合。

由公式可以看出,当A与B集合之间的误差越小时公式中的分子越大且分母越小,从而D i ce值越大。

4.3实验参数设置
在本实验中,分类器训练使用交叉熵损失函数,优化器选择A dam优化器,学习率为10e-5。

在分割模型训练中损失函数选择D i ce损失函数,优化器选择SG D优化器,学习率为10e-3,将验证集上表现效果最好的权重保存用于测试。

4.4实验结果展示与分析
由于加入了自监督学校过程中学到的额外语义信息,让肝脏分割网络从一个拥有一定知识储备的起点开始训练,从模型的预测结果来看如图2,经过自监督的模型在预测结果上在一些细节的地方相对于没有经过自监督学习的模型表现要更加优秀,模型的精度得到了一定程度的提高。

其中SSU-N et代表我们本文中所提出的模型。

图2a代表输入模型C T图像,G T为该C T的金标准
为了验证本文提出方法的有效性,我们将不同模型分别在同一测试集上进行验证,结果如表1,。

结果表明,利用预测切片顺序这种自监督方法可以有效的提升模型的性能。

表1
5结论
本文所提出的利用预测切片顺序来进行自监督的方法为模型预训练提供一种通用的思路,虽然在肝脏分割中与世界最好的实验结果相差一段距离,但通过使用更好的网络结构和一些数据增强操作还是可以继续提升指标的。

参考文献
[1]仇清涛,段敬豪,巩贯忠,等.基于三维动态区域生长算法的肝脏自动分割[J].中国医学物理学杂志,2017,DOI:10.3969,1005-202X.
[2]孙敏.基于级联全卷积网络的肝脏肿瘤分割技术及应用[D]. 2020.
[3]刘铭,叶宏伟.CT图像的肝脏及肝脏肿瘤分割方法研究[C].中国医学装备大会暨2019医学装备展览会论文汇编,2019. [4]Hinton,G.E.and Salakhutdinov,R.R.,2006.Reducing the dimensionalit·y of data with neural networks.science,313 (5786),pp.504-507.
[5]J.H.Moltz,L.Bornemann,V.Dicken,et,al.Segmentation of liver metastases in ct scans by adaptive thresholding and morphological processing[J].MICCAI workshop,2008,195. [6]李登旺,王杰,陈进琥,等.基于最优值搜索框架的CT序列图像肝脏分割[J].计算机学报,2016,DOI:10.11897/SP.J. 1016.2016.01477.
[7]Ronneberger O,Fischer P,Brox T.U-Net:Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing&Computer-assisted Intervention.2015.
[8]H-DenseUNet:Hybrid Densely Connected UNet for Liver and Tumor Segmentation from CT Volumes.
[9]Doersch C,Zisserman A.Multi-task Self-Supervised Visual Learning[J].2017.
[10]Chen T,Kornblith S,Norouzi M,et al.A Simple Framework for Contrastive Learning of Visual Representations[J]. 2020.
Model Dice
U-Net 0.9225
SSU-Net 0.9358
79 --。