一种基于深度学习的大尺寸病理图像分割诊断方法

n智能医学与数字诊疗
Intelligent Medicine and Digital Diagnosis and Treatment
一种基于深度学习的大尺寸病理图像分割 诊断方法
王艳红1叶海礼2朱晨雁5王大寒2李建敏*
【摘要】目的：为解决基于传统的计算机视觉类数据在处理全视野切片（病理）图像（W h o l e slide i m a g e s，W S I s)面临尺寸大、纹理复杂、数量稀少和生成过程繁琐等问题。

方法：通过病灶类型分类模型与病灶区 域分割模型相互协作的辅助诊断方法，以及两个模型间的合作，实现超大尺寸的W S l s分析诊断与病灶区域分 割，并在此基础上开发病理图像的实时诊断系统。

结果：该方法在W S I s分析诊断上有较好的性能，每张W S I s
的分析诊断时间都小于5 m i n,且精度优于同类算法。

结论：该方法不仅提高了病理图像的诊断准确率，在处 理超大尺寸的病理图像问题上速度也有很大提升，为开发病理图像的实时诊断系统提供了良好的技术支持。

【关键词】病理图像分析图像分类语义分割
D o i:10.3969/j.issn.1673-7571.2021.03.018
【中图分类号】R319 【文献标识码】A
A W i d e Scale Pathological I m a g e S e g m e n t a t i o n a n d Di a g n o s i s M e t h o d
B a s e d o n D e e p L e a r n i n g/W A N G Y a n-h o n g, Y E H a i-li,Z H U
C h e n-y a n,et al.
A b s t r a c t:O b j e c t i v e:In order to solve the p r o b l e m s o f processing w i d e scale i m a g e s (p a t h o l o g y) (W S I s)b a s e d o n traditional c o m p u t e r vision data,s u c h as large size,c o m p l e x texture,sparse n u m b e r a n d tedious generating process,etc. M e t h o d s:
B a s e d o n the auxiliary diagnosis m e t h o d o f the cooperation b e t w e e n the classification m o d e l o f lesion type a n d the s e g m e n t a t i o n m o d e l o f lesion region,a n d the cooperation b e t w e e n the t w o m o d e l s,to realize the super-size analysis a n d diagnosis o f W S I s a n d the s e g m e n t a t i o n o f lesion region,a n d d e v e l o p the real-time diagnosis s y s t e m o f pathological i m a g e s o n this basis.Results:This m e t h o d has g o o d p e r f o m i a n c e in the analysis a n d diagnosis o f W S I s,the analysis a n d diagnosis tim e o f e a c h W S I s is less than 5 m i n u t e s,a n d the a c c u r a c y is better than the similar a l g o r i t h m.
C o n c l u s i o n:T his m e t h o d not o nly i m p r o v e s the diagnostic a c c u r a c y o f pathological i m a g e s,but also greatly i m p r o v e s the s p e e d o f processing oversize pathological i m a g e s,w h i c h provides g o o d technical support for the d e v e l o p m e n t o f real-time diagnostic s y s t e m o f pathological i m a g e s.
K e y w o r d s:pathological i m a g e,analysis i m a g e,classification s e m a n t i c segm e n t a t i o n
F u n d p r o je c t：National Natural S c i e n c e F o u n d a t i o n o f C h i n a (N o. 61806173); T h e Fifth R o u n d o f Joint R e s e a r c h Plan Project o f Health E d u c a t i o n in Fujian Provi n c e(N o.2019-W J-41); X i a m e n S c i e n c e a n d T e c h n o l o g y P r o g r a m(N o. 3502Z20209154)
坫金项丨丨：国家然科学基金（编号：61806173);福建宵第五轮卫生教育联合攻关计划项丨丨（编号：2019-WJ-41):厦门市科技计划(编号：3502Z20209154)
*通信作者：厦门理工学院计算机与信息工程学院，361024,福建省厦门市集美区理工路600号
① 陆军第七十三集团军医院，361003,福建省厦门市思明[X:文园路92-%号
②厦N理工学院计算机与信息工程学院，361024,福建省阄丨’j市集美[X:理工路600号
③ 麦克奥迪（厦门）医疗诊断系统有限公361006,福建省厦门市火炬高新K新丰•:路3号
80
智能医学与数字诊疗H
Intelligent Medicine and Digital Diagnosis and Treatment^
C o r r e s p o n d i n g a u t h o r:S c h o o l o f C o m p u t e r a n d I n f o r m a t i o n E n g i n e e r i n g o f X i a m e n University o f T e c h n o l o g y, X i a m e n361024, Fujian P r o v i n c e,P.R.C.
i*J I言
医学图像分析是模式识别与计 算机视觉领域的重要研究方向之-，其技术可广泛应用于计算机辅 助诊断的各种应用场景。

近儿年 来，随着深度学习技术的发展，基 于深度学习的医学影像分析成为- 个热门的研究方向1“31。

病理图像 辅助诊断技术在癌症诊断中可以发 挥着重要的作用，通过对W S I s中的病灶进行自动诊断以及恶性程度 评估，不仅可以大大减少病理医生 的工作量，还能提高疾病诊断的效 率和精度，具有可复制性与严谨性 的优点。

2方法与数椐
2.1方法概述本文提出的一种基于 深度学习的病理图像分割诊断方法，总体按如下步骤进行。

S t e p l:输入W S I s。

S t e p2:由于W S I s尺寸巨大，无法直接进行分析，需要使用滑动 窗口将W S I s切分为大小适中的图 像块，在保证精度的同时提高处理 速度。

S t e p3:将图像块依次送入W S I s分类模型中进行分析，得到 每个图像块的分析结果，最后综合 所有图像块的分析结果得出整张W S I s的诊断结果。

S t e p4:根据W S I s病灶类型诊 断结果选择对应的W S I s分割模型。

S t e p5:将图像块依次送入W S I s分割模型中进行分割，得到每个图像块的病灶区域分割掩膜，
最后将分割掩膜进行拼接，得到与
W S I s完整的病灶区域分割结果。

2.2病灶类喂分类投哨W S I s分类模
型的结构如图1(a)所示，图像块通
过卷积层进行初次特征提取后进入
浓稠深度可分离块（D e n s e D e p t h-
w i s e S e p a r a b l e B l o c k) 提取深层的
语义特征。

深度可分离卷积是将标
准卷积分解成通道卷积和空间卷
积。

标准卷积和深度可分离卷积的
计算公式为：
i,j,m
八v
Gfc,;,n ~y^ i.j.m1-1 ,i+l,m(2)
i.j
其中A/为输入数据的通道数，
W为输出数据的通道数，{〇:/«}为
输入数据的像素坐标，队/,/7丨为输
出数据的像素坐标。

最后图像特征
经过下采样与全连接层后得到图像
块的分类结果，综合所有图像块
的分类结果得出W S I s整体的分类
结果。

2.3病灶区域分割模型病灶区域
分割模型的结构如图1(b)所示。

在
病灶区域分割模型中使用了高效
剩余分解卷积（Efficient R e s i d u a l
Factorized C o n v o l u t i o n a l,E R F)。

在病灶区域分割模型中使用了空洞
卷积对特征图进行下采样。

本文使
用了反卷积（D e C o n v o l u t i o n)进
行上采样，对语义信息进行逐层恢复
得到图像块病灶区域的分割掩膜。

图像块通过W S I s分割模型对病
灶区域进行分割，将得到的图像块
分割掩膜按照图像块在W SI s上的
相对位置进行拼接，生成与W S I s
尺寸相同的病灶区域分割掩膜。

对W S I s分割掩膜上的病灶区域进
行边缘轮廓提取，并映射在W S I s
上，输出病灶区域分割结果。

2.4资料1J数侃本文使用的实验数
据集包含带有像素级标注的四种肺
部癌症的W S I s总共39张：肺鱗癌
10张、肺腺癌10张、肺大细胞癌10
(a) WSIs分类模型（b) WSIs分割模型
网1病灶区域分割模喂结构陶
81
n
智能医学与数字诊疗
Intelligent Medicine and Digital Diagnosis and 丁「eatment
表1病灶类喂分类模型ftWSIs k 的分类if 估结果
模型
精确率（％)
召回率（％)
F I 分数（％)
耗时（ms)
v g g [4]
77.1372.4374.6047GoogleNet t 5】
78.4180.1379.2752ResNet16184.8282.7583.7468DenseNet1 185.4684.0684.55100Ours
90.01
86.20
88.00
45
衣2病灶类|X :域分割投塑任W S I s 丨:的分割评估结果
模型
像素准确率(％)
均像素精度（％)
平均交并比（％)
耗时(ms)
f c n [8]
86.4067.6959.4665U-Net[9189.1976.8761.5475SegNet"0187.5769.4.154.7755Deeplab1"193.3884.7573.47112ERFNet 丨丨2192.8785.3074.1874Ours
94.06
88.24
76.59
85
图2 W S I s 分析诊断与病灶区域分割示例
张、肺小细胞癌9张。

本文随机选 取了 14张W S I s 作为测试数据，从整 张W S I s 层级验证算法的性能。

3实验与结果
3.1病灶类型分类模型评估结果为了更好描述与评估不同方法在
W S I s
分类诊断问题上的性能，测
试了 W S I s 分类模型与目前方法对 病理图像诊断分类的性能对比。

本 文通过计算算法对测试集图像块 分类的精确率（P r e c i s i o n ，P )、 召回率（R e c a l l ,
R
)、F 1分数等
来评估算法对图像块的分类诊断 性能。

本文在T I T A N X 上进行了测 试，所得检测结果如表丨所示。

3.2病灶丨>(域分割投增评佔结果病 灶区域分割模型通过对图像块的 编码-解码过程实现对病灶区域的 像素级分割，本文将W S I s 分割模 型与同类分割模型在测试数据集 上进行了比较，选用像素准确率 (p i x e l A c c u r a c y , P A
),均像素
精度
（m e a n P i x e l a c c ，M P A
),平
均交并比（M e a n Inter-section O v e r
U n i o n ，M I o U )等作为评估准则，在
T I T A N X
上测试结果如表2所示。

图2展示了病理图像分割诊断 的示例，病灶区域分割模型中使用 了与深度可分离卷积算法类似的高 效剩余分解卷积，通过对标准卷积 的双向拆分在保证精度丢失较小的 情况下减少了网络的运算成本。

针 对每-种癌症训练单一分割模型， 提高了模型对该癌症的分割能力。

4结论
本文提出的一种基于深度学习
的超大尺寸病理图像分割诊断方法 在有效地对W S I s 进行病灶类型诊 断的同时，还可以精确分割出病灶 的区域，有效提高了辅助诊断的准 确性与一致性，提高医生诊断效率 与准确性。

本文提出的方法首先使 用病灶类型分类模型识别W S I s 中 的病灶类型，再使用对应的病灶
区域分割模型对病灶区域进行分 割，避免诊断分析结果与病灶分
割结果之间存在差异。

该方法有 效促进了深度学习技术应用于超 大尺寸病理图像辅助诊断的技术 落地。

9
参考文献
[1] 刘俊，易法令.基于图像特征检索和
识别的医学影像辅助诊断系统m .中国 科技信息，2008(4): 168-169.
[2] 王继伟，李成伟,黄绍辉，等.基于3D_ ResUnet 肝脏CT 图像分割的临床应用研
82
hina
Digital Medicine. 2021 .Vol.16.No 3
数据管理与利用
Data Manageme门t and Utilization|
基于新型冠状病毒肺炎的临床数据治理和 科研平台建设实践
陈健i郭垚垚+罗进城-I
【摘要】我院作为新型冠状病毒肺炎患者收治的定点医院，积累了大量新型冠状病毒肺炎患者的医疗数据。

为有效利用这些数据为临床关于新型冠状病毒肺炎科研攻关服务，我院自主研发基于新型冠状病毒肺炎的科研 数据平台。

利用ETL工具KETTLE整合新型冠状病毒肺炎患者的门诊和住院数据，跨平台采集和清洗HIS、电子病历、LIS和PACS等业务系统的数据，形成新型冠状病毒肺炎专病库。

以多种数据关联查询以及统计分析为 设计思路的科研平台，为临床医生探索性研究提供思路以及数据支撑，进一步提高了临床关于新型冠状病毒肺 炎科研产出的速度和质量。

【关键词】新型冠状病毒肺炎医疗数据K E T T L E专病库科研平台
D o i:10.3969/j.issn.1673-7571.2021.03.019
【中图分类号】R319 【文献标识码】A*
*通信作者：华中科技大学同济医学院附属武汉市中心医院，430014,湖北省武汉市江岸区胜利街26号
①华中科技大学同济医学院附属武汉市中心医院，430014,湖北省武汉市江岸区胜利街26号
究[J].中国数字医学,2019,14(10):68-70. [3]安彦虹，叶兆祥，李弋，等.乳腺影像 报告和数据系统在国人女性乳腺癌 筛查中的应用价值[J].中华放射学杂 志，201丨，45(4):353-357.
[4] Karen S,A ndrew Z.V ery Deep Convolutional Networks for Large- Scale Im age R eco g n itio n[C].201 5 International Conference on Learning Representations(ICLR),2015.
[5] Christian S丄iu W，Jia YQ,et al.Going Deeper with Convolutions[C].2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2015.
[6] He K M,Z h an g X Y,R en SQ,et al.Deep Residual Learning for Image Recognition[C].2016 IEEE Conference on C om puter V ision and Pattern Recognition(CVPR),2016.
[7] Huang G,Liu Z,Laurens VDM，et al.
Densely Connected Convolutional
Networks[C].2017 IEEE Conference
on C om puter V ision and Pattern
Recognition(C V PR),2017.
[8] Jonathan L,Evan S,Trevor D.Fully
Convolutional Networks for Semantic
Segmentation[C].2015 IEEE Conference
on C om puter V ision and Pattern
Recognition(CVPR),2015.
[9] Olaf R,Philipp F.Thomas B.U-Net:
Convolutional Networks for Biomedical
Image Segmentation[C].2015 Medical
Image Computing and Computer Assisted
Intervention Society(MICCAI),2015.
[10] Vijay B,Alex K,Roberto C.SegNet:
A Deep Convolutional Encoder-Decoder
Architecture for Image Segmentation[J],
I E E E T r a n s a c t i o n s on P a tte rn
Analysis and Machine Intelligence,
2017(12):2481-2495.
[11] Chen LC,G eorge P,Iasonas K,
et al. D e e p L a b: S e m a n tic Im age
Segmentation with Deep Convolutional
Nets,Atrous Convolution, and Fully
Connected CRFs[J].IEEE Transactions
on Pattern A n a ly sis and Machine
Intelligence,2018,40(4):834-848.
[12] Eduardo R,Jose M A,Luis MB,
et a l.E R F N e t: E fficien t Residual
Factorized ConvNet for Real-Time
S e m a n tic S e g m e n t a t i o n[J].I E E E
Transactions on Intelligent Transportation
Systems,2017( 1): 1 -10.
【收稿日期：2020-05-03】
(责任编辑：肖婧婧）
i卷第3期83。