深度学习在医学影像学中的应用及研究进展

深度学习在医学影像学中的应用及研究进展

摘要：在大数据时代背景下，医学影像数据也迅速积累，基于神经网络的深度

学习算法日渐成熟，特别是卷积神经网络，已经迅速成为分析医学图像的重要方法，为实现医学影像的自动分析及辅助诊断提供了新的契机。本文综述深度学习

算法在医学影像学的最新研究进展。首先，介绍深度学习算法的模型及框架，及

其在医学影像学中的应用，并从深度学习应用最多的几个类型及领域具体分析研

究进展，最后，总结研究动向，预测研究趋势，并提出深度学习在医学影像研究

中可能存在的问题及建议。

1 研究背景

当前，数据已经渗透到每一个行业领域，且每时每刻都会产新鲜数据，人们对于海量数

据的挖掘、运用以及决策，比以往更加紧迫。大数据包括5个特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。生物医学也正加

速进入大数据时代【1-3】，而医学影像大数据则是量级最大的，是由DR、CT、MR等医学影像设备所产生并存储在PACS系统内的大规模、高增速、多结构、高价值和真实准确的影像

数据集合，与医院信息系统（HIS）大数据、检验信息系统（LIS）大数据和电子病历（EMR）等同属于医疗大数据的范畴。

随着技术的发展，医学影像设备能以更快地速率和更强大的分辨率来收集数据，这些数

据大多要进行人工分析，人工分析的缺点很明显，容易导致漏诊和误诊。另外，目前我国医

学影像数据的年增长率约为30%，而放射科医师数量的年增长率约为4.1%，其间的差距是23.9%，放射科医师数量增长远不及影像数据增长。这意味着放射科医师在未来处理影像数据的压力会越来越大，甚至远远超过负荷。利用分析工具对许多诊断任务进行初始过滤来筛选

异常，并可以量化测量值和时间的变化，对改善诊断质量和减轻医生负担起到至关重要的作用，在这些工具当中，深度学习被迅速的证实了其优越性及准确性，并以一种前所未有的速

度不断发展【4】。

本文首先介绍深度学习算法的模型及框架，及其在医学影像学中的应用，并从深度学习

应用最多的几个类型及领域具体分析研究进展，最后，总结研究动向，预测研究趋势，并提

出深度学习在医学影像研究中可能存在的问题及建议。

2 深度学习算法的模型

深度学习算法是对神经网络的进一步改进，包含了更多的计算层，在医学影像处理中使

用到的深度学习模型主要有，SAE、RBM、DBN、CNN、U-net及FCNN。

2.1神经网络

神经网络是一种模仿生物神经网络的结构和功能的数学模型，是深度学习算法的基础架构。神经网络由大量的节点（或称神经元）之间相互联接构成，每个节点代表一种特定的输

出函数，称为激励函数（activation function），每两个节点间的连接都代表一个对于通过该

连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。1986年由Rumelhart和McClelland为首的科学家提出的BP神经网络，即多层前馈型神经网络，是最经典、使用最广泛的神经网络模型。很长时间以来，神经网络都难以训练，直到2006年Hinton和bengio展

示了一种无监督学习及有监督学习堆叠起来的多层深度神经网络，得到了很好的性能表现【5】。神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别，这些问题都

是很难被传统基于规则的编程所解决的【6】。

2.2 AE、RBM及DBN

自动编码器（AE）【7】、限制玻尔兹曼机（RBM）【8】以及RBM堆叠后得到的深度信

念网络（DBN）都是在深度学习领域广泛使用的基础性结构。它们都作为无监督学习的模型，通过最小化重构误差，提取系统的重要特征，自动对输入数据进行分类；更重要的是，通过

多层的堆叠和逐层的预训练，层叠式自动编码器和深度信念网络都可以在后续监督学习的过

程中，帮助整个神经网络更好更快地收敛到最小值点，完成分类任务。

2.3 卷积神经网络CNN

卷积神经网络（CNN）由一个或多个卷积层和全连接层（经典的神经网络）组成，自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用【9】。卷积神

经网络是一种前馈型神经网络，强大之处在于它的多层结构能自动学习特征，并且可以学习

到多个层次的特征。较浅的卷积层感知域较小，学习到一些局部区域的特征，较深的卷积层

具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象的特征对分类很有帮助，可

以很好地判断出一幅图像中包含什么类别的物体，但是因为丢失了一些物体的细节，不能很

好地给出物体的具体轮廓、指出每个像素具体属于哪个物体，因此做到精确的分割就很有难度。在随后的几年里，使用相关技术但更深的神经网络架构得到迅速发展【10】，在计算机

视觉领域，深度卷积神经网络已经成为了必不可少的技术。

2.4 全卷积网络FCNN

2014年，加州大学伯克利分校的Long等人提出全卷积神经网络（FCNN）【11】。FCNN

是将传统CNN中的全连接层转化成一个个的卷积层，并利用卷积神经网络的反向传播原理及

学习能力，得到较准确的图像分割结果。FCNN无需全连接层即可进行密集的像素预测，使

用这种方法可以生成任意大小的图像分割图。之后，图像语义分割领域几乎所有的先进方法

都以该模型为基础。

2.5 U-Net

U-Net是 Olaf Ronneberger等在 2015 年提出的网络结构，并在2015年世界细胞跟踪与识

别挑战赛中取得了第一名【12】。U-Net的基础就是全卷积神经网络，不同于FCNN，U-Net

较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，将浅层特

征图与深层特征图结合，用于图像分割及边缘检测。

3、深度学习算法在医学影像学中的应用

疾病诊断是深度学习在医学上的主要应用之一。它基于患者的疾病相关数据，经深度学

习模型预测异常病变或发病风险。在医学影像方面，通过对图像的分类、定位以及分割和检

测等方法的组合应用可以对2D和3D医学影像数据进行辅助诊断和分析。自动化的疾病辅助

诊断能更快地处理数据，为医师提供参考，且其判断不易受到主观因素的干扰，在减轻医师

工作负担的同时提升效率和诊断准确率。目前，应用深度学习算法进行辅助诊断已经涉及到

了多个解剖领域，如脑、眼、肺、乳腺、心脏、腹部

3.1 脑

脑部的解剖图像主要来源于CT、MRI、功能MRI以及正电子发射断层扫描（PET），很多生物医学工程的科学家利用这些成像工具并结合深度学习模型从图像中提取特征。目前，大

量的研究涉及阿尔茨海默氏病的分类、脑组织和解剖结构（如海马体）的分类，以及其它重

要病变的识别和分割，如神经胶质瘤、白质病变、脑梗死及脑出血。阿尔茨海默病（AD）又

是一种起病隐匿的进行性发展的神经系统退行性疾病，最常见的临床特征是患者在晚年陷入

痴呆状态。我国已经进入老龄化社会，而在接下来的20 年里，估计患病人数将增加一倍，到2050年大概每85个人中将有一人患此病。由于患病人数激增，AD患者的护理费用急剧上升，对AD的早期诊断和治疗越来越重要，而深度学习成为辅助诊断的重要手段。Payan 等【13】基于SAE进行预训练，提出了一种用于 AD 诊断的 3D 卷积神经网络。Hosseini-ASL E等【42】提出了一种新的深度监督自适应 3D-CNN 网络，该网络自动提取识别 AD 特征，捕获由 AD 引

起的变化，包括脑室大小、海马形状及皮质厚度。

3.2 乳腺

乳腺的辅助诊断是神经网络应用最早的领域之一，最近，科学家们的兴趣又开始回归【43】，使得乳腺影像的分割与识别技术显著提高，几乎实现了人类专家对乳腺影像感兴趣

区域进行分割的表现。由于大多数乳房成像技术都是二维的，所以在自然图像分割和识别中

成功的方法很容易被转移到乳腺图像上。但仍面临三个巨大挑战：（1）对类肿瘤病变的检

测和分类；（2）检测和分类微钙化点；（3）乳腺癌风险评分。

目前，国内外都有针对乳腺癌的筛查措施，应该有大量的数据可供使用。但不幸的是，

公共医学影像数据并不可用，因此，监督式的深度学习模型很难快速发展，许多论文使用的

是小数据集，导致了性能不高。一些项目通过探索半监督学习、弱监督学习，以及转移学习【14】，来改善模型性能。

当大数据集可用时，可以获得更好的结果。在2016年的SPIE医学影像会议上，乳腺X

线成像CAD领域一家领先公司的研究人员宣布，他们使用AlexNet（基于CNN模型，2012年