深度学习在医学影像学中的应用及研究进展

深度学习在医学影像学中的应用及研究进展

发表时间：2018-02-02T15:38:44.517Z 来源：《中国误诊学杂志》2017年第25期作者：窦瑞欣

[导读] 本文综述深度学习算法在医学影像学的最新研究进展。

天津市南开医院放射科天津市 300100

摘要：在大数据时代背景下，医学影像数据也迅速积累，基于神经网络的深度学习算法日渐成熟，特别是卷积神经网络，已经迅速成为分析医学图像的重要方法，为实现医学影像的自动分析及辅助诊断提供了新的契机。本文综述深度学习算法在医学影像学的最新研究进展。首先，介绍深度学习算法的模型及框架，及其在医学影像学中的应用，并从深度学习应用最多的几个类型及领域具体分析研究进展，最后，总结研究动向，预测研究趋势，并提出深度学习在医学影像研究中可能存在的问题及建议。

1 研究背景

当前，数据已经渗透到每一个行业领域，且每时每刻都会产新鲜数据，人们对于海量数据的挖掘、运用以及决策，比以往更加紧迫。大数据包括5个特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）、Veracity（真实性）。生物医学也正加速进入大数据时代【1-3】，而医学影像大数据则是量级最大的，是由DR、CT、MR等医学影像设备所产生并存储在PACS系统内的大规模、高增速、多结构、高价值和真实准确的影像数据集合，与医院信息系统（HIS）大数据、检验信息系统（LIS）大数据和电子病历（EMR）等同属于医疗大数据的范畴。

随着技术的发展，医学影像设备能以更快地速率和更强大的分辨率来收集数据，这些数据大多要进行人工分析，人工分析的缺点很明显，容易导致漏诊和误诊。另外，目前我国医学影像数据的年增长率约为30%，而放射科医师数量的年增长率约为4.1%，其间的差距是23.9%，放射科医师数量增长远不及影像数据增长。这意味着放射科医师在未来处理影像数据的压力会越来越大，甚至远远超过负荷。利用分析工具对许多诊断任务进行初始过滤来筛选异常，并可以量化测量值和时间的变化，对改善诊断质量和减轻医生负担起到至关重要的作用，在这些工具当中，深度学习被迅速的证实了其优越性及准确性，并以一种前所未有的速度不断发展【4】。

本文首先介绍深度学习算法的模型及框架，及其在医学影像学中的应用，并从深度学习应用最多的几个类型及领域具体分析研究进展，最后，总结研究动向，预测研究趋势，并提出深度学习在医学影像研究中可能存在的问题及建议。

2 深度学习算法的模型

深度学习算法是对神经网络的进一步改进，包含了更多的计算层，在医学影像处理中使用到的深度学习模型主要有，SAE、RBM、DBN、CNN、U-net及FCNN。

2.1神经网络

神经网络是一种模仿生物神经网络的结构和功能的数学模型，是深度学习算法的基础架构。神经网络由大量的节点（或称神经元）之间相互联接构成，每个节点代表一种特定的输出函数，称为激励函数（activation function），每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。1986年由Rumelhart和McClelland为首的科学家提出的BP神经网络，即多层前馈型神经网络，是最经典、使用最广泛的神经网络模型。很长时间以来，神经网络都难以训练，直到2006年Hinton和bengio展示了一种无监督学习及有监督学习堆叠起来的多层深度神经网络，得到了很好的性能表现【5】。神经网络已经被用于解决各种各样的问题，例如机器视觉和语音识别，这些问题都是很难被传统基于规则的编程所解决的【6】。

2.2 AE、RBM及DBN

自动编码器（AE）【7】、限制玻尔兹曼机（RBM）【8】以及RBM堆叠后得到的深度信念网络（DBN）都是在深度学习领域广泛使用的基础性结构。它们都作为无监督学习的模型，通过最小化重构误差，提取系统的重要特征，自动对输入数据进行分类；更重要的是，通过多层的堆叠和逐层的预训练，层叠式自动编码器和深度信念网络都可以在后续监督学习的过程中，帮助整个神经网络更好更快地收敛到最小值点，完成分类任务。

2.3 卷积神经网络CNN

卷积神经网络（CNN）由一个或多个卷积层和全连接层（经典的神经网络）组成，自2012年以来，在图像分类和图像检测等方面取得了巨大的成就和广泛的应用【9】。卷积神经网络是一种前馈型神经网络，强大之处在于它的多层结构能自动学习特征，并且可以学习到多个层次的特征。较浅的卷积层感知域较小，学习到一些局部区域的特征，较深的卷积层具有较大的感知域，能够学习到更加抽象一些的特征。这些抽象的特征对分类很有帮助，可以很好地判断出一幅图像中包含什么类别的物体，但是因为丢失了一些物体的细节，不能很好地给出物体的具体轮廓、指出每个像素具体属于哪个物体，因此做到精确的分割就很有难度。在随后的几年里，使用相关技术但更深的神经网络架构得到迅速发展【10】，在计算机视觉领域，深度卷积神经网络已经成为了必不可少的技术。

2.4 全卷积网络FCNN

2014年，加州大学伯克利分校的Long等人提出全卷积神经网络（FCNN）【11】。FCNN是将传统CNN中的全连接层转化成一个个的卷积层，并利用卷积神经网络的反向传播原理及学习能力，得到较准确的图像分割结果。FCNN无需全连接层即可进行密集的像素预测，使用这种方法可以生成任意大小的图像分割图。之后，图像语义分割领域几乎所有的先进方法都以该模型为基础。

2.5 U-Net

U-Net是 Olaf Ronneberger等在 2015 年提出的网络结构，并在2015年世界细胞跟踪与识别挑战赛中取得了第一名【12】。U-Net的基础就是全卷积神经网络，不同于FCNN，U-Net较浅的高分辨率层用来解决像素定位的问题，较深的层用来解决像素分类的问题，将浅层特征图与深层特征图结合，用于图像分割及边缘检测。

3、深度学习算法在医学影像学中的应用

疾病诊断是深度学习在医学上的主要应用之一。它基于患者的疾病相关数据，经深度学习模型预测异常病变或发病风险。在医学影像方面，通过对图像的分类、定位以及分割和检测等方法的组合应用可以对2D和3D医学影像数据进行辅助诊断和分析。自动化的疾病辅助诊