深度学习下的医学图像分析(四)

深度学习下的医学图像分析（四）

本周内（截止至7月23日晚24点）本公众号本周发布的所有文章，留言获赞最多者AI研习社送西瓜书（《机器学习》周志华）一本AI研习社按：本文由图普科技编译自《Medical Image Analysis with Deep Learning Part4》，是最近发表的《深度学习下的医学图像分析（三）》的后续文章。对与深度学习相关的医疗保障工作而言，2017 年的“Nvidia GTC 大会”绝对是一个绝佳的信息来源。在大会上，有诸如Ian GoodFellow 和Jeremy Howard 的深度学习专家分享了他们对深度学习的见解；还有一些顶级医学院（例如西奈山医学院、纽约大学医学院、麻省综合医院等）和Kaggle 在大会上介绍他们的建模战略。在上一篇文章中，我们谈论了深度学习相关的基本内容。本文，我们将关注于医学图像及其格式。本文分为三个部分——医学图像及其组成、医学图像格式和医学图像的格式转换。本文希望通过对深度学习的相关知识的介绍，最终达到医学图像分析的目的。医学图像及其组成由Michele Larobina 和Loredana Murino 发表的论文，对本文即将展开的讨论来说是一个很好的信息参考。Michele Larobina 和Loredana Murino 二人是意大利“生物架构和生物成像协会”（IBB）的成员。IBB 是意大利“国家研究委员会”的组成部分，同时也是意大利最大的

公共研究机构。我们的另一个参考信息资源是一篇题为《Working with the DICOM and NIfTI data standards in R》的论文。什么是医学图像？医学图像是反映解剖区域内部结构或内部功能的图像，它是由一组图像元素——像素（2D）或立体像素（3D）——组成的。医学图像是由采样或重建产生的离散性图像表征，它能将数值映射到不同的空间位置上。像素的数量是用来描述某一成像设备下的医学成像的，同时也是描述解剖及其功能细节的一种表达方式。像素所表达的具体数值是由成像设备、成像协议、影像重建以及后期加工所决定的。医学图像的组成医学图像组成医学图像有四个关键成分——像素深度、光度表示、元数据和像素数据。这些成分与图像大小和图像分辨率有关。图像深度（又称比特深度或颜色深度）是用来编码每个像素信息的比特数。比如说，一个8 比特的光栅可以有256 个从0 到255 数值不等的图像深度。“光度表示”解释了像素数据如何以正确的图像格式（单色或彩色图片）显示。为了说明像素数值中是否存在色彩信息，我们将引入“每像素采样数”的概念。单色图像只有一个“每像素采样”，而且图像中没有色彩信息。图像是依靠由黑到白的灰阶来显示的，灰阶的数目很明显取决于用来储存样本的比特数。在这里，灰阶数与像素深度是一致的。医疗放射图像，比如CT 图像和磁共振（MR）图像，是一个灰阶的“光度表示”。而核医学图像，

比如正电子发射断层图像（PET）和单光子发射断层图像（SPECT），通常都是以彩色映射或调色板来显示的。“元数据”是用于描述图形象的信息。它可能看起来会比较奇怪，但是在任何一个文件格式中，除了像素数据之外，图像还有一些其他的相关信息。这样的图像信息被称为“元数据”，它通常以“数据头”的格式被储存在文件的开头，涵盖了图像矩阵维度、空间分辨率、像素深度和光度表示等信息。“像素数据”是储存像素数值的位置。根据数据类型的不同，像素数据使用数值显示所需的最小字节数，以整点或浮点数的格式储存。图像大小= 数据头大小（包括元数据）+ 行数栏数* 像素深度*（图像帧数）医学图像格式放射图像有 6 种主要的格式，分别为DICOM（医学数字成像和通讯）、NIFTI（神经影像信息技术）、PAR/REC （Philips 磁共振扫描格式）、ANALYZE（Mayo 医学成像）、NRRD（近原始栅格数据）和MNIC。2017 年5 月的医学图像格式在上图的五个格式中，DICOM 和NIFTI 是接受度最高的。DICOM 格式的基本内容DICOM 表示“医学数字成像和通讯”。DICOM 是由“美国国家电气制造商协会”（NEMA）发布的标准，这一标准规范了医学成像的管理、储存、打印和信息传输，这些都是扫描仪或医院“医疗影像储传系统”（PACS）中的文件格式。DICOM 包括了一个文件格式和一个网络通讯协议，其中的网络通讯协议是医疗

实体间使用TCP/IP 进行沟通的一个规范和准则。一个DICOM 文件由一个数据头和图像数据组成的。数据头的大小取决于数据信息的多少。数据头中的内容包括病人编号、病人姓名等等。同时，它还决定了图像帧数以及分辨率。这是图片查看器用于显示图像的。即使是一个单一的图像获取，都会有很多DICOM 文件。Pydicom 是用于读取DICOM 文件的Python 库，详情请参阅文本第一部分的代码示例。“oro.dicom”是用于读取DICOM 数据的

R-package。使用oro.dicom 工具包来读取未压缩的DICOM 文件NIFTI 格式的基本内容“神经成像信息技术创新”将NIFTI 格式视为ANALYZE7.5 格式的替代品。NIFTI 最初是用于神经成像的，但它也适用于一些其他的领域。NIFTI 中一个主要的特点在于它包含了两个仿射坐标定义，这两个仿射坐标定义能够将每个立体元素指标（i,j,k）和空间位置（x,y,z）联系起来。Nibabel 是用于读取nifti 文件的一个朋友Python 库，“oro.nifti”是用于读取nifti 数据的一个R 工具包。DICOM 和NIFTI 间的区别DICOM 和NIFTI 之间最主要的区别在于NIFTI 中的原始图像数据是以3D 图像的格式储存的，而DICOM 是以3D 图像片段的格式储存的。这就是为什么在一些机器学习应用程序中NIFTI 比DICOM 更受欢迎，因为它是3D 图像模型。处理一个单个的NIFTI 文件，与处理上百个DICOM 文件

相比要轻松得多。NIFTI 的每一张3D 图像中只需储存两个文件，而在DICOM 中则要储存更多文件。NRRD 格式的基本内容灵活的NRRD 格式中包含了一个单个的数据头

文件和既能分开又能合并的图像文件。一个NRRD 数据头能够为科学可视化和医学图像处理准确地表示N 维度的栅格信息。“国家医学图像计算联盟”（NA-MIC）开发了一种用NRRD 格式来表示“扩散加权图像”（DWI）和“扩散张量图像”（DTI）的方法。NRRD 的“扩散加权图像”和“扩散张量图像”数据可以被解读为一个“3D 切片机”，能够直观地确定张量图像的方向与神经解剖的预期是一致的。一个NRRD 文件的大致格式（带有数据头）如下图所示：来源/nrrd/format.html#general.1 MINC 代表的是“医学成像NetCDF 工具包”。MINC 文件格式的开发始于1992 年“蒙特利神经研究所”（MNI）。目前，McGill 的“脑成像中心”（BCI）正积极地对MINC 进行进一步开发。MINC 格式的第一个版本（Minc1）是建立在标准的“网络常见格式”（NetCDF）之上的；而第二个版本的MINC 格式，即Minc2，则是以“分级数据格式第五版”（HDF5）为基础建立的。HDF5 支持无限制的多种数据类型，它适用于灵活高效的I/O 和高容量、复杂的数据。正是有了这些新的特性和功能，Minc2 才能处理大量的、复杂的数据库。以下是一些研究性论文针对这些格式数据头