图像检测方法、装置、计算机设备和存储介质发明专利

图像检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像检测方法、装置、计算机设备和存储介质。

背景技术
微血管侵犯(microvascular invation，mVI)是指在显微镜下，在人体内皮细胞衬覆的血管腔内的癌细胞巢团，当脉管腔内出现悬浮癌细胞数目大于一定数目时，即可称为mVI，很多肿瘤如果出现神经血管侵犯那么很可能不利于患者预后，如果能在微血管侵犯阶段进行积极干预，则能明显改善患者预后，因此，在术前对微血管侵犯进行检测就显得尤为重要。

相关技术中在对微血管侵犯进行检测时，通常是通过对患者的单一医学图像进行分割处理，得到病灶图像，并对病灶图像进行影像表型特征提取后，利用计算机分析算法建立辅助检测的模型，完成对微血管侵犯的检测。

然而上述技术在对微血管侵犯进行检测时，存在检测精度不高的问题。

发明内容
基于此，有必要针对上述技术问题，提供一种能够提高检测精度的图像检测方法、装置、计算机设备和存储介质。

一种图像检测方法，该方法包括：
获取待检测对象的至少两个医学图像，对至少两个医学图像进行分割处理，得到各目标分割图像；各目标分割图像均包括感兴趣区域；
将各目标分割图像输入至神经网络模型中进行特征提取，得到感兴趣区域的特征；
将感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择处理，得到目标特征；临床信息数据中的特征为对待检测对象进行临床检测后得到的特征；
将目标特征输入至分类器中进行分类，确定感兴趣区域的类别。

一种图像检测装置，该装置包括：
分割模块，用于获取待检测对象的至少两个医学图像，对所述至少两个医学图像进行分割处理，得到各目标分割图像；所述各目标分割图像均包括感兴趣区域；
提取模块，用于将所述各目标分割图像输入至神经网络模型中进行特征提取，得到所述感兴趣区域的特征；
选择模块，用于将所述感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择处理，得到目标特征；所述临床信息数据中的特征为对所述待检测对象进行临床检测后得到的特征；
分类模块，用于将所述目标特征输入至分类器中进行分类，确定所述感兴趣区域的类别。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
获取待检测对象的至少两个医学图像，对所述至少两个医学图像进行分割处理，得到各目标分割图像；所述各目标分割图像均包括感兴趣区域；
将所述各目标分割图像输入至神经网络模型中进行特征提取，得到所述感兴趣区域的特征；
将所述感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择处理，得到目标特征；所述临床信息数据中的特征为对所述待检测对象进行临床检测后得到的特征；
将所述目标特征输入至分类器中进行分类，确定所述感兴趣区域的类别。

一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
获取待检测对象的至少两个医学图像，对所述至少两个医学图像进行分割处理，得到各目标分割图像；所述各目标分割图像均包括感兴趣区域；
将所述各目标分割图像输入至神经网络模型中进行特征提取，得到所述感兴趣区域的特征；
将所述感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择处理，得到目标特征；所述临床信息数据中的特征为对所述待检测对象进行临床检测后得到的特征；
将所述目标特征输入至分类器中进行分类，确定所述感兴趣区域的类别。

上述图像检测方法、装置、计算机设备和存储介质，通过获取待检测对象的至少两个医学图像，对其进行分割，得到各包括感兴趣区域的目标分割图像，将各目标分割图像输入神经网络进行特征提取，得到感兴趣区域的特征，将感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择，得到目标特征，最后将目标特征输入分类器进行分类，确定感兴趣区域的类别。

在该方法中，由于在对待检测对象的图像进行特征提取时，采用的是对多个不同期相和/或多个不同模态和/或多个不同序列的图像进行特征提取的，因此该方法可以充分提取感兴趣区域内的特征，即提取的特征较多，也比较丰富，可以便于后续检测时使用；同时，由于在对特征进行提取时采用的是神经网络进行提取，而神经网络学习能力强，精度高，这样可以使提取的特征更加准确，精度更高；除此之外，在对感兴趣区域进行分类时，采用的特征是对提取的特征和临床特征进行特征选择之后得到的目标特征，这样可以剔除特征中的冗余特征，保留重要特征，从而可以使分类过程更加快速，同时使分类的精度也更高。

附图说明
图1为一个实施例中计算机设备的内部结构图；
图2为一个实施例中图像检测方法的流程示意图；
图3为另一个实施例中图像检测方法的流程示意图；
图4为另一个实施例中图像检测方法的流程示意图；
图5为另一个实施例中图像检测方法的流程示意图；
图6为另一个实施例中图像检测方法的流程示意图；
图7为一个实施例中图像检测装置的结构框图。

具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。

应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

原发性肝癌是目前比较常见的恶性肿瘤，其严重威胁人们的生命健康，肝细胞癌是最常见的原发性肝脏恶性肿瘤，而微血管侵犯(MVI)在肝癌患者中发生率非常高，其是预测肝癌复发的独立性危险因素，是肝癌根治性治疗后期复发的主要影响指标，一般如果能在微血管侵犯阶段进行积极的干预措施，那么就可以明显改善肝癌患者预后，因此根据术前预测微血管侵犯的存在，对于肝癌患者的个
体化治疗、精准治疗有着极大的临床价值。

相关技术中在对微血管侵犯进行检测时，通常是通过对患者的单一医学图像进行分割处理，得到病灶图像，并对病灶图像进行影像表型特征提取后，利用计算机分析算法建立辅助检测的模型，完成对微血管侵犯的检测，然而该技术存在检测精度不高的问题。

因此，本申请提供一种图像检测方法、装置、计算机设备和存储介质，旨在解决现有技术中存在的问题。

本申请实施例提供的图像检测方法，可以应用于计算机设备，该计算机设备的内部结构图可以如图1所示。

该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。

其中，该计算机设备的处理器用于提供计算和控制能力。

该计算机设备的存储器包括非易失性存储介质、内存储器。

该非易失性存储介质存储有操作系统和计算机程序。

该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。

该计算机设备的网络接口用于与外部的终端通过网络连接通信。

该计算机程序被处理器执行时以实现一种图像检测方法。

该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图1中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

需要说明的是，本申请实施例的执行主体可以是图像检测装置，也可以是计算机设备，下述实施例将以计算机设备为执行主体进行说明。

在一个实施例中，提供了一种图像检测方法，本实施例涉及的是如何对多个不同的医学图像进行特征提取，得到感兴趣区域的特征，并加上临床特征进行特征选择，最后利用选择的特征对感兴趣区域进行分类的具体过程。

如图2所示，该方法可以包括以下步骤：
S202，获取待检测对象的至少两个医学图像，对至少两个医学图像进行分割处理，得到各目标分割图像；各目标分割图像均包括感兴趣区域。

在本步骤中，待检测对象一般为人类，当然也可以是非人类，本实施例不作具体限定；待检测对象的至少两个医学图像指的是至少两个不同的医学图像，可选的，至少两个医学图像可以包括以下至少一种：至少两个不同模态的医学图像、至少两个不同序列的医学图像、至少两个不同期相的医学图像；也就是说，至少两个不同的医学图像可以是模态、期相、序列中的至少一类不同，即可以是一类不同或者两类不同或者三类不同。

另外，这里不同模态的图像可以包括：CT图像、MR图像、PET图像、PET-CT图像、PET-MR图像等等；不同期相的图像可以包括：平扫期pre/native图像、动脉期arterial图像、静脉期venous图像、延迟期delay图像等；不同序列和不同期相的图像可以包括：平扫期pre/native 图像、动脉期arterial图像、静脉期venous图像、延迟期delay图像、肝胆特异期hbp序列图像、preT1mapping图像、hbp T1mapping图像、T2横向驰豫加权图像、DWI弥散加权图像等。

另外，对医学图像进行分割处理可以采用人工标注感兴趣区域并进行分割的方法，还可以是采用训练好的分割模型进行分割的方法，当然也可以其他分割方法，本实施例对此不作具体限定，不过本实施例主要使用的是采用Vnet分割模型对感兴趣区域进行分割。

其次，获取待检测对象的医学图像的方式可以包括：通过对扫描设备采集到的待处理对象的数据进行图像重建和校正，从而得到待处理的医学图像，该扫描设备可以是MR设备(Magnetic Resonance，磁共振)、CT设备(Computed Tomography，电子计算机断层扫描)、PET设备(Positron Emission Computed Tomography，正电子发射型计算机断层显像)、PET-CT设备、PET-MR设备等等；或者，待检测对象的医学图像也可以预先重建和校正好，存储在计算机设备中，当需要对其进行处理时，直接从计算机设备的存储器中读取该待检测对象的医学图像；又或者，计算机设备也可以从外部设备中获取待检测对象的医学图像，比如，将待检测对象的医学图像存储在云端，当需要进行处理操作时，计算机设备从云端获取该待检测对象的医学图像。

本实施例对获取待检测对象的医学图像的获取方式不做限定。

具体的，计算机设备可以通过以上手段获取到待检测对象的至少两个医学图像，并采用分割方法分别对各医学图像进行分割处理，得到各医学图像对应的目标分割图像，各目标分割图像上均包括感兴趣区域。

示例地，这里的感兴趣区域可以是患者的肝脏肿瘤部分，当然也可以是其他部位的肿瘤部分或者其他病变部分等。

S204，将各目标分割图像输入至神经网络模型中进行特征提取，得到感兴趣区域的特征。

其中，这里的神经网络模型可以是深度学习网络模型，当然也可以是其他网络模型，其中，深度学习网络模型可以是DNN(Deep Neural Networks，深度神经网络)、CNN(Convolutional Neural Networks，卷积神经网络)、RNN(Recurrent Neural Network，循环神经网络)等，CNN模型可以是V-Net模型、U-Net模型、Resnet模型等，本实施中使用的是Resnet模型进行特征提取。

需要说明的是，本实施例中的神经网络模型实质上可以认为是一个分类网络模型，输出的可以是属于各类别的概率，在进行特征提取时，可以将各目标分割图像分别输入至已训练好的神经网络模型对感兴趣区域进行分类，然后提取神经网络模型倒数第二层的输出(即全连接层的多维输出)作为神经网络模型在各目标分割图像上提取到的特征。

另外，虽然这里可以利用神经网络模型对感兴趣区域进行分类，但是这里的分类的数据源没有结合临床信息数据，因此分类的精度不高，所以本实施例在这里不利用该神经网络模型对感兴趣区域进行分类，只是将该神经网络模型作为特征提取的网络；其次，对于这里神经网络模型的输入通道数量，可以和进行分割的图像的数量相同，示例地，如果开始获取的是9个不同序列或不同期相或不同模态的图像，那么这里的神经网络模型就可以有9个输入通道。

具体的，计算机设备可以将各目标分割图像分别输入至神经网络模型中，利用神经网络模型对所有目标分割图像上的感兴趣区域进行特征提取，最后将在所有目标分割图像上提取的特征作为感兴趣区域的特征。

S206，将感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择处理，得到目标特征；临床信息数据中的特征为对待检测对象进行临床检测后得到的特征。

其中，这里临床信息数据可以是对待检测对象进行临床检测得到的数据，从该临床检测得到的数据中提取一部分关键数据可以作为临床信息数据中的特征，在对待检测对象进行临床检测时，另外，临床信息数据可以是对待检测对象的感兴趣区域进行检测得到的数据，也可以是对非感兴趣区域进行检测得到的数据，
还可以是对感兴趣区域和非感兴趣区域进行联合检测得到的数据，例如可以是对患者的肿瘤部分进行检测，也可以是对患者的某个生化信息，比如血液里面的某些值进行检测，得到临床检测数据，当然还可以包括对患者进行体表检测，得到的体表特征，例如患者的身高、体重、性别、年龄等等。

另外，这里的组合可以是将感兴趣区域的特征和临床信息数据中的特征进行上下组合或者左右组合等等，或者还可以是将两部分特征拼接起来等等。

其次，在对组合后的特征进行特征选择时，可以是进行一级特征选择，还可以是进行多级特征选择，若进行多级特征选择，可以是进行两级特征选择、三级特征选择等等，同时，若进行多级特征选择，可以是各级特征选择采用相同的特征选择方法，还可以是各级采用不同的特征选择方法，当然还可以是各级采用部分相同的特征选择方法，本实施例对此不作具体限定。

需要说明的是，一般进行特征选择之后，得到的目标特征的数量会小于组合特征的数量。

具体的，计算机设备在得到感兴趣区域的特征和临床信息数据中的特征之后，可以对两部分特征进行组合，得到组合特征，之后可以采用特征选择方法对组合特征进行选择，从中选择到比较重要的目标特征。

S208，将目标特征输入至分类器中进行分类，确定感兴趣区域的类别。

其中，分类器可以是SVM(Support Vector Machine，支持向量机)、随机森林、逻辑回归等。

感兴趣区域的类别可以是目标类别和非目标类别，示例地，假设以肿瘤微血管侵犯为例，感兴趣区域的类别就可以是有微血管侵犯和无微血管侵犯。

具体的，计算机设备在得到目标特征后，可以将目标特征输入至分类器中进行分类，得到感兴趣区域的类别，由于目标特征数量少于组合特征数量，因此在分类时可以较为快速地得到感兴趣区域的类别，另外，由于目标特征精度高，得到的感兴趣区域的类别就会更加准确，类别精度也会更高。

上述图像检测方法中，通过获取待检测对象的至少两个医学图像，对其进行分割，得到各包括感兴趣区域的目标分割图像，将各目标分割图像输入神经网络进行特征提取，得到感兴趣区域的特征，将感兴趣区域的特征和临床信息数据中的特征进行组合，对组合后的特征进行特征选择，得到目标特征，最后将目标特征输入分类器进行分类，确定感兴趣区域的类别。

在该方法中，由于在对待检测对象的图像进行特征提取时，采用的是对多个不同期相和/或多个不同模态和/或多个不同序列的图像进行特征提取的，因此该方法可以充分提取感兴趣区域内的特征，即提取的特征较多，也比较丰富，可以便于后续检测时使用；同时，由于在对特征进行提取时采用的是神经网络进行提取，而神经网络学习能力强，精度高，这样可以使提取的特征更加准确，精度更高；除此之外，在对感兴趣区域进行分类时，采用的特征是对提取的特征和临床特征进行特征选择之后得到的目标特征，这样可以剔除特征中的冗余特征，保留重要特征，从而可以使分类过程更加快速，同时使分类的精度也更高。

在另一个实施例中，提供了另一种图像检测方法，本实施例涉及的是如何对组合后的特征进行特征选择处理，得到目标特征的具体过程。

在上述实施例的基础上，上述S206可以包括以下步骤：
对组合后的特征进行至少两级特征选择处理，得到目标特征。

在本步骤中，进行特征选择时可以采用低方差特征选择方法、LASSO算法、单变量特征选择方法、多变量特征选择方法、相关系数法、卡方检验法、互信息法等，当然还可以通过降维来进行特征选择，减少特征数目，例如主成分分析法
等。

另外，在进行特征选择时，可以进行两级特征选择，也可以进行三级特征选择等等，下面就以两级为例进行说明，可选的，本步骤可以采用如图3所示的两级特征选择方法进行特征选择，如图3所示，该两级特征选择过程包括：S302，采用预设的单变量特征选择方法对组合后的特征进行一级选择处理，得到一级特征；一级特征的数量小于组合后的特征的数量。

其中，单变量特征选择方法(univariate feature selection)，即F检验方法，指的是从大量特征中先筛选出与标签label相关度最高K个的特征，筛选的特征与label之间存在一定的相关性。

具体的，计算机设备在得到组合特征之后，一般组合特征的数量非常多，那么可以先采用单变量特征选择方法从大量组合特征中筛选出与感兴趣区域标签相关度最高的一些特征，一般筛选出来的特征数量小于筛选之前的特征数量，这些筛选出来的特征可以记为一级特征。

需要说明的是，使用单变量特征选择得到的一级特征与label之间存在一定的相关性，但可能这些一级特征本身之间就存在强相关性，即有可能选择的一级特征中有些信息是冗余的，即存在一定的冗余性，因此，需要进行二级筛选。

S304，采用预设的最小绝对收缩与选择算子LASSO算法对一级特征进行二级选择处理，得到目标特征；目标特征的数量小于一级特征的数量。

其中，LASSO算法是通过构造一个惩罚函数得到一个较为精炼的模型，使得它压缩一些系数，同时设定一些系数为零，从而可以在大量特征中筛选出少部分特征，这里利用LASSO算法筛选的特征可以是一组相互之间相关性较低的特征。

具体的，计算机设备在得到一级特征之后，可以利用LASSO算法对一级特征进行再次筛选，从中筛选出一组相互之间相关性较低的特征，记为目标特征，一般这里目标特征的数量会小于一级特征的数量。

需要说明的是，本申请实施例之所以需要进行两级不同的筛选而不是只利用一种算法进行一级筛选，直接一步到位，原因有以下几点：
1)若利用单变量特征选择选出较多特征，然后送入后续分类器进行分类，这样是能够取得较好效果的，但医生一般需要得到较少数量(<20)的与label强相关的特征，利于解释，而直接用单变量特征选择得到20几个特征的话，保留的是20几个与label相关性最高的特征，但这些特征之间可能本身存在较强相关性，从而丢掉了一些和label相关性低一点，但是也很有用的特征，导致最终分类器的分类效果不好。

2)若直接用LASSO算法得到20几个特征的话，由于初始特征太多(即组合特征很多)，LASSO算法可能会存在无法收敛的问题，从而会使得最终利用分类器得不到较好的分类效果。

综合1)和2)，本申请实施例采用的是两者结合来进行特征选择，这样最终达到的效果是最优的。

本实施例提供的图像检测方法，在进行特征选择时，可以对组合后的特征进行至少两级特征选择处理，得到目标特征，例如采用两级选择时，可以采用单变量特征选择方法对组合后的特征进行一级选择处理，得到一级特征，并采用LASSO算法对所述一级特征进行二级选择处理，得到所述目标特征。

在该方法中，由于结合单变量特征选择方法和LASSO算法对组合特征进行了两级选择，这样可以使最终得到的目标特征精度更高，准确性也更好，从而在利用该目标特征进行分类时，得到的分类结果也是更准确的，精度也是更高的。

在另一个实施例中，提供了另一种图像检测方法，本实施例涉及的是如何利用已标注的感兴趣区域的类别对上述神经网络模型进行训练的具体过程。

在上述实施例的基础上，如图4所示，上述神经网络模型的训练过程可以包括以下步骤：S402，获取样本医学图像；样本医学图像已标注感兴趣区域的类别。

其中，这里的样本医学图像的数量可以根据实际情况而定，其可以包括目标类别的样本医学图像和非目标类别的样本医学图像，该目标类别的样本医学图像和非目标类别的样本医学图像均包括感兴趣区域，类别也可以是感兴趣区域的类别，该样本医学图像的获取方法可以与上述S202的步骤中的方法相同，在此不再赘述。

另外，感兴趣区域的标注类别可以是通过不同的标识来进行标识，当然也可以通过其他表示方法，本实施例不作具体限定。

示例地，感兴趣区域可以是肿瘤，目标类别的样本医学图像和非目标类别的样本医学图像均可以包括肿瘤，而微血管侵犯的类别在这里只是一个现象，有微血管侵犯就认为是目标类别，无微血管侵犯就认为是非目标类别。

具体的，计算机设备在获取到样本医学图像之后，样本医学图像的真实类别也可以同时得到，样本医学图像的类别在这里也可以认为是感兴趣区域的类别。

S404，对样本医学图像进行预处理，得到预处理后的样本医学图像。

在本步骤中，可选的，可以利用图5所示的方法步骤对样本医学图像进行预处理，如图5所示，该预处理的过程可以包括如下步骤S502-S506：S502，对样本医学图像进行分割处理，得到各目标分割图像；各目标分割图像均包括感兴趣区域。

S504，在各目标分割图像上分别提取感兴趣区域的边界信息，得到各目标分割图像对应的边界框。

S506，根据各目标分割图像对应的边界框，分别在对应的样本医学图像上进行切块，得到各样本图像块。

S508，对各样本图像块进行尺寸归一化处理，得到预处理后的样本医学图像。

本步骤中的分割处理可以是采用人工标注感兴趣区域并进行分割的方法，还可以是采用训练好的分割模型进行分割的方法，当然也可以其他分割方法，本实施例对此不作具体限定，不过本步骤和上述S202相同，都是采用Vnet分割模型对感兴趣区域进行分割。

在将各样本图像的感兴趣区域分割出来之后，就可以得到感兴趣区域的位置信息和大小信息等边界信息，然后就可以按照感兴趣区域的边界信息，在各个目标分割图像上分别截取一个包括感兴趣区域的包围盒(bounding box)，并将各个包围盒往外稍微扩一点区域，作为感兴趣区域的边界框，这里每个目标分割图像都会对应一个边界框，由于目标分割图像和原始样本图像坐标系一致，因此可以根据该各个边界框的位置信息，分别在对应的原始样本图像上的对应位置进行切块，每个边界框一般会切块得到一个样本图像块，这样就可以得到每个目标分割图像对应的样本图像块。

之后可以对各样本图像块进行尺寸归一化，将尺寸固定到统一大小，得到统一大小的样本图像块，即预处理后的样本医学图像。

S406，基于预处理后的样本医学图像和已标注感兴趣区域的类别，对初始的神经网络模型进行训练，得到神经网络模型。

具体的，计算机设备在得到预处理后的样本医学图像之后，可以将各样本医学图像输入至初始的神经网络模型，得到各样本医学图像的感兴趣区域的预测类别，并根据上述已标注感兴趣区域的类别和感兴趣区域的预测类别，计算已标注感兴趣区域的类别和感兴趣区域的预测类别之间的损失，并将该损失作为损失函。