一种基于人工智能的眼科超声疾病诊断方法和系统[发明专利]

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202011095814.X
(22)申请日 2020.10.14
(71)申请人 武汉楚精灵医疗科技有限公司
地址 430000 湖北省武汉市东湖新技术开
发区高新大道818号武汉高科医疗器
械园B地块一期B10栋5层03号(自贸区
武汉片区)
(72)发明人 郑碧清　于天成　刘奇为　杨佳　
王涛　
(74)专利代理机构 上海精晟知识产权代理有限
公司 31253
代理人 冯子玲
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/11(2017.01)
G06K 9/62(2006.01)G06N 3/04(2006.01)
(54)发明名称一种基于人工智能的眼科超声疾病诊断方法和系统(57)摘要本发明涉及医疗技术辅助技术领域，尤其涉及一种基于人工智能的眼科超声疾病诊断方法和系统，包括客户端和服务端；所述客户端用于监听并采集眼科超声检查设备的图像，并通过网络上传到服务端，接收和实时显示当前眼球位置、病灶位置、疾病类型；所述服务端用于接收从客户端采集的眼科超声图像，用卷积神经网络进行眼球分割，对分割出的眼球识别是否有疾病，若有疾病，则进一步识别疾病类型，并且识别病变位置，把各种识别结果反馈给客户端。

本发明根据不同的任务构建多个深度学习模型(涉及图像分类、语义分割)，并采用模型级联技术，帮助临床医师进行准确的疾病种类、病变位置的诊断，
以选择最佳的治疗方案。

权利要求书2页 说明书4页 附图1页CN 112233087 A 2021.01.15
C N 112233087
A
1.一种基于人工智能的眼科超声疾病诊断系统，其特征在于：包括客户端和服务端；
所述客户端用于监听并采集眼科超声检查设备的图像，并通过网络上传到服务端，接收和实时显示当前眼球位置、病灶位置、疾病类型；
所述服务端用于接收从客户端采集的眼科超声图像，用卷积神经网络进行眼球分割，对分割出的眼球识别是否有疾病，若有疾病，则进一步识别疾病类型，并且识别病变位置，把各种识别结果反馈给客户端。

2.根据权利要求1所述的一种基于人工智能的眼科超声疾病诊断系统，其特征在于：所述服务端包括眼球分割识别模块、眼球疾病与否识别模块、眼球疾病类型识别模块、眼球病变位置识别模块。

3.根据权利要求1所述的一种基于人工智能的眼科超声疾病诊断系统，其特征在于：所述疾病类型包括玻璃体后脱离、玻璃体出血、玻璃体浑浊、玻璃体变性、视网膜脱离、视网膜水肿、脉络膜脱离、后巩膜葡萄肿、晶状体脱位、异物、硅油取出术后、硅油填充术后共12种。

4.根据权利要求1所述的一种基于人工智能的眼科超声疾病诊断系统，其特征在于：还包括通信模块，用于将客户端的眼科超声图片发送到服务端，并从服务端获取眼球位置、眼球是否有疾病、眼球疾病类型、眼球病变位置信息。

5.一种基于人工智能的眼科超声疾病诊断方法，其特征在于：包括如下步骤：
S1、利用前置图像采集模块对眼科超声影像进行固定时间间隔的图片采集，形成连续的序列化图像帧，图像帧由客户端采集并通过网络传输到服务端；
S2、利用构建好的深度学习语义分割模型识别当前图像帧中眼球的范围和位置，并裁剪出眼球图像供后续使用；
S3、利用构建好的可识别眼球是否存在疾病的分类模型，识别眼球图像是否存在疾病，若眼球无疾病，则全流程结束，对有疾病的眼球继续进行后续步骤；
S4、对存在疾病的眼球图像，进一步用构建好的疾病类型识别模型，对眼球图像进行疾病类型识别；
S5、根据疾病类型，用该疾病对应的病变位置识别模型分割识别病变位置，识别完成后将识别结果发送至客户端，并显示。

6.根据权利要求5所述的一种基于人工智能的眼科超声疾病诊断方法，其特征在于：所述病变位置识别模型的数量为多个，每个病变位置识别模型针对多个疾病类型中的一种进行识别，采用对应的疾病眼球分割图片进行训练，由医生对其中的病变范围和病灶位置进行标记。

7.根据权利要求5所述的一种基于人工智能的眼科超声疾病诊断方法，其特征在于：所述深度学习语义分割模型的训练图像为眼科超声检查图，包括无疾病和有各种疾病的检查图片，并由医生对其中的眼球范围、位置进行标记。

8.根据权利要求5所述的一种基于人工智能的眼科超声疾病诊断系统，其特征在于：所述可识别眼球是否存在疾病的分类模型的训练图像为从眼科超声检查图像中裁剪出的眼球图片，包括正常眼球和有疾病眼球2个种类。

9.根据权利要求5所述的一种基于人工智能的眼科超声疾病诊断系统，其特征在于：所述疾病类型识别模型的训练图像为从眼科超声检查图像中裁剪出的12种疾病的眼球图片。

10.根据权利要求6所述的一种基于人工智能的眼科超声疾病诊断系统，其特征在于：
所述病变位置识别模型的数量为12个，每一个病变位置识别模型分别对应识别玻璃体后脱离、玻璃体出血、玻璃体浑浊、玻璃体变性、视网膜脱离、视网膜水肿、脉络膜脱离、后巩膜葡萄肿、晶状体脱位、异物、硅油取出术后、硅油填充术后共12种疾病类型中的一种。

一种基于人工智能的眼科超声疾病诊断方法和系统
技术领域
[0001]本发明涉及医疗技术辅助技术领域，尤其涉及一种基于人工智能的眼科超声疾病诊断方法和系统。

背景技术
[0002]眼睛是人的重要器官，疾病的种类也很多，较常见的就有上十种。

眼科超声检查几乎成为屈光间质混浊后唯一可以显示眼内疾病的诊疗手段，在眼科临床辅助检查中具有无法替代的重要作用。

然而研究发现，白内障患者的数量是十分巨大的，超声作为首选的检查方法，具有巨大的筛查压力。

同时超声医生检查技术水平的差异，医生数量的缺乏等，都容易造成医生的视觉疲劳，从而造成急性病症的延迟诊断和低准确率，特别是在资源缺乏的地方。

[0003]随着人工智能技术的快速发展，深度学习、卷积神经网络等技术被广泛应用于医学领域，用于辅助诊断、病灶目标识别等。

现有的深度学习、卷积神经网络应用在眼部疾病诊断方面效果不理想，准确度不高，且仅能识别眼球是否正常。

对于病变的眼球无法识别其病变类型以及病变的位置，给医生的参考价值有限。

为了帮助临床医师更准确的诊断眼科疾病类型及病变位置，提出一种基于人工智能的眼科超声疾病诊断方法和系统。

发明内容
[0004]基于背景技术存在的技术问题，本发明提出了一种基于人工智能的眼科超声疾病诊断方法和系统，具有对超声图像进行眼球、病变位置、病变类型进行识别的特点，解决了现有的深度学习、卷积神经网络应用在眼部疾病诊断方面效果不理想，准确度不高，且仅能识别眼球是否正常，给医生的参考价值有限的问题。

[0005]本发明提供如下技术方案：
[0006]一种基于人工智能的眼科超声疾病诊断系统，包括客户端和服务端；
[0007]所述客户端用于监听并采集眼科超声检查设备的图像，并通过网络上传到服务端，接收和实时显示当前眼球位置、病灶位置、疾病类型；
[0008]所述服务端用于接收从客户端采集的眼科超声图像，用卷积神经网络进行眼球分割，对分割出的眼球识别是否有疾病，若有疾病，则进一步识别疾病类型，并且识别病变位置，把各种识别结果反馈给客户端。

[0009]优选的，所述服务端包括眼球分割识别模块、眼球疾病与否识别模块、眼球疾病类型识别模块、眼球病变位置识别模块。

[0010]优选的，所述疾病类型包括玻璃体后脱离、玻璃体出血、玻璃体浑浊、玻璃体变性、视网膜脱离、视网膜水肿、脉络膜脱离、后巩膜葡萄肿、晶状体脱位、异物、硅油取出术后、硅油填充术后共12种。

[0011]优选的，还包括通信模块，用于将客户端的眼科超声图片发送到服务端，并从服务端获取眼球位置、眼球是否有疾病、眼球疾病类型、眼球病变位置信息。

[0012]一种基于人工智能的眼科超声疾病诊断方法，包括如下步骤：
[0013]S1、利用前置图像采集模块对眼科超声影像进行固定时间间隔的图片采集，形成连续的序列化图像帧，图像帧由客户端采集并通过网络传输到服务端；
[0014]S2、利用构建好的深度学习语义分割模型识别当前图像帧中眼球的范围和位置，并裁剪出眼球图像供后续使用；
[0015]S3、利用构建好的可识别眼球是否存在疾病的分类模型，识别眼球图像是否存在疾病，若眼球无疾病，则全流程结束，对有疾病的眼球继续进行后续步骤；
[0016]S4、对存在疾病的眼球图像，进一步用构建好的疾病类型识别模型，对眼球图像进行疾病类型识别；
[0017]S5、根据疾病类型，用该疾病对应的病变位置识别模型分割识别病变位置，识别完成后将识别结果发送至客户端，并显示。

[0018]优选的，所述病变位置识别模型的数量为多个，每个病变位置识别模型针对多个疾病类型中的一种进行识别，采用对应的疾病眼球分割图片进行训练，由医生对其中的病变范围和病灶位置进行标记。

[0019]优选的，所述深度学习语义分割模型的训练图像为眼科超声检查图，包括无疾病和有各种疾病的检查图片，并由医生对其中的眼球范围、位置进行标记。

[0020]优选的，所述可识别眼球是否存在疾病的分类模型的训练图像为从眼科超声检查图像中裁剪出的眼球图片，包括正常眼球和有疾病眼球2个种类。

[0021]优选的，所述疾病类型识别模型的训练图像为从眼科超声检查图像中裁剪出的12种疾病的眼球图片。

[0022]优选的，所述病变位置识别模型的数量为12个，每一个病变位置识别模型分别对应识别玻璃体后脱离、玻璃体出血、玻璃体浑浊、玻璃体变性、视网膜脱离、视网膜水肿、脉络膜脱离、后巩膜葡萄肿、晶状体脱位、异物、硅油取出术后、硅油填充术后共12种疾病类型中的一种。

[0023]本发明提供了一种基于人工智能的眼科超声疾病诊断方法和系统，根据不同的任务构建多个深度学习模型(涉及图像分类、语义分割)，并采用模型级联技术，在临床医师进行眼科超声疾病检查过程中，提供智能辅助诊断功能。

针对眼科疾病出现在眼球的情况，首先从超声图像中识别出眼球，并裁剪出眼球供后续识别过程使用，以使后续过程更聚焦，识别判断更准确。

根据眼科疾病类型种类多的特点，本发明先进行有/无疾病识别，进行初步判断，去除无疾病的，对有疾病的再做进一步的疾病类型细分识别，可以提高识别准确度。

同样的，在进行病变位置分割识别时，对每一种疾病单独训练分割识别模型，以提高准确度。

附图说明
[0024]图1为本发明方法流程图。

具体实施方式
[0025]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

基于
本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

[0026]请参阅图1，本发明提供一种技术方案：
[0027]一种基于人工智能的眼科超声疾病辅助诊断系统，包括：
[0028]客户端，1、监听并采集眼科超声检查设备的图像，并通过网络上传到服务端。

2、接收和实时显示当前眼球位置、病灶位置、疾病类型。

[0029]服务端，1、接收从客户端采集的眼科超声图像，用卷积神经网络进行眼球分割。

2、对分割出的眼球识别是否有疾病。

3、若有疾病，则进一步识别疾病类型，并且识别病变位置。

4、把各种识别结果反馈给客户端。

[0030]服务端包括眼球分割识别模块、眼球疾病与否识别模块、眼球疾病类型识别模块、眼球病变位置识别模块。

[0031]识别的眼球疾病类型包括玻璃体后脱离、玻璃体出血、玻璃体浑浊、玻璃体变性、视网膜脱离、视网膜水肿、脉络膜脱离、后巩膜葡萄肿、晶状体脱位、异物、硅油取出术后、硅油填充术后共12种。

[0032]还包括通信模块，用于将客户端的眼科超声图片发送到服务端，并从服务端获取眼球位置、眼球是否有疾病、眼球疾病类型、眼球病变位置的信息。

[0033]本发明涉及的深度学习模型均在全球应用最广的深度学习开源框架Tensorflow2.2.X、Keras2.3.X下训练，它相较于其它框架的优点是：训练效率高、过程可视化、参数调优直观简便。

[0034]一种基于人工智能的眼科超声疾病诊断方法，包括如下步骤：
[0035]S1，基于强大的通用图像处理库OpenCV构建的前置图像采集模块，对眼科超声影像进行固定时间间隔的图片采集，形成连续的序列化图像帧，图像帧由客户端采集并通过网络传输到服务端。

采集时间间隔的长短取决于S2-S5中涉及的深度学习模型完成一次完整诊断流程所消耗的时间，模型的预测速度越快，采集时间间隔就越短，诊断性能的连续性和实时性就越好。

[0036]S2，利用构建好的深度学习语义分割模型(DCNN1)识别当前图像帧中眼球的范围和位置，并裁剪出眼球图像供S3、S4、S5使用。

语义分割(Semantic Segmentation)是计算机视觉领域非常重要且基础的研究方向。

目前主流的算法有SegNet、RefineNet、Mask R-CNN、U-Net++。

其中U-Net++是目前在医学图像处理领域，应用很广泛的网络结构，在大量的AI技术论文和医学AI研究领域中被大量采用，因此本发明实施例优选U-Net++。

该算法是一种全卷积神经网络，酷似U型而得名，输入和输出都是图像，没有全连接层，能够同时结合底层和高层信息，底层信息有助于提高精度，高层信息用来提取复杂特征。

其性能特点：具有快速训练收敛的特性、具有很强的网络泛化能力。

[0037]用于DCNN1模型的训练图像为眼科超声检查图，包括无疾病和有各种疾病的检查图片，并由有丰富经验的医生对其中的眼球范围、位置进行标记，标记工具采用网页方式方便易用的VIA-2.0.0。

[0038]S3，利用构建好的可识别眼球是否存在疾病的分类模型(DCNN2)，对S2识别并裁剪出的眼球图像，识别是否存在疾病。

若眼球无疾病，则全流程结束，对有疾病的眼球继续进行后续步骤。

图像分类的卷积神经网络由以下结构组成：
[0039]输入层：通常为彩色图片或灰度图片的像素矩阵，三维矩阵中长宽代表图像大小，深度代表色彩通道。

[0040]卷积层：卷积层每一节点输入只是上层网络一小块，采用3x3或5x5，用于获取抽象程度更高的特征。

[0041]池化层：不会改变三维矩阵的深度，但会缩小矩阵大小。

将分辨率高的图片转化为分辨率较低，可以进一步缩小全连接层中节点个数，达到减小参数的目的。

[0042]全连接层：由1到2个全连接层得出最后结果。

经过几轮卷积和池化后，图像中的信息被抽象成信息含量更高的特征。

全连接层完成分类任务。

[0043]Softmax层：可得到当前样例属于不同类别的概率分布。

[0044]用于DCNN2模型的训练图像为从眼科超声检查图像中裁剪出的眼球图片，包括正常眼球、有疾病眼球2个种类。

[0045]S4，对存在疾病的眼球图像，进一步用构建好的疾病类型识别模型(DCNN3)，对眼球图像进行疾病类型识别，可以识别得到前述12种疾病中的一种。

用于DCNN3模型的训练图像为从眼科超声检查图像中裁剪出的12种疾病的眼球图片。

[0046]S5，根据S4识别出的疾病类型，分别用该疾病对应的病变位置识别模型(DCNN4-DCNN15)分割识别病变位置。

不同的疾病类型其病变位置的超声图像有不同的特点，因此为了让系统能更准确地识别出病变位置，本发明提出不同的疾病用对应疾病的图片进行标注，训练分割模型，识别时根据疾病类型用相应的分割模型识别病变位置，实践表明该方法有效地提高了识别准确度。

这12个病灶位置分割识别模型，采用对应的疾病眼球分割图片进行训练，和DCNN1类似，也要让经验丰富的医生对其中的病变范围、位置用VIA-2.0.0进行标记。

本实施例在这里也选取U-Net++作为深度学习分割模型。

客户端接收识别结果，并显示，作为临床医师进行眼科疾病诊断、治疗方案确定的重要参考。

[0047]本发明中，根据不同的任务构建多个深度学习模型(涉及图像分类、语义分割)，并采用模型级联技术，在临床医师进行眼科超声疾病检查过程中，提供智能辅助诊断功能。

针对眼科疾病出现在眼球的情况，首先从超声图像中识别出眼球，并裁剪出眼球供后续识别过程使用，以使后续过程更聚焦，识别判断更准确。

根据眼科疾病类型种类多的特点，本发明先进行有/无疾病识别，进行初步判断，去除无疾病的，对有疾病的再做进一步的疾病类型细分识别，可以提高识别准确度。

同样的，在进行病变位置分割识别时，对每一种疾病单独训练分割识别模型，以提高准确度。

[0048]以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

图1。