【CN109934415A】一种基于跨模态深度学习的围术期危重事件预测方法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910223568.2
(22)申请日 2019.03.22
(71)申请人 中国科学院重庆绿色智能技术研究
院
地址 400714 重庆市北碚区方正大道266号
申请人 中国人民解放军陆军军医大学第一
附属医院
(72)发明人 陈芋文　鲁开智　张矩　钟坤华　
祁宝莲　孙启龙　李亚晴　
(74)专利代理机构 北京同恒源知识产权代理有
限公司 11275
代理人 赵荣之
(51)Int.Cl.
G06Q 10/04(2012.01)
G16H 10/60(2018.01)
G16H 20/40(2018.01)G16H 40/67(2018.01)
(54)发明名称
一种基于跨模态深度学习的围术期危重事
件预测方法
(57)摘要
本发明涉及一种基于跨模态深度学习的围
术期危重事件预测方法，属于人工智能与医疗应
用领域。

该方法包括步骤1.构建多模态医疗监护
数据集；2.患者监护数据与个性化数据双模态融
合特征学习；3.跨模态协同学习特征提取；4.构
建多模态危重事件(死亡风险)预测模型；5.模型
反馈验证。

本发明作为一种危重症不良事件预测
预警工具，是实现术后主要重症事件的实时追
踪、
早期诊断和预警的一种有效方法。

权利要求书2页 说明书4页 附图3页CN 109934415 A 2019.06.25
C N 109934415
A
权　利　要　求　书1/2页CN 109934415 A
1.一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：该方法包括以下步骤：
S1：构建多模态医疗监护数据集；
S2：患者监护数据与个性化数据双模态融合特征学习；
S3：跨模态协同学习特征提取；
S4：构建多模态危重事件预测模型；
S5：模型反馈验证。

2.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S1中，通过开展多模态数据时序同步技术、数据预处理技术及数据脱敏技术研究，构建多模态医疗监护数据集，为研究奠定数据基础。

3.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S1中，患者医疗数据包括类型：
(1)检查手段产生的测量数值；
(2)仪器记录的信号；
(3)文本形式呈现的报告结果；
(4)叙述性的数据；
(5)手术操作的视频数；
(6)人口统计数据。

4.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S1中，不同类型的医学数据来自不同的渠道，拥有完整且独立的语义；并能够相互印证相互补充，都从特定的角度表达医学信息的内容和特点，构成多样且互补的数据集合；
构建多模态患者医疗数据集的具体方法包括：高分辨率多变量的监护数据的时序同步、患者个性化数据的归一化和手术视频数据的预处理。

5.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：在步骤S2中，通过融合生命体征数据和电子病历EMR中的患者个性化数据进行双模态特征提取，进行危重不良事件预测，为跨模态协同学习提供教师网络；
构建的医疗多模态数据包括3类数据：手术视频数据、患者监护数据和患者相关的个性化数据；
监护数据和个性化数据包含患者的主要个体信息；
双模态融合学习具体方法为：通过时序卷积网络学习时序监护特征数据，得到时序监护体征特征，然后结合患者个性化数据信息进行全连接层网络学习。

6.根据权利要求1所述的一种基于跨模态深度学习的围术期危重事件预测方法，其特征在于：步骤S3中，研究跨模态协同学习将手术视频操作模态数据、患者监护数据和个性化数据映射到同一个隐性语义空间，根据多模态数据的自然同时性提取监督信息，然后用无监督的方式进行跨模态特征学习；
手术视频包含手术信息数据，体现医生的操作流程，高水平的外科操作能给患者带来更好的预后；
使用手术视频和监护数据中有价值的信息源，即手术视频与患者的监护数据流之间的
2。