【CN109758230A】一种基于增强现实技术的神经外科手术导航方法和系统【专利】
混合现实导航技术将成为神经外科手术导航的新方向
混合现实导航技术将成为神经外科手术导航的新方向随着科技的不断发展，混合现实技术已经广泛应用于医疗领域。
尤其是在神经外科手术中，这一技术的运用带来了巨大的变革。
传统的手术导航方式通常基于CT或MRI扫描结果，这样的导航方式很难完整呈现手术区域的三维结构及感知交互。
混合现实技术以增强现实和虚拟现实的形式，为神经外科手术提供了全新的导航方式。
本文将详细介绍混合现实导航技术在神经外科手术中的应用，涉及技术优势、实际应用、发展前景等方面。
一、混合现实导航技术的基本原理混合现实技术能够将真实世界和虚拟世界混合在一起，为用户提供更加丰富、真实的交互体验。
在神经外科手术中，混合现实导航技术主要基于以下原理：1.精准位置追踪：混合现实导航技术通常需要用到高精度的位置和姿态追踪技术，能够实时采集手术设备和手术区域的位置信息，提供准确的手术区域导航。
2.三维视觉呈现：混合现实技术能够将手术区域的三维结构呈现在设备屏幕上，让用户能够直观地感知手术区域的空间结构和组织分布。
同时，混合现实技术还能将手术区域的内部结构进行分层呈现，便于医生进行手术规划和操作。
3.多模态用户交互：混合现实技术能够以声音、手势、触屏等多种交互模式，灵活地与用户进行交互，提供良好的用户体验和手术支持。
二、混合现实导航技术在神经外科手术中的应用1.神经诱导定位和脑部结构导航使用混合现实技术，可以将神经结构的位置信息快速地呈现在手术设备的屏幕上。
医生可以通过手势、拖拽等方式，来对图像进行交互式操作，更加精确地定位手术区域，并分析周围组织的结构。
混合现实技术能够智能地提示手术区域周围的功能区域，帮助医生避免手术风险。
2.实现手术平面规划混合现实技术还能够将手术区域的内部结构进行分层呈现。
这些分层结构可以用于手术平面规划、手术向导和手术区域控制，提高手术效率和准确性，减少手术风险。
3.增强手术操作体验混合现实技术还能够实现手术操作与多种交互模式的结合，这样医生可以通过手势、语音以及触屏等方式，来进行手术操作、查看手术结果等。
【课题申报】神经外科手术中的机器人导航系统
神经外科手术中的机器人导航系统课题申报书一、课题背景与意义近年来，随着人口老龄化程度的不断加深，神经外科手术的需求量也在逐渐增加。
然而，传统的神经外科手术存在着许多问题，包括手术准确性不高、手术风险较大等。
为了提高神经外科手术的效果和减少手术风险，研发出一种高精度、高安全性的机器人导航系统势在必行。
二、课题内容和目标本课题旨在研究机器人导航系统在神经外科手术中的应用，通过系统性的实验研究和临床应用探索，建立一套操作简便、准确度高、风险低的神经外科手术机器人导航系统。
具体研究内容包括但不限于：机器人导航系统的构建、神经外科手术的准确性与安全性评价、系统在模拟和实际手术中的应用等。
本课题的目标是通过研发机器人导航系统，提高神经外科手术的效果和准确性，减少手术的风险和并发症，并最终为神经外科手术提供一套可靠的辅助系统，提升现有医疗水平。
三、研究方法与技术路线本课题的研究方法主要包括理论研究、系统设计、仿真实验和临床试验等。
具体技术路线如下：1. 收集相关文献和数据，深入了解机器人导航系统的发展历程、研究进展等；2. 设计机器人导航系统的硬件组成和软件架构，制定操作规范；3. 利用模拟器进行仿真实验，对机器人导航系统进行功能测试和性能评估；4. 在临床试验中应用机器人导航系统，观察手术效果和手术风险变化；5. 分析数据结果，总结经验教训，改进系统性能并进一步优化。
四、预期成果及应用价值预期成果：1. 完成机器人导航系统的设计、开发和调试，实现系统的正常运行；2. 完成仿真实验和临床试验，评价机器人导航系统的准确性和安全性；3. 分析数据结果，总结经验教训，提出改进方案和优化建议。
应用价值：1. 提高神经外科手术的准确性：机器人导航系统能够通过实时定位、路径规划等功能，提高手术的准确性，减少手术中的错误操作。
2. 降低手术风险和并发症发生率：机器人导航系统能够准确地引导手术器械进行操作，减少损伤的风险，降低手术的并发症发生率。
基于增强现实的医学手术导航系统研究
基于增强现实的医学手术导航系统研究作者：王佳欣赵孟德来源：《商情》2013年第45期【摘要】增强现实是一种图形学领域的新技术，通过电脑技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。
将病人术前或术中影像数据和手术床上病人解剖结构准确对应，并在手术中跟踪手术器械并将手术器械的位置在病人影像上以虚拟探针的形式对人体结构进行3D重建，实时更新显示，使医生对手术器械相对病人解剖结构的位置一目了然，使外科手术更快速、更精确、更安全。
【关键字】增强现实，定标方法，虚实配准1.引言医学成像的发展史已经过去了半个世纪，从显微镜的发明到现在的CT技术，使得医学诊断和医疗技术取得了很大的进展，X射线计算机断层成像（CT）、核磁共振（MRI）等。
传统的医学导航方法中，医生通过CT或MRI图像根据诊断经验在自己脑海中想象出病灶的三维位置，因此在术前无法对病灶位置进行准确的定位；在手术中，对于如何避开重要的功能区、神经及血管，找到一条通往病灶的捷径，并深入病灶也是十分困难的。
在这种情况下，提供一种新的医学图像方法，使得医生在术前及术中对病人各部位解剖、血管及功能有一个更直观、更准确的认知。
近来出现的计算机辅助外科手术系统（CAS），基于图像的外科手术导航（IGS）等就是在信息科学高速发展并应用于医学的成果。
计算机辅助外科手术，指计算机直接参与的各种外科手术方法，它包括术前诊断、远程手术、虚拟现实等。
基于图像的外科手术导航相较于计算机辅助外科手术系统更确切的指基于医学图像的导航技术，指利用医学图像信息为手术机械导航，目的在于最大可能的为医生提供病灶部位信息。
利用这项技术，医生可以在在术前获得手术部位的三维信息，更明确的制定手术计划。
基于图像的手术导航技术是融合了计算机、影像、医学的技术。
它是基于3D重建的，使得整体图像数据与病人匹配而不是单个点匹配。
2.增强现实技术在医学手术导航上的应用基于图像的手术导航技术的应用给外科手术带来了极大的便利，但是医生无法在手术中一边看人体组织的3D显示，一边将3D显示与病人真实的解剖部位进行对应。
用于导航手术中的增强现实显示的系统和方法[发明专利]
![用于导航手术中的增强现实显示的系统和方法[发明专利]](https://img.taocdn.com/s3/m/a3d3ca5b7f21af45b307e87101f69e314332fa99.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201880031884.3(22)申请日 2018.03.16(30)优先权数据62/472,705 2017.03.17 US(85)PCT国际申请进入国家阶段日2019.11.14(86)PCT国际申请的申请数据PCT/CA2018/050323 2018.03.16(87)PCT国际申请的公布数据WO2018/165767 EN 2018.09.20(71)申请人 智能联合外科公司地址 加拿大安大略省(72)发明人 理查德·T ·凡森 安德鲁·N ·哈迪奥 让·施华科夫 乔纳森·史密斯 卢克·A ·W ·贝克 (74)专利代理机构 北京英赛嘉华知识产权代理有限责任公司 11204代理人 王达佐 洪欣(51)Int.Cl.A61B 34/20(2006.01)A61B 34/00(2006.01)A61B 34/10(2006.01)A61B 5/103(2006.01) (54)发明名称用于导航手术中的增强现实显示的系统和方法(57)摘要本发明提供一种用于为导航手术提供增强现实的系统和方法。
在跟踪的解剖结构的图像上渲染并显示一个增强现实叠加层(例如由计算机生成的图像)。
光学传感器单元提供与包括真实三维空间中的解剖结构的物体相关联的目标的跟踪图像以及其可见图像。
对解剖结构进行配准，在计算三维空间中从真实三维空间中的姿势产生解剖结构的相应姿势。
将计算三维空间中的叠加层姿势与解剖结构姿势对准，使得叠加层以所需姿势渲染在解剖结构的显示屏上。
叠加层可从(三维)叠加层模型生成，例如物体、一般骨骼或患者特定骨骼、或其它解剖结构或物体的三维模型。
叠加层可用于配准解剖结构。
权利要求书5页 说明书16页 附图13页CN 110621253 A 2019.12.27C N 110621253A1.一种通过计算机实现的用于提供与患者相关的增强现实的方法，包括：由至少一个处理器接收包含真实三维空间中的患者以及与相应物体和/或患者的解剖结构相关联的一个或多个目标的所述真实三维空间的图像，所述图像是从单个光学传感器单元接收的，所述光学传感器单元具有包含所述患者和一个或多个目标的所述真实三维空间的视野；从所述一个或多个目标中的各个目标的所述图像确定跟踪信息；在由所述至少一个处理器维护的计算三维空间中使用与所述解剖结构相关联的相应目标的跟踪信息配准所述患者的解剖结构，从所述解剖结构在所述真实三维空间中的位置和朝向产生所述解剖结构在所述计算三维空间中的对应位置和朝向；相对于所述解剖结构的所述对应位置和朝向，将增强现实叠加层的叠加层模型对准到所述计算三维空间中的所需位置和朝向；和渲染并提供所述增强现实叠加层，以在显示屏上按所述所需位置和朝向进行显示。
基于增强现实的医疗手术导航系统研究
基于增强现实的医疗手术导航系统研究第一章：引言1.1 研究背景随着医疗技术的不断发展，医疗手术在诊断和治疗中起着至关重要的作用。
然而，手术操作对医生的技术要求很高，而且在复杂的手术中，医生可能面临很多挑战。
因此，研究和开发基于增强现实的医疗手术导航系统，可以提供实时导航和辅助，对医生的手术操作起到积极的帮助。
1.2 研究目的本研究旨在开发一种基于增强现实的医疗手术导航系统，通过实时的图像处理和投影技术，为医生提供精确的手术导航和辅助，以提高手术的安全性和成功率。
第二章：增强现实技术概述2.1 增强现实技术定义增强现实技术是一种将虚拟信息与真实世界进行融合的技术。
通过在现实场景中叠加虚拟图像，增强现实技术可以提供更加丰富的信息和交互体验。
2.2 增强现实技术在医疗领域的应用增强现实技术在医疗领域有着广泛的应用。
例如，在手术导航中，增强现实技术可以实时显示手术器械的位置和路径，帮助医生更准确地进行手术操作。
第三章：基于增强现实的医疗手术导航系统设计与实现3.1 系统架构设计本系统采用客户端-服务器架构，客户端通过摄像头采集手术场景图像，服务器端进行图像处理和分析，并将增强现实图像传输回客户端显示。
3.2 系统功能设计系统主要功能包括手术场景识别、手术器械定位与追踪、手术路径规划和实时导航等。
通过将这些功能结合起来，系统可以为医生提供准确的手术导航和辅助。
3.3 系统实现技术系统采用深度学习算法进行手术场景识别，使用视觉标记技术进行手术器械的定位和追踪，利用增强现实技术进行手术路径规划和实时导航。
第四章：实验与结果分析4.1 实验设计本实验通过收集手术场景图像和手术器械数据，构建实验数据集，然后对系统进行测试和评估。
4.2 实验结果分析通过对实验数据的测试和分析，可以评估系统的准确性和实用性。
实验结果表明，基于增强现实的医疗手术导航系统能够提供准确的手术导航和辅助，对医生的手术操作起到积极的帮助。
第五章：系统优化与改进5.1 系统优化策略针对系统存在的问题和不足，本章提出了一些优化策略，包括改进算法的准确性和速度，优化系统的交互体验等。
基于增强现实的计算机辅助微创手术导航系统
基 于 增 强 现 实 的计 算 机 辅 助微 创 手 术 导 航 系 统
黄 伟 萍 ，韦孟 宇 ，杜 民 ，高钦 泉 ，
（１．福 州 大 学 物 理 与 信 息 工 程 学 院 ，福 建 福 州 ３５０１１６；２．福 建 省 医 疗 器 械 与 医药 技 术 重 点 实 验 室 ，福 建 福 州 ３５０１１６ ３．澳 门 大 学 模 拟 与 混 合 信 号 超 大 规 模 集 成 电 路 国家 重 点 实 验 室 ，澳 门 ９９９０７８）
引用格 式 ：黄伟 萍 ，韦孟 宇 ，杜 民 ，等．基 于增 强 现 实 的 计算 机 辅 助 微 创 手术 导 航 系 统 ［Ｊ］．信 息 技 术 与 网 络 安 全 ，２０１８，３７（１ｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｉｃａｌ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ
３．Ｓｔａｔｅ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ａｎａｌｏｇ ａｎｄ Ｍｉｘｅｄ—ｓｉｇｎａｌ ＶＬＳＬ，Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｍａｃａｕ，Ｍａｃａｏ ９９９０７８，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｃｏｍ ｐｕｔｅｒ—ａｉｄｅｄ ｎａｖｉｇａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｐｌａｙｓ ａｎ ｉｎｃｒｅａｓｉｎｇｌｙ ｉｍｐｏｒｔａｎｔ ｒｏｌｅ ｉｎ ｍ ｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｅｒ ｙ ． Ｄｕｅ ｔｏ ｔｈｅ ｃｏｍｐｌｅｘ ａｎａ— ｔｏｍｉｃａｌ ｐｏｓｉｔｉｏｎ ｏｆ ｌｅｓｉｏｎｓ ａｎｄ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｔｈｅ ｅｎｄｏｓｃｏｐｉｃ ｆｉｅｌｄ ｏｆ ｖｉｓｉｏｎ， ａ ｃｏｍｐｕｔｅｒ·ａｉｄｅｄ ｍｉｎｉｍ ａｌｌｙ ｉｎｖａｓｉｖｅ ｓｕｒｇｉｃａｌ ｎａｖｉｇａｔｉｏｎ ｓｙｓｔｅｍ ｂａｓｅｄ ｏｎ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ ｗａｓ ｄｅｓｉｇｎｅｄ． Ｉｎ ｔｈｅ ｓｙｓｔｅｍ ｓ，ａ ３ Ｄ ｍｏｄｅｌ ｒｅｃｏｎｓｔｒｕｃｔｅｄ ｆｒｏｍ ｐｒｅｏｐｅｒａｔｉｖｅ ｉｍ ａｇｅｓ ｉｓ ｆｉｒｓｔ ｒｅｇｉｓｔｅｒｅｄ ｔｏ ｔｈｅ ｒｅａｌ ｏｒｇａｎ ｏｆ ｔｈｅ ｐａｔｉｅｎｔ ｐｒｅｓｅｎｔｅｄ ｉｎ ｔｈｅ ｉｎｔｒａ—ｏｐｅｒａｔｉｖｅ ｖｉｅｗ． Ｔｈｅ ｐｏｓｅ ｏｆ ｔｈｅ ｅｎｄｏｓｃｏｐｅ ｉｓ ｔｈｅｎ ｏｂｔａｉｎｅｄ ｂａｓｅｄ ｏｎ ａ ｖｉｓｕａｌ ｔｒａｃｋｉｎｇ ｔｅｃｈｎｉｑｕｅ ｗｉｔｈ ｔｈｅ ｓｔｅｒｅｏｓｃｏｐｉｃ ｅｎｄｏｓｃｏｐｅ ｉｎ ｒｅａｌ ｔｉｍｅ． Ａｃｃｏｒｄｉｎｇ ｔｏ ｔｈｅ ｍｕｌｔｉ—ｄｅｇｒｅｅｓ—ｏｆ—ｆｒｅｅｄｏｍ ｔｒａｎｓｆｏｒｍａｔｉｏｎ ｍ ａｔｒｉｘ， ｔｈｅ ３ Ｄ ｍｏｄｅｌ ｃａｎ ｏｖｅｒｌａｐ ｗｉｔｈ ｔｈｅ ｒｅａｌ ｔａｒｇｅｔ ｉｎ ｒｅａｌ ｔｉｍｅ． Ｔｈｉｓ ｃａｎ ｈｅｌｐ ｔｏ ｌｏｃａｔｅ ｔｈｅ ｅｎｄｏｓｃｏｐｅ ｂａｓｅｄ ｏｎ ｔｈｅ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ “ｍ ａｐ” ｆｏｒ ｏｐｅｒａｔｉｏｎ ｎａｖｉｇａｔｉｏｎ，ｗｈｉｃｈ ｅｎａｂｌｅ ｔｏ ｉｍ — ｐｒｏｖｅ ｔｈｅ ａｃｃｕｒａｃｙ ｏｆ ｔｈｅ ｓｕｒｇｅｒｙ ． Ｓｉｍｕｌａｔｅｄ ｅｘｐｅｒｉｍ ｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈｅ ｓｙｓｔｅｍ ｃａｎ ａｃｈｉｅｖｅ ａ ｄｅｃｅｎｔ ｒｅｓｕｌｔ ｏｆ ｖｉｓｕａｌ ｎａｖｉｇａｔｉｏｎ．
基于虚拟现实的计算机辅助立体定向神经外科手术系统
基于虚拟现实的计算机辅助立体定向神经外科手术系统
本文提出了一种基于虚拟现实技术的计算机辅助立体定向神经外科手术系统。
该系统可以在手术前通过计算机模拟患者的头部结构，提供一个精确的三维结构模型。
在手术过程中，外科医生可以通过虚拟现实设备查看患者的头部结构，并根据预先设定的手术计划进行操作。
该系统采用了多种先进的技术，包括虚拟现实、计算机辅助手术、立体定向和神经导航等。
它可以大大提高手术的精度和安全性，减少手术时间，降低手术风险和患者疼痛，同时也可以提高外科医生的操作效率。
本文还介绍了该系统的实现过程和实验结果。
实验结果表明，该系统可以有效地辅助外科医生进行神经外科手术，提高手术成功率和患者满意度。
未来，该系统还可以结合人工智能等技术进一步优化和智能化。
总之，基于虚拟现实技术的计算机辅助立体定向神经外科手术系统是一种创新的、高效的、安全的神经外科手术辅助系统，具有广泛的应用前景。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910140538.5
(22)申请日 2019.02.26
(71)申请人 中国电子科技集团公司信息科学研
究院
地址 100086 北京市海淀区四道口北街36
号院4号楼
(72)发明人 孟繁乐 查文中 葛建军 王蓉
孟祥瑞
(74)专利代理机构 北京辰权知识产权代理有限
公司 11619
代理人 刘广达
(51)Int.Cl.
A61B 34/20(2016.01)
A61B 34/10(2016.01)
A61B 90/00(2016.01)
(54)发明名称
一种基于增强现实技术的神经外科手术导
航方法和系统
(57)摘要
本发明提供了一种基于增强现实技术的神
经外科手术导航方法和系统，该方法包括：S1、术
前准备：导入病人的术前医学影像，将多种模态
的影像进行融合；制定手术计划；S2、自动配准：
确定世界坐标系；求解影像坐标系与世界坐标系
之间的空间变换关系；S3、跟踪引导：将影像空间
中的手术计划映射到世界坐标系，根据增强现实
眼镜相对于世界坐标系的实时位姿，将手术计划
叠加显示在增强现实眼镜所观察到的病人头部
中，并且在增强现实眼镜移动时，手术计划保持
与病人头部的相对位置不变。
该系统包括：增强
现实眼镜和工作站。
本发明无需空间定位装置及
跟踪器，免于该装置占据手术室内空间；通过增
强现实眼镜直接跟踪手术器械，避免了空间定位
装置与跟踪器之间的光学遮挡问题，且医生无需
在显示器与病人之间切换视线；自动配准使得该
系统操作简便。
权利要求书2页 说明书5页 附图1页CN 109758230 A 2019.05.17
C N 109758230
A
权 利 要 求 书1/2页CN 109758230 A
1.一种基于增强现实技术的神经外科手术导航方法，其特征在于，包括以下步骤：
S1、术前准备：导入病人的术前医学影像，将多种模态的影像进行融合；制定手术计划；
S2、自动配准：确定世界坐标系；求解影像坐标系与世界坐标系之间的空间变换关系；
S3、跟踪引导：经自动配准后，将影像空间中的手术计划映射到世界坐标系，根据增强现实眼镜相对于世界坐标系的实时位姿，将手术计划叠加显示在增强现实眼镜所观察到的病人头部图像中，并且在增强现实眼镜移动时，手术计划保持与病人头部的相对位置不变。
2.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航方法，其特征在于，
所述确定世界坐标系包括：当病人头部大致在增强现实眼镜的视野中心时，将任意位姿的增强现实眼镜坐标系作为世界坐标系，增强现实眼镜在空间中的运动均以该世界坐标系为参考；所述增强现实眼镜的摄像头获取的图像均可解算到世界坐标系中。
3.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航方法，其特征在于，
所述自动配准中求解影像坐标系与世界坐标系之间的空间变换关系包括：
增强现实摄像头获取具有重叠区域且覆盖头部的一系列图像，同时读取拍摄这些图像时增强现实眼镜的摄像头拍摄位姿；
根据所述一系列图像和对应的摄像头拍摄位姿，根据多视角立体视觉重建算法，重建病人场景点云；
在所述病人场景点云中提取病人头部表面点云，通过点云配准算法与所述术前医学影像中三维重建得到的病人头部表面进行配准。
4.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航方法，其特征在于，
所述一系列图像包括20张图像。
5.根据权利要求1所述的一种基于增强现实技术的神经外科手术导航方法，其特征在于，
所述步骤S3进一步包括：在所述增强现实眼镜中，将病人头部表面点云以一定的透明度叠加在真实病人头部图像。
6.根据权利要求5所述的一种基于增强现实技术的神经外科手术导航方法，其特征在于，进一步包括：
当病人头部发生移动时，更新所述配准。
7.一种基于增强现实技术的神经外科手术导航系统，其特征在于，
该系统包括增强现实眼镜和工作站；
所述工作站包括：医学影像处理模块、手术规划模块、视觉处理模块、配准模块、跟踪引导模块、通信模块以及可视化模块；其中，
医学影像处理模块用于导入术前医学影像、不同模态影像之间融合以及影像的三维重建；
手术规划模块用于记录和生成手术计划；
通信模块用于工作站和增强现实眼镜的通信，将增强现实眼镜获取的场景图像和位姿数据传输给工作站，并将工作站处理后的可视化数据传输给增强现实眼镜；
2。