基于分布式虚拟现实技术的耳显微手术仿真系统

基于分布式虚拟现实技术的耳显微手术仿真系统文章编号：1671-7104(2010)03-0183-03【作者】【摘要】【关键词】【中图分类号】【文献标识码】【Writers 】【 Abstract 】【Key words 】谢文1，张强1，孔维佳1，宋恩民21 华中科技大学同济医学院附属协和医院，湖北，武汉，4300222 华中科技大学计算机学院，湖北，武汉，430022耳鼻喉头颈外科医师是通过对人体颞骨进行实体解剖，来训练耳外科手术，由于解剖教学用颞骨标本来源很有限，因此，基于虚拟现实技术的耳显微外科仿真系统对年轻医师的手术操作技能培训，术前的预测与术中的辅助都具有广阔的应用价值。

该文设计并开发一种并行多图形卡工作站的分布式耳显微外科虚拟现实系统，自行建立了逼真的颞骨组织三维模型，不仅可以在虚拟环境下体验和学习耳显微手术中常见场景与处理操作，还可以实现通过网络通信进行计算机远程教学与手术会诊。

虚拟现实；手术训练；模拟系统；耳显微外科R322.9+2A doi: 10.3969/j.isnn.1671-7104.2010.03.08Xie Wen1, Zhang Qiang1, Kong Weijia1, Song Enmin21 Union Hospital Affiliated to Tongji Medical College, Wuhan, 4300222 Hua Zhong Science and Technology University, Wuhan, 430022Traditionally, a novice ear doctor acquires the skillfully operative ability through dissecting cadaveric temporal bone in ear surgical training lab. For conceivable reasons donated bodies are always short in supply, virtual reality-based simulator provides a new model for surgical training. It has been proven that the simulator is a useful tool for surgical training. And it can be used in the rehearsal of operation procedures, real-time operation guidance, and remote surgery. Our design is different from the existing virtual surgical system. It has a parallel, distributed multi-workstation with the vivid three-dimensional model of temporal bone, and it can be used not only to learn the ear surgical skills in the virtual environment, but also preoperative plan and surgical consultation.virtual reality, surgical training, simulation system, otology microsurgeryA Simulation System of Otology Microsurgery Based onDistributed Virtual Reality Technology虚拟现实技术是一种通过交互式计算机模拟真实世界的人机界面技术，包括对人的视觉、听觉、运动等行为的实时模拟和实时交互，从而产生身临其境的沉浸感。

应用虚拟现实技术，可以很好地解决诸如工业、医疗、娱乐与军事等实际问题都。

而在医学领域，虚拟现实技术的发展为外科手术的教学以及手术指引与评估提供了全新的模式，正逐步显示了它的巨大潜力和实用前景。

临床上，耳鼻喉头颈外科医师需要对颞骨解剖有扎实的基础知识，由于外耳道骨部、中耳、内耳均位于颞骨之中，而颞骨深寓软组织之中，无法直接观察病变范围及其周围结构的关系，因此基于虚拟现实技术的耳显微外科仿真系统对于培养年轻医师的手术操作技能，以及患者实际手术前的预测与术中的辅助都具有广阔的应用价值。

本课题中有别于已有的一些外科手术虚拟系统，开发一种并行多图形卡工作站的分布式耳显微收稿日期：2009-12-15通讯作者：孔维佳，E-mail: Kongweijia@ 外科虚拟现实系统，不仅可以在逼真的虚拟环境下体验和学习手术中各种实际情况与处理操作，还可以通过网络通信进行计算机远程教学与手术会诊，具有真实的临床手术实用价值。

1 分布式耳显微外科虚拟现实系统组成 分布式虚拟现实技术是指分布计算机网络的不同节点用户在共享的虚拟环境中进行相互交互，使得网络中的计算机用户可以比较便捷的参与访问与仿真，是虚拟现实技术发展的方向，在各学科领域正得到重视与开发应用。

分布式耳显微外科虚拟现实系统主要由高性能工作站、立体视觉终端、其他从属设备（传感手套、力反馈操纵柄）以及专业软件等组成。

其体系结构通过局域网连接多个用户，用户计算机之间使用TCP/IP协议实现虚拟环境信息的共享与仿真交互，同时局域网中的多用户通过网络路由器由互联网连接进行远程仿真交互，系统结构如图1 所示。

采用这种架构，允许多个不同的用户通过LAN连接同时在一个虚拟世界中交互，并且通过路由器与Internet连接允许远程用户的访问与参与交互。

虚拟手术系统工作站为了满足复杂图像场景的处理与实时反馈的数据运算，采用了2颗Inter Core2 EXtrem QX9775处理器，同时应用了2块专业级图形处理加速卡，每块图形卡包含了双DVI接口以及512MB显存，以OpenGL标准实现多通道协同立体绘制图像和低延迟的视觉反馈，使视觉仿真画面栩栩如生且即时流畅。

位置跟踪器使用三维超声波头部跟踪器，它是由发射器、接收器和控制箱三部分组成。

发射器含有3个超声波扬声器，安装在一个稳固的三脚架上；接收器的3个小型麦克风安装于三维立体眼镜上用来探测超声波信号；发射器与接收器之间沿视线方向无阻碍地进行通信，经串行端口接入主机工作站，能同时连接最多4个头部跟踪器或3D鼠标进行6自由度位置探测。

虚拟手术操作时能否产生比较真实的触觉响应对于虚拟现实系统非常重要，系统使用USB端口连接的力反馈装置有六个自由度位置感应，末端为一柄状，用来提供虚拟对象与操作者之间的实时接触反馈。

数据手套是另一类触觉接口可以产生复杂的振动触觉和用于测量用户的手势2 耳显微外科虚拟模型的建立 建立虚拟模型包括整个耳解剖部位的三维立体结构建模、操作过程中的行为建模与虚拟操作对象的碰撞形变等物理特征的建模。

模型分为不同的组成部分相互独立又同时具有相互组合，这样既能使有限的硬件系统资源绘制出复杂的虚拟场景，同时最大限度地提高整个系统的响应速度。

2.1 耳部三维立体结构建模 三维耳部的立体建模直接通过MRI与CT的颞骨部扫描的原始灰白影像结合颞骨冷冻组织断层解剖拍摄的高清晰彩色图片，先确定准备重构的解剖区域，经人工分割出骨质、神经、血管和其它软组织结构，经过体绘制重构可视化模型。

由于采用整体与解剖局部分开进行三维重构的方式，颞骨部可视化模型可以清楚的显示邻近组织之间的空间关系，真实还原了解剖部位的三维结构。

三维重建过程中首先是颞骨解剖部位的图像分割，准确和快速的图像分割技术是虚拟建模的基础。

临床上的CT和MR诊断仪出厂时一般自带有三维重构的图像分析软件，但对一些组织器官的分割重建还不够精确，特别是颞骨部位的显微结构。

在实际建模中，先采用CT和MR自带的重构软件自动快速识别出颞骨解剖部位的大体位置和结构，再结合人工辨识微小结构与组织进行手工标明，然后采用阈值分割法绘制出细微解剖结构。

2.2 操作过程中的行为建模 三维立体结构的建模是相对静态的形状和外观，而更复杂的行为建模是为了模仿虚拟手术环境中操作时的动态行为过程。

由于是手术操作，对虚拟手术器械的操作模拟非常重要，使用带有传感设备的数据手套模拟出操作手术器械的移动、旋转等相应动作。

行为建模过程中利用虚拟现实开发工具，建立不同动作行为的数据库，数据库中的每部分动作可以是单独的进行，也可以作为一个整体一起运动，这样可以模拟出整个手的运动，也可以实现手的局部某个关节的变动，从而提高了真实体验感。

2.3 碰撞形变等物理特征的建模 碰撞形变建模主要用来描述虚拟手术系统的交互式过程，也是使系统具有触觉反馈的关键一步。

碰撞形变有近似和精确的方法检测，由于虚拟手术过程主要是器械和组织之间的接触，碰撞点和方向都有一定任意性，系统在检测三维空间中两部分有无碰撞时，先采用轴向包围盒（axis-aligned bounding box，AABB）方法。

这种方法是沿着虚拟世界坐标系坐标轴方向的盒子包围着三维空间的对象，形成一个个固定大小的包围盒。

当两个对象接近时，它们的包围盒会相交即发生了碰撞。

检测出对象碰撞后需要执行精确碰撞检测，以了解碰撞的位点以及碰撞的强度，从而产生碰撞响应。

碰撞响应是根据虚拟对象的自身特性进行模拟的，非刚性的组织器官碰撞到手术器械会发生表面形变，需要通过计算碰撞表面的位点改变重新绘制图形。

系统建模过程采用表面拓扑结构变形方法，首先经过图1.1 分布式耳显微外科虚拟现实系统结构Fig.1 System architecture of the distributed virtual ear surgical simulator精确碰撞检测出最靠近碰撞位置的顶点，然后根据碰撞强度的大小沿着手术器械运动的轨迹绘出数个新的顶点替代原来的碰撞顶点，新的顶点逐渐分开形成新的表面，模拟出组织被切割变形的过程。

3 手术仿真系统的应用 系统在应用上能够模拟手术常规操作动作，灵活调整难度以适合不同手术医生的要求，我们在设计虚拟手术系统时，不仅清晰重构了正常颞骨解剖以及耳显微结构，而且建立了常见的各种病理组织模型与真实的手术病例。

以任务为导向，指导使用者在虚拟现实环境中进行手术程序的正确处理，同时将操作过程将记录下来，根据各项参数与专家标准库的数据对照进行评分，能够较客观地反映了训练者的操作水平。

系统能逼真地演绎耳显微外科手术的环境和操作的过程，对手术训练和教学有很高的应用价值，年轻的医生通过在模拟系统中反复练习可以掌握手术部位解剖结构、熟练使用各种手术器械、获得基本手术技能。