Kinect体感技术在人机交互中的应用研究

Kinect体感技术在人机交互中的应用研究The Research And Application of Kinect Technology in the Field of Human-computer Interaction

倪 晨* 邱 鹏 王 锋 曹 慧

NI Chen QIU Peng WANG Feng CAO Hui

摘 要 本文通过查阅国内外相关文献，了解了人机交互技术尤其是可以实现高效人机交互的 Kinect体感技术的发展方向，并以此为研究基础，综述了Kinect体感技术的理论基础和

国内外应用现状，讨论了其广泛应用需要解决的技术难题，展望了其在人机交互领域的

应用前景，得出了Kinect体感技术有利于推动人机交互的智能化进展，是人机交互改革

的又一个新起点的结论。

关键词 Kinect体感技术 人机交互 虚拟现实 人工智能

Abstract By consulting the relevant literature, understanding the Kinect direction of development of human-computer interaction technology, especially for efficient human-computer interaction, and as a research-based, Kinect the theoretical basis and application status at home and abroad to discussits broad applications need to solve the technical problems and future prospects of its application in the field of human-computer interaction, obtained the Kinect technical conducive to promoting the human-computer interaction, intelligent progress, human-computer interaction reform the conclusion of a new starting point.

Keywords Kinect technology Human-computer interaction Virtual reality Artificia intelligence

doi: 10. 3969/j. issn. 1672 - 9528. 2013. 16 .

人机交互[1](Human-Computer Interaction, HCI)是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人-机交流，提高交互的自然性和高效性。目前人与计算机交互的方式只局限于鼠标与键盘，正是由于这种传输方式的单一性阻碍了人机交互的进一步发展，人机交互中输入输出效率之间的差距变的越来越大。随着科学技术的高速发展，更高层次的人机交互理念对交互方式提出了巨大的需求，众多科研人员开始对新的交互技术的多通道界面展开研究，目前的研究内容主要是集中在手势输入、语音识别及感觉反馈等方面。而kinect体感技术的出现为促进人机交互的发展具有重要意义，kinect作为新一代的体感设备，可以依靠实时捕捉使用者的动作、面部识别及语音识别就可以达到输入功能。这一特性很好地填补了现有人机交互技术的缺陷，并且促使kinect体感技术成为人机交互领域中的一个研究热点。

与传统输入设备不同的是，kinect设备可以实现直接用使用者的身体来控制终端，用这种最自然的方式与终端进行交互的特点贴近了人机交互对自然性的要求，kinect体感技术对人机交互理念的实现起到了重要的促进作用。因此研究kinect 体感技术在人机交互领域中的应用对其今后的发展具有很大的必要性。

1 Kinect设备的基本介绍

Kinect[2-4]是由微软公司开发的一款姿态传感输入设备，作为Xbox360外接的3D体感摄影机，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让用户摆脱传统输入设备的束缚，通过自己的肢体控制终端。图1所示是Kinect设备的整体结构图。Kinect设备的整体结构及功能：

* 山东中医药大学理工学院 山东 济南 250355

1.1 RGB摄像头

用来获取640X480的彩色图像，每秒钟最多获取30帧图像，根据在Kinect设备视野范围内移动的一个或两个人的图像进行骨骼追踪，可以追踪到人体上的20个节点。

1.2 3D深度传感器

分别为红外发射器和红外线COMS摄像机，用来侦测3D影像。

1.3 数组式麦克风

与Microsoft.Speech的语音识别API集成，使用一个具有消除噪音和回波的四元麦克风组，能够把声源附近有效范围之内的各种信息捕捉到。用于语音识别并具有降噪功能。

基于以上功能，Kinect设备不需要使用任何控制器，只需依靠实时捕捉使用者的3D动作、面部识别和语音识别即可达到输入的功能[5]。

图1 Kinect整体结构图

2 Kinect体感技术的国内外研究现状

Kinect传感器凭借其特性已经应用在医学、商业、计算机科学及机器人等很多领域，下面就其在相关领域的应用进行综述。

2.1 Kinect在医学领域的应用研究

Kinect体感技术在医学领域的应用研究目前主要体现在临床医学、远程手术、医学教育和医学数据调查四个方面。

2.1.1 临床医学

在临床手术中，有必要保持接受手术的病人周围的一切都是无菌的。然而，在手术中，外科医生还需要从计算机上查看患者的临床影像资料，计算机不是无菌的。传统的医生查看资料的方式既耗时又增加患者的感染几率。而在手术过程中借助Kinect设备可以有效的缓解这一弊端。由瑞士伯尼尔大学Michael. Tully教授等研究人员利用Kinect设备帮助医生解放了双手，医生无需像传统方式那样亲自接触患者的影像资料，只需要用手做出摆动就可以控制专为医疗图像浏览而设计的图像处理应用程序——OsiriX PACS[6](picture archiving and communication system：医学影像存档与通信系统)。该项研究利用Kinect非触摸的体感方式[7]可以更符合手术过程中的无菌化操作的要求并能有效避免手术过程中的交叉感染。国内西京医院骨科手术中也已经实现了使用Kinect 设备体感控制患者的影像资料。Kinect设备同样在多伦多新宁医院(Sunnybrook Hospital)得到了应用，它允许外科医生在手术过程中以不用手的姿势来操纵计算机屏幕上的核磁共振成像图像[8]。这项新技术使手术过程更容易并且节省了手术所需的时间，临床手术中Kinect体感技术的应用必将成为一种趋势。

2.1.2 远程手术

远程手术是将虚拟现实技术与网络技术结合，可以使得医生根据传来的现场影像对远程的患者进行手术操作，其一举一动可转化为数字信息传递至远程患者处，控制当地的医疗器械的虚拟现实系统。运程手术的技术目前尚未成熟，而Kinect体感技术的介入可以增加远程手术的可行性。西雅图华盛顿大学Biorobotics实验室的Chizeck等让Kinect 传感器在远程手术过程中为外科医生提供触觉反馈。他们将Phantom Omni[9]触觉设备与Kinect设备连接，提供电阻式的反馈，以Kinect体感技术帮助建立物体的3D模型，并将数据转换为触摸反馈。这项研究实现了只要有卫星天线车的地方，医生就可以使用Kinect设备远程手术，因此可被广泛应用于救灾或者战场。

2.1.3 医学教育

德国慕尼黑工业大学的一名学术研究员发明了一款命名为 “The magic mirror—魔镜”的设备。它是专门为方便解剖课程的教学所设计的，系统能

够制造一种镜像的幻觉，让使用者像是在身上开个“洞”，看到自己的内脏。Kinect体感技术在现代医学教育中的研究，是现代医学教育方式的一个新的突破，若能得到实际应用则会对实现现代医学教育跨越式的发展具有十分重要的意义。