北航 虚拟现实 大作业

KINECT设备技术分析

Analysis of kinect technology

Abstract: Microsoft's XBOX360 motion sensing game equipment brings a subversive operation experience. This paper carries a simple analysis for the kinect.

Key words: kinect

摘要: 微软的XBOX 360体感游戏机带来了一种颠覆式操作体验，本论文对kinect外设所使用的技术进行简单的剖析。

关键词: kinect

1引言

随着计算机科学的飞速发展，虚拟现实技术已渗透进入了军事、工程、医学、教育等各个方面，并且在这些领域中起着重要的作用。如海湾战争的美国士兵对周边的环境不觉得陌生，是由于虚拟现实已把他们带入那漫无边际的风尘黄沙，让他们“身临其境”感受到大漠的荒凉。

现实世界是真实存在的，人们通过自己的视觉、触觉、听觉、嗅觉可以真实的体验感知到，而虚拟世界是通过计算机计算生成的，模拟现实世界而存在的，人们通过特殊的感知设备，将感知信息反馈给计算机，再通过计算模型体现在虚拟世界中。虚拟操作就是真实的人与虚拟世界相互交流的一种方式。虚拟操作中的对象是虚拟的，由计算机通过计算模型生成，如几何形状、材质等，可以随意的更改。人在真实的世界中通过视觉、触觉、听觉、嗅觉感知物体的特性，通过真实的力、相对位置等操作真实物体。

在虚拟操作的中，人与虚拟世界的交互，简单的可以通过键盘、鼠标等设备进行交互，但是这种操作比较简单，与真实的操作差别很大。另一种比较逼真的操作就是通过在人的身体上放置相应的传感器，同过这些传感器感知人体的动作，反馈给计算机，在通过之前设置的模型虚拟出相应的动作。如图1.但是这种交互对硬件要求较高，随之而来的就是高成本。

而微软在2010年发布的一款体感周边外设产品kinect，因其革命性的构想和颠覆性的操作方式，受到了众多玩家的追捧，微软给出了一种低成本的解决方案，使人不要那些复杂的传感器等辅助的东西也能达到同样效果的逼真的虚拟操作，也使得体感游戏主机的风靡。本论文就是对微软这种解决方案简单探讨。

图1 交互

2 kinect技术介绍和分析

Kinect最初是有以色列PrimeSense公司开发，后被微软收购作为XBOX360游戏机的体感周边外设正式对外公布，它是一种3D体感摄影机，可以实现即时动态捕捉、影像辨识、麦克风输入、语音辨识等功能，游戏玩家可以通过Kinect，来用自己的身体控制游戏中的虚拟人物。

Kinect基本组成以及功能如表1。

设备及硬件分布图，如图2。

图2 kinect硬件设置

Kincet一次获取三种东西，分别是RGB的彩色影像、3D深度影像、以及声音信号。Kincet通过一个红外激光投影镜头将一组红外激光点阵投射到玩家身上，另外两个CMOS摄像头对此进行X，Y，Z 坐标的3D 扫描，通过内置的专利算法，以此分辨玩家、背景、以及玩家的动作意图，其精确的空间定位性能非常适用于游戏和互操作领域中。

获取的图像如图3.

图3 kinect获取信息

Kinect 其最重要的核心技术就是3D 深度信息处理技术，深度信息主要来自于红外线发射器与红外线摄影机的接收，由此来判断目标物体的距离。微软使用的3D 深度信息技术来自于与Prime Sense 公司的合作。Prime Sense 提供了动作检测技术以及检测芯片PS1080，并使用光编码( Light coding) 专利技术。

其深度信息获取功能采用的是一种特殊的结构光测量技术，其深度计算方式与普通的结构光测量不一样。首先，结构光是指一些具有特定模式的光，模式图案可以是点、线、面等。结构光扫面的原理是首先将结构光投射到物体表面，在使用摄像机接受物体表面反射的结构光图案，由于接受图案必会因物体的立体形状而发生变形，因此可以师徒通过该图案在摄像机上的位置和形变程度来计算物体表面的空间信息。结构光测距原理示意。如图4。

图4 结构光测距原理示意图

与传统的基于时间的TOF、结构光的光源不同，使用PS1080系统级芯片负责对红外光源记性控制，投射出具有三维纵深的“立体编码”，这种光源叫做激光散斑( laser speckle) ，是当激光照射到粗糙物体或穿透毛玻璃后形成的随机衍射斑点。这些散斑具有高度的随机性，而且会随着距离的不同变换图案，也就是说空间中任意两点的散斑图案都是不同的。它不需要特质的感光芯片，只需要普通的COMS感光芯片，这让方案的成本大大降低。

Kinect就是以红外线发出人眼看不见的class1雷射光，透过镜头前的光栅片将雷射光均匀分布投射在测量空间中，在透过红外线摄影机记录下空间中的每个散斑，获取原始资料后，在透过芯片计算成具有3D深度的图像。如图4。

图4 深度图像生成

PrimeSense公司提供的light coding技术所获取的知识基本的影像资料，另外的重点是辨识影像，转换为动作指令。微软将侦测到的3D深度图像，装换到骨架追踪系统。该系统最多可以同时侦测到6个人，包含同时辨识2个人的动作；每个人工可记录20组细节，包含躯干、四肢以及手指等都是追踪的范围，达成全身体感操作。为了看懂使用者的动作，微软也用上了机器学习技术（machine learning），建立出庞大的图像资料库，形成智慧辨识能力，尽可能理解使用者的肢体动作代表的含义。如图5。

Kinect 将捕捉到的影像与本身内部存有的人体模型对照，每一个符合内部已存人体模型的物体就会被创建相应的骨骼模型，系统再将该骨骼模型驱动已设定基准骨骼和骨骼权重的虚拟角色，该角色通过识别该人体骨骼的关键部位进行动作触发，系统可以识别人体的25 个关键部位，并且通过OGRE 引擎实时在屏幕上显示虚拟场景和角色，并且通过图像引擎实现角色的动作捕捉实时观察和通过物理引擎实现简单的物理碰撞应用。

图5 骨架追踪系统

Kinect摄影机的影像更新频率为30FPS，代表动作传送将会有33ms的延迟，但是人类对事物的反应速度似乎都超过了100ms，已经大于30FPS所带来的33ms延迟。

总结和发展

微软的XBOX 360体感游戏机，凭借着良好的游戏体验，带给了玩家深刻的印象。其革命性的构想和颠覆性的操作方式也给虚拟操作带来了不一样的思考。2013年体感控制器制造公司Leap旗下产品Leap Motion 体感控制器发布，其对手势的精准追踪，同样给玩家们带来了不小的震撼。小小的体积，凭借只有两个摄像头，却对空间的手部动作进行精确追踪。新鲜而又刺激的交互体验。我们有理由相信更多的低成本交互