VR课程报告-动作捕捉系统

动作捕捉系统与技术调研报告

1.第1章引言

几个世纪以来，人们一直对人类运动的复杂性感兴趣。300多年前，Borelli发表了令人惊讶的详细描述涉及动物运动的各种活动，但受可用技术的限制[1]。19世纪末，Muybridge推进了运动分析领域，他使用新兴的摄影技术来记录动物运动模式[2]。。大约在同一时间，Marey开发了先进的技术创造称为计时拍摄的运动模式的时间序列照片记录。Marey的分析也让他明白，他的运动学数据只能告诉部分故事，并且他开发了牵引发电机（现在称为称重传感器）和动力平台（现在称为力板）。随着现代力板的发展，其在20世纪取得了进步[3]。

与此同时，电影摄影技术的理解与发展，让人们了解如何最好地使用它来研究人类运动[4]。另外，使用多个摄像机的三维分析成为可能随着发展同步方法。最终，大卫开发了视频技术便利的数据收集和分析[5]。这是不久之后创建的计算机接口的电荷耦合器件，其可以检测放置在其上的标记体[6]，以及最终发出位置数据信号的发光二极管[7]。随着动力学和运动学分析能力的提高，它变得很明显身体位置数据和所产生的地面反作用力（GRF）的组合，对于完全理解人类活动的生物力学至关重要[8]。虽然复杂和繁琐，当数据收集时，这些变量的合并是可能的正确执行[9]。也许最重要的发展之一是创造的直接线性变换方法将视频记录转换为计算机化数据[10]。

自进入21世纪以来，随着计算机技术的发展与三维制作软件性能的提高,动作捕捉技术已经做为一种强大的制作手段被充分地运用到影视、广告和游戏制作等相关行业中。传统的全人工调整关键帧的制作方法已逐渐被高速度、高质量、极具真实性的动作捕捉技术配合人工调整关键帧的制作方法取代了。

2.第2章系统组成

动作捕捉系统通常由硬件和软件两大部分构成。硬件一般包含信号发射与接收传感器、信号传输设备以及数据处理设备等；软件一般包含系统设置、空间定位定标、运动捕捉以及数据处理等功能模块。信号发射传感器通常位于运动物体的关键部位，例如人体的关节处，持续发出的信号由定位传感器接收后，通过传输设备进入数据处理工作站，在软件中进行运动解算得到连贯的三维运动数据，包括运动目标的三维空间坐标、人体关节的6自由度运动参数等，并生成三维骨骼动作数据，可用于驱动骨骼动画，这就是动作捕捉系统普遍的工作流程。

3.第3章系统分类与介绍

运动捕捉技术有很多种，但从从原理上说可分为机械式、声学式、电磁式、惯性传感器式和光学式。不同原理的设备各有其优缺点，一般可从以下几个方面进行评价：定位精度；实时性；使用方便程度；可捕捉运动范围大小；抗干扰性；多目标捕捉能力；以及与相应领域专业分析软件连接程度。

3.1机械式运动捕捉

机械式运动捕捉的一种应用形式是将欲捕捉的运动物体与机械结构相连，物体运动带动机械装置，从而被传感器实时记录下来。机械式运动捕捉依靠机械装置来跟踪和测量运动轨迹。典型的系统由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况。装置运动时，根据角度传感器所测得的角度变化和连杆的长度，可以得出杆件末端点在空间

中的位置和运动轨迹。实际上，装置上任何一点的运动轨迹都可以求出，刚性连杆也可以换成长度可变的伸缩杆，用位移传感器测量其长度的变化。如下图所示是一个机械式动作捕捉系统，如图所示：

图1 机械式动作捕捉图

从图1中可以看出，由多个关节和刚性连杆组成，在可转动的关节中装有角度传感器，可以测得关节转动角度的变化情况。

3.2声学式运动捕捉

常用的声学式运动捕捉装置由发送器、接收器和处理单元组成。发送器是一个固定的超声波发生器，接收器一般由呈三角形排列的三个超声探头组成。通过测量声波从发送器到接收器的时间或者相位差，系统可以计算并确定接收器的位置和方向。

这类装置成本较低，但对运动的捕捉有较大延迟和滞后，实时性较差，精度一般不很高，声源和接收器间不能有大的遮挡物体，受噪声和多次反射等干扰较大。由于空气中声波的速度与气压、湿度、温度有关，所以还必须在算法中做出相应的补偿。

3.3电磁式运动捕捉

电磁式运动捕捉系统是比较常用的运动捕捉设备。一般由发射源、接收传感器和数据处理单元组成。发射源在空间产生按一定时空规律分布的电磁场；接收传感器（通常有10～20个）安置在表演者身体的关键位置，随着表演者的动作在电磁场中运动, 通过电缆或无线方式与数据处理单元相连，如下图所示：

图2 电磁式动作捕捉图

在上图中表演者在电磁场内表演时，接收传感器将接收到的信号通过电缆传送给处理单元，根据这些信号可以解算出每个传感器的空间位置和方向。

3.4惯性导航式动作捕捉

通过惯性导航传感器AHRS(航姿参考系统)、IMU(惯性测量单元)测量表演者运动加速度、方位、倾斜角等特性。不受环境干扰影响，不怕遮挡。捕捉精确度高，采样速度高，达到每秒1000次或更高。由于采用高集成芯片、模块，体积小、尺寸小，重量轻，性价比高。惯导传感器佩戴在表演者头上，或通过17个传感器组成数据服穿戴，通过USB线、蓝牙、2.4Gzh DSSS无线等与主机相联，分别可以跟踪头部、全身动作，实时显示完整的动作。如下图所示：

图3 惯性测量传感器图

如图所示的是人体骨架基本模型以及17个惯性传感器节点，这17个点则主要用于分别测量人体不同位置点的运动情况，如三个互相垂直的方向X、Y和Z轴的不同方向等的运动情况。

3.5光学式运动捕捉

光学式运动捕捉通过对目标上特定光点的监视和跟踪来完成运动捕捉的任务。常见的光学式运动捕捉大多基于计算机视觉原理。从理论上说，对于空间中的一个点，只要它能同时为两部相机所见，则根据同一时刻两部相机所拍摄的图像和相机参数，可以确定这一时刻该点在空间中的位置。当相机以足够高的速率连续拍摄时，从图像序列中就可以得到该点的运动轨迹。下图所示为实验穿戴数据衣：

图4光学式动作捕捉图

图中所示的是表演者通过穿戴数据衣，在场景中进行一系类活动，通过使用6 ～8 个相机环绕表演场地排列，这些相机的视野重叠区域就是表演者的动作范围。为了便于处理，通常要求表演者穿上单色的服装，在身体的关键部位，如关节、髋部、肘、腕等位置贴上一些特制的标志或发光点，称为"Marker" ，视觉系统将识别和处理这些标志，如图 4 所示。系统定标后，相机连续拍摄表演者的动作，并将图像序列保存下来，然后再进行分析和处理，识别其中的标志点，并计算其在每一瞬间的空间位置，进而得到其运动轨迹。为了得到准确的运动轨迹，相机应有较高的拍摄速率，一般要达到每秒60 帧以上。

4.第4章总结与设想

本报告是在结合了对虚拟现实课程的实践后，结合相关虚拟现实技术作出的的初次报告，在实践中我们观测到相关技术的出现、成长、以及完善，从而对此课程产生了相当浓郁的兴趣。在此我们了解到虚拟现实系统是为实现人与虚拟环境及系统的交互，必须确定参与者的头部、手、身体等的位置与方向，准确地跟踪测量参与者的动作，将这些动作实时检测出来，以便将这些数据反馈给显示和控制系统。这些工作对虚拟现实系统是必不可少的，这也正是运动捕捉技术的研究内容。

再通过此课程的学习以及实践后，我想自我掌握一套系统的虚拟现实建设技术，开发自己的一个虚拟仿真小游戏或者是实践类项目。