基于单目视频运动跟踪的三维人体动画

第29卷第5期2008年5月

微　计　算　机　应　用

M I CROCOMP UTER APP L I CATI O NS

Vol129No15

M ay12008基于单目视频运动跟踪的三维人体动画3

吴　玥 田兴彦

(湖南大学软件学院　长沙　410082)

摘要:针对传统人体动画制作成本高、人体运动受捕获设备限制等缺陷,提出了一种基于单目视频运动跟踪的三维人体动画方法。首先给出了系统实现框架,然后采用比例正交投影模型及人体骨架模型来恢复关节的三维坐标,关节的旋转欧拉角由逆运动学计算得到,最后采用H-ani m标准对人体建模,由关节欧拉角驱动虚拟人产生三维人体动画。实验结果表明,该系统能够对人体运动进行准确的跟踪和三维重建,可应用于人体动画制作领域。

关键词:运动跟踪　单目视频　三维人体动画　逆运动学

3D Hu man An ima ti on Ba sed on Hu man M oti on Track i n g from

M onocul ar V i deo Sequences

WU Yue,TI A N Xing yan

(Soft w are School,Hunan University,Changsha,410082,China)

Abstract:The traditi onal app r oaches t o make hu man ani m ati on are suffering fr om the p r oble m s of expensive cost and hu man body mo2 ti on li m ited by moti on cap ture equi pment,t o overcome these shortcom ings,a ne w3D hu man ani m ati on based on hu man moti on tracking fr om monocular video sequences is p r oposed1Firstly,the fra me work of our syste m is p resented,then,the3D coordinates of j oints are esti m ated by hu man skelet on constrain under scaled orthographic p r ojecti on,the r otati on Euler angles of j oints are calculated by inverse kine matics1Finally,we use H-ani m t o rep resent virtual hu man,the moti on of virtual hu man is dr ove by the Euler angles of j oints1 The experi m ents show that tracking and reconstructing results made by our syste m are accurate and effective1This syste m can be ap2 p lied t o hu man ani m ati on1

Keywords:Moti on tracking,Monocular video sequences,3D hu man ani m ati on,I nverse kine matics

1　引言

如何方便地生成高逼真度的三维人体动画已成为当前计算机动画的一个重要研究方向。按照运动建模方式不同三维人体动画可以分为以下四类:关键帧方法、基于运动学和逆运动学、基于动力学和逆动力学、运动捕获方法。基于运动捕获方法的人体动画具有逼真度高、数据可重用等特点,在动画技术中得到广泛应用。在商业产品中一般使用硬件设备(如V icon)来捕获人体运动,要求运动员身穿紧身衣并在关节位置粘贴反光小球或反光片,这样限制了运动员的运动;另一方面硬件设备比较昂贵,制作成本较高。在前人研究的基础上,本文提出了一种基于单目视频运动跟踪的三维人体动画方法,具有使用方便、制作成本低廉、动画效果较好等特点。

基于视频运动跟踪的运动捕获方法按照其采用摄像机数目多少可以分为两类:①基于单目视频的方

　本文于2008-1-15收到。

　3本文受基于重建人脸面部器官三维模型的关键技术研究基金项目(06JJ2065)资助。

　5期　吴　玥等:基于单目视频运动跟踪的三维人体动画法[1～4],②基于多目视频的方法[5～7]。基于多目视频的方法要求两个或两个以上的摄像机同步拍摄,拍摄前需要进行摄像机标定,跟踪到的二维关节坐标一般通过极线方程约束来恢复其三维坐标[8]。基于单目视频的方法由于使用方便、数据来源广使得该技术具有极大的吸引力。该方法一般分两步顺序完成:首先从视频序列中跟踪人体模型中的各个关节点,然后恢复三维人体运动序列。运动跟踪部分是将视频序列中各个特征点匹配起来,从而产生各个特征点的运动轨迹,一般利用当前帧的特征位置及运动模型来预测下一帧特征的位置[9]。三维人体运动序列恢复部分一般在摄像机成像模型下根据人体骨骼约束来恢复关节在三维空间中的相对坐标[11]。

本文在现有研究的基础上,提出了一种将视觉技术与图形学技术融合起来制作动画的新思路,它通过对单目视频进行运动跟踪来捕获人体运动信息。首先,本文给出了系统的实现框架,讲述了系统各部分的功能及他们之间的相互关系;其次,详述了关节三维坐标的重建方法、关节旋转欧拉角的计算方法及虚拟人动画实现。

2　系统框架

系统总体流程如图1所示,共分为三个部分。第一部分为二维关节运动跟踪,首先对视频首帧进行关节标注,得到关节的颜色模型作为匹配模板;对视频其他帧的跟踪先利用粒子滤波根据已建立的运动模型对关节点位置进行预测,预测结果作为模板匹配模块的局部搜索起始位置,模板匹配采用直方图匹配方法,以Bhattacharyya 距离作为匹配准则。最大相似度对应的关节位置则为跟踪到的目标关节坐标。第二部分为三维运动姿态恢复过程,首先我们以比例正交投影模型近似摄像机成像过程,根据运动连续性求得唯一的可变因子,然后根据人体骨架比例约束求得各关节的三维相对坐标,最后利用逆运动学求得各关节的旋转欧拉角。第三部分为人体动画部分,按照H -ani m 标准建立了虚拟人树型关节拓扑结构,根据已获得的关节欧拉角驱动虚拟人获得连续的动画效果

。

图1　算法流程图

由于二维关节运动跟踪已有大量研究者做了深入研究且取得了较好效果[9～10],故本文就不再赘述,下面相关内容的叙述基于二维关节位置已获取的假定下。

3　

三维姿态提取

图2　人体骨架模型

311　人体骨架模型

本文采用的人体骨架模型如图2所示,由16个关节及15个身体段组成。模型

中的身体段长度由人体测量学得到,为一相对比例长度(不一定是实际值)。人体骨

架模型以树型结构表示,其中盆骨关节为树根。在人体各身体段设立局部坐标系,坐

标系方向见图2,Z 坐标的正向符合左手坐标系指向纸背,坐标系原点位于各关节中

心。根据多刚体系统运动学知识可知,人体运动可以近似为一种树型结构的级连关

节旋转,树根关节旋转为根关节局部坐标系相对于世界坐标系的旋转,世界坐标系的

方向及坐标原点与人体运动前根关节局部坐标系一致。34