三维动画 综述报告

Real-Time Human Pose and Shape Estimation for Virtual Try-On Using a Single Commodity Depth Camera

使用单目深度相机进行虚拟试穿的实时人体姿态与形状模拟

1.摘要

我们展示的这个系统可以给用户虚拟试穿衣服，该系统使用深度照相机捕获用户得到3D模型。该系统基于实时模板的方法从而达到将用户的姿态和形体变化合理的结合。接下来将得到的结果用来驱动现实衣服仿真，即将合成的衣服覆盖到输入的图像上。我们面对的主要挑战是解决数据丢失和处理模糊的效果，问题出现的来源主要是单目设置的效果，因为该设置只捕捉到不到人体一半的图像。我们的解决方案是在姿态跟踪时自动将形体变化和和异常的约束合并。最后我们用几个实例展示了该系统的效果。

关键词—人体姿态仿真，人体形态建模，虚拟试衣，深度传感器

2.概论

深度摄像机如微软公司的Kinect，在学术与工业领域已经名声大噪。由于可以捕获三维的动态场景，大量的研究人员和开发者正在准备研究新的应用，涉及的领域从电子产品到娱乐，健康医疗以及机器人学。我们展示了深度摄像机怎样用来提高虚拟试穿系统的真实性，该系统可以让用户在一个虚拟的系统里面穿上不同的衣服。由于具有巨大的商业潜力，虚拟试穿的概念之前早已被研究过。其主要的理念在于跟踪用户的二位或者三维动作，从而将其与覆盖到用户图像合成[52, 43, 14]。由于人体动作的复杂性以及试衣仿真的计算成本，

不同的系统有不同的优缺点。一些处理过的虚拟试衣如纹理化，过度简化了用户与衣服的交互。而一些需要预处理的图片，要么过度粗糙或者难以匹配用户动作与形状的。

理想的虚拟试衣系统应该可以真实以及有效的对虚拟试衣进行仿真，并且可以及时的对用户的姿态形体做出检测。这点对用户尤为关键，因为可以让他们知道不同的衣服试穿上去是怎样的效果，从而可以提高他们对这种系统的接受程度。不幸的是，至今还没有系统满足这些条件。利用深度相机获取的数据用于试衣仿真自然成为解决这一问题的方案。事实上使用深度贴图来处理衣服与人体碰撞是一个已经研究深透的图形处理器，基于技术[23, 28, 20].但是这种已捕获的深度贴图充满了噪声而且不完整，因为硬件的原因，帧率受限。一个可行的解决方案是使用多孔摄像机，但是摄像合成又成为了一个挑战，因为没有深度摄像机支持内置摄像合成。

虚拟试穿系统包含两个主要部分：姿态跟踪以及形体匹配和衣物仿真。在该部分我们简要的回顾最近的话题以及对虚拟试穿应用的研究方法。

人体姿态模拟的研究已经进行了几十年。大多数传统方法依赖于对视角设置，而最近的研究方法有一些在使用单一深度传感器进行跟踪。最典型的的方法是由Shotton et al.提出的，其使用收集的大量数据训练随机分类器然后使用一种聚集技术来估计联动的姿态。这种方法使得速度慢以外，其精度也需要提高。更重要的是与其他典型方法

一样，该方法不能保持时间的一致性，也不能得到完整的人体形状，而这是对虚拟试穿应用很重要的一点。

Ganapathi et al. [18]使用动态贝叶斯网络来对动态的状态建模(DBN)然而其模型大小是固定的，不能对人体大小变化做出改变。他们最近的工作部分针对该问题是可以小范围的改变长度,而且他们利用自由空间约束来引导跟踪器。可是为了达到实们时的效果他们使用了一个过度简化的圆柱体咬合模型，这样就不能真实的捕捉观察到的表面机构而且会导致试衣仿真时产生有形噪点

一些研究者结合了以上两种方法的优点。Ye et al. [50] and Baak et al. [2]都使用了一种混合方法，但是需要在运行期间使用数据库。Helten et al. [24] 基于SCAPE模型对个性化的形体模拟进行了拓展。Wei et al. [48] 将DBN模型和身体检测结合从而提高了精度和鲁棒性。虽然我们的跟踪公式与[24]类似，但是我们设置了跟踪器的约束条件从而可以更有效的引导跟踪器，而且精度更高。结果与[24],[48]相比，我们并不需要分辨检测器而且[36, 50, 2, 48, 24] 中的分辨检测器会出现部分观察不匹配的问题，如身体的部分出现在视角之外。相比之下我们的跟踪器在设置约束条件的条件下能有效的解决这种出现的问题。虽然差分方法解决了身体大小的变化问题生成性方法需要考虑到模板与主体的身体大小的变化。一些方法提出一种合适的模板其大小和身体尺寸差不多如[18]，或者直接从主体上扫描，如[17, 44, 11];而另一些使用参数模型进行匹配如[24].这种混合方法通常需要

依赖差分元件来处理此类问题如[50, 48], 但是应用性不足因此我们没有采用事先假定目标的身体大小显得不够自然。最后我们提出基于Straka et al[38]提出的以不同骨骼为坐标的身体尺寸匹配方法。

除了身体尺寸大小变化，模型的外表结构通常没有精确匹配目标的身体形状。因此为了捕捉到目标的外表结构，外表模拟通常针对姿势模拟，一种选择是使用一个或多个传感器对目标的身体形状进行一次静态扫描[42]。对于动态场景的几何结构估计，通常在多视角或单视角中使用轮廓法[17,11, 44, 37, 38] 。与[49, 16]类似, 我们几何了深度和边缘信息来动态估计外表的几何结构。但是我们的方法在[17]中遵循线性公式，使用约束来处理单目数据。

基于身体的衣服仿真的最近研究获得了不少的仿真方法[4, 9, 6, 26] 其有效性和真实性也提高了不少。调查报告[25, 8, 33] 总结了最近的发展状况。在众多的方法中我们的工作与两种仿真技术尤为相关。数据驱动型，第一种包含了数据驱动技术，既包括了合成的或捕捉的基于仿真的身体数据。王和其同事开发出了衣物皱纹数据库并使用人的姿态引导合成合适的纹理用于衣服动画。

与之相反的是De Aguiar与其研究人员忽略了身体模型并提出纯粹的数据驱动模型并且可以有效的产生皱褶细节。Feng和其同事[13], 以及Kavan 与他的同事[27], 提出了数据驱动模型其能够丰富衣服仿真的细节。而我们的数据展现的是一个人体而非衣服，当然这些技术通过综合合成的和捕捉的数据在未来也能为我们所服务。