三维人脸图像的数据采集

三维人脸图像的数据采集

1三维人脸图像数据的采集

采集设备进行三维扫描的过程是一个实时曲面配准的过程。尽管这一

过程有一定的鲁棒性，但是扫描对象的姿态变化很容易干扰配准的准

确度7。因此在采集三维人脸图像前应和被采集人进行必要的沟通，防止采集过程中因被采集人说话或移动导致配准失效而中断操作。为了

在保证数据质量的同时减少重复数据量，使用手持式3D扫描仪时，需

要按照一定的移动顺序对人脸图像进行撷取8,9。采取的扫描顺序（见图2）是从被采集人的一侧耳部开始，上下S型经鼻面部向另一侧耳部移动，然后向下采集下巴被遮挡部位的图像，最后回到开始的部位完

成扫描（单帧曲面范围90mm×70mm~180mm×140mm）。这样做的好处，一是不会遗漏采集部位；二是符合人脸面部结构特点，如果采用横向S 型扫描则要多次经过鼻翼两侧，这就增加了扫描难度；三是固定了采

集顺序，在预处理时可以快速找到需要修改或删除的某一帧或几帧图像。对耳朵、鼻翼两侧、下唇至下巴中间结构比较复杂的曲面，在采

集时，可以采取小角度变换扫描仪打光角度。对下巴的采集，可以将

扫描仪从下方尽量接近被采集人身体并向上打光，以减少由于遮挡形

成的空洞。因手持式3D扫描仪的便携特点（≤1kg），采集现场只要

具备交流电，在明视照度下即可进行操作，所以非常方便在非实验室

环境进行采集。

2对采集数据的预处理

采集到的原始数据是一个曲面帧集合，根据采集时间、帧速率的不同

包含400~1500个曲面帧数据。将这些数据合成一个完整的三维人脸图

像之前需要一系列的模型处理。主要包括：整体配准、光顺合成、补洞、小型对象过滤、简化网格以及纹理映射等步骤7,10。对于大部分

一次性采集完成且自动配准较好的数据，使用上述自动处理都能够取

得良好效果。但由于光照条件的细微变化、脸部皮肤的光滑程度不同，或者曲面结构相互遮挡等因素，一些模型自动处理的结果并不理想，

如图3左所示，自动配准造成了明显的裂纹。这不但会影响视觉效果，还对后期的深入应用造成干扰11。这就需要经过人工干预配准获得理

想的效果（见图3右）。

人工干预配准主要包括三个步骤：第一步要先找出自动配准不理想的

帧或帧集合，将其选取移出成为新的帧集合。如图4所示，计算机在

自动配准扫描图像时出现了较大的偏离（见图4左），这就要对偏离

的曲面进行人工筛选，生成新的帧集合（见图4右）。有的采集图像

可能包含多个曲面的图像，分离出不止一个帧集合，可根据具体的采

集结果分离出二个或二个以上的帧集合，每个帧集合应保持在一个连

续的曲面内且互相包含重合区域。第二步是在分离出的帧集合之间进

行特征对齐，即在需要拼合的两部分帧集合上标记多个特征比较明显

的相同部位（同名点），例如眼角、嘴角、耳廓、鼻尖、鼻翼等部位（见图5）。如果分离图像没有共同的明显的特征，也可以通过人工交互移动待配准的帧集合与参考帧集合尽量对齐重合，其重合精度主要

依赖人眼。第三步是自动拼接网格。如果把“特征对齐”理解为对分

离图像的“粗拼”，那么“拼接网格”即是对分离图像的“细拼”。

在自动拼接网格的基础上再“允许图像纹理拼接”，这样就得出人工

拟合后的三维图像，后续可以重复整体配准和光顺合成的过程，达到

更好的处理效果。另外，人工干预也可以通过删除个别帧图像以获取

较好的图像质量。例如图6就是通过删除单帧，来修补眨眼造成的闭

眼图像。

由于光照条件的变化或者扫描过程中偶然出现的不稳定移动，可能会

对采集的三维人脸图像质量造成影响，自动配准和人工干预后仍由此

可见会出现裂纹或者其他不理想的质量问题（约占5.3%）。这种情况

下可以通过2D/3D擦除、修补和光滑处理来改善，但是应尽量减少图

像插值的处理，以免改变或消除人脸面部皮肤的原始细节特征。除此

之外，对三维图像的编辑还包括坐标变换、数据擦除、网格简化等，

对纹理图像的编辑包括亮度/对比度调整、色调、色饱和度以及图像灰

度校正等。使用的3D扫描仪的帧速率为7.5fps，采集一个样本的平均耗时在80~110s之间。为了说明采集帧数与图像质量的关系，记录预

处理过程中的部分数据。按照“优质、良好、一般”将处理前后的图像质量评价为三个等级，并按照采集帧数分类得出以下数据关系。由此可见，采集图像在500~700帧范围内的三维人脸图像的质量最好，需要人工干预处理的样本数较少，平均处理的时间也较短。700~900帧的图像需要较多的人工干预，但是预处理后也可以得到较高的图像质量。900帧以上的图像采集质量较一般，但是经预处理后图像质量有较大幅度提高，只是处理耗时较长。而500帧以下的图像质量在预处理前后都很难获得高质量的图像效果。

三维人脸图像的数据采集