基于二维图像的三维人脸建模
人脸识别技术的原理与应用
人脸识别技术的原理与应用人脸识别技术是一种基于特定算法将人脸图像进行检测、特征提取、匹配的过程，以从中识别出人脸信息的技术。
其应用范围十分广泛，如安防、金融、教育、医疗等领域。
本文将介绍人脸识别技术的原理和应用。
一、人脸识别技术的原理人脸识别技术的原理是基于计算机视觉技术实现的。
首先，通过摄像机拍摄到的人脸图像经过各种处理，通过面部识别算法提取出人脸的各种特征，如眼睛、鼻子、嘴巴、面部轮廓等特征。
这些特征被称为“人脸特征点”或“人脸特征向量”，它们是用数字表示的一组特征数据。
其次，通过对这些特征进行保存并进行计算，得到一个所谓的“人脸模板”，这就是用来表示一个人脸的数字化特征，也是进行比对时用来作为参照的数据。
当有新的人脸出现时，系统将提取该脸部的特征并与系统中已保存的人脸模板进行比对，系统会计算两个人脸特征数据之间的相似度，从而进行人脸识别。
为了提高人脸识别的准确率，特征提取和人脸比对是非常重要的环节。
当前，人脸识别技术主要涉及2D人脸识别和3D人脸识别两种方式。
其中，2D人脸识别是通过二维平面图像进行人脸识别，适用于静态场景；3D人脸识别借助3D建模技术，将人脸建立成三维识别模型，适用于动态场景。
二、人脸识别技术的应用1. 安防领域人脸识别技术在安防领域的应用较为广泛，可以用来进行出入检测和身份识别等方面。
例如，在公共场合如机场、车站、商场、公园等对人的出入进行监控以及对犯罪犯罪分子的追踪和抓捕等方面。
2. 金融领域人脸识别技术在金融领域中广泛应用，以增强金融机构的安全性和客户体验。
如，人脸识别技术可以用于ATM机上的实名认证、银行网站的账户登录等方面，这些应用可以极大地减轻人力负担，提高工作效率。
3. 教育领域人脸识别技术在教育领域中也逐渐被广泛应用。
例如，人脸识别技术可以用于学籍管理系统中的学生签到、考试监控等方面。
此外，也可以用于课堂表情识别、心理测量等领域，能够大大提高学生学习的效果和体验。
基于照片的特定三维人脸建模方法
面 照片上 的鼻尖 点。而 由于嘴唇 、 睛等特 定 区域 的 眼 特征 点提取 有难 度 ， 则使 用手工 的方式 标注 这些特 定
区域的特 征点。如图 ３ 所示 。
Ｉ ＿ ‰ 一ｎ ｌ面 ： （ 仰 ㈩ 二 ＿ 。 ：— ＝ 。 ） ，
：
ｚ
ｙ
图 ３ 人脸正 面与侧 面特征 点的定义
图 １ 空 间 点 Ｐ的 三 维 位 置 确 定
如果在拍摄照片时 ， Ｃ 坐标 系中 ｚ 轴与物体坐 让 ， 。 标系 中的 轴 平行 ， 且让 摄像机 Ｇ 的光轴与物体坐 并 ．
式 。手动提取是用手工 的方式在人脸 照片上标 出特征
点； 自动提取是 采用一些 特征 点提取 算法 ， Ａ Ｍ 算 如 Ａ 法 、 ａｅ ｓ ｋ 算法 、 Ｐ Ｆ算法 等 ， ｎ ＲＢ 由计 算机 自动提
ｉ ｎ，ｉ ｒ ｅ Ｏ ｇ ｎ ｒ ｔ ｐ ｃ ｆ ａ ｅｍｏ ｅ ｙ ｍｏ ｉ ｈ ｅ ｔ ｒ ｍａ ｅ ｏ ｈ ｅｇ ｎ ｒｃ３ ｆ ｅｍｏ ｅ ．Ｅｘ ｅ ｉ ｎａｌ ｓ ｌｓｓ ｏ ｔ ａ ｔｏ ｎ ｏ ｄ ｒｔ ｅ ｅ ａｅ ａ ｓ ｉ ｃｆ ｃ ｅ ｉ ｄ ｌｂ ｄ ｆ ｅｔ ｘ ｕ ｅｉ ｇ ｆｔ ｅ ｅｉ Ｄ ａ ｙｔ ｃ ｄ１ ｐ ｒｍｅ ｔ ｒ ｕ ｔ ｈ ｗ ｈ ｔ ｅ
可以得 到 ：
ｙ
取 人脸 照 片上 的特 征点 。文 中在 特征 点提 取 的方 法
上， 则是采用 自动和手 工相 结合 的方法 来实 现。参考 ＭＥ一 Ｐ Ｇ ４人脸规 范模型 标准 ， 中正面照 片 中定 义 了 其 ３ ９个特征点 ， 面照 片 中定 义 了 １ 侧 ７个特 征 点。使 用 图像 分析 的 方法 “ 自动确 定具 有显 著视 觉特 征 且 容易 自动提取 的特 征点 的位 置 ， 如正 面照 片 以及 侧 例
基于正面和侧面照片的三维人脸建模
Ｐ
，、 ／ ， 、 、
，
速度 快 的交 互方式 是常 用 的一 种人 脸模 型调整 方法 。
本文 采用在 人的二 维正 面 、 面照 片的基 础上 ． 侧 依
／ ／
． ，
： 、
、 、
据 ＭＰ Ｇ－ ４多媒 体标 准定 义 出人脸 的特 征点 ，通 过 Ｅ －
收 稿 日期 ： ２ ０ — ３ ３ ；修 回 日期 ：２ ０ ． ８ ３ ０７０ —０ ０ ７ ０ ．０ 作 者 简介 ： 曾照 华 （ ９ ５ ） 男 ， 西 太原 人 ， 士研 究 生 ． 要 研 究 方 向 ： 工 智 能 。 １７一． 山 硕 主 人
… …
一
志 ｚ
一
（ 。 一 Ｘｓｎ ｙｃ ｓ ｉ ）
或鲁 棒性不 强 ，还难 以满 足实际 的需要 。基 于特征 的 模型 调整方 法充分 利用 了人脸 先验 知识 ， 因此 效率 高 、
标 分别 为 （ ７） （ 。７） 根 据 线性 摄 像机 模 型 （ “ ， 和 “ ，。 ， ３ ３ 即 针孔 模型 ） 可 以得 到 ： ，
ｚ 。
１ 立 体 视 觉 原 理
一
图 １ 立体 视 觉 中 的 摄 像 机标 定
Ｌ ｙ
正面 、侧面建 模原 理是基 于立 体视 觉原理 的建模 应用 。下 面我们介 绍一 下立体 视觉 原理 的相关 理论 。 利 用 立 体 视 觉 传 感 器 确定 ３ 点 在 空 间 中 的 位 Ｄ 置 ，只需要具 备简单 的 几何知识 和代 数知 识 。我们 采 用如 图 １ 所示 的方 法标 定 出摄 像机 的位 置 。 图 １中．我们 要测 的空间 点为 Ｐ点 。假定 我们 在 拍 摄照 片时 ， 得摄 像机 Ｃ１的光轴 ｘ 使 与物体 坐标 系 的 ｘ。 重合 ， 摄 像机 Ｃ１ 标 系 中的 ｚ 轴 与 物 体 轴 且 坐 坐标 系 的 ｚ 轴 平 行 ，摄 像机 Ｃ 。 ２为摄 像 机 Ｃ １在 物 体 坐标 系下绕 ｚ 轴旋 转 角 后 得到 。 点 尸 在物 体坐标 。 设
三维人脸建模中面部特征点的提取
维 图像 中的人脸特征 点对精确及 高效 地进行 三维 人脸 建模是 至关重要 的．
睛 、 子 、 巴等器 官在整 个面部 中的相对位 置是 鼻 嘴
稳定 的． 人脸 的基 本 形状 及 五官 之 间的 位置 存 在 着“ 三庭 五 眼 ” 的规 律． 竖 直方 向上 ， 际 到 眉 在 发
过程 中非常 重要 的步 骤 ， 准确 以及快 速 地提 取 二
２ 人 脸 结 构
虽 然每个 人 的人脸都 不一样 ， 人脸 都具 有 但
一
定 的共性 ． 在人 脸正面 图像上 ， 的脸部 轮廓可 人
近似地 看作椭 圆 ， 双眼在椭 圆的水平对 称轴 上 ， 眉 心 、 尖 和下 巴尖点 位 于竖 直对 称轴 上 ， 毛 、 鼻 眉 眼
分别 到双 耳 的距 离都 相 等 ， 为一 眼宽 ， 均 这样 ， 加
建模过 程相 对简单 ， 而且 真实感 效果好 ， 并且 数据
的获取 也 非 常方 便． 因此 ， 方法 的应用 广 泛 ， 该 在
上 两个 眼睛 自身 的宽度 ， 为“ 称 五眼 ” ．
基 于这种 规律 ， 们可 以很方 便 的快 速 的 确 我
中 ， 义 了 Ｆ Ｐ（ ａ ｉ ｅ ｎｔ ｎ Ｐ ｒｍ ｔ ｓ 人 定 Ｄ Ｆ ｃ ｌＤ ｆ ｉｏ ａａ ｅｅ ， ａ ｉ ｉ ｒ 脸 定 义 参 数 ） Ｆ Ｐ（ ａｉ ｎｍ ｔ ｎ Ｐ ｒ ． 和 Ａ Ｆ ｃ ｌＡ ｉ ａ ｏ ａａ ａ ｉ ｍｅ
同人 脸 图像 上标 注对应 的人 脸特征 点 ， 如眼角 、 嘴
通过视 觉方 法建立三维 人脸模 型 的一 般过 程
如下 ： 先通过摄 像 设 备获 取不 同视 点 的特 定 人 首
脸 图像 ， 并建立 一个一般三 维人脸 网格模 型 ； 后 然
人脸三维建模python算法
人脸三维建模python算法人脸三维建模是一个复杂的过程，涉及从二维图像中恢复或构建三维形状。
在Python中，你可以使用各种库和算法来实现这一目标。
以下是一些常用的方法和技术：基于立体视觉的方法：使用多个相机从不同角度捕捉人脸图像。
通过三角测量来重建三维点云。
基于形状从阴影恢复（Shape from Shading, SFS）：利用图像中的阴影信息来推断三维形状。
需要一个已知的照明模型或假设一个照明条件。
基于结构光的方法：投射特定的光模式到人脸上，并观察其变形。
通过分析变形模式来恢复三维形状。
基于深度学习的方法：使用卷积神经网络（CNN）来学习从二维图像到三维形状的映射。
需要大量标注好的二维-三维对应数据集进行训练。
三维可变形模型（3D Morphable Models, 3DMM）：使用一个统计模型来表示人脸形状和纹理的变化。
通过拟合算法将3DMM模型匹配到二维图像上。
基于点云的方法：采集设备直接获取三维点云数据（例如激光雷达、结构光相机等）。
点云数据可以通过配准、重建等技术得到完整的三维模型。
在Python中实现人脸三维建模，你可能会用到以下库：OpenCV：用于图像处理，包括面部检测、特征点提取等。
NumPy：用于数值计算，包括矩阵运算、线性代数等。
PyTorch 或TensorFlow：用于实现深度学习模型。
scikit-learn：用于机器学习算法，如回归、分类等。
trimesh 或PyMesh：用于处理三维网格数据。
matplotlib 或plotly：用于可视化结果。
这里是一个基于3DMM的简单流程：收集数据：收集带有二维图像和对应三维形状的数据集。
预处理：使用OpenCV进行面部检测和对齐，提取特征点。
3DMM拟合：通过优化算法（如梯度下降）来拟合3DMM 模型到二维图像上的特征点。
纹理映射：如果可用，将二维图像的纹理映射到三维形状上。
后处理：对得到的三维模型进行平滑、修复等操作。
智能家居中人脸识别技术研究
智能家居中人脸识别技术研究一、引言随着科技的快速发展，智能家居已成为现代家庭生活中的重要组成部分。
而人脸识别技术作为智能家居的重要组成部分之一，其在智能家居中的应用也日益广泛。
本文旨在探讨智能家居中人脸识别技术的研究现状及发展趋势。
二、智能家居中人脸识别技术的基本原理人脸识别技术是指通过对人脸图像进行分析、提取人脸特征并进行比对，从而实现对人脸进行自动识别的技术。
在智能家居中，人脸识别技术主要应用于以下几个方面：（一）门禁系统：通过人脸识别技术，可以实现智能门禁系统的自动开关门，从而提高家居安全性。
（二）智能家居控制：通过人脸识别技术，可以实现智能家居控制的自动化，如自动开启空调、电视等设备。
（三）智能安防监控：通过人脸识别技术，可以实现智能安防监控，如发现陌生人员进入家庭，及时发送警报信息给家庭成员。
三、智能家居中人脸识别技术的研究现状目前，智能家居中的人脸识别技术已经得到了广泛的应用，研究人员也在不断的探索和改进该技术。
以下是智能家居中人脸识别技术的研究现状：（一）基于深度学习的人脸识别技术深度学习是一种基于神经网络的机器学习方法，已经被广泛应用于人脸识别技术中。
深度学习的模型可以通过对大量的人脸图像进行训练，从而得到更加准确的人脸识别结果。
（二）基于三维建模的人脸识别技术三维建模技术可以将人脸从二维图像转换为三维模型，并提取更多的人脸特征，从而提高人脸识别的准确度。
（三）基于多模态信息融合的人脸识别技术多模态信息融合指的是将不同的人脸特征信息进行融合，从而提高人脸识别的准确度。
比如将人脸图像信息和声音信息进行融合，可以更加准确地进行人脸识别。
四、智能家居中人脸识别技术的发展趋势随着人工智能技术的快速发展，智能家居中的人脸识别技术也将呈现出以下几个发展趋势：（一）更加准确的人脸识别技术未来的人脸识别技术将会更加准确，能够更好地识别不同角度、不同表情、不同年龄段的人脸。
（二）更加智能化的家居控制未来的智能家居将会更加智能化，能够根据不同的人脸识别结果自动调整家居控制模式，提供更加个性化的智能家居服务。
人脸识别技术中的3D建模与匹配技术
人脸识别技术中的3D建模与匹配技术第一章介绍人脸识别技术是一种基于生物特征的身份认证技术，近年来得到了广泛应用。
其中，3D建模与匹配技术作为人脸识别的重要组成部分，具有较高的专业性和准确性。
本章将介绍人脸识别技术的发展背景以及3D建模与匹配技术在其中的地位和作用。
第二章人脸识别技术发展背景从传统的2D人脸识别技术到现在的3D人脸识别技术，人脸识别技术经历了长足的发展。
早期的2D人脸识别技术主要基于图像处理和模式识别方法，受到光照变化、肤色、表情等因素的影响较大。
为了克服这些限制，人们开始将3D建模与匹配技术引入到人脸识别中。
第三章 3D建模技术3D建模技术是人脸识别中的核心技术之一。
通过对人脸进行三维形态的建模，可以获得更多的几何信息，从而提高人脸识别的准确性。
常用的3D建模技术包括基于结构光、立体匹配、双目立体视觉等。
这些技术可以通过获取人脸的深度信息，实现对人脸的准确建模。
第四章 3D建模技术的应用3D建模技术在人脸识别中有着广泛的应用。
首先，它可以用于人脸三维重建，将人脸的二维图像转化为立体的三维模型。
其次，它可以用于增强人脸识别的鲁棒性，通过获取更多的几何信息，提高人脸识别算法对光照变化、角度变化等的适应性。
最后，它还可以用于人脸表情分析和情绪识别，通过对人脸的三维形态变化进行分析，实现对表情和情绪的判断。
第五章 3D匹配技术3D匹配技术是人脸识别中的另一个关键技术。
通过将人脸的三维模型与数据库中的三维模型进行匹配，可以实现对人脸的准确识别。
3D匹配技术主要包括特征描述和匹配算法。
特征描述是将人脸的三维形态进行数学描述，常用的方法包括仿射不变特征（SIFT）、变分贝叶斯、深度学习等。
匹配算法是通过比较两个特征描述之间的相似性，确定人脸的身份。
第六章 3D匹配技术的应用3D匹配技术在人脸识别中起着至关重要的作用。
首先，它可以用于人脸的一对多识别，即将输入的人脸与数据库中的多个人脸进行匹配，找到最相似的人脸。
3D人脸识别技术及应用
3D人脸识别技术及应用
田强;张权;朱桐;田青;夏卫军;戚鹿宁
【期刊名称】《警察技术》
【年(卷),期】2014(000)005
【摘要】介绍了人脸识别技术的主要方法、3D人脸识别技术和基于2D图像的3D人脸识别技术,重点阐述了基于二维图像的三维人脸识别技术概念和建模技术,并对人脸识别技术的未来发展方向做了简要描述.
【总页数】4页(P19-22)
【作者】田强;张权;朱桐;田青;夏卫军;戚鹿宁
【作者单位】公安部第一研究所;证件防伪公安部重点实验室;公安部警卫局信息技术中心;公安部警卫局信息技术中心;公安部第一研究所;证件防伪公安部重点实验室;公安部警卫局信息技术中心;公安部警卫局信息技术中心
【正文语种】中文
【相关文献】
1.面向监控视频的人脸识别技术及应用
2.简述人脸识别技术及应用
3.探索四维人脸识别技术及应用场景
4.面向监控视频的人脸识别技术及应用
5.计算机人脸识别技术及应用研究
因版权原因，仅展示原文概要，查看原文内容请购买。
基于中性模型与真人照片的三维人脸建模
设 Ｃ ＮＤＤＥ ３的点集为 Ｖ ， ∈Ｖ ，ｏ Ａ Ｉ 一 。 Ｖｖ 。Ｖ 坐标 为（ ０ １ Ｖｖ ） ∈Ｖ， ｖ ｖ＝ ， ｌ ｖ则该点三维坐标为 ： ：
（ ２ ｚ ； ｙ ／， ｙ ２ Ｖｖ 『 不 属 于 ｖ ， 该点 三 维 坐 标 为 ： ） ∈Ｖ． ｖ 则
科技信息
高校 理科 研 究
基 于 由眭檩 型 与 宜 人照 昀 三维 人脸 建模
华 东师 范大 学计算机科 学与技 术 系 江 伟 章 炯 民
［ 摘 要］ 三维人脸建模一直以来都是三维建模 中的热 门研究课题 。 用中性人脸模 型 ＣＡ 利 ＮＤＩ 一 ＤＥ ３和正、 面照片， 侧 结合人脸特征 点识别技 术， 提取照片特征 点， 对正交照 片二维特征点进行整合补 充获得 一组三维人脸特征 点信 息， 通过 该组特征 点校 正并匹配中 性模型获得特定人脸模型， 再提取照 片中人物面部 纹理获得具有真实感 的特定人脸三维模型 。经验证 ， 该方法能 以较低的开销获得 精 确度 较 高 的特 定 人 脸 模 型 。 ［ 关键词 ］ 人脸建模 Ｃ ＮＤＩ 一 正 交照片 面部特征点 Ａ ＤＥ ３
３ Ｖｖ ｖ 属 于 ｖ， 该点 三维 坐 标 为 ： ） ∈ｖ ， 不 则
（ｏＹ ； Ｘ， ｚ
机构采用 ， 进行人脸建模算法 的相关研究 。Ｃ Ｎ Ｄ 一 Ａ ＤＩＥ ３是在原有基础 之上 对其进行 了一系列的规范化更新 ， 使其符合 ＭＰ Ｇ ４的相关标准。 Ｅ一 Ｃ ＮＤ Ｄ 一 有 １ ３ 顶 点 和 １ ８个 三角 面 ， 图 １ Ａ Ｉ Ｅ ３具 １个 ６ 见 。相 比于现 在动辄上千个顶点的参数模型来说 已经是最基本简单 的一个参 数模 型 了， 其提供三类参数总计 ４ 个 ， ３ 以实现对其 自身的调整 ， 尽管拥 有了大 量的参数 ， 但仍有接近一半的顶点是这 ４ 个参数不 能控制到的。 ３
BJUT_3D三维人脸数据库及其处理技术
计算机研究与发展ISSN 100021239ΠCN 1121777ΠTPJournal of Computer Research and Development 46(6):100921018,2009 收稿日期:2008-06-25;修回日期:2008-11-25 通讯作者:孙艳丰(yf sun @ ) 基金项目:国家自然科学基金项目(60533030,60825203);北京市自然科学基金项目(4061001);国家科技支撑计划基金项目(2007BA H13B01)BJUT 23D 三维人脸数据库及其处理技术尹宝才 孙艳丰 王成章 盖 赟(北京工业大学计算机学院多媒体与智能软件技术北京市重点实验室 北京 100124)(yinbc @ )BJ UT 23D Large Scale 3D F ace Database and Information ProcessingYin Baocai ,Sun Yanfeng ,Wang Chengzhang ,and Ge Yun(B ei j ing M unici pal Key L aboratory of M ultimedia and I ntelli gent S of tw are Technolog y College of Com p uter S cience and Technology ,B ei j ing Universit y of Technolog y ,B ei j ing 100124)Abstract 3D face recognition has become one of t he most active research topics in face recognition due to it s robust ness in t he variation on po se and illumination.3D database is t he basis of t his work.Design and ruction of t he face database mainly include acquisition of prototypical 3D face data ,p reprocessing and standardizing of t he data and t he st ruct ure design.Currently ,BJ U T 23D database is t he largest Chinese 3D face database in t he world.It contains 1200Chinese 3D face images and p rovides bot h t he text ure and shape information of human faces.This data resource plays an important role in 3D face recognition and face model.In t his paper ,t he data description ,data collection schema and t he po st 2p rocessing met hods are provided to help using t he data and f ut ure extension.A 3D face data dense correspondence met hod is int roduced.Dense correspondence means t hat t he key facials point s are caref ully labeled and aligned among different faces ,which can be used for a broad range of face analysis tasks.As an applicatio n ,a pose estimation and face recognition algorit hm acro ss different po ses is p ropo sed.Eexp remental result s show t hat t he propo sed algorit hm has a good performance.K ey w ords 3D face database ;face recognition ;3D face model ;morp hable model ;mesh resampling摘 要 BJ U T 23D 是目前国际上最大的中国人的三维人脸数据库,其中包括经过预处理的1200名中国人的三维人脸数据,这一数据资源对于三维人脸识别与建模方面的研究有重要意义.首先介绍了BJ U T 23D 数据库的数据获取条件、数据形式,并针对数据库建立过程中数据预处理技术进行了讨论.最后作为数据库的直接应用,进行了多姿态人脸识别和人脸姿态估计算法的研究.实验结果证实,该算法具有良好的性能.关键词 三维人脸数据库;人脸识别;三维人脸模型;形变模型;网格重采样中图法分类号 TP391 经过40多年的发展,尤其是近10年的研究,人脸识别的理论和算法均取得了长足的进步,但这些理论和算法主要针对输入是二维人脸图像而开展的.理论和实验研究已经证实,二维图像中人脸姿态或成像时光照条件的变化对算法的识别性能有很大影响.而更实用的人脸识别算法应该是在摄像环境不可控、用户不配合的情况下使用.所以目前算法的缺陷大大限制了人脸识别技术在实际中的广泛应用.如何解决不同姿态、不同光照条件下的人脸识别问题是二维人脸识别研究的瓶颈,也是当前的研究热点.与二维人脸图像数据相比,三维人脸数据中包含人脸的空间信息,这是人脸本身固有的特征信息,对姿态、光照条件的变化具有鲁棒性.因此,近年来利用三维人脸数据进行人脸识别的途径已经引起人们的广泛关注,也出现了一些识别算法[1].与二维图像不同,三维人脸数据有多种不同的形式,如人脸的深度数据、曲面点的三维坐标及其点之间的连接关系、面部轮廓线数据等.针对不同形式人脸数据的识别算法也需要相同形式的数据资源.人脸数据库对人脸识别算法的研究与开发、模型训练、算法性能比较测试是不可缺少的数据资源,尤其在基于统计学习算法占主导地位的人脸识别领域,模型训练所采用的人脸库的规模、覆盖的人脸数据的变化很大程度上影响算法精度和鲁棒性;不同算法性能测试所用到的数据库的规模和属性同样决定了评测的合理性和测试结果的有效性.所以,随着三维人脸识别研究的不断深入,建立各种数据形式的三维人脸数据库,为同行提供模型训练数据资源、算法研究与比较的数据平台,具有重要的意义.经过长期的研究积累,我们研究小组采用Cyberware3030R G BΠPS激光扫描仪获取三维人脸原始数据,通过对齐算法构建了可进行线性计算的三维人脸数据库BJ U T23D[2],该库包含1200个中性表情的中国人的三维人脸样本数据,其中部分数据有多个样本.扫描后的数据是由点的纹理信息、三维坐标信息及其点之间的连接关系构成.该数据库目前可以为诸如人脸跟踪、识别、动画等研究人员提供很好的数据资源.本文先对三维人脸数据的采集环境、条件、数据形式进行了介绍,然后研究了数据库建立过程中的数据获取、数据处理、数据对齐等相关技术.这些技术为数据库的使用及其相关的研究工作会提供一些有益的帮助.1 相关的三维人脸数据库综述目前已经有一些包含三维信息的三维人脸数据库,按着数据库的构造方法可以将它们分为基于多视角几何信息的方法、基于结构光的方法和基于三维扫描仪的方法.CMU的FIA数据库是基于多视角几何信息的三维数据库[3],其中数据是用6个摄像机从3个不同角度获取20s的视频信息,然后用计算机视觉的方法恢复三维信息得到的人脸数据.由于没有对视频人脸进行标定,这类方法是用复杂的人脸跟踪算法重构人脸的形状信息,所以其效果受人脸跟踪效果的影响较大.3D2RAM是基于结构光的方法建立的三维人脸数据库[4],它用一个照相机和放映机获取人的3D坐标信息,建立一个含129人的3D人脸数据库.该库样本的坐标信息精度高,但对于面部的眼睛或阴影部分无法获取其3D信息,导致面部曲面形状不完全.由于三维扫描仪能够获取人脸部较精确的形状和纹理信息,因此成为建立三维人脸数据库非常好的工具.在GavabDB数据库中[5],使用Minolta V I2700数字转换器获取61个有表情变化的从不同视角扫描的人脸数据.由于有些视角具有不可见部分,为获取完整的三维人脸表面信息还需要进行适当的后处理.Cyberware扫描仪通过一次扫描可以获取人不同视角的完整数据,因此获取的数据准确性好,大大简化了后处理工作,用该设备建立的U SF三维人脸数据库[6]有200人的三维人脸数据,由于每个样本的形状和纹理信息维数很高,因此对于人脸数据处理与分析方面的研究,这样规模的数据还远远满足不了需要.2007年, Huang的研究小组利用Cyberware扫描仪建立了一个含有475人的三维人脸数据库[7],样本主要有中性和微笑两种表情,年龄分布在19～25岁之间,这一数据库可以缓解现有数据库规模小的缺陷,也为人脸识别、跟踪、对齐、动画等相关研究工作提供重要基础.2 BJUT23D数据库介绍BJ U T23D的三维人脸数据通过Cyberware 3030R G BΠPS激光扫描仪获取.扫描时,一条红色激光线从扫描仪里面发射出来,照射到头部Π脸部,经过激光线的反射,被仪器接收和计算.扫描时要求被扫描者端坐在旋转平台的一个高度适中的椅子上,并直视前方,以保证头部在扫描仪的中部.扫描期间需保持端坐不动和静止的脸部表情直至扫描结束.该扫描仪通过一次扫描得到人头部的几何信息和彩色纹理信息,并使用柱面坐标记录几何信息.扫描精度为圆周方向(用φ表示,0≤φ≤2π)489个采样点,轴方向(用h表示,0≤h≤300mm)478个采样点,扫描半径(用r表示)在260mm～340mm之间.每一0101计算机研究与发展 2009,46(6)个几何采样点对应一个24位(用R,G,B表示)纹理像素点,并以489×478大小的纹理图像存储.Fig.1 Cyberware laser scanner.图1 Cyberware激光扫描仪1)光照条件用激光扫描仪扫描人脸时可以同时获取人脸的三维几何信息和彩色纹理信息,人脸纹理的好坏直接影响到所创建人脸库的质量及应用价值,并给基于人脸库进行的人脸建模、人脸识别、人脸动画等方面的研究带来很大的影响.为了得到统一的、较为真实的纹理信息,我们的数据采集在同一个扫描间进行,并对光照条件做了一定的限制.扫描间是一个特定、封闭的环境,其四周设置4盏专用的照明灯,由前后左右4个方向指向被扫描对象,并保证扫描对象各个方向具有相同的光照强度.为了模拟正常的环境光,扫描间的4盏灯都是60W的白炽灯,同时设置扫描间的墙壁为通体白色,这样4盏灯相互照射后,从墙壁上返回的光形成了一个统一对环境光的模拟制式.由于镜面反射对模型的生成会产生较大的影响,所以要求光的强度在一定的范围内.所有扫描工作都在扫描间完成,这样既保证对环境光的光照条件近似模拟,也保证所有三维人脸数据的光照条件完全相同.2)饰物由于扫描仪对头发等深色部位的扫描效果比较差,而人脸研究仅对人的面部区域感兴趣,因此要求被扫描者佩戴泳帽并将头发全部包住.该泳帽一般应选择颜色较鲜明的色彩以便和面部区域分离,方便后期处理.此外还要求被扫描者不能化妆、不戴眼镜等任何饰物.3)数据规模及形式BJ U T23D三维人脸数据库共包括1200名中国人的三维人脸数据,其中500人的数据对外公开发布,男女各250人,年龄分布在16岁～49岁之间,所有人脸数据均是中性表情.部分人脸有3个样本,以便于人脸识别研究.三维扫描仪进行一次柱面扫描就是对人的头部表面进行高密度采样,采样信息包括空间几何信息和彩色纹理信息.空间几何信息由两部分组成,既空间三维采样点的坐标信息(用(X,Y,Z)表示,约2×105个点),和由网格描述的这些点之间的连接关系,网格组成的三角面片约有4×105个.彩色纹理信息是采样点柱面投影得到的二维图像,以普通图像格式存储,图像的长和宽由投影参数、扫描设备硬件与操作平台决定,本文得到的纹理分辨率为478×489,如图2(c)所示.为建立几何信息同纹理信息之间的联系,在几何信息中还存储几何采样点在纹理信息文件中对应纹理点的归一化坐标,归一化坐标表明本采样点在纹理信息文件中对应纹理点位置的索引信息,几何信息和纹理信息之间的关系就是通过该索引信息建立起来的.图2是扫描后的三维人脸及其对应的几何、纹理信息.Fig.2 3D prototytical face data.(a)Scanned3D face;(b) Shape data;and(c)Texture image.图2 三维原始人脸数据.(a)三维人脸;(b)几何数据;(c)纹理图像4)人脸数据的命名规则在数据库中,每个三维人脸数据由单一的文件组成,文件按照统一的规则进行命名.文件名有6部分信息,命名规则为性别+I D+年龄+表情+内容+发布情况.具体表示形式如下:x_xxxx_Ax_Ex_Cxxxx_Rx1 2 3 4 5 6每部分的具体含义为:1表示性别区域,由一个字母组成.“M”表示男性,“F”表示女性.2表示I D区域,由4个数字组成.表示该文件在数据库中的I D,当组成文件I D所需数字不足4位时剩余高位用0补齐.3表示年龄区域,由一个字母“A”和一位数字组成.A是年龄的英文Age的首字母.由于研究时1101尹宝才等:BJ U T23D三维人脸数据库及其处理技术关心的是人脸数据所处的年龄段,所以只记录每个人脸数据所属的年龄段,并用1位数字表示.每个年龄段的代表数字如表1所示:T able1 Correspondence of N otation and Age表1 年龄符号对应表Notation Age Range110-19220-29330-39440-494表示表情区域,由一个字母“E”和一位代表表情的字母组成.表情字母表示人脸数据具有的表情.每个表情代表字母的含义如表2所示.目前数据库中所有人脸都是中性表情.T able2 Correspondence of N otation and Expression表2 表情符号对应表Notation ExpressionN NormalH HappyP SurpriseA Angry5表示数据内容区域,由5位字母组成.C是Content的首字母,后面的4位字母“t rim”表示该数据经过预处理.6表示发布标记区域,由两位字母组成.首字母为R,第2个数字表示是否已经发布,其中“0”表示未发布,“1”表示已发布.目前发布的数据是无法直接读取的,用户需要使用我们提供的工具将原始数据转换成可读的文本形式.转换后的文本数据包含3个部分信息:顶点信息、纹理信息、网格信息.①顶点信息:顶点信息由密集采样点组成,三维人脸模型的顶点信息就是由这些采样点构成的.数据的表示形式为Vertex1:X=-87.616997,Y=-12.994000,Z=37.046001, Vertex1表示序号为1的顶点,X,Y,Z分别表示该点的3个坐标值.②纹理信息:纹理信息描述了每个顶点的对应的纹理值.数据表示形式为Text ure1:R=144,G=99,B=85,Text ure1表示顶点1的像素值,R,G,B分别表示点在3个颜色通道的值.③网格信息:网格信息描述顶点之间的连接关系.库中的数据使用三角网格来描述顶点之间的连接关系.数据的表示形式为Triangle1:Fi rst V ertex=36407,Second V ertex=36310,Thi r d V ertex=36392,Triangle1表示第1个三角网格,其后的3部分信息分别表示依附该三角网格的3个顶点的标号.3 建立BJUT23D的信息处理技术扫描后的数据还有许多信息缺失和不平滑的情况,另外肩部和头部的信息对于人脸识别及相关研究是无用的,它们的存在将会增加数据规模,为后续数据库的应用增加计算量,所以需要对扫描后的数据进行预处理.3.1 面部数据的分离和预处理扫描人脸时,由于光照条件的细微变化、人脸表面的不光滑性以及头发等复杂结构的影响,射在人脸表面的光线在返回时运动轨迹发生偏离,会使扫描后得到的三维人脸数据发生变形,出现一些毛刺和空洞等现象.在对耳朵、下巴等部位扫描采样时,捕捉不到的三维信息也会形成空洞,有些地方则因为局部表面不光滑会产生毛刺.对此,我们采用交互的方式,使用插值、平滑等预处理方法弥补三维人脸上的空洞并去掉毛刺.面部数据的分离是将人脸面部区域从整个头部扫描数据中分离出来,去除头发、肩等部位的三维数据.我们使用的方法[8]首先确定分离的边界.由于在三维人脸几何数据上直接进行边界关键点标定和边缘自动检测十分困难,所以借助人脸的纹理图像来进行不规则边界的确定,即在三维人脸对应的二维纹理图像上确定面部发际边界和耳朵部位的边界,然后通过纹理几何的对应关系,找到三维人脸几何数据相应的分割边界.对于耳下的垂直切面和脖子下的水平切面则直接在几何数据上确定,用来去除肩部以下和耳朵后面的数据.确定了人脸的分离边界后,即可将人脸的面部区域从原始扫描数据中分离出来.如图3所示为分离后的三维人脸,图3(a)是分离后的几何形状及其对应的纹理图像,图3(b)是分离后不同角度下的三维人脸面部图像.2101计算机研究与发展 2009,46(6)Fig.3 3D face data.(a )The cutted shape and texture for 3D face and (b )Frontal and side 3D face.图3 三维人脸数据.(a )分离后的三维人脸几何信息和纹理信息;(b )正面、侧面3D 人脸 为保证三维人脸数据的一致性,在数据获取时要求被扫描者保持指定的姿态和位置,既目视前方,头部保持垂直.但实际扫描得到的人脸样本的姿态不可避免地存在一定偏差,因此需要对不同的人脸数据进行坐标矫正,将不同的三维人脸数据统一到同一个坐标系.切割后的三维人脸数据接近一个柱面分布,所以用三维人脸数据的离散点集来拟合一个柱面,用柱面的中心轴作为三维人脸数据的新的垂直坐标轴(Z 轴),过鼻尖点且与新的垂直坐标轴垂直相交的直线作为新的前向坐标轴(Y 轴),新的X 坐标轴则由Y 轴和Z 轴的叉乘运算确定.通过坐标变换可以得到每个三维人脸在新的坐标系下的坐标值,经过坐标变换的所有三维人脸数据均变换到朝向、姿态相同的坐标系下.如图4是三维人脸的坐标矫正示意图,其中Z 是矫正后的垂直轴,Z 0是矫正前的垂直轴,X ,Y ,Z 是矫正后的坐标轴.Fig.4 Recorrected face by a cylinder.图4 人脸柱面矫正3.2 人脸数据的规格化由于人脸的个性化差异,扫描得到的人脸数据有很大差别.首先是构成三维人脸的点数和面数不同,这样的数据使基于形变模型的三维人脸重建无法进行,也不利于人脸的统一表示;其次是点或面的排列与人脸特征无关.因此建库时对预处理过的三维人脸数据进行了规格化,规格化后的数据既可以用统一的向量形式来表示,又保证所有的三维人脸数据特征对齐.规格化[9]的第1步是建立不同三维人脸数据间的稠密对应,既根据人脸面部特征建立不同的三维人脸数据间点到点的一一对应关系.例如,已知一个人脸上的鼻尖点可以根据对应关系找到另外一个人脸上的鼻尖点,如果以某一个人脸作为标准人脸,就可以将人脸数据根据标准人脸的点和面进行有序化.事实上,在三维数据上建立基于特征的点对点的稠密对应非常困难.首先不同人脸的个性差异导致三维人脸的几何差异很大,而且还要考虑纹理特征信息的对应;其次三维人脸数据是稠密点集,数据量很大,因此很难使用一般方法建立这种对应关系.文献[9]考虑到扫描人脸数据是以柱面的形式表示,将三维人脸展开为二维形式,借助在二维图像上光流对应计算的方法建立三维数据的对应.但光流算法的前提假设是两幅图像间光流的变化是连续光滑的,对于比较相像的两幅人脸可以近似地看做视频序列的相邻两帧图像,此时对应计算效果比较好.但对于形状差别较大的人脸数据,光流算法的前提假设不满足,对应计算将产生较大的误差.另外,这种将复杂三维几何进行柱面展开形成二维图像的方法实际上损失了很多三维信息,所以其对应计算的效果不是很好.为此,BJ U T 23D 数据库采用基于网格重采样的对齐方法.网格重采样是通过原始数据建立网格和曲面的常用方法,它摒弃了在二维图像上的处理方法,直接在三维空间进行,能够更多更精确地保留原数据的三维信息.利用重采样可以将不规则的多边形网格转化为规则的网格的特点,该方法将不同网格数和空间点数的原型人脸全部规格化为采样点数、网格数、拓扑完全一致的原形人脸,且重采样后的人脸同一相对位置的点都固定地代表了同一个面部特征,在此基础上能够直接进行不同人脸的点与点的线性组合,从特征的角度更具有线性组合的合3101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术理性.人脸对齐主要由人脸分片和网格重采样两个计算过程组成.1)人脸分片人脸分片将三维人脸分割成多个面片为网格重采样做准备.目前自动分片算法[10]的研究主要是针对纹理映射领域,虽然能够达到自动,但分片的形状不确定,无法保证所有人脸分出的同一片包含的人脸特征相同或相近.Krishnamurt hy 等人[11]提出的交互的人工分片方法,由用户选取一序列点,然后采用贪心图算法,在网格连线上寻找相邻点的最短路径,这些路径则形成分片的边界.该方法以网格的连接关系为基础进行分片操作,实现比较复杂.本文根据三维人脸数据包含三维几何与纹理两部分数据的特点,基于面部纹理图像手工交互标定特征点,然后以特征点的连线作为分片边界,划分特征区域,最后通过柱面映射找到三维人脸网格上的分割结点和分割线.考虑到重采样后网格要求比较均匀,所以采用面积比较接近的矩形进行分割.如图5所示是三维人脸分割的结果,一个人脸被分为122个面片.Fig.5 Divide the 3D face into patches.图5 三维人脸分片2)三维人脸网格重采样对于初始分片后的三维人脸通过网格重采样进行网格细分.重采样时首先要确定每个面片的4个角点.对于规格的矩形面片,直接使用其4个顶点作为角点;对分割后处于边界的不规格面片,利用最小内角法或长宽比法确定4个角点.为了能够进行均匀重采样,对所有矩形的边长度进行统计,然后进行等形线的均匀初始化,这样不仅使边界边的划分更均匀,还可以减少边界曲线提取的计算量.对等形线初始化后的网格进一步的细分,利用点的合力调整新获得弹性点的位置,从而获得了每一面片的均匀重采样网格.对每个面片重复以上重采样过程,直到重采样的密度与原始三维人脸数据的密度比较接近为止.如图6(c )是对人脸数据进行5次重采样的结果,约由13×104个点,25×104个三角面组成.详细的三维人脸重采样过程参见文献[8].Fig.6 Face mesh resampling.(a )The ioslines initialized ;(b )One time mesh resampling ;and (c )Five times mesh resampling.图6 人脸重采样.(a )初始化网格;(b )1次重采样的结果;(c )5次重采样结果经过上面的重采样处理,所有三维人脸具有相同数量的点和三角面片,且整个网格的拓扑结构完全相同,从而可以建立三维人脸数据间严格的一一对应,这样的对应可以将所有三维人脸表示为统一的表示形式.另外,由于这里的分片是基于特征的分片,因此重采样后点的对应也是基于特征的稠密对应.图7是分别基于网格重采样的方法和光流的方法进行人脸对齐的结果.从图中可以看出,基于网格重采样方法的对齐效果好于光流的算法.Fig.7 The correspondence based on mesh resampling and optical flow.(a )The correspondence based onmesh resampling and (b )The correspondence based on optical flow.图7 基于重采样算法和光流算法的对齐效果比较.(a )基于网格重采样方法的对齐结果;(b )基于光流方法的对齐结果4101计算机研究与发展 2009,46(6)4 BJUT 23D 的应用———多姿态人脸识别算法研究[12] 实用的人脸识别系统应该是在用户不配合的情况下使用,此时人的头部会以多种姿态的形式出现,所以进行人脸识别必须考虑头部姿态的变化,多姿态人脸识别也一直是人脸识别研究的难点.作为三维人脸数据库BJ U T 23D 的直接应用成果,我们小组进行了多姿态人脸识别研究,并借助于三维人脸形变模型[9]实现了对人脸的姿态估计.4.1 算法整体框架根据二维人脸库(gallery )中的人脸图像(每个人只需要一幅二维人脸图像),采用三维人脸形变模型重建其对应的三维人脸.在识别阶段采用该三维人脸模型估计二维测试图像中人脸的旋转角度,并以测试图像中人脸在3个方向上的旋转角度为基准,将人脸库(gallery )中重建的三维人脸旋转到相同视角的同一姿态.最后,采用相同姿态下人脸图像进行人脸对象的分类识别.算法的整体框架如图8所示:Fig.8 The f ramework for multipose face recognition.图8 算法整体框架4.2 三维人脸形变模型形变模型的基础是线性组合理论,即使用一类对象中若干典型样本张成该类对象的一个子空间,用子空间基底的组合近似地表示该类对象的特定实例.使用形变模型进行三维人脸建模分为两个过程:一是建立模型,包括原始人脸数据的获取、人脸数据的对应和建立组合模型;二是针对特定人脸图像进行二维人脸图像与模型的优化匹配,实现三维人脸的重建.建立形变模型使用的三维人脸数据源于BJ U T 23D 数据库,所有数据均经过前述的规格化处理,实现了三维人脸的点到点的对应.第i 个三维人脸数据用形状和纹理向量表示为S i =(X i 1,Y i 1,Z i 1,X i 2,…,X in ,X in ,X in ,)T,T i =(R i 1,G i 1,B i 1,R i 2,…,R in ,G in ,B in )T,1≤i ≤N ,(1)其中N 三维人脸的总数,n 是三维人脸顶点的个数.由于原型人脸数量比较大(N =200),且人脸数据间有一定相关性,因此使用主元分析方法(PCA )对人脸形状和纹理向量进行处理,压缩数据量,消除数据间的相关性,得到形变模型的表示形式:S model =S -+∑m-1i αi s i,T model =T -+∑m-1iβi t i,(2)其中S -,T -是原型三维人脸的平均形状和纹理向量,m 是主元个数,s =(s 1,s 2,…,s m -1),t =(t 1,t 2,…,t m -1)是形状和纹理的主元向量组,α=(α1,α2,…,αm -1),β=(β1,β2,…,βm -1)是模型的组合参数.4.3 模型匹配模型匹配就是将形变模型与输入二维人脸图像进行优化匹配,使模型人脸与输入人脸的匹配误差最小,得到模型的组合参数.本文用图像对应像素点的灰度差的平方和作为两图像的匹配误差,即E I =∑x ,y|I input (x ,y )-I mod el (x ,y )|2,(3)其中I input 是输入的人脸图像,I mod el 是三维模型人脸在某视点观察得到的人脸图像,可通过投影模型和5101尹宝才等:BJ U T 23D 三维人脸数据库及其处理技术。
基于二维图像的三维人脸建模技术
‘
（ｎｔｕｅｏ ｓａ ｚｔ ｎ Ｔ ｃ ｎ ｌ ｙ Ｄ ｐ ｒ ｅ ｔｏ ｏ ｕｅ ｃｅｃ ， Ｉｓ ｔｔ ｆＶｉ ｌ ａｉ ｅ ｈ ｏｏ ， ｅ ａｔ ｎ ｆＣ ｍｐ ｔｒＳ ｉ ｅ ｉ ｕｉ ｏ ｇ ｍ ｎ
Ｎｏ ｈ ｅ ｔＵｎｖ ｒｉ ， ｎ ７ ０ ６ ） ｔ ｒ ｗｓ ｉｅｓｔ Ｘｉ １ ０ ９ ｙ ａ
Ａｂ ｔ ａ ｔ ｓ ｒ ｃ ：Ｔ ｒ ｅ ｄ ｍｅ ｓｏ ａ ａ ｅ ｈ ｅ － ｉ ｎ ｉｎ ｌ ｆｃ ｍｏ ｅ ｉ ｇ ｎ ｎ ｍａｉｎ ｓ ｏ ｅ ｆ ｔ ｅ ｅ ｅ ｒ ｈ ｆ ｃ ｓ ｓ ｉ ｏ ｕ ｅ ｒ ｐ ｉ ｓ ｎ ｈ ｓ ｄ ｌ ａ ｄ ａ ｉ ｔ ｉ ｎ ｏ ｈ ｒ ｓ ａ ｃ ｏ ｕ ｅ ｎ ｃ ｍｐ ｔｒ ｇ ａ ｈ ｃ ． ｔ ｉ ｎ ｏ Ｉ
进行纹理映射 ． 终得到具有真实感的虚拟三维人脸。 最 本 文 结 构 安排 如下 ： １节 引 言 简 要 介 绍 了三 维 人 脸 建模 第 的发 展 现 状 和 本文 要 研 究 的 方 法 ． ２节 介 绍 了人 脸 结 构 特 点 第 和 人 脸 面 部 特 征 的 提取 ， ３节 讨 论 了 一 般 人 脸 模 型变 换 到特 第 定 人 脸模 型 的 方法 ，第 ４节 介 绍 了柱 面投 影 纹 理 映 射 技 术 ， 第 ５节 给 出 了本 文 方 法 的实 验 结 果 ， 最后 是 结 论 展 望 。
维普资讯
基 于二维 图像 的三维人脸建模技术
程 日彬 周 明全 李 春龙 （ 北 大学计 算机科 学 系可视化 技 术研 究所 ， 西 西安 ７０ ６ ） １０ ９
基于形变模型带表情的三维人脸重建
基于形变模型带表情的三维人脸重建孙建伟【摘要】形变模型一直是三维人脸重建的重要方法,该方法根据特定的人脸图像,通过使用原型人脸模型的组合形成新的三维人脸模型.经过研究,提出将人脸形变模型与人脸表情模型结合,参考给定图像的二维特征点,实现带表情的三维人脸重建方法.实验结果表明,该方法能够获得较好的带表情的三维人脸模型效果.【期刊名称】《现代计算机（专业版）》【年(卷),期】2018(000)006【总页数】4页(P24-27)【关键词】形变模型;人脸表情;二维特征点;三维人脸重建【作者】孙建伟【作者单位】四川大学计算机学院,成都 610065【正文语种】中文0 引言人脸是人脸信息传递的载体，随着近几年来生物特征识别领域的快速发展，人脸相关的研究更是成为了热门的研究对象。
而真实感的三维人脸建模也逐渐成为人脸研究中一个热点问题。
技术的发展，生活质量的提高，我们注意到三维人脸建模在多种领域中起着重要的作用，更是在计算机视觉、医学研究、游戏娱乐、等都具有广大的应用前景。
人脸形状建模主要有两类：一种是通过使用三维扫描设备直接建立三维模型，另一种则是根据二维图像重建出三维人脸模型。
第一种建模方法采用主动式的方法获得数据，其优点是能够得到较为精确的人脸模型，但是只能在特定的环境下使用。
相比较而言，第二类方法更具有普遍性，适用更多的场景，缺点就是重建的模型精度不高，推广到现实中需要一定的时间。
第二类重建方法有多种，而形变模型是第二类重建算法中的代表，它能够解决在没有任何约束下基于单张图像的三维形状重建所存在的病态问题，该方法主要依据现有的三维人脸库作为先验知识，对人脸进行约束，从而实现人脸重建。
现实中对于给定的一张人脸来说，往往带有各种表情，例如惊讶、微笑、沮丧等。
这些表情的变化通常成为人脸重建中需要解决的问题。
因此探索在基于形变模型的基础上添加表情模型，对带有表情的人脸进行三维重建具有重要的意义。
本文就提出在基于形变模型基础上带表情的三维人脸重建，其主要思想是借助二维特征点反映的表情信息，让三维形状产生一定的形变，最终重建出人脸模型。
一种改进的三维人脸重建方法
０ 引言
目前 ， 三维人脸建模 的 主流方法 包括两 种 ： 一种是 根据 人 脸 的三维数据信息直接建模 ； 另一种是在通用人脸模 型的基础 上， 根据人脸 图像 的二 维数据 信息来 变换通 用人 脸模型 ， 而 从
加合理 ； 应 用二 元三 次多项式插值 方法对特征 点局 部 区域进 行二次 平滑 ， 免 了畸 变模 型 的产 生， 然后 避 最终得到 完 整的 三维人脸 模型 。实验结果表 明 ， 用该算 法构建 的三维人脸 模型生成速 度快 ， 使 且具有较 高的精确 度 。 关键 词 ：径 向基 函数 ；特 征 点 ；参数 值 ；二 次平 滑 ；三 维人脸 模 型
ａ ｊ ｓ ｎ ｒｎｆｒ ｔ ｎｍｏｅｒａｏ ａ ｌ ｎｔｅｍｏ ｅ． ｈ ｎ ｐ ｒｏｍｅ ｅ ｏ ｄ ｒ ｍｏ ｔｉｇｏ ｈ ｏ ａ ｒａ ｏ ｔ ｉｇ ｄｕ ｔ ｔ ａ ｓｏｍａｉ ｒ ｅ ｓｎ ｂｅｉ ｈ ｄ １Ｔ ｅ ｅｆｒ ｄａ ｓｃ ｎ ａｙ ｓ ｏｈｎ ｎ ｔｅｌｃ ｌａｅ ｓｃ ｎｍｎｎ ｍｅ ｔ ｏ
郑青碧 ，魏衍君
（ 商丘职 业技 术 学院 计 算机 系， 南 商丘 ４６０ ） 河 ７００
摘
要 ： 以径 向基 函数散 乱数据插 值算 法为基础 ， 针对该 算法在三 维人脸 建模 中的不足 ， 出一种 改进 的算法 ：非特征点的不同特性对基函数选择不同的参数值 ， 使通用人脸模型的调整 变换更
Ａｂ ｔａ ｔ １ ｓ ａ ｅ ｒｐ ｓ ｄａ ｐｏ ｅ Ｂ （ａ ｉｌ ａｉ ｆｎ ｔ ｎ ｅ ｒ ｉｇａｇｒ ｈ ａｅ ｆｔｅ Ｒ Ｆ ｉ ｅ ｏ ｔ ｎ ｓｒ ｃ ： ｝ ｐ ｒ ｏ ｏｅ ｎ ｉ ｒ ｄ Ｒ Ｆ ｒｄａ ｂ ｓ ｃ ｏ ）ｄ ｆ ｍ ｎ ｌ ｉ ｍ ｂ ｓｄ Ｏ Ｂ ｔｒ ｌ ｉ Ｉ ｉ ｐ ｌ ｐ ｍ ｖ ｓｕ ｉ ｏ ｏｔ ｈ ｎ ｐ ａｏ
基于二维人脸图像的三维建模研究
此使用同样的方法 我们就可 以得到三维人脸模型
对应 的等值 线 ．
图１ 人 脸 纹 理 图 与 三维 模 型
图２所示 的是垂 直等值线深度信息 ， 点Ｐ ～
Ｐ 是反 映人 脸特 征 区域 的关 键 点． Ｐ 点 可 以大 致
图 ３ 水 平等 值 线 深 度 图
定 位二维 图像 上 眼睛 的 位 置 ， Ｐ 是 鼻 子 的最 高 顶 点， Ｐ 是 鼻子 的下边 缘 ， Ｐ 一 ， Ｐ 可 以反映 出嘴部 在
收稿 日期 ： ２ ０ １ ３ ￣６ － ０ ４
作者简 介： 张
怡（ １ ９ ８ ０ － ） 女， 河北邯郸人 ， 讲师 ， 硕士
・
２・
兰
州 工
业
学
院
学
报
第２ ０卷
水平和垂直两条等值线 ， 如图 １ 所示． 由前述可知，
二 维纹理 图上 的像 素点 与三维 模型 中一一 对应 ， 因
Ｏ 引 言
人脸 是个 人进 行 身 份 识 别 和 情感 表 达 的重 要 载体 ． 目前 常 用 的 二 维 人 脸 识 别 方 法 由 于 受 到 光
人脸数据之间往往存在较大差别． 差别体现在 ， 首
先 是构 成 三维人 脸 的点数 和面数 不 同 ； 其 次是 点和 面之 间 的排 列与 人脸 特征 无关 ， 点 和面 的存 储 是一 种松散 的形 式 ． 因此 ， 在对 三维 人脸 建模之 前 ， 对原 始 人脸 数据 进行 预 处 理 ， 使 之 规格 化 ， 并 用 统 一 的
块， 初 步建立三维人脸 间的对应关 系； 然后使用重采样的方法， 得到具有规则拓扑结构的人脸特征
点， 建 立较 为精 细的 中性人 脸模 型 ． 经 实验证 明 ， 该方 法能 够在 较 短 时间 内 实现 对 中性 三 维人 脸 的
如何应对人脸识别技术中的扭曲变形问题
如何应对人脸识别技术中的扭曲变形问题人脸识别技术在近年来取得了巨大的突破，成为了生活中无处不在的一部分。
然而，人脸识别技术中存在一个重要的问题，即扭曲变形问题。
扭曲变形是指人脸在不同角度、光照条件和表情下的形态变化，这种变化导致人脸识别算法的准确性大大降低。
因此，解决人脸识别技术中的扭曲变形问题对于提高识别准确率至关重要。
为了应对这个挑战，研究者和工程师们致力于开发创新的方法和技术来解决人脸扭曲变形问题。
以下是几种常见的方法：1. 三维人脸建模：三维人脸建模是一种通过捕捉人脸的三维形状来解决扭曲变形问题的方法。
通过使用深度摄像头或结构光技术，可以获取人脸的三维信息。
然后，通过将三维模型与二维图像进行比对，可以实现更准确的人脸匹配。
2. 多角度采集：传统的人脸识别系统只能在特定的角度下工作，难以应对各种扭曲变形。
为了解决这个问题，工程师们开发了利用多个不同角度的图像进行人脸识别的方法。
通过从不同角度采集样本数据，并将其用于训练人脸识别算法，可以提高算法对扭曲变形的鲁棒性。
3. 表情建模：人脸表情是导致扭曲变形的一个重要因素。
为了解决这个问题，研究者们开发了表情建模技术，通过对人脸的表情进行建模，来增加人脸识别系统对于扭曲变形的抵抗力。
通过将表情建模与人脸识别算法结合起来，可以实现更准确和稳定的人脸识别。
4. 深度学习技术：深度学习技术是目前人脸识别领域最为先进的技术之一。
通过使用深度神经网络，可以学习到更丰富和鲁棒的人脸特征表示，从而提高对扭曲变形的识别准确率。
深度学习技术还可以通过自动学习输入图像的变形序列来增强算法的鲁棒性。
除了以上提到的方法，还有许多其他的方法正在被研究和开发，以解决人脸识别技术中的扭曲变形问题。
例如，基于形状变换的方法可以通过对人脸的几何变换进行建模，从而提高算法的鲁棒性。
另外，基于纹理变换的方法可以通过对人脸纹理的变化进行建模，来增加算法的受变形影响的能力。
尽管人脸识别技术中的扭曲变形问题是一个具有挑战性的问题，但是这个领域的研究和创新正在不断取得进展。
基于双相机捕获面部表情及人体姿态生成三维虚拟人动画
2021⁃03⁃10计算机应用,Journal of Computer Applications 2021,41(3):839-844ISSN 1001⁃9081CODEN JYIIDU http ：//基于双相机捕获面部表情及人体姿态生成三维虚拟人动画刘洁，李毅*，朱江平（四川大学计算机学院，成都610065）（∗通信作者电子邮箱liyi_ws@ ）摘要：为了生成表情丰富、动作流畅的三维虚拟人动画，提出了一种基于双相机同步捕获面部表情及人体姿态生成三维虚拟人动画的方法。
首先，采用传输控制协议（TCP ）网络时间戳方法实现双相机时间同步，采用张正友标定法实现双相机空间同步。
然后，利用双相机分别采集面部表情和人体姿态。
采集面部表情时，提取图像的2D 特征点，利用这些2D 特征点回归计算得到面部行为编码系统（FACS ）面部行为单元，为实现表情动画做准备；以标准头部3D 坐标值为基准，根据相机内参，采用高效n 点投影（EP n P ）算法实现头部姿态估计；之后将面部表情信息和头部姿态估计信息进行匹配。
采集人体姿态时，利用遮挡鲁棒姿势图（ORPM ）方法计算人体姿态，输出每个骨骼点位置、旋转角度等数据。
最后，在虚幻引擎4（UE4）中使用建立的虚拟人体三维模型来展示数据驱动动画的效果。
实验结果表明，该方法能够同步捕获面部表情及人体姿态，而且在实验测试中的帧率达到20fps ，能实时生成自然真实的三维动画。
关键词：双相机；人体姿态；面部表情；虚拟人动画；同步捕获中图分类号：TP391.4文献标志码：A3D virtual human animation generation based on dual -camera capture of facialexpression and human poseLIU Jie ，LI Yi *，ZHU Jiangping（College of Computer Science ，Sichuan University ，Chengdu Sichuan 610065，China ）Abstract:In order to generate a three -dimensional virtual human animation with rich expression and smooth movement ，a method for generating three -dimensional virtual human animation based on synchronous capture of facial expression andhuman pose with two cameras was proposed.Firstly ，the Transmission Control Protocol （TCP ）network timestamp method was used to realize the time synchronization of the two cameras ，and the ZHANG Zhengyou ’s calibration method was used to realize the spatial synchronization of the two cameras.Then ，the two cameras were used to collect facial expressions and human poses respectively.When collecting facial expressions ，the 2D feature points of the image were extracted and theregression of these 2D points was used to calculate the Facial Action Coding System （FACS ）facial action unit in order toprepare for the realization of expression animation.Based on the standard head 3D coordinate ，according to the camera internal parameters ，the Efficient Perspective -n -Point （EP n P ）algorithm was used to realize the head pose estimation.After that ，the facial expression information was matched with the head pose estimation information.When collecting human poses ，the Occlusion -Robust Pose -Map （ORPM ）method was used to calculate the human poses and output data such as the position and rotation angle of each bone point.Finally ，the established 3D virtual human model was used to show the effect of data -driven animation in the Unreal Engine 4（UE4）.Experimental results show that this method can simultaneously capture facial expressions and human poses and has the frame rate reached 20fps in the experimental test ，so it can generate naturaland realistic three -dimensional animation in real time.Key words:dual -camera;human pose;facial expression;virtual human animation;synchronous capture0引言随着虚拟现实技术走进大众生活，人们对虚拟替身的获取手段及逼真程度都提出较高要求，希望能够通过低成本设备，在日常生活环境下获取替身，并应用于虚拟环境［1］。
基于GAN的人脸图像三维重建
基于GAN的人脸图像三维重建作者：罗健郝泳涛来源：《电脑知识与技术》2022年第23期摘要：人脸图像的三维重建是计算机视觉领域一个长期的难题。
文章提出一种基于GAN 的人脸图像三维重建方法。
在这种方法的总体思路中，生成器网络从一张给定的人脸图片中提取三维特征信息，并以此生成人脸的三维模型。
判别器网络则负责将生成的 3D 模型重新投影到正确的像平面并叠加输入图像中的背景部分，得到一张图片并判别是否与输入图像相同。
通过生成器和判别器交替训练，不断提升生成器生成3D人脸结构的效果。
关键词：人脸重建;生成对抗网络;GAN;三维重建中图分类号：TP18 文献标识码：A文章编号：1009-3044（2022）23-0071-031引言人脸图像三维重建的意义主要可以从两个方面来考量：在实际应用方面，在许多与人们生活密切相关的领域中，人脸三维模型都有着极其广泛的应用和十分旺盛的需求。
例如在游戏影音这样的传统娱乐领域，人们需要更逼真的三维模型来提升沉浸感以期获得良好的体验，在公共安全领域，高精度的人脸模型也能够帮助获得更详细的外貌信息从而在一定程度上减小人力物力的损耗。
在这些情况下，人脸图像三维重建能够获得人脸三维模型的难度和成本，从而更加拓宽人脸三维重建技术的应用范围，并通过降低需要获取人脸模型行业成本的方式促进其发展。
另一方面，从科学研究的角度来看，人脸图像三维重建不是一门孤立的技术，而是与图像处理、特征提取等多个研究领域都息息相关。
对于人脸图像三维重建的研究能够对当下诸多的热门领域例，如人脸关键点检测、人脸识别、人脸编辑等方向的研究提供一些启发和经验，在一定程度上促进这些方向研究的发展，提升其应用能力，以便更好地造福人类的生活。
1.1 相关工作基于图像人脸三维重建方法，总体上来说可以分为基于从运动恢复结构、基于明暗恢复形状、基于三维形变模型三种方法。
1）基于从运动恢复结构的三维人脸重建方法这种方法的主要原理是通过多幅图像中与运动视差信息中隐含着被测物体的三维结构信息，通过这些信息来进行三维人脸的构建。
211171399_基于弱监督学习的细节三维人脸重建
第47卷第2期燕山大学学报Vol.47No.22023年3月Journal of Yanshan UniversityMar.2023㊀㊀文章编号:1007-791X (2023)02-0144-08基于弱监督学习的细节三维人脸重建申㊀冲1,2,刘㊀川1,2,张满囤1,2,3,∗,权子洋1,2,师子奇1,2,史京珊1,2,郭竹砚1,2(1.河北工业大学人工智能与数据科学学院,天津300401;2.河北省数据驱动工业智能工程研究中心,天津300401;3.天津市虚拟现实与可视计算国际联合中心,天津300401)㊀㊀收稿日期:2022-06-11㊀㊀㊀责任编辑:唐学庆基金项目:河北省自然科学基金资助项目(F2019202054)㊀㊀作者简介:申冲(1994-),男,河北邯郸人,硕士研究生,主要研究方向为三维人脸重建;∗通信作者:张满囤(1971-),男,天津人,博士,副教授,主要研究方向为计算机图形学㊁图像处理与模式识别,Email:zhangmandun@㊂摘㊀要:人脸细节特征(如皱纹㊁沟壑等)在表达情感信息和提高模型真实感上起着重要作用,然而目前大多数细节重建算法忽略了人脸细节的复杂特性,以单一方法提取细节,无法兼顾细节重建质量和鲁棒性㊂为此,本文提出了一个基于弱监督学习的重建算法,使用基于三维人脸形变模型的粗略模型和UV 空间的位移贴图来表示细节人脸㊂为提升网络的细节提取能力,在细节生成部分将人脸细节分为表情相关细节和表情无关细节,并根据两种细节的不同特性分别设计细节生成网络㊂为进一步提升重建细节的质量,设计了一组针对细节重建的多层级损失函数㊂最后在大量无标签的二维图像中以弱监督方式学习,实现基于单张图像的细节三维人脸重建㊂大量实验结果表明,本文算法在鲁棒性和细节重建质量上均有较好的表现㊂关键词:三维人脸重建;深度学习;弱监督学习;细节生成;三维形变模型中图分类号:TP391㊀㊀文献标识码:A㊀㊀DOI :10.3969/j.issn.1007-791X.2023.02.0070 引言三维人脸重建作为一项基础任务在人脸识别㊁人脸关键点检测㊁人脸编辑等方面都有应用,一直是计算机视觉领域的研究热点㊂随着科技的发展,人们对消费级的三维人脸重建技术有着迫切的需求,而基于单张RGB 图像的三维人脸重建技术不需要复杂的设备,契合广阔的消费级应用场景,成为三维人脸重建领域的研究热点,受到研究人员的重点关注㊂单张图像的获取十分简单,然而根据单张图像恢复出人脸的三维形状却面临巨大的挑战㊂传统的重建方法主要分为两种,一种是利用图像的明暗信息[1]通过数学建模来完成,另一种是利用三维人脸形变模型(3D Morphable Model,3DMM)[2]进行迭代拟合来完成,但是这些方法通常过程复杂且重建效果不佳㊂随着深度学习在计算机视觉领域的突破性进展,许多学者开始研究将深度学习与3DMM 相结合的方法应用到三维人脸重建任务中㊂Tran 等[3]通过深层卷积网络直接回归3DMM 系数,并用传统多图3DMM 的方式生成大量合成数据用于训练㊂Richardson 等[4]从3DMM 分布中采样得到合成的三维人脸模型并通过渲染得到对应的二维图像,并以此作为训练数据通过级联卷积神经网络回归3DMM 系数㊂这些有监督的方法由于缺乏真实的三维数据,往往使用合成数据进行训练,而合成的数据由于缺乏真实性,可能会对算法产生不利影响㊂为此人们提出了另一种方法,以无监督或弱监督的方式训练网络㊂Tewari 等[5]使用可微分渲染器将重建的三维模型渲染成二维图像,再与输入图像进行对比㊂然而,由于仅使用基于图像像素的损失函数,对极端表情和光照效果不佳㊂Genova 等[6]在渲染图像和原图像之间使用人脸识别网络作为高层特征约束,取得了更好的效果㊂Sanyal 等[7]提出的RingNet 利用一个人在不同的环境表情下的图像都有相同的身份参数,设置形第2期申㊀冲等㊀基于弱监督学习的细节三维人脸重建145㊀状一致性损失,提高了算法的鲁棒性㊂由于3DMM模型的固有缺陷,只能在固定的线性空间进行参数估计,表示能力有限且难以恢复出皱纹㊁伤疤等人脸细节㊂Richardson等[8]提出先预测粗糙的面部形状并将其渲染到深度图中,再对深度图进行细化以增加细节㊂Chen等[9]在3DMM模型的基础上,使用从条件对抗生成网络预测的细节位移图来增强模型细节㊂Feng等[10]提出的DECA利用同一人脸在不同环境和表情下的部分细节具有一致性,设计一种细节一致性损失将人脸特定的细节与表情相关的细节分开,通过控制表情参数实现带有个性化皱纹的人脸动画㊂Yang等[11]提出了一个大规模的三维人脸数据集FaceScape,并通过预测多张位移图来合成人脸动态细节㊂虽然已有算法在细节重建上取得不错的效果,但由于忽略人脸细节的复杂特性,通常采用一个图像到图像的转换网络生成细节位移图,使得重建结果容易受到遮挡的影响,生成细节的真实感较差㊂而依据细节一致性原理的细节一致性网络在大面积遮挡情况具有较强鲁棒性,但对细节提取的能力不足㊂针对上述问题,本文提出一种兼顾细节重建质量和鲁棒性的三维人脸重建算法,可直接从一张图像恢复出带有细节的人脸模型㊂通过可微分渲染器和设计的多层级损失函数,可在大量无标签的二维图像中以弱监督方式监督网络模型学习㊂为提高算法鲁棒性和生成细节的质量,将人脸细节分为表情相关细节和表情无关细节,并设置两个子网络分别对人脸的不同细节进行提取㊂实验结果显示,本文算法在鲁棒性和重建细节的质量上均有较好表现㊂1 网络模型与关键技术本文算法在训练时先进行粗略重建部分的训练,再在训练好的粗略重建网络的基础上训练细节生成网络,虽然训练分为两阶段,但是在推理时仅需一个阶段便可完成㊂通过在细节生成部分设置两个子网络提升算法对细节的提取能力㊂利用一个身份多张图像之间的身份一致性和细节一致性设置损失函数,提升算法的鲁棒性和重建质量,因此在训练时需要输入一个人的多张图像进行训练,但在推理阶段仅需一张图像便可直接得出细节三维人脸模型㊂算法的整体流程如图1所示㊂图1㊀算法流程图Fig.1㊀Algorithm flowchart146㊀燕山大学学报20231.1㊀人脸模型由于人脸结构复杂,很难直接从一张二维图像学习出人脸三维模型,因此广泛使用基于3DMM 的方法进行重建㊂目前已有多种公开的三维可变形模型可供使用,本文使用的FLAME(Faces Learned with an Articulated Model and Expressions)[12]是一种铰接式头部模型,将头部和颈部一起建模㊂相较于流行的FaceWarehouse 模型[13]和Basel Face Model(BFM)[14]更具表现力和真实感,并可以模拟整个头部和颈部㊂1)几何模型FLAME 是一个参数化模型,包含5023个顶点和4个关节,通过线性变换来描述与身份和表情相关的形状变化㊂通过控制身份参数β,位姿参数θ,表情参数ψ得到5023个顶点的网格模型㊂FLAME 模型M (β,θ,ψ)可以描述为M β,θ,ψ()=W T P β,θ,ψ(),J β(),θ,δ(),(1)式中,β为身份参数,θ为位姿参数,ψ为表情参数,混合蒙皮函数W (T P ,J ,θ,δ)使模型T P 的顶点围绕关节J 全局旋转㊂关节的位置由身份参数定义,线性平滑由混合权重δ控制㊂T P 描述为如下公式:T P (β,θ,ψ)=T +B S (β,Γ)+B P (θ,Λ)+B E (ψ,Ω),(2)式中,T P 表示由原始模型T 添加了形状㊁位姿和表情偏移的模型㊂形状混合变形函数B S 控制身份相关的形状变化,矫正位姿混合变形函数B P 纠正不能仅由线性混合蒙皮表示的变形,表情混合变形函数B E 控制表情变化㊂Γ,Λ,Ω分别为三个混合变形函数的基㊂2)外观模型由于FLAME 缺少外观模型,于是转换BFM模型的线性纹理空间到FLAME 的UV 空间,使其与FLAME 兼容㊂外观模型D A 根据纹理参数α生成UV 反照率贴图A (α)㊂3)相机模型由于现有数据集的图像多是从远处拍摄,因此使用正交相机模型将3D 网格投影到二维图像空间中㊂v =s P (M i )+t ,其中v 是二维图像顶点,M i 是M 中的一个顶点,P 是正交3D -2D 投影矩阵㊂s 和t 分别表示缩放比例和二维平移量,都归为相机参数c ㊂㊀㊀4)光照模型L SH为更加符合真实光照情况,采用球谐光照,并假设人脸表面为朗伯面㊂带有光照阴影的纹理贴图计算为F (α,l ,N )i ,j =A (α)i ,j ☉ð9k =1l k H k (N i ,j ),(3)式中,反照率贴图A ㊁表面法线N 和纹理贴图F 均以UV 坐标表示,其中F i ,j ㊁A i ,j 和N i ,j 表示UV 坐标系中像素(i ,j )对应的纹理贴图㊁反照率贴图和表面法线㊂H k 表示球谐函数的基,l 表示光照系数,☉表示Hadamard 积㊂给定几何参数(β,θ,ψ),纹理参数(α),光照系数(l )和相机参数(c ),可以经过可微分渲染器得到二维图像I r ㊂算法的整体流程如图1所示,图中所用人脸图像来自VGGFace2[15]数据集㊂1.2㊀粗略重建粗略重建使用每个身份包含多张人脸图像的数据集,通过弱监督学习的方法训练网络模型㊂首先将给定的二维人脸图像I 输入到一个编码解码器结构,编码器部分由目前最先进的骨干网络ConvNeXt [16]和一个全连接层组成,用来回归低维的人脸参数㊂其中,形状参数㊁表情参数和位姿参数可经FLAME 生成人脸的三维几何模型,纹理参数经外观模型生成反照率贴图㊂最后通过可微分渲染器的渲染得到二维图像I r ㊂解码器部分使用已公开的FLAME 模型,根据编码器估计的参数得到三维人脸模型,经过可微分渲染器的渲染,投影到二维平面得到生成的二维图像I r ㊂为最小化生成图像与输入图像之间的距离,充分考虑图像的多层级特征,设计一种针对三维人脸重建的多层级损失函数㊂通过最小化如下损失函数进行训练:L coarse =L pixel +L mid +L id +L sc +L reg ,(4)式中,L coarse 表示粗略重建损失,L pixel 表示像素级损失,L mid 表示中层特征损失,L id 表示高层身份特征损失,L sc 表示形状一致性损失,L reg 表示粗略重建正则化项㊂像素级损失:为使渲染图像与输入图像尽可能接近,最直接的就是计算像素间的差异㊂分别计算输入图像与渲染图像间的像素差异和输入图像的UV 展开与生成的纹理贴图之间的像素差异,第2期申㊀冲等㊀基于弱监督学习的细节三维人脸重建147㊀L pixel =L rec +L tex ㊂使用人脸分割算法,不仅能检测出头发㊁眼镜等遮挡,还可检测出各面部器官的位置,通过设置不同权重使网络更关注某些区域,增强算法鲁棒性提高重建的真实感㊂输入图像和渲染图像的像素损失函数表达式为L rec = V ☉I -I r 1,1,(5)式中,V 表示由人脸分割算法得到的图像掩码㊂原图的UV 展开F 与生成的UV 纹理贴图F t 之间的像素损失函数表达式为L tex =V uv ☉(F -F t )1,1,(6)式中,V uv 表示图像掩码展开到UV 空间的掩码㊂中层特征损失:使用关键点约束可以有效引导网络对参数的学习,使用关键点损失L lmk 和间距损失L spa 作为中层特征损失,L mid =L lmk +L spa ㊂将提前在输入图像检测到的68个关键点作为弱监督信号,为最小化与三维模型投影所得二维关键点之间的距离,使用Wing Loss[17]作为损失函数:L lmk =w ln 1+x ()㊀x <w x -C其他ìîíïïï,(7)式中,x 表示输入图像检测的关键点与重建投影所得二维关键点之间的坐标误差,w 为一个正数用来限制损失函数的非线性部分, 约束非线性区域的曲率,C =w -w ln 1+x / ()为一个常数用来连接分段函数的线性部分和非线性部分㊂上下眼睑距离和嘴巴张开大小对面部表情影响较大,使用两个眼睛的上下眼睑之间的距离和上下嘴唇之间的距离做间距损失:L spa =ð(i ,j )ɪGk i -k j -s P (M i -M j )1,(8)式中,G 为上下眼睑和上下嘴唇关键点的集合,k i和k j 分别为输入图像上下眼皮或上下嘴唇的关键点,M i 和M j 为重建模型得到的上下眼皮或上下嘴唇的关键点㊂高层特征损失:单独使用低层特征可能会导致三维人脸重建的局部最小问题,充分考虑图像的高层特征,使用训练好的人脸识别网络f 分别计算两图像的人脸特征向量,然后计算两者之间的余弦相似度:L id =1-f (I )f (I r )f (I )2㊃f (I r )2㊂(9)身份一致性损失:同一身份的多张图像应该有相同的身份参数,通过设置身份一致性损失L sc可提高算法鲁棒性㊂根据文献[10]的工作通过交换同一身份下不同图像之间的身份参数来实现身份一致性损失㊂正则化项:为防止所得形状退化,分别对身份参数㊁表情参数㊁纹理参数进行正则化,表达式如下:L reg =ωid β22+ωexp ψ22+ωtex α22,(10)式中,ωid ,ωexp ,ωtex 分别为各项权重㊂1.3㊀细节重建为增强FLAME 模型的细节表达,在粗略重建的基础上使用细节UV 位移贴图来凸显模型细节㊂细节重建时使用单一网络进行细节提取无法兼顾细节重建质量和鲁棒性㊂因此,结合两种网络的优缺点,使用细节一致性网络作为表情相关网络提取表情相关细节,使用图像到图像的转换网络作为表情无关网络提取表情无关细节㊂并设计一组多层级损失函数提升细节提取能力,使皱纹等细节更加真实自然㊂表情无关细节网络:同一身份的多张图像应具有相同的表情无关细节如疤痕㊁痣㊁褶皱等,利用细节一致性原理设计表情无关细节网络,可从同一身份的多张图像中提取表情无关细节㊂类似于粗略重建的编码解码器结构,使用ConvNeXt 作为编码器,得到128维的细节参数τ,然后将所得细节参数和粗略重建中的表情参数及位姿参数一起送入本文设计的一个上采样解码网络中,得到表情无关细节的UV 位移图㊂表情相关细节网络:使用文献[11]工作中的图像到图像网络结构,将输入图像展开到UV 空间与粗略重建生成的纹理图像相结合送入网络,得到表情相关细节的UV 位移图㊂两张细节UV 位移图一同增强FLAME 几何模型得到细节人脸模型,再经渲染投影得到细节渲染图像I d ㊂为最小化渲染图像与输入图像之间的距离,充分考虑图像的多层级特征,设计一种针对人脸细节的多层级损失函数㊂通过最小化如下损失函数来训练:L detail =L phoD +L preD +L sym +L dc +L regD ,(11)式中,L phoD 表示细节像素级损失,L preD 表示感知损失,L sym 表示软对称损失,L regD 表示细节正则化㊂148㊀燕山大学学报2023细节像素级损失:同粗略重建中的像素级损失,分别计算输入图像I与细节渲染图像I d间的像素差异和输入图像的UV展开F与生成的细节纹理贴图F dt之间的像素差异,L phoD=L recD+L texD,两项损失的表达式如下:L recD=V☉(I-I d)1,1,(12)L texD=V uv☉(F-F dt)1,1,(13)式中,L recD表示细节图像损失,L texD表示细节纹理损失㊂感知损失:充分考虑图像的高层特征,依据Nazeri等[18]的工作设计了感知水平上的损失L preD㊂给定一对图像I和I d,计算它们在一个预先训练的网络(如VGG-19)中激活映射之间的距离: L preD=ði1h iϕi(I)-ϕi(I d)1,(14)式中,φi为网络第i层的激活映射,h i为第i层的元素数㊂软对称损失:为增加对自遮挡的鲁棒性,使用软对称损失来修正不可见的人脸部分㊂通过最小化如下表达式实现:L sym=V uv☉(D-flip(D))1,1,(15)式中,D表示两张细节位移图的加权组合,flip为水平翻转操作㊂细节一致性损失:对于表情无关的细节,为确保一个身份的多张图像具有相同的细节参数,设置细节一致性损失L dc,根据文献[10]的工作通过在表情相关细节网络中交换同一身份下不同图像之间的细节参数来实现㊂正则化项:分别对两张位移图进行正则化:L reg=ωu D u1,1+ωa D a1,1,(16)式中,D u表示表情无关细节位移图,D a表示表情相关细节位移图,ωu和ωa分别表示两者权重㊂2㊀实验设置2.1㊀数据集本文算法需要利用同一身份多张人脸图像中的身份一致性和细节一致性,因此需要选用每个身份具有多张人脸图像的数据集㊂使用BUPT-Balancedface[19]㊁VGGFace2㊁CelebA[20]和CASIA-WebFace四个公开的数据集作为训练集,由于这些公开的数据集多是采集自白色人种,为平衡各种族的人脸数据,从互联网上收集了上百位中国名人5千余张图像来平衡各类人群,经过筛选总计在170余万张图像上训练㊂使用目前先进的关键点检测算法[21]对数据集中所有图像进行关键点检测,每张图像得到68个二维人脸关键点㊂为避免遮挡对算法的影响使用基于BiSeNet[22]的人脸分割算法进行人脸分割,根据得到的人脸分割掩码将遮挡区域和非人脸区域权重设为0㊂最后将得到的68个二维关键点和人脸分割掩码随原图像一同送入网络㊂2.2㊀实验细节使用编程语言Python3.7,基于PyTorch1.9.0深度学习框架,采用Adam优化算法,初始学习率设为1ˑ10-4,输入图像大小为224ˑ224,UV空间为256ˑ256,使用PyTorch3D作为可微分渲染器㊂计算机配置为AMD EPYC7543处理器和NVIDIA A40显卡㊂3㊀实验结果与分析为更好的评估重建结果,使用定性和定量两种方式分别对本文的粗略重建和细节重建结果进行评估来验证算法的有效性㊂并对在两个数据集aflw2000[23]和NoW数据集中的部分结果进行可视化展示㊂3.1㊀定性分析为验证粗略重建的质量,与3DDFA-V2[24]和PRNet[25]的重建结果进行对比,如图2所示㊂由图可看出相较于3DDFA-V2和PRNet,本文算法更好的重建了面部的几何形状,重建的表情也更自然㊂且得益于铰接式的FLAME,重建出一个完整的头部模型,更具表现力,对眼部也有较好的表现㊂为验证细节重建的细节质量和鲁棒性,与细节人脸重建算法DECA和Extreme3D[26]的重建结果进行对比,如图3所示,部分实验结果图来源于文献[10]㊂与其他先进算法相比本文的细节重建能够在保证面部细节质量的同时,增强对遮挡的鲁棒性,使得重建的结果更真实自然㊂从图4中可以看出本文算法在大姿势㊁遮挡和极端表情下均取得了较好的结果㊂图5以特写的方式分别展示了本文细节重建和粗略重建的效果,第一列到第五列分别为输入图像㊁粗略重建结果㊁细节重建第2期申㊀冲等㊀基于弱监督学习的细节三维人脸重建149㊀结果㊁粗略重建特写和细节重建特写㊂从图5可以看出细节重建结果包含了更丰富的细节特征㊂本文算法在同一身份的多张图像中训练,因此具有较强的鲁棒性㊂对同一个人在不同环境㊁不同表情下的图像进行重建,结果如图6所示㊂结果表面,同一身份在不同的姿势㊁光照和表情下生成的粗略重建和细节重建结果均能明显看出同一身份㊂图2㊀粗略重建效果对比Fig.2㊀Comparison of coarse reconstructioneffects图3㊀细节重建效果对比Fig.3㊀Comparison of detailed reconstructioneffects图4㊀在遮挡㊁极端表情㊁大角度情况下的重建结果Fig.4㊀Reconstruction results in the case of occlusion,extreme expressions,and largeangles图5㊀粗略重建与细节重建效果的对比Fig.5㊀Comparison between rough reconstructionand detailedreconstruction图6㊀同一身份不同姿势㊁光照和表情下的重建结果Fig.6㊀Reconstruction results of the same identity underdifferent postures,illumination and expressions3.2㊀定量分析由于缺乏带有人脸细节的基准数据集,因此定量分析主要集中在粗略形状的准确性㊂为定量分析重建的结果,在NoW 数据集上使用NoW 基准进行评估,并与其他优秀算法进行对比㊂NoW数据集包括100名受试者的2054张人脸图像,并对每位受试者进行单独的3D 头部扫描㊂评估时150㊀燕山大学学报2023先将重建模型与真实模型严格的刚性对齐,再测量所有真实顶点到重建网格表面最近点的距离㊂为量化实验结果,在NoW数据集的验证集上进行计算,结果取小数点后前两位㊂表1展示了不同算法在NoW数据集中的重建误差,部分数据来源于NoW挑战公开的数据㊂由表1可看出本文粗略重建算法在精度上要优于其他算法,这是由于本文不仅采用人脸分割算法为不同分区设置不同权重使网络更关注一些重要区域,还充分考虑图像的多层特征而设计的一组多层级损失函数可以有效地约束网络训练,在一定程度上提升了模型参数回归的能力㊂由于基准数据集缺乏细节特征,是对模型中的低频特征进行评估计算,而细节模型是在粗略模型的基础上结合细节位移图,两者低频特征基本保持一致㊂因此,在此评估中细节重建的精度相对粗略重建变化不大,但细节模型在细节方面的表现要远高于粗略模型,如图6所示㊂表1㊀在Now基准上的重建误差Tab.1㊀Reconstruction error on now benchmark mm方法中位数最小值标准差RingNet 1.21 1.53 1.31 3DDFA-V2 1.23 1.57 1.39 MGCNet[27] 1.31 1.87 2.63PRNet 1.50 1.98 1.88本文粗略重建1.201.471.22本文细节重建1.191.461.22 3.3㊀消融实验为验证提出的为不同细节分别设置子网络是否有效,分别单独使用表情相关网络和表情无关网络进行训练,重建结果如图7所示㊂仅使用表情相关网络,对遮挡情况具有较强的鲁棒性但是对细节提取的能力不足㊂仅使用表情无关网络,对细节有较好的提取但是容易受到眼镜等遮挡的影响㊂同时使用两种细节提取网络的重建,既保持了较好的细节质量,对遮挡又有较强的鲁棒性㊂因此,本文提出的细节生成算法是有效的,兼顾算法的鲁棒性和细节重建质量㊂4㊀结论与展望本文提出了一个基于弱监督学习的细节三维人脸重建算法㊂使用基于3DMM的粗略模型与位移贴图相结合来表示细节人脸模型㊂为提高算法的细节提取能力和鲁棒性,在细节生成部分为不同细节设置不同的细节提取网络㊂实验结果表明,本文算法重建的结果在质量和精度上均有较好的表现,对大姿势和遮挡情况有较强的鲁棒性㊂然而,人脸皮肤的光学特性复杂,简单的假设为朗伯面难以准确地模拟真实人脸,对重建精度和纹理恢复都有一定影响㊂因此在接下来的工作中,将考虑更准确的人脸光学模型和渲染方式,提升重建的精度和纹理的真实感㊂图7㊀使用不同子网络的重建结果Fig.7㊀Reconstruction results using different subnetworks参考文献1LEE M CHOI C H.Real-time facial shape recovery from a single image under general unknown lighting by rank relaxation J . Computer Vision and Image Understanding 2014 120 59-69. 2BLANZ V VETTER T.A morphable model for the synthesis of3D faces C//Proceedings of the26th Annual Conference on Computer Graphics and Interactive Techniques Los Angeles USA 1999 187-194.3TRAN A T HASSNER T MASI I et al.Regressing robust and discriminative3D morphable models with a very deep neural network C//Proceedings of the IEEE Conference on Computer第2期申㊀冲等㊀基于弱监督学习的细节三维人脸重建151㊀Vision and Pattern Recognition Honolulu USA 2017 5163-5172.4RICHARDSON E SELA M KIMMEL R.3D face reconstruction by learning from synthetic data C//2016Fourth International Conference on3D Vision Stanford USA 2016 460-469.5TEWARI A ZOLLHOFER M KIM H et al.Mofa Model-based deep convolutional face autoencoder for unsupervised monocular reconstruction C//Proceedings of the IEEE International Conference on Computer Vision Workshops Venice Italy 2017 1274-1283.6GENOVA K COLE F MASCHINOT A et al.Unsupervised training for3d morphable model regression C//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Salt Lake City USA 2018 8377-8386.7SANYAL S BOLKART T FENG H et al.Learning to regress 3D face shape and expression from an image without3D supervision C//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Long Beach USA 2019 7763-7772.8RICHARDSON E SELA M OR-EL R et al.Learning detailed face reconstruction from a single image C//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Honolulu USA 2017 1259-1268.9CHEN A CHEN Z ZHANG G et al.Photo-realistic facial details synthesis from single image C//Proceedings of the IEEE/ CVF International Conference on Computer Vision Seoul Korea 2019 9429-9439.10FENG Y FENG H BLACK M J et al.Learning an animatable detailed3D face model from in-the-wild images J .ACM Transactions on Graphics 2021 40 4 88.11YANG H ZHU H WANG Y et al.Facescape a large-scale high quality3d face dataset and detailed riggable3d face prediction C//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Seattle USA 2020 601-610.12LI T BOLKART T BLACK M J et al.Learning a model of facial shape and expression from4D scans J .ACM Transactions on Graphics 2017 36 6 194.13CAO C WENG Y ZHOU S et al.Facewarehouse A3d facial expression database for visual computing J .IEEE Transactions on Visualization and Computer Graphics 2013 203 413-425.14PAYSAN P KNOTHE R AMBERG B et al.A3D face model for pose and illumination invariant face recognition C//2009 Sixth IEEE International Conference on Advanced Video and Signal Based Surveillance Genova Italy 2009 296-301.15CAO Q SHEN L XIE W et al.Vggface2 a dataset for recognising faces across pose and age C//201813th IEEE International Conference on Automatic Face and Gesture Recognition Xiᶄan China 2018 67-74. 16LIU Z MAO H WU C Y et al.A convnet for the2020s C// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition New Orleans USA 2022 11976-11986.17FENG Z H KITTLER J AWAIS M et al.Wing loss for robust facial landmark localisation with convolutional neural networks C//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Salt Lake City USA 2018 2235-2245.18NAZERI K NG E JOSEPH T et al.Edgeconnect Structure guided image inpainting using edge prediction C//Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops Seoul Korea 2019 3265-3274.19WANG M DENG W HU J et al.Racial faces in the wild Reducing racial bias by information maximization adaptation network C//Proceedings of the IEEE/CVF International Conference on Computer Vision Seoul Korea 2019 692-702. 20LIU Z LUO P WANG X et al.Deep learning face attributes in the wild C//Proceedings of the IEEE International Conference on Computer Vision Santiago Chile 2015 3730-3738.21BULAT A TZIMIROPOULOS G.How far are we from solving the2d&3d face alignment problem and a dataset of230 000 3d facial landmarks C//Proceedings of the IEEE International Conference on Computer Vision Venice Italy 2017 1021-1030.22YU C WANG J PENG C et al.Bisenet Bilateral segmentation network for real-time semantic segmentation C// Proceedings of the European Conference on Computer Vision Munich Germany 2018 325-341.23ZHU X LEI Z YAN J et al.High-fidelity pose and expression normalization for face recognition in the wild C//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Boston USA 2015 787-796.24GUO J ZHU X YANG Y et al.Towards fast accurate and stable3d dense face alignment C//Proceedings of the European Conference on Computer Vision Glasgow UK 2020 152-168. 25FENG Y WU F SHAO X et al.Joint3d face reconstruction and dense alignment with position map regression network C// Proceedings of the European Conference on Computer Vision Munich Germany 2018 534-55126TR^ANA T HASSNER T MASI I et al.Extreme3d face reconstruction Seeing through occlusions C//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Salt Lake City USA 2018 3935-3944.27SHANG J SHEN T LI S et al.Self-supervised monocular3d face reconstruction by occlusion-aware multi-view geometry consistency C//Proceedings of the European Conference on Computer Vision Glasgow UK 2020 53-70.下转第163页。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
This algorithm has been proved easier and feasible by the experiment. It can effectively prevent triangular facets of the grid model from distortion, making the texture mapping effect more vivid and giving specific 3D face model more realistic.
(1). Exported the general face model from Poser 7.0. From front and side images, selected feature points, which correspond to MEPG-4 FDP. These feature points can usually reflect geometrical shape and characteristics of human face. These two steps lay the foundation for generating the upcoming individual fiscal model.
(3). Performed texture synthesis using three 2D images. Matched and smoothed these images separately. Then the texture images from the previous step was further performed second fusion, as a result, the human face texture image becomes much smoother. From this point, based on the characteristics of the synthesized face texture, every texture coordinates of the face model can be computed, respectively.
Abstract
Since the F.I. Parke generated the first 3D human face image using a Parametric Model for Human Faces, it has been always a research hotspot to built vivid 3D human face model in the computer graphic area. After surveyed the 3D face modeling methods, the author carried out a thorough study in the 3D face modeling using 2D images. The research is composed as follows:
Key words: 3D face modeling, specific face model, Radial Basis Function, texture mapping, OpenGL
目录
摘要.............................................................................................................. I Abstract ...................................................................................................... II 目录............................................................................................................ IV 第一章 绪论.................................................................................................. 1
(2) 采用了改进的径向基函数插值方法变换通用人脸网格模型,并对插值后的模型 进行二次平滑处理，得到的特定人脸模型几何结构更加自然。
(3) 利用三照片进行纹理合成。对三照片分别进行匹配融合，然后对融合后的图像 进行二次融合处理，使最终得到的纹理图像更加真实自然。根据合成的人脸纹理图像的(2). Deformed the generic face model using the improved Radical Basis Function Interpolation and applied smooth treatment basing on the post-interpolation face model. After this step, the geometrical shape of generated 3D face grid model becomes more natural.
(4) 把模型数据和纹理数据导入到 Visual C++6.0 环境中利用 OpenGL 图形库进 行纹理映射。
实验证明，本文提出的算法简便可行，有效避免了网格模型三角面片的扭曲，纹理 映射效果生动逼真，得到了具有真实感的三维特定人脸模型。
关键词：三维人脸建模，特定人脸模型，径向基函数，纹理映射，OpenGL
摘要
自 Parke 首次使用人脸参数模型生成三维人脸图像以来，构建逼真的三维人脸模 型一直都是计算机视觉领域的一个研究热点。本文在对三维人脸建模技术认真分析的基 础上，对基于二维图像的三维人脸建模方法进行了深入的研究。主要研究容包括以下几 个方面：
(1) 从 Poser7.0 中导出通用三维人脸模型。根据 MPEG-4 的 FDP 标准，在正、 侧面人脸照片上标出能基本反映人脸几何形状和结构特点的特征点。这两步为后面个性 化人脸模型的创建奠定了基础。