三维人脸捕获建模和动画技术综述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ｔ ｈ ｉ ｆ ｔ ｒ ｅ ｅ ｒ ｈ ｏ ｔ ｅｒ ｕ ｕ ｅ ｒ ｓ ａ ｃ ．
Ｋｅ ｒ ｓ ａ ｉ ｌ ｄ ｌ ｇ ａ ｄ ａ ｉ ｔ ｎ ｙ ｗｏ ｄ ：ｆ ｃａ ｍｏ ｅｉ ｎ ｎ ｍａ ｉ ；ｍｏ ｐ ａ ｌ ｍｏ ｅ ；ｆ ｃａ ｘ ｒ ｓ ｉ ｎ ｅ ｉ ｎ ｎ ｏ ｒ ｈ ｂｅ ｄ ｌ ａ ｉｌ ｐ ｅ ｓｏ ｄ ｔ ｇ；３ ｓ ａ ｅ ｉ Ｄ ｃ ｎ；ｏ ｅ ｖ ｅ ｖ ｒ ｉｗ
２１ 年 ７ ０２ 月
计 算 机 ＿程 与设 计 Ｙ －
Ｃ０Ｍ ＰＵＴＥＲ ＥＮＧＩ ＮＥＥＲＩ ＮＧ ＡＮＤ ＤＥＳ ＧＮ Ｉ
Ｊ ｌ ０ ２ ｕｙ ２ １
Ｖｏ ． ３ ＮＯ ７ １３ ．
第３卷 ３
第 ７ 期 ຫໍສະໝຸດ 三维 人 脸 捕 获 建 模 和 动 画 技 术 综 述
董 洪伟
（ 江南大 学 物联 网工程 学 院 ，江 苏 无锡 ２ ４ ２ ） １ １ ２
摘 要 ：从历 史发展 和 ＂ ３前的研究现状的 角度对三 维人脸建模和动 画算法进 行综述 ，通过对三维捕 获、参 数化人脸 建模 和 － 动画 、表情克隆等 问题及其典型算法的基本原理 、优缺点等的分析 ，对 它们 的特性进行描 述和 比较 。展 望进一步值得研 究 的 问题和方 向。以期读者对三 维人脸建模和动 画的主流技术有较全 面的 了解 ，并对 未来的研 究工作有所帮助 。 关键词 ：人脸建模和动画 ；形 变模型 ；表情编辑 ；三维扫描 ；综述
０ 引 言
自从 Ｐ ｒｅ１ ａｋ ｌ 的开创性 工作 以来 ，真 实感 的三维人脸建 ＿ ］ 模和动画长期 以来 一 直是 计算 机 图形 学 的热点 研 究 问题 ， 从 早期的简单的粗糙 的人脸模 型 到真实感 和质 量越来 越高 的人脸模型 ，从艺术 家设 计 的关键 帧插值 动 画到基 于运动 捕获和视频的人脸 动画 ，人们 提 出了多种 多样 的人脸 建模 和表情 动画的技术 和方法 。高度逼 真 的三维人 脸模 型及动 画一直是研究人员追求的 目标 ，如美 国南加州 大学 （ Ｃ ＵＳ ）
ｔ ｉ ｄ ｍａ ｎ ｉ ｏ ｎ ｅ ｕ ．Ｔｏ ｐ ｏ ｉ ｅ ｔ ｅｒ ａ ｅ ｓｗｉ ｏ ｒ ｈ ｎ ｉｅ ｓｕ ｙ ｏ ｅ ｅ ｈ ｉｕ ｓ ｉ ａ ｉｌ ｈ ｓ ｏ ｉ ｐ ｉ ｔｄ ｏ ｔ ｓ ｒ ｖ ｄ ｈ ｅ ｄ ｒ ｔ ａ ｃ ｍｐ ｅ ｅ ｓ ｔ ｄ ｆｋ ｙ ｔ ｃ ｎ ｑ ｅ ｆ ｃ ｄ ｌ ｇ，ｉ ｉ ｅｐ ｕ ｈ ｖ ｎ ａ ｍｏ ｅ ｉ ｎ ｔ ｓｈ ｌ ｆ ｌ
ＤＯＮＧ ｏ — ｉ Ｈ ｎｇ ｗｅ
（ ｃ ｏ ｌ ｆＩｆ ｒ ｔ ｎＥｎ ｉｅ ｒｎ ，Ｊａ ｇ ａ ｉｅｓｔ Ｓ ｈ ｏ ｎｏ ｍａｉ ｇｎ ｅｉｇ ｉｎ ｎ ｎＵｎｖ ｒｉ ｏ ｏ ｙ，Ｗ ｕ ｉ １ １ ２，Ｃｈｎ ） ｘ ４ ２ ２ ｉａ
Ａｂ ｔａ ｔ Ａ ｕ ｖ ｙ ｏ ａ ｉｌｍｏ ｅｉ ｇ ａ ｄ ａ ｉ ｔ ｎ ａｇ ｒｔ ｍｓ ｆｏ ｔ ｅ ｈ ｓｏ ｙ ｄ ｖ ｌ ｐ ｎ ｎ ｈ ｔ ｔ－ ｆ ｒ ｅ ｅ ｒ ｈ ｉ ｓｒｃ ： ｓ ｒ ｅ ｎ ｆ ｃａ ｄ ｌ ｎ ｎ ｍａ ｉ ｌ ｏ ｉ ｎ ｏ ｈ ｒ ｍ ｈ ｉｔ ｒ ｅ ｅｏ ｍｅ ｔ ａ ｄ ｔ ｅ ｓ ａ ｅｏ － ｔ ｒ ｓ ａ ｃ ｓ ａ ｐ ｏ ｉｅ ． Ｔｈ ａ ｉ ｒ ｂ ｅ ｎ ｙ ｉａ ｅ ｈ ｉ ｕ ｓ ｒ ｌｔ ｄ ｔ ａ ｉ ｌｍｏ ｅ ｉｇ ａ ｄ ａ ｉ ａ ｉｎ ｓ ｃ ｓ ３ ｃ ｐ ｕ ｅ ｔ ｃ ｎ ｑ ｅ ， ｒｖｄ ｄ ｅ ｂ ｓｃ ｐ ｏ ｌｍｓ ａ ｄ ｔ ｐｃ ｌｔ ｃ ｎｑ ｅ ｅ ａ ｅ ｏ ｆ ｃａ ｄ ｌ ｎ ｎｍ ｔ ｕ ｈ ａ Ｄ ａ ｔ ｒ ｅ ｈ ｉｕ ｓ ｎ ｏ ｐ ｒ ｍｅ ｒｃｆ ｃａ ｄ ｌ ｇ ａ ｄ ａ ｉ ｔ ｎ ａ ａ ｔ ｉ ａ ｉｌ ｍｏ ｅ ｉ ｎ ｎ ｍａ ｉ ，ｍｏ ｉｎ ｃ ｐ ｕ ｅ ｘ ｒ ｓ ｉｎ ｃｏ ｉ ｇ ａｏ ｇ ｗｉｈ ｔ ｏ ｅ ｔ ｐ ｃ ｌａｇ ｒｔ ｍ ｓ ａ ｅ ａ ａ ｙ ｅ ｎ ｏ ｔｏ ａ ｔ ｒ ，ｅ ｐ ｅ ｓｏ ｌ ｎ ｎ ｌｎ ｔ ｈ ｓ ｙ ｉａ ｌ ｏ ｉ ｈ ｒ ｎ ｌ ｚ ｄ
ＩＴ 图形 实 验 室 和 Ｉ ｇ ｔｉ 合 作 的 数 字 Ｅ ｌ 程 ＿ Ｃ ｍａ ｅＭｅｒ ｓ ｃ ｍｉ ｙ工 ２ ］ 创 造的数字 Ｅ ｌ 维 人脸 动 画 达到 了以假 乱 真 的效 果 。 ｍｉ ｙ三
算法进行较为深入的梳理， 并为进一步的研究提供线索。
中图 法 分 类 号 ：Ｔ ３ １４ Ｐ ９．１ 文献 标 识 号 ： 文 章 编 号 ：１０ —０４ （０ ２ ７２ ２ —５ Ａ ０ ０７ ２ ２ １ ）０ —７ １０
Ｏｖ ｒ ｉｗ ｎ ３ ｆ ｃａ ｄ ｌ ｇ ａ ｄ ａ ｉ ｔｏ ｅ ｈ ｉ ｕ ｓ ｅ ｖｅ ｏ Ｄ ａ ｉｌｍｏ ｅｉ ｎ ｎ ｍａ ｉ ｎ ｔ ｃ ｎ ｑ ｅ ｎ
ａ ｄ ｃ ｍｐ ｒ ｄ ｔ ｈ ｒ ｃ ｅ ｉ ｈ ｉ ｔ ｃ ｎ ｃ ｌ ｒｎ ｉｌ ｓ ｄ ａ ｔ ｇ ｓａ ｄ ｌ ｉ ｔ ｎ ．Ｆｉ ａ ｌ ，ｔ ｅｍａ ｎ ｃ ｕ ｓ ｆ ｕ ｕ ｅ ｒ ｓ ａ ｃ ｎ ｏ ａ ｅ ｏ ｃ ａ ａ ｔ ｒｚ ｔ ｅｒ ｅ ｈ ｉａ ｉ ｃｐ ｅ ，ａ ｖ ｎ ａ ｅ ｎ ｍ ｔ ｉ ｓ ｅ ｐ ｉ ａｏ ｎｌ ｙ ｈ ｉ ｏ ｒ ｅｏ ｔ ｒ ｅ ｅ ｒ ｈ ｉ ｆ ｎ
Ｋｅ ｒ ｓ ａ ｉ ｌ ｄ ｌ ｇ ａ ｄ ａ ｉ ｔ ｎ ｙ ｗｏ ｄ ：ｆ ｃａ ｍｏ ｅｉ ｎ ｎ ｍａ ｉ ；ｍｏ ｐ ａ ｌ ｍｏ ｅ ；ｆ ｃａ ｘ ｒ ｓ ｉ ｎ ｅ ｉ ｎ ｎ ｏ ｒ ｈ ｂｅ ｄ ｌ ａ ｉｌ ｐ ｅ ｓｏ ｄ ｔ ｇ；３ ｓ ａ ｅ ｉ Ｄ ｃ ｎ；ｏ ｅ ｖ ｅ ｖ ｒ ｉｗ
２１ 年 ７ ０２ 月
计 算 机 ＿程 与设 计 Ｙ －
Ｃ０Ｍ ＰＵＴＥＲ ＥＮＧＩ ＮＥＥＲＩ ＮＧ ＡＮＤ ＤＥＳ ＧＮ Ｉ
Ｊ ｌ ０ ２ ｕｙ ２ １
Ｖｏ ． ３ ＮＯ ７ １３ ．
第３卷 ３
第 ７ 期 ຫໍສະໝຸດ 三维 人 脸 捕 获 建 模 和 动 画 技 术 综 述
董 洪伟
（ 江南大 学 物联 网工程 学 院 ，江 苏 无锡 ２ ４ ２ ） １ １ ２
摘 要 ：从历 史发展 和 ＂ ３前的研究现状的 角度对三 维人脸建模和动 画算法进 行综述 ，通过对三维捕 获、参 数化人脸 建模 和 － 动画 、表情克隆等 问题及其典型算法的基本原理 、优缺点等的分析 ，对 它们 的特性进行描 述和 比较 。展 望进一步值得研 究 的 问题和方 向。以期读者对三 维人脸建模和动 画的主流技术有较全 面的 了解 ，并对 未来的研 究工作有所帮助 。 关键词 ：人脸建模和动画 ；形 变模型 ；表情编辑 ；三维扫描 ；综述
０ 引 言
自从 Ｐ ｒｅ１ ａｋ ｌ 的开创性 工作 以来 ，真 实感 的三维人脸建 ＿ ］ 模和动画长期 以来 一 直是 计算 机 图形 学 的热点 研 究 问题 ， 从 早期的简单的粗糙 的人脸模 型 到真实感 和质 量越来 越高 的人脸模型 ，从艺术 家设 计 的关键 帧插值 动 画到基 于运动 捕获和视频的人脸 动画 ，人们 提 出了多种 多样 的人脸 建模 和表情 动画的技术 和方法 。高度逼 真 的三维人 脸模 型及动 画一直是研究人员追求的 目标 ，如美 国南加州 大学 （ Ｃ ＵＳ ）
ｔ ｉ ｄ ｍａ ｎ ｉ ｏ ｎ ｅ ｕ ．Ｔｏ ｐ ｏ ｉ ｅ ｔ ｅｒ ａ ｅ ｓｗｉ ｏ ｒ ｈ ｎ ｉｅ ｓｕ ｙ ｏ ｅ ｅ ｈ ｉｕ ｓ ｉ ａ ｉｌ ｈ ｓ ｏ ｉ ｐ ｉ ｔｄ ｏ ｔ ｓ ｒ ｖ ｄ ｈ ｅ ｄ ｒ ｔ ａ ｃ ｍｐ ｅ ｅ ｓ ｔ ｄ ｆｋ ｙ ｔ ｃ ｎ ｑ ｅ ｆ ｃ ｄ ｌ ｇ，ｉ ｉ ｅｐ ｕ ｈ ｖ ｎ ａ ｍｏ ｅ ｉ ｎ ｔ ｓｈ ｌ ｆ ｌ
ＤＯＮＧ ｏ — ｉ Ｈ ｎｇ ｗｅ
（ ｃ ｏ ｌ ｆＩｆ ｒ ｔ ｎＥｎ ｉｅ ｒｎ ，Ｊａ ｇ ａ ｉｅｓｔ Ｓ ｈ ｏ ｎｏ ｍａｉ ｇｎ ｅｉｇ ｉｎ ｎ ｎＵｎｖ ｒｉ ｏ ｏ ｙ，Ｗ ｕ ｉ １ １ ２，Ｃｈｎ ） ｘ ４ ２ ２ ｉａ
Ａｂ ｔａ ｔ Ａ ｕ ｖ ｙ ｏ ａ ｉｌｍｏ ｅｉ ｇ ａ ｄ ａ ｉ ｔ ｎ ａｇ ｒｔ ｍｓ ｆｏ ｔ ｅ ｈ ｓｏ ｙ ｄ ｖ ｌ ｐ ｎ ｎ ｈ ｔ ｔ－ ｆ ｒ ｅ ｅ ｒ ｈ ｉ ｓｒｃ ： ｓ ｒ ｅ ｎ ｆ ｃａ ｄ ｌ ｎ ｎ ｍａ ｉ ｌ ｏ ｉ ｎ ｏ ｈ ｒ ｍ ｈ ｉｔ ｒ ｅ ｅｏ ｍｅ ｔ ａ ｄ ｔ ｅ ｓ ａ ｅｏ － ｔ ｒ ｓ ａ ｃ ｓ ａ ｐ ｏ ｉｅ ． Ｔｈ ａ ｉ ｒ ｂ ｅ ｎ ｙ ｉａ ｅ ｈ ｉ ｕ ｓ ｒ ｌｔ ｄ ｔ ａ ｉ ｌｍｏ ｅ ｉｇ ａ ｄ ａ ｉ ａ ｉｎ ｓ ｃ ｓ ３ ｃ ｐ ｕ ｅ ｔ ｃ ｎ ｑ ｅ ， ｒｖｄ ｄ ｅ ｂ ｓｃ ｐ ｏ ｌｍｓ ａ ｄ ｔ ｐｃ ｌｔ ｃ ｎｑ ｅ ｅ ａ ｅ ｏ ｆ ｃａ ｄ ｌ ｎ ｎｍ ｔ ｕ ｈ ａ Ｄ ａ ｔ ｒ ｅ ｈ ｉｕ ｓ ｎ ｏ ｐ ｒ ｍｅ ｒｃｆ ｃａ ｄ ｌ ｇ ａ ｄ ａ ｉ ｔ ｎ ａ ａ ｔ ｉ ａ ｉｌ ｍｏ ｅ ｉ ｎ ｎ ｍａ ｉ ，ｍｏ ｉｎ ｃ ｐ ｕ ｅ ｘ ｒ ｓ ｉｎ ｃｏ ｉ ｇ ａｏ ｇ ｗｉｈ ｔ ｏ ｅ ｔ ｐ ｃ ｌａｇ ｒｔ ｍ ｓ ａ ｅ ａ ａ ｙ ｅ ｎ ｏ ｔｏ ａ ｔ ｒ ，ｅ ｐ ｅ ｓｏ ｌ ｎ ｎ ｌｎ ｔ ｈ ｓ ｙ ｉａ ｌ ｏ ｉ ｈ ｒ ｎ ｌ ｚ ｄ
ＩＴ 图形 实 验 室 和 Ｉ ｇ ｔｉ 合 作 的 数 字 Ｅ ｌ 程 ＿ Ｃ ｍａ ｅＭｅｒ ｓ ｃ ｍｉ ｙ工 ２ ］ 创 造的数字 Ｅ ｌ 维 人脸 动 画 达到 了以假 乱 真 的效 果 。 ｍｉ ｙ三
算法进行较为深入的梳理， 并为进一步的研究提供线索。
中图 法 分 类 号 ：Ｔ ３ １４ Ｐ ９．１ 文献 标 识 号 ： 文 章 编 号 ：１０ —０４ （０ ２ ７２ ２ —５ Ａ ０ ０７ ２ ２ １ ）０ —７ １０
Ｏｖ ｒ ｉｗ ｎ ３ ｆ ｃａ ｄ ｌ ｇ ａ ｄ ａ ｉ ｔｏ ｅ ｈ ｉ ｕ ｓ ｅ ｖｅ ｏ Ｄ ａ ｉｌｍｏ ｅｉ ｎ ｎ ｍａ ｉ ｎ ｔ ｃ ｎ ｑ ｅ ｎ
ａ ｄ ｃ ｍｐ ｒ ｄ ｔ ｈ ｒ ｃ ｅ ｉ ｈ ｉ ｔ ｃ ｎ ｃ ｌ ｒｎ ｉｌ ｓ ｄ ａ ｔ ｇ ｓａ ｄ ｌ ｉ ｔ ｎ ．Ｆｉ ａ ｌ ，ｔ ｅｍａ ｎ ｃ ｕ ｓ ｆ ｕ ｕ ｅ ｒ ｓ ａ ｃ ｎ ｏ ａ ｅ ｏ ｃ ａ ａ ｔ ｒｚ ｔ ｅｒ ｅ ｈ ｉａ ｉ ｃｐ ｅ ，ａ ｖ ｎ ａ ｅ ｎ ｍ ｔ ｉ ｓ ｅ ｐ ｉ ａｏ ｎｌ ｙ ｈ ｉ ｏ ｒ ｅｏ ｔ ｒ ｅ ｅ ｒ ｈ ｉ ｆ ｎ