三维可形变模型在人脸识别领域的应用ppt课件

精品课件
从相机坐标系到像平面坐标系
EI的计算方法
输入图像上每点和投影图像上每对应点的rgb值差的平方之和。 所以很显然 我们要先做初步的姿态估计以后EI 才有意义。
因为是对 点云的投影点球纹理的差 所以不用考虑输入图片的背景。
精品课件
三个参数α β ρ的构成
22个ρ参数 twx=gamma_star(1); twy=gamma_star(2);
精品课件
简单的应用
3DMM
输入的2维图片
精品课件
得到：光照、姿 态、形状无限接 近输入的2维图片 的一个三维模型。
3DMM 发展
❖ 1999年Volker Blanz ，Thomas Vetter在计算机图形 学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣小 组 ） 上 发 表 第 一 篇 关 于 3DMM 的 文 章 A Morphable Model For The Synthesis Of 3D Faces 迄今16年， 被引用次数高达2363
更高维呢，就很抽象了，一般来讲没有什么明确概念， 甚至数学家与物理学家都有不同意见；比较费解的是， 竟然有些物理学家认为宇宙有11维！
精品课件
3D Morphable Model 能做什么？
3DMM
在1999年提出时， 模型对胖瘦，年龄， 表情等都做了考虑。
后来的应用中主 要使用重建出的3维模 型来做识别。
twz=gamma_star(3); thetx=gamma_star(4); thety=gamma_star(5); thetz=gamma_star(6); f=gamma_star(7); Lramb=gamma_star(8); Lgamb=gamma_star(9); Lbamb=gamma_star(10); Lrdir=gamma_star(11); 等） Lgdir=gamma_star(12); Lbdir=gamma_star(13); thetl=gamma_star(14); phail=gamma_star(15); cc=gamma_star(16); gr=gamma_star(17); gg=gamma_star(18); gb=gamma_star(19); or=gamma_star(20); og=gamma_star(21); o精b=品g课am件ma_star(22);
精品课件
利用3DMM构成人脸的公式表达
Since we assume all faces in full correspondence.new shapes Smodel and new textures T-model can be expressed as a linear combination of the shapes and textures of the M exemplar faces.
-----三维可行变 模型在
人脸识别中的应用
2015.5.7
精品课件
维度？
0维指点，且这个点没有大小，只表位置
1维指线，没有宽度的线，但长度可以延伸
2维指平面，但平面没有厚度，只是无限延伸
3维指立体，就有厚度了，体现我们现在所处的空间
4维嘛~很多人很难说清楚，有些人说是时间，有些人说 是2维、3维在数学上的直接推广，甚至说，把一个四维 立方体展开后是六个普通立方体！
face model。 ▪ 亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优
秀的对齐方法。 ▪ 是我们采用的model。
精品课件
3DMM基本流程
精品课件
3D Morphable Model 怎么来的？
Optimal Step Nonrigid
ICP （
iterative
closest point ）
Algorithms 2007. CVPR
3DMM数据包括： 1、n个人脸的平均模型 2、形状部分的主成分 3、纹理部分的主成分 两个n-1维的： 特征向量和特征值
Baidu NhomakorabeaPCA
精品课件
PCA简介
在统计学中，主成分分析（principal components analysis,PCA）是一 种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标 系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第 二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据 集的维数，同时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分， 忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。
❖ 2003 年 9 月 他 们 两 人 再 次 在 PAMI 上 发 表 Face recognition based on fitting a 3D morphable model 被引用次数：1255
❖ 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在 2009 Advanced Video and Signal Based Surveillance 上 发 表 A 3D Face Model for Pose and Illumination Invariant Face Recognition 被 引用次数：70 。 ▪ 首 次 提 出 BFM 贝 塞 尔 face model 一 个 提 供 公 开 下 载 的 3D
Through Principal Component Analysis (PCA)
精品课件
如何拟合？实现针对2维输入的3维建模
纹理的距离
形状的距离
防止形状和纹理形变系数出现过拟合。采用 贝叶斯公式计算各系数的概率，最大化概率 来构成cost function。
精品课件
EF的计算方法
从物体坐标系到相机坐标系
这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表 现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方 向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变 量系统。
精品课件
形状系数的在形状形变上的效果
从下图 可以看到不同的主成分从不同角度对人脸形状产生了影响:第1 主成分主 要描述了性别的差异,第3 主成分主要控制嘴部以下的长度,第6 主成分主要调节 人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时 ,这种效果会趋于稳定).