面部表情识别# ppt课件
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于信息融合的面部表情分析 与识别
研 究 生：刘 松 指导老师：应自炉 学科专业：信号与信息处理
论文选题来源
➢ 广东自然科学基金项目： （032356）
研究现状
➢ 国际上对人脸面部表情识别的研究现在逐渐成为科研热 点。国内外很多机构都在进行这方面的研究,尤其美国、 日本。进入90 年代,对人脸表情识别的研究变得非常活 跃,吸引了大量的研究人员和基金支持,EI 可检索到的 相关文献就多达数千篇。美国、日本、英国、德国、荷 兰、法国等经济发达国家和发展中国家如印度、新加坡 都有专门的研究组进行这方面的研究。其中MIT、CMU、 Maryland 大学、Standford 大学、日本城蹊大学、东 京大学、ATR 研究所的贡献尤为突出 。
➢ 国内国内的清华大学、哈尔滨工业大学、中科院、中国 科技大学、南京理工大学、北方交通大学等都有人员从 事人脸表情识别的研究
目前面部表情识别的主要方法：
➢ 基于模板匹配的面部表情识别方法 ➢ 基于神经网络的面部表情识别方法 ➢ 基于规则的人脸面部表情识别方法 ➢ 基于随机序列模型的面部表情识别方法 ➢ 其他方法，比如支持向量机，小波分析
面部表情识别：一般可描述为给定一个静止人脸图像或者 动态的人脸图像序列，利用已有的人脸表情数据库确定 图像中的一个人或者多个人的面部表情，研究内容包括 以下三方面：
人脸检测:即从各种不同的场景中检测出人脸的存在并确 定其位置.
面部表情特征提取:即确定表示检测出的人脸表情和数据 库中的已有的人脸面部表情的描述方式。通常的表示方 式包括几何特征、代数特征、固定特征模板、云纹图、
3D网格等。
面部表情识别：就是将待识别的人脸面部表情和数据库中 的已知人脸面部表情比较，得出相关信息。这一过程是
选择适当的人脸面部表情表示方式与匹配策略
论文主要工作
1. 介绍了信息融合在面部表情识别应用的三个 层次模型
2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一
基于单特征单分类器的面部表情识别
基于神经网络级联的面部表情识别 基于几何特征的面部表情识别 基于均值主元分析的面部表情识别 基于Fisher线性判别的面部表情识别
基于神经网络级联的面部表情识别
网络级联的面部表情识别结构 BP网络的算法流程 网络级联的面部表情识别的实验结果
网络级联的面部表情识别结构
➢ 人脸面部表情识别包含大量的变量, 反映待识 别目标各要素的非度量形式允许许多类型的表 示技术, 每一种技术又可以采用不同的方法进 行计算。
基于信息融合面部表情识别的 三个模型
❖ 基于像素层融合的面部表情识别
❖ 基于特征层融合的面部表情识别
❖ 基于决策层融合的面部表情识别
基于像素层融合的面部表情识别
50× 60的 切割图像
自动定位 人脸切割
320× 243 的原始图
像
形状归一化 灰度归一化
人脸图像 预处理
1
2
1
2
2999
3000
249
250
SOM
1 1
2 2 1
249
250
16
2
MLP
网络级联的面部表情识别流程
为 BP算 法 终 的 权 值 和 变量分配空间和初始化
E 0 否
是
训练结
束否
否
是 E Em in
等
论文主要工作
1. 介绍了信息融合在面部表情识别应用的三个 层次模型
2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一
起，提出基于基于SVM的多特征多分类器融 合的面部表情识别
4. 将径向基函数神经网络用于面部表情特征的 融合上，提出基于RBF网络的多特征融合的 面部表情识别
起，提出基于基于SVM的多特征多分类器融 合的面部表情识别
4. 将径向基函数神经网络用于面部表情特征的 融合上，提出基于RBF网络的多特征融合的 面部表情识别
信息融合与面部表情分析
➢ 信息融合就是把来自多个信息源的目标信息合 并归纳为一个具有同意表示形式输出的推理过 程, 其基本的出发点是通过对这些信息源所提 供的信息的合理支配和使用, 利用多个信源在 时间或空间上的冗余性和互补性对这些信息进 行综合处理, 以获得对被测对象具有一致性的 解释和描述, 使得该信息系统获得比它得各个 组成部分更优越的性能。
输入样本的顺序 重新随机排序
输 入 样 本 X， 正 向 传 播，计算各层输出
计算输出层误差E
反向传播，计算各层神经元的调整 信 号 。 根 据 各 神 经 元 的 （ Delta)对
隐含层的权重进行更新
停机
是
训练集中所有样本 否
是否学习完毕
网络级联的面部表情识别的实验结果
在两个数据库上进行实验，从耶鲁大学的 Yale Face 数据库中选取60幅人脸图像，共 15个人，4幅/人，其中训练样本56幅，14个 人，4幅/人，测试样本为剩下的4幅图像，1 个人，4/人，通过随机变换训练样本和测试 样本，我们重复15次这样的实验。从日本女 性表情数据库中（JAFFE）选取120幅图像， 共10个人，12幅/人，其中84幅图像作为训练 样本，7个人，12幅/人，测试样本为36幅图 像，3个人，12幅/人。通过随机变换训练样 本和测试样本，我们重复10次这样的实验。
人脸图像 特征提取
面
特
部
人脸图像 特征提取
征
表
层
情
融
识
合
人脸图像 特征提取
别
识别 结果
基于决策层融合的面部表情识别
这种方法对每个传感器都执行面部表情特征提 取和面部表情识别，然后对多个识别结果进行 信息融合从而得出一个面部表情判决结果,再 融合来自每个传感器的面部表情判决。
人脸图像 特征提取 表情识别 人脸图像 特征提取 表情识别
➢ 这种方法对每幅图像预处理之前进行像素层 融合后, 得到一个融合的人脸图像数据,并在
此基础上再进行特征提取和面部表情识别。
人脸图像 人脸图像
人脸图像
像
面
素
特源自文库
部
层
征
表
识别
提
情
结果
融
取
识
合
别
基于特征层融合的面部表情识别
这种方法对每个传感器的观测数据进行特征的 抽取以得到一个特征向量, 然后把这些特征向 量融合起来并根据融合后得到的特征向量进行 面部表情识别及判定。
人脸图像 特征提取 表情识别
面
决
部
策
表
识别
层
情
结果
融
识
合
别
论文主要工作
1. 介绍了信息融合在面部表情识别应用的三个 层次模型
2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一
起，提出基于基于SVM的多特征多分类器融 合的面部表情识别
4. 将径向基函数神经网络用于面部表情特征的 融合上，提出基于RBF网络的多特征融合的 面部表情识别
研 究 生：刘 松 指导老师：应自炉 学科专业：信号与信息处理
论文选题来源
➢ 广东自然科学基金项目： （032356）
研究现状
➢ 国际上对人脸面部表情识别的研究现在逐渐成为科研热 点。国内外很多机构都在进行这方面的研究,尤其美国、 日本。进入90 年代,对人脸表情识别的研究变得非常活 跃,吸引了大量的研究人员和基金支持,EI 可检索到的 相关文献就多达数千篇。美国、日本、英国、德国、荷 兰、法国等经济发达国家和发展中国家如印度、新加坡 都有专门的研究组进行这方面的研究。其中MIT、CMU、 Maryland 大学、Standford 大学、日本城蹊大学、东 京大学、ATR 研究所的贡献尤为突出 。
➢ 国内国内的清华大学、哈尔滨工业大学、中科院、中国 科技大学、南京理工大学、北方交通大学等都有人员从 事人脸表情识别的研究
目前面部表情识别的主要方法：
➢ 基于模板匹配的面部表情识别方法 ➢ 基于神经网络的面部表情识别方法 ➢ 基于规则的人脸面部表情识别方法 ➢ 基于随机序列模型的面部表情识别方法 ➢ 其他方法，比如支持向量机，小波分析
面部表情识别：一般可描述为给定一个静止人脸图像或者 动态的人脸图像序列，利用已有的人脸表情数据库确定 图像中的一个人或者多个人的面部表情，研究内容包括 以下三方面：
人脸检测:即从各种不同的场景中检测出人脸的存在并确 定其位置.
面部表情特征提取:即确定表示检测出的人脸表情和数据 库中的已有的人脸面部表情的描述方式。通常的表示方 式包括几何特征、代数特征、固定特征模板、云纹图、
3D网格等。
面部表情识别：就是将待识别的人脸面部表情和数据库中 的已知人脸面部表情比较，得出相关信息。这一过程是
选择适当的人脸面部表情表示方式与匹配策略
论文主要工作
1. 介绍了信息融合在面部表情识别应用的三个 层次模型
2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一
基于单特征单分类器的面部表情识别
基于神经网络级联的面部表情识别 基于几何特征的面部表情识别 基于均值主元分析的面部表情识别 基于Fisher线性判别的面部表情识别
基于神经网络级联的面部表情识别
网络级联的面部表情识别结构 BP网络的算法流程 网络级联的面部表情识别的实验结果
网络级联的面部表情识别结构
➢ 人脸面部表情识别包含大量的变量, 反映待识 别目标各要素的非度量形式允许许多类型的表 示技术, 每一种技术又可以采用不同的方法进 行计算。
基于信息融合面部表情识别的 三个模型
❖ 基于像素层融合的面部表情识别
❖ 基于特征层融合的面部表情识别
❖ 基于决策层融合的面部表情识别
基于像素层融合的面部表情识别
50× 60的 切割图像
自动定位 人脸切割
320× 243 的原始图
像
形状归一化 灰度归一化
人脸图像 预处理
1
2
1
2
2999
3000
249
250
SOM
1 1
2 2 1
249
250
16
2
MLP
网络级联的面部表情识别流程
为 BP算 法 终 的 权 值 和 变量分配空间和初始化
E 0 否
是
训练结
束否
否
是 E Em in
等
论文主要工作
1. 介绍了信息融合在面部表情识别应用的三个 层次模型
2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一
起，提出基于基于SVM的多特征多分类器融 合的面部表情识别
4. 将径向基函数神经网络用于面部表情特征的 融合上，提出基于RBF网络的多特征融合的 面部表情识别
起，提出基于基于SVM的多特征多分类器融 合的面部表情识别
4. 将径向基函数神经网络用于面部表情特征的 融合上，提出基于RBF网络的多特征融合的 面部表情识别
信息融合与面部表情分析
➢ 信息融合就是把来自多个信息源的目标信息合 并归纳为一个具有同意表示形式输出的推理过 程, 其基本的出发点是通过对这些信息源所提 供的信息的合理支配和使用, 利用多个信源在 时间或空间上的冗余性和互补性对这些信息进 行综合处理, 以获得对被测对象具有一致性的 解释和描述, 使得该信息系统获得比它得各个 组成部分更优越的性能。
输入样本的顺序 重新随机排序
输 入 样 本 X， 正 向 传 播，计算各层输出
计算输出层误差E
反向传播，计算各层神经元的调整 信 号 。 根 据 各 神 经 元 的 （ Delta)对
隐含层的权重进行更新
停机
是
训练集中所有样本 否
是否学习完毕
网络级联的面部表情识别的实验结果
在两个数据库上进行实验，从耶鲁大学的 Yale Face 数据库中选取60幅人脸图像，共 15个人，4幅/人，其中训练样本56幅，14个 人，4幅/人，测试样本为剩下的4幅图像，1 个人，4/人，通过随机变换训练样本和测试 样本，我们重复15次这样的实验。从日本女 性表情数据库中（JAFFE）选取120幅图像， 共10个人，12幅/人，其中84幅图像作为训练 样本，7个人，12幅/人，测试样本为36幅图 像，3个人，12幅/人。通过随机变换训练样 本和测试样本，我们重复10次这样的实验。
人脸图像 特征提取
面
特
部
人脸图像 特征提取
征
表
层
情
融
识
合
人脸图像 特征提取
别
识别 结果
基于决策层融合的面部表情识别
这种方法对每个传感器都执行面部表情特征提 取和面部表情识别，然后对多个识别结果进行 信息融合从而得出一个面部表情判决结果,再 融合来自每个传感器的面部表情判决。
人脸图像 特征提取 表情识别 人脸图像 特征提取 表情识别
➢ 这种方法对每幅图像预处理之前进行像素层 融合后, 得到一个融合的人脸图像数据,并在
此基础上再进行特征提取和面部表情识别。
人脸图像 人脸图像
人脸图像
像
面
素
特源自文库
部
层
征
表
识别
提
情
结果
融
取
识
合
别
基于特征层融合的面部表情识别
这种方法对每个传感器的观测数据进行特征的 抽取以得到一个特征向量, 然后把这些特征向 量融合起来并根据融合后得到的特征向量进行 面部表情识别及判定。
人脸图像 特征提取 表情识别
面
决
部
策
表
识别
层
情
结果
融
识
合
别
论文主要工作
1. 介绍了信息融合在面部表情识别应用的三个 层次模型
2. 探索了基于单特征单分类器的面部表情识别 3. 将支持向量机理论和信息融合理论结合在一
起，提出基于基于SVM的多特征多分类器融 合的面部表情识别
4. 将径向基函数神经网络用于面部表情特征的 融合上，提出基于RBF网络的多特征融合的 面部表情识别