表情识别ppt课件

四
行时间上的优势，提出
两种基于解耦空间深层
学习算法
研究内容框图
训练样本集
特 征
提
测试样本
取
1 基于独立人脸身份的协同表示识别算法 2 基于字典学习特征空间的稀疏表示识别算法 3 基于低秩稀疏误差字典的概率协同表示识别算法 4 基于像素差值表示的区分性特征学习识别算法 5 基于深度子空间特诊核映射的稀疏表示识别算法 6 基于深度子空间特征的二步表示分类识别算法
算法总结
算法总结
本节提出的IFRC算法具有以下优点： (1) IFRC算法利用差分字典 (通过从原始空间减去人脸身份信息) 来表征表情变化特征，
缓解了人脸身份对表情特征的影响； (2) 本算法利用对称性将差分字典扩展得到虚拟差分字典，该字典扩大了训练样本数量，
从而弥补了欠完备样本对识别产生的影响； (3) 该算法通过适当融合差分测试样本在两个差分字典上的类残差提高了表情识别的性能。
极小部分的采样，而标注信息完备的样本少。
欠完备采样面部表情示例图
03
[ 第三部分 ]
技术路线
整体思路
原始空间 解耦空间
数据获取：JAFFE、CK+数据集…… ……
数据预处理：剪裁、对齐、归一化 ……
？
表情特征 ……
分类
分类
技术路线
拟采取的技术路线
本文从特征提取角度入手，针对欠完备数据融合人脸身份和表情特征的特 点，构建一系列基于解耦空间特征学习的稀疏表示表情识别算法并利用计算机 仿真分析这些算法的性能。
比，识别结果如右表所示。对于JAFFE数 据集，如表1-1可示，当参数g=0.5，h=0.5 时，实验提出算法可取得62.29%的平均识 别率，而对比算法CRC也仅获得60.98%的 识别结果。对于KDEF数据集，IFRC算法
同样优于其他对比算法。例如：当参数 g=0.6，h=0.4时，IFRC算法取得最佳识别 率为77.98%。
表1-2 KDEF数据集上不同算法的识别率
实验设计与结果分析
（2）不同训练样本数对比
表1-3 JAFFE数据集上不同训练样本数在不同算法中的平均识别率
为进一步验证本算法有效性， 本节选取每个人每类表情的前N张图 像作为训练样本。右表给出了两个 数据集中不同训练样本数量在不同 对比算法下的识别结果。由表可知 表1-4 KDEF数据集上不同训练样本数在不同算法中的平均识别率 ，无论N取1或2时，IFRC算法识别结 果均优于对比算法。
分类结果
实验方案一
1
基于独立人脸身份的 协同表示识别算法
3
基于低秩稀疏误差字典的 概率协同表示识别算法
5
基于深度子空间特征核映 射的稀疏表示识别算法
2
基于字典学习特征空间 的稀疏表示识别算法
4
基于像素差值表示的区分 性特征学习识别算法
6
基于深度子空间特征的二 步表示识别算法
算法一整体框架
中性 表情集
为解决表情数据受人
一
脸、小样本、光照等
影响，提出两种基于
解耦空间浅层特征学
习算法
针对训练样本中缺少中
性表情集导致无法借助
二
此表情集构造表情字典，
提出一种基于低秩稀疏
误差字典的概率协同表
示识别算法
从面向数据角度出发，提出
三
一种基于像素差值表示的区
分性特征学习识别算法
鉴于深度子空间模型优
异的特征提取能力及运
其次，利用表情图像 的近似对称结构对表情字 典进行学习并采用主成分 分析进行降维，以进一步 突出表情特征。
2018
基于解耦空间特征学习的稀疏表示表情 识别算法研究
导师 ：胡正平 教授 学生 ：孙哲 专业 ：电子科学与技术
研究目的和意义 国内外研究现状 技术路线 研究内容 创新点 研究不足与展望
01
[ 第一部分 ]
研究目的和意义
研究目的和意义
表情识别优势：所谓相由心生，人类对事物的喜恶，最直观的表现就是表情。方便友 好、易于接受、不易伪造等
实验方案二
基于独立人脸身份的
1 协同表示识别算法
3
基于低秩稀疏误差字典的 概率协同表示识别算法
5
基于深度子空间特征核映 射的稀疏表示识别算法
2
基于字典学习特征空间 的稀疏表示识别算法
4
基于像素差值表示的区分 性特征学习识别算法
6
基于深度子空间特征的二 步表示识别算法
算法二整体框架
首先，将原始空间映 射到表情空间。
浅层特征 Gabor 特征 局部纹理特征 LBP 子空间表示 PCA
深度子空间特征 PCANet LDANet
深度特征 CNN RNN
分类方法
近邻分类方法NN
二 一
支持向量机SVM
五 概率协同表示分类方法ProCRC
三 四
稀疏表示分类方法SRC
协同表示分类方法CRC
技术挑战
1. 面部表情的易变性：人脸身份、观察角度、光照、年龄等。 2. 训练样本欠完备：实际中能得到的样本只是对表情图像空间中的一个
应用：智能交通、辅助医疗、远程教育、卫生保健、监视系统、驾驶员安全、测谎、 互动游戏、社交机器人等
表情自动拍照
表情驾驶系统监控
表情测谎
研究目的和意义
• 理论意义和应用价值：
• 1. 利用新的理论工具，有望取得新的突 破
• 2. 为解决实际生活场景中复杂的表情识 别问题奠定基础；例如：多个体表情识 别
一方面，本文从基于先验知识的解耦思想出发，利用浅层学习提取解耦 空间的表情特征来提高面部表情识别性能；另一方面，本文从自学习解耦思想 出发，利用深度子空间模型优异的特征提取能力结合稀疏表示来提高面部表情 的识别性能。
04
[ 第四部分 ]
研究内容
研究内容
本文针对欠完备数据融合人脸身份和表情特征的特点，构建了基于解耦空间 特征学习识别模型并利用计算机仿真对算法性能进行分析，具体研究内容如下：
原始 字典
训练 阶段 测试阶段
测试 样本
差分 字典 SVD
近似 差分字 典
虚拟 差分字 典 近似 虚拟差 分字典
测试 样本差 分矢量
协同 表示
残差 融合
协同 表示
分类 结果
实验设计与结果分析
（1）不同算法对比
实验验证： JAFFE、KDEF数据集
表1-1 JAFFE数据集上不同算法的识别率
本节将实验提出算法与五种算法进行对
• 3. 推动基于动态的表情分析等相关问题 发展；例如有效跟踪用户情绪变化，可 以很方便的为静态图片/实时视频流中人 脸加情绪标签
• 4. 扩展表情识别应用范围，例如：人脸 表情交互、营销辅助
多个体表情识别 动态的表情分析 人脸表情交互
பைடு நூலகம் 02
[ 第二部分 ]
国内外研究现状
特征提取方法
几何结构特征 人脸运动编码系统