【CN110097020A】一种基于联合稀疏字典学习的微表情识别方法【专利】

合集下载

一种基于关键帧和联合稀疏表示的无约束人脸识别方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910480359.6(22)申请日 2019.06.04(71)申请人南京大学地址 210023 江苏省南京市栖霞区仙林大道163号南京大学(72)发明人孙正兴　徐峻峰　王佺　胡安琦　(74)专利代理机构江苏圣典律师事务所 32237代理人胡建华　于瀚文(51)Int.Cl.G06K 9/00(2006.01)G06K 9/62(2006.01)G06T 7/277(2017.01)(54)发明名称一种基于关键帧和联合稀疏表示的无约束人脸识别方法(57)摘要本发明公开了一种基于关键帧和联合稀疏表示的无约束人脸识别方法，包括如下步骤：首先对输入的监控视频目标人脸进行检测和跟踪，从而获取完整人脸序列信息；然后利用人脸关键点的位置估计序列中每个人脸的旋转角度，并对旋转角度进行聚类得到基于人脸姿态的关键帧；最后，通过公开的人脸数据集构建用于训练的字典集，同时采用迭代优化的方式求解最优联合稀疏系数矩阵，并根据测试集和最优联合稀疏系数矩阵计算字典集中每个类别对应的重构误差，取最小重构误差的类别作为人脸身份。

权利要求书2页说明书6页附图1页CN 110188718 A 2019.08.30C N 110188718A1.一种基于关键帧和联合稀疏表示的无约束人脸识别方法，其特征在于，包括以下步骤：步骤1，输入监控视频，通过检测与跟踪的方式获取人脸序列；步骤2，通过人脸姿态聚类来获取人脸序列的关键帧；步骤3，通过联合稀疏表示对关键帧进行分类，得到最终识别结果。

2.根据权利要求1中的方法，其特征在于，步骤1包括以下步骤：步骤1-1，使用Viola Jones人脸检测器来检测输入视频的人脸，得到人脸包围框；步骤1-2，进行人脸跟踪：使用SORT算法对首次检测到的人脸进行运动估计得到运动信息x，并通过用卡尔曼滤波器来估算输入视频后续帧的运动信息；步骤1-3，将卡尔曼滤波器估算的结果和实际人脸检测器检测结果通过联合交叉距离来判断跟踪是否结束，如果联合交叉距离大于阈值T0时，则说明人脸目标已经消失，将结束步骤1-2的人脸跟踪，否则继续跟踪，其中T0∈(0.8,1.2)；步骤1-4，通过跟踪的结果获取最终的目标人脸序列图像P。

一种微表情识别算法[发明专利]

专利名称：一种微表情识别算法
专利类型：发明专利
发明人：阳兵,程静,张博,杨云祥,郭晓雷,郭静,谷晓鹏申请号：CN201910456423.7
申请日：20190529
公开号：CN110287801A
公开日：
20190927
专利内容由知识产权出版社提供
摘要：本发明提出了一种微表情识别算法，包括：获取微表情序列，由微表情序列计算得到光流序列，并由光流序列计算得到光应变序列；微表情序列、光流序列和光应变序列分别经卷积神经网络处理得到第一特征向量、第二特征向量和第三特征向量；将第一特征向量、第二特征向量以及第三特征向量连接后输入循环神经网络，并经过全连接层处理后得到微表情的分类权重向量；基于分类权重向量对微表情进行识别。

根据本发明的微表情识别算法，将光流序列和光应变序列作为补充信息加入到识别算法中，并分别采用三条卷积神经网络对微表情序列、光流序列和光应变序列进行处理。

而且在算法中融合了三种注意力机制，有效提高了微表情识别算法的精确性和可靠性。

申请人：中国电子科技集团公司电子科学研究院
地址：100041 北京市石景山区双园路11号
国籍：CN
代理机构：工业和信息化部电子专利中心
代理人：田卫平
更多信息请下载全文后查看。

一种稀疏混合字典学习的人脸鉴别方法[发明专利]

专利名称：一种稀疏混合字典学习的人脸鉴别方法专利类型：发明专利
发明人：狄岚,矫慧文,顾雨迪
申请号：CN201911082514.5
申请日：20191107
公开号：CN110837804A
公开日：
20200225
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于稀疏混合字典学习的特征提取方法并将其应用在人脸鉴别中，在一定程度上提高了人脸鉴别的准确性，本发明以费舍尔判别准则和拉普拉斯矩阵为约束，利用类别特色字典提取数据类别之间的特殊性，在保留稀疏编码数据相似性的同时减小类内编码离散度，增大类间编码离散度；然后利用类内差异字典提取类别共性，捕捉不同类别的相同特征，最后将类别特色字典与类内差异字典相结合。

使用本发明在AR、CMU‑PIE、LFW等人脸数据库上进行实验，结果表明，该方法在少样本训练条件下可以获得更高识别精度。

申请人：江南大学
地址：214122 江苏省无锡市滨湖区蠡湖大道1800号
国籍：CN
代理机构：南京禹为知识产权代理事务所(特殊普通合伙)
代理人：吴肖敏
更多信息请下载全文后查看。

一种基于深度学习的微表情识别方法[发明专利]

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202010091871.4(22)申请日 2020.02.13(66)本国优先权数据202010057527.3 2020.01.17 CN(71)申请人道和安邦（天津）安防科技有限公司地址 300300 天津市东丽区平盈路12号空港国际总部基地A8号楼401室(72)发明人王峰　相虎生　牛锦　宋剑桥　贾海蓉　马军辉　师泽州　相宸卓　王飞　(74)专利代理机构北京兆君联合知识产权代理事务所(普通合伙) 11333代理人郑学成(51)Int.Cl.G06K 9/00(2006.01)G06N 3/04(2006.01) (54)发明名称一种基于深度学习的微表情识别方法(57)摘要本发明公开了一种基于深度学习的微表情识别方法，其包括如下步骤：1：对含有表情动作的视频数据裁剪、视频分帧，提取；2：对提取的表情序列进行人脸对齐，人脸裁剪，进行归一化等预处理；3：将得到的数据集进行数据增强操作；4：搭建神经网络模型：5：将所有人脸表情数据按比例分成训练集和测试集；6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型。

采用本发明的一种基于深度学习的微表情识别方法，具有简单而高效,成本低廉、精度高等优点。

权利要求书1页说明书5页附图2页CN 111353390 A 2020.06.30C N 111353390A1.一种基于深度学习的微表情识别方法，其特征在于，包括以下几个步骤：步骤1：对含有表情动作的视频数据裁剪，裁剪后的视频要求统一时长为3秒，将裁剪好的视频分帧，提取表情开始到结束的表情图片序列；步骤2：对提取的表情序列进行人脸对齐，人脸裁剪，以及归一化，均衡化，白化等预处理；步骤3：将得到的数据集进行数据增强的操作，扩充数据集的大小；步骤4：搭建神经网络模型；步骤5：将所有人脸表情数据分成训练集和测试集，使用训练集经过网络进行模型训练；步骤6：使用测试集对模型进行测试，输出识别准确率，识别时间，误差等信息，当识别率达到要求，选择当前模型。

一种基于联合字典学习和稀疏表示的骨导语音增强方法[发明专利]

专利名称：一种基于联合字典学习和稀疏表示的骨导语音增强方法
专利类型：发明专利
发明人：叶中付
申请号：CN202010810196.6
申请日：20200813
公开号：CN111968627A
公开日：
20201120
专利内容由知识产权出版社提供
摘要：本发明提供一种基于联合字典学习和稀疏表示的骨导语音增强方法。

训练阶段，在室内无噪环境中，用骨导麦克风和气导麦克风组成的异型双麦克风阵列同步采集训练语音，构建骨导语音和气导语音的联合训练集；对骨导语音和气导语音的训练信号做短时傅里叶逆变换得到时频谱幅度，在时频谱上学习骨导语音和气导语音的联合语音字典。

检测阶段，对于骨导语音进行短时傅里叶变换得到时频谱幅度和相位，将幅度在联合语音字典的骨导语音子字典上进行投影，用得到的稀疏表示系数与联合语音字典的气导语音子字典一起重建气导语音时频谱幅度，并提供两种方法用于增强骨导语音时频谱，最后做短时傅里叶逆变换，得到增强后的骨导语音时域信号，从而提高语音清晰度。

申请人：中国科学技术大学
地址：230026 安徽省合肥市包河区金寨路96号
国籍：CN
代理机构：北京科迪生专利代理有限责任公司
代理人：杨学明
更多信息请下载全文后查看。

基于双稀疏迁移学习的跨库微表情识别方法及装置[发明专利]

专利名称：基于双稀疏迁移学习的跨库微表情识别方法及装置专利类型：发明专利
发明人：宗源,刘佳腾,郑文明,唐传高,路成,李溯南
申请号：CN202010578064.5
申请日：20200623
公开号：CN111832426A
公开日：
20201027
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于双稀疏迁移学习的跨库微表情识别方法及装置，方法包括：(1)获取不同的微表情训练数据库和测试数据库(2)将训练数据库和测试数据库中的微表情数据分别处理得到微表情的LBP‑TOP特征；(3)建立双稀疏迁移学习模型；(4)将训练数据库和测试数据库的微表情特征数据输入双稀疏迁移学习模型进行训练，训练时；(5)获取待识别的微表情数据LBP‑TOP特征，输入训练好的双稀疏迁移学习模型，输出情感类别。

本发明准确率更高。

申请人：东南大学
地址：211102 江苏省南京市江宁区东南大学路2号
国籍：CN
代理机构：南京苏高专利商标事务所(普通合伙)
代理人：冯艳芬
更多信息请下载全文后查看。

一种基于稀疏表示与单隐层神经网络技术相结合的人脸识别方法[发明专利]

专利名称：一种基于稀疏表示与单隐层神经网络技术相结合的人脸识别方法
专利类型：发明专利
发明人：梁栋,屈磊,谭守标,唐俊
申请号：CN201710028035.X
申请日：20170116
公开号：CN107085700A
公开日：
20170822
专利内容由知识产权出版社提供
摘要：本发明涉及一种基于稀疏表示与单隐层神经网络技术相结合的人脸识别方法，与现有技术相比解决了识别方法耗时较长或分类性能不稳定的缺陷。

本发明包括以下步骤：人脸图像采集与检测，从视频中提取的测试帧图像中确定人脸的五官范围；图像预处理，对测试帧图像进行消除光照或噪声干扰的预处理；特征提取，对测试帧图像进行人脸特征提取；分类识别，将提取出的人脸特征信息，与数据库中存储的特征模板进行搜索分类匹配，得到最终分类识别结果。

本发明将稀疏表示方法与单隐层前馈神经网络相结合，实现了在拥有较快识别速度的同时，保持良好的分类识别性能。

申请人：安徽大学
地址：230601 安徽省合肥市经济技术开发区九龙路111号安徽大学磬苑校区
国籍：CN
代理机构：合肥国和专利代理事务所(普通合伙)
代理人：张祥骞
更多信息请下载全文后查看。

微表情识别装置及方法[发明专利]

专利名称：微表情识别装置及方法专利类型：发明专利
发明人：姜振宇
申请号：CN201610299464.6申请日：20160506
公开号：CN105913046A
公开日：
20160831
专利内容由知识产权出版社提供
摘要：本发明提供一种微表情识别装置及方法，该装置包括表情采集器、微表情识别器以及提问效度分析器；所述表情采集器，用于在测试人员对被测人员进行测试题目提问阶段，采集所述被测人员回答提问的实时应激表情信息；所述微表情识别器，与所述表情采集器连接，用于根据所述实时应激表情信息与所述被测人员的基线表情信息，识别所述被测人员的实时应激表情是否为微表情；所述提问效度分析器，与所述微表情识别器连接，用于根据所述微表情识别器的识别结果，确定本次提问测试的提问效度。

本发明还提供了一种如上装置对应的微表情识别方法。

本发明的技术方案能够大大降低微表情识别的复杂度，提高微表情检测的效率。

申请人：姜振宇
地址：100191 北京市东城区和平新城28号楼A170G
国籍：CN
代理机构：北京元周律知识产权代理有限公司
代理人：王惠
更多信息请下载全文后查看。

【CN110008920A】一种人脸表情识别方法研究【专利】

(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 201910291646.2(22)申请日 2019.04.09(71)申请人南京工业大学地址 210000 江苏省南京市鼓楼区新模范马路5号(72)发明人程明　陈超　杨圣伟　(51)Int.Cl.G06K 9/00(2006.01)(54)发明名称一种人脸表情识别方法研究(57)摘要本发明针对局部二值模式(LBP)、中心对称局部二值模式(CS -LBP)和梯度方向直方图(HOG)的不足进行改进，提出中心对称局部平滑二值模式(CS -LSBP)和绝对梯度方向直方图(HOAG)，并提出一种融合局部纹理特征和局部形状特征的人脸表情识别方法。

该方法首先采用CS -LSBP算子和HOAG算子分别提取人脸表情图像的局部纹理特征和局部形状特征，然后使用典型线性分析法(CCA )进行特征融合，最后利用支持向量机(SVM)进行表情分类。

在JAFFE人脸表情库上的实验结果表明，改进的特征提取方法能更加完整、精确地提取图像的细节信息，基于CCA的特征融合方法能充分发挥特征的表征能力，该文所提人脸表情识别方法取得了较好的分类识别效果。

权利要求书1页说明书4页附图2页CN 110008920 A 2019.07.12C N 110008920A1.人脸表情识别方法，其特征在于，该方法包括以下步骤：A)输入人脸图像样本并进行几何校正和尺寸归一化的预处理；B)用中心对称局部平滑二值模式(CS -LSBP)对人脸表情图像进行纹理特征提取；C)用绝对梯度方向直方图(HOAG)对人脸表情图像进行局部形状特征提取；D)用典型线性分析法(CCA)将人脸表情图像的局部纹理特征和局部形状特征进行特征融合；E)最后利用支持向量机(SVM)进行表情分类。

2.根据权利要求1所述的人脸表情识别系统，其特征在于，所述中心对称局部平滑二值模式(CS -LSBP)的具体内容如下：由于LBP算子只比较了中心像素点与其邻域像素点灰度值的大小，未考虑邻域像素点相互间的灰度值差异，而CS -LBP算子只考虑了4个梯度方向上处于对称位置的像素点灰度值的变化，忽略了中心像素点的作用，且阈值难以在理论上寻找出最优值，只能通过实验获得。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910388310.8
(22)申请日 2019.05.10
(71)申请人山东大学
地址 250199 山东省济南市历城区山大南
路27号
(72)发明人贲晛烨　朱雪娜　王德强　宋延新　
李冰　孙国荃　
(74)专利代理机构济南金迪知识产权代理有限
公司 37219
代理人许德山
(51)Int.Cl.
G06K 9/00(2006.01)
(54)发明名称一种基于联合稀疏字典学习的微表情识别方法(57)摘要本发明涉及一种基于联合稀疏字典学习的微表情识别方法，包括步骤如下：(1)对宏表情和微表情进行特征提取：分别提取宏表情的LBP特征、微表情的LBP -TOP特征和光流特征，进行特征选择；(2)构建基于联合稀疏字典学习的微表情识别模型，将宏表情和微表情同时投影到标签空间，在标签空间中进行各自字典的学习，并进行字典的二分解构建宏表情和微表情的情感联系；保证在字典中，宏表情和微表情表达情绪的公共部分尽可能相近，表达自己各自特异的部分尽可能远；(3)通过基于欧氏距离的最近邻分类器对
微表情进行分类识别。

权利要求书4页说明书10页附图3页CN 110097020 A 2019.08.06
C N 110097020
A
1.一种基于联合稀疏字典学习的微表情识别方法，其特征在于，包括步骤如下：
(1)对宏表情和微表情进行特征提取：分别提取宏表情的LBP特征、微表情的LBP -TOP特征和光流特征，进行特征选择；
(2)构建基于联合稀疏字典学习的微表情识别模型，将宏表情和微表情同时投影到标签空间，在标签空间中进行各自字典的学习，并进行字典的二分解构建宏表情和微表情的情感联系；
(3)通过基于欧氏距离的最近邻分类器对所述微表情进行分类识别。

2.根据权利要求1所述的一种基于联合稀疏字典学习的微表情识别方法，其特征在于，步骤(1)中，提取宏表情的LBP特征的方法为：
以每个像素点为中心点，划分一个3*3的方阵，将中心点的像素值x 0与其周围的8个像素点中的任一像素点的像素值x i 进行比较，1≤i≤8，如果x i >x 0，则v(x i )＝1，否则，v(x i )＝0；v (x i )是指像素值x i 的二进制映射，由此，得到一个八位二进制数，即得到中心点的像素值x 0的LBP值；
通过二进制公式(Ⅰ)对八位二进制数进行编码，
形成局部二值模式：
式(Ⅰ)中，g j 是指第j个像素点的像素值，g a 是指中心点的像素值，是指中心点的像素值为g a 的LBP值。

3.根据权利要求1所述的一种基于联合稀疏字典学习的微表情识别方法，其特征在于，步骤(1)中，提取微表情的LBP -TOP特征的方法为：
从XY、YT、XT三个正交平面提取微表情图像的LBP特征，XY是指看到的图像面，XT是指每一行沿着时间轴扫描而过的纹理，YT是指每一列沿着时间轴扫描而过的图像；XY平面提供空间面部信息，YT和XT平面提供时空变换信息。

4.根据权利要求1所述的一种基于联合稀疏字典学习的微表情识别方法，其特征在于，步骤(1)中，提取微表情的光流特征的方法为：t时刻的光流特征为一个两维向量：
分别是指在t时刻在x轴方向的速度和在y轴方向的速度。

5.根据权利要求1所述的一种基于联合稀疏字典学习的微表情识别方法，其特征在于，步骤(1)中，特征选择的方法为：
根据无监督判别性特征选择算法得到一个矩阵W进行特征选择，引入了一个局部判别指数，使每个样本与其近邻的k个样本构成一个样本子集，样本是指一个微表情或者宏表情，k＝5，使每个样本子集局部的类间散度最大，总体散度最小。

6.根据权利要求1-5任一所述的一种基于联合稀疏字典学习的微表情识别方法，其特征在于，步骤(2)中，对步骤(1)得到的特征构建基于联合稀疏字典学习的微表情识别方法，包括步骤如下：
A、
设定X是指宏表情数据集，d x 是指宏表情数据的维数，N x
权　利　要　求　书1/4页2CN 110097020 A。