情感识别综述

情感识别综述

作者：潘莹

来源：《电脑知识与技术》2018年第08期

摘要：情感交互在人机自然交互的研究中受到了很大的重视，而情感识别是人机情感交互的关键，其研究目的是让机器感知人类的情感状态，提高机器的人性化水平。该文首先对情感识别理论进行了概述，继而对情感识别的研究方法进行了分类描述，接着简述了情感识别的应用领域，最后对情感识别的发展进行了展望。

关键词：情感识别；综述；多模态融合；特征提取；情感分类

中图分类号：TP391 文献标识码：A 文章编号：1009-3044（2018）08-0169-03

1引言

随着智能技术的迅猛发展以及智能机器在各领域的广泛应用，人们渴望对机器进行更深层次地智能化开发，使机器具备和人一样的思维和情感，让机器能够真正地了解用户的意图，进而让机器更好地为人类提供智能化的服务。在智能机器研究中，自然和谐的人机交互能力受到很大的重视。情感识别作为人机情感交互的基础，能够使机器理解人的感性思维，影响着机器智能化的继续发展，成为人机自然交互的关键要素。同时，情感识别融多学科交叉为一体，其发展将会带动多学科共同发展，其应用也会带来巨大的经济效益和社会效益。因而，情感识别技术的研究具有很大的发展前景和重要的学术价值。

2情感识别概述

情感是一种综合了行为、思想和感觉的状态。情感信息主要表现在内外两个层面：一是外在情感信息，是指通过外表能自然观察到的信息，如面部表情、唇动、声音、姿势等，二是内在情感信息，是指外部观察不到的生理信息，如心率、脉搏、血压、体温等。

情感识别本质上也是一种模式识别，它是指利用计算机分析各种情感信息，提取出描述情感的情感特征值，建立特征值与情感的映射关系，然后对情感信息进行分类，从而推断出情感状态的过程。

3情感识别的研究方法

情感识别的研究方法主要有：面部表情识别、语音情感识别、姿态表情识别、文本识别、生理模式识别和多模态情感识别。情感识别过程一般包括四个部分：数据获取、数据预处理、

情感特征提取、情感分类。情感特征提取过程一般包括：特征提取、特征降维和特征选择。其中，特征提取的方式各有不同，而特征降维和选择的方式大致相同。

特征降维常用的方法有：主成分分析、独立成分分析、等距特征映射、拉普拉斯特征映射、多维尺度变换、线性鉴别分析、局部线性嵌入、局部切空间排列和减秩回归法等。

特征选择常用的方法有：双向搜索、序列前向选择、序列后向选择、列浮动选择等。

情感分类常用的方法有：基于模型匹配法、决策树、支持向量机、朴素贝叶斯、贝叶斯网络、K近邻法、人工神经网络、随机森林、隐马尔科夫模型、线性回归、多层感知器、卷积神经网络和多分类器融合等。

3.1面部表情识别

在特定情感状态下，面部肌肉会发生变化。例如心情愉悦时，双目含笑，嘴角上翘，颧肌收缩；悲伤时，两眼呆滞，嘴角下拉，双眉紧锁；愤怒时会皱眉，睁大眼睛等。除此之外，也包括一些头部姿势，例如点头、摇头、低头等。

面部表情识别过程一般包括四个部分：人脸图像获取、图像预处理、表情特征提取、情感分类。

第一步：人脸图像获取。一般从影像数据中得到人脸的图像，包括图片和视频，分别对应静态表情和动态表情。视频就是图像序列，含有时间特性。

第二步：图像预处理。一般包括人脸检测定位、人脸扶正、剪裁处理、尺度归一化、直方图均衡化、去光照、光线补偿、同态滤波、灰度化、高斯平滑处理等方式。

第三步：表情特征提取。（1）基于静态图像的特征提取方法主要有：Gabor小波变换、局部二值模式、尺度不变特征变换、离散余弦变换和区域协方差矩阵等；（2）基于动态图像序列的特征提取方法主要有：光流法、差分图像法、特征点跟踪法、基于模型法和弹性图匹配法等。

第四步：情感分类。除了一些常用的分类器以外，还包括典型相关分析、稀疏表示分类法和基于专家规则的方法等。

3.2语音情感识别

语音是最普遍、最自然的交流形式，语言除了包含语义信息，还包含具有情感的语速、语调等信息。例如心情愉悦时，语调比较欢快；烦闷时，语调比较沉闷；生气时，音量变大，音调变高等。

语音情感识别过程主要分为四个部分：语音信号采集、数据预处理、情感特征提取、情感分类。

第一步：语音信号采集。一般采集语音信号的方式是使用麦克风等语音录制设备。

第二步：数据预处理。语音信号预处理的方式主要有：反混叠滤波、采样和量化、预加重处理、分帧加窗、端点检测和清浊音判别等。

第三步：情感特征提取。典型的语音情感特征分为三类：（1）韵律特征，包括音调、能量、基频、语速、时长等；（2）音质特征，主要有共振峰及其带宽、谐波噪声比和短时抖动等；（3）普特征，常见的有梅尔频率倒谱系数、线性预测倒谱系数和对数频率功率系数等。

第四步：情感分类。除了一些常用的分类器以外，还包括基于D-S证据理论、高斯混合模型、马氏距离分类法和矢量量化法等。

3.3姿态表情识别

姿态表情是除面部以外身体其他部位的表情动作，它在协同或补充表达言语内容的同时，也有效地传递着情感信息。例如开心时，手舞足蹈；悲痛时，捶胸顿足；焦虑时，坐立不安；失败时，垂头丧气等。

姿态表情识别过程主要分为四个部分：运动数据采集、预处理、运动特征提取、情感分类。

第一步：运动数据采集。一般运动数据的采集方式分为两种：（1）接触式：内嵌各式传感器的穿戴式装置，例如电子手套和数据鞋套等；（2）非接触式：一般通过摄像头得到图像信息。接触式的识别技术所需设备成本较高，用户体验不舒适，不符合人机自然交互的意图，本文选取非接触式的姿态识别技术。

第二步：数据预处理。一般包括：人体目标检测、图像去噪、图像分割、图像二值化处理、时间窗口、滤波处理等。其中，人体目标检测的方法主要有：基本图像分割、背景差分法、帧间差分法、光流法和能量最小化法。

第三步：运动特征提取。常用的运动特征分为四类：（1）静态特征：大小、颜色、轮廓、形状、深度等；（2）动态特征：速度、光流、方向、轨迹等；（3）时空特征：时空上下文、时空形状、时空兴趣点等；（4）描述性特征：场景、属性、物体、姿态等。常用的运动特征提取方法分为三类：时域分析法、频域分析法和时频域分析法。

第四步：情感分类。除了一些常用的分类器以外，还包括动态时间规整法、动态规划法、潜在狄利克雷分配、概率潜在语义分析、上下文无关文法、有限状态机和条件随机场等。