多模态生理信号情感识别研究

多模态生理信号情感识别研究

随着计算机和信息技术的发展,具有识别人类情感能力的机器能够显著提高人机交互的用户体验,为人机交互提供一个平滑自然的接口。在此背景下,情感识别受到了学术界和工业界的广泛关注,并在医疗护理、远程教育、智能机器人、智慧社区等应用方面得到广泛开展。相较于表情和语音等外在生理指标,自主神经系统(ANS)活动在情感表达上的客观性表明,生理信号能够更加客观地反应用户内心的真实情感体验,为情感状态的分析和识别提供了一条重要的线索,基于此,本文围绕基于生理信号的情感识别中存在的若干关键问题开展一系列的研究,其主要研究内容如下:为了探究情感表达在生理上的反应模式,本文设计了情感诱导的实验范式。通过观看情感诱导视频的方式,有效地唤起了30名被试者平静、悲伤、恐惧和高兴四种常见的基本情绪,并使用BIO PAC 150多导生理信号记录仪记录了被试在四种诱导情绪下的心电信号(Electrocardiogram,ECG)、皮肤电反应(Galvanic Skin Reaction,GSR)和光电脉搏信号(Photoplethysmographic,PPG)。通过回看视频自评价结合情绪表现时记录的表情和语音信息对录制的情感数据进行标注,保证了情感标注的准确性,最后,本文对标注好的情感数据进行了预处理、特征波形点检测和提取特征,最终形成多模态情感生理数据库。针对个体生理反应差异对用户独立模型(User-Independent Model)场景下情感识别系统性能的影响,本文根据生理心理学中个体反应特异性(Individual Response Specificity,IRS)和刺激反应特异性

(Stimulus Response Specificity,SRS)的原理,提出了基于个体生理反应特异性分组的情感识别模型,该模型首先评估被试者在情感反应中的个体反应特异性水平,通过使用聚类分析方法对被试者个体反应特异性的水平进行分组并建立相应的情感分类器,对于待测被试的情感数据,依据其个体反应特异性水平所属的分组,采用对应的情感分

类器对其进行情感识别,进一步提高用户独立模型场景下情感识别的性能。针对情感生理数据在录制过程中噪声影响情感识别性能的问题,本文引入了信道编码中可信传输的思想,提出了基于多标签输出编码的情感识别方法,该方法在纠错矫正输出编码框架(Error Correcting Output Codes,ECOC)下,利用典型相关分析(CCA)抽取情感数据及其标签之间的冗余性,并建立冗余码模型,对待测数据,结合其数据信息和冗余码信息对其情感标签进行预测。由于考虑了情感数据与标签信息之间的冗余性,相较于传统方法,该方法建立的情感识

别系统对含有噪声的数据具有更强的鲁棒性。对于多模态的情感生理数据,本文提出了基于多视角判别分析的情感识别方法,该方法将多

个模态的生理数据看做情感表达的多个视角,利用情感数据的标签信息,通过最大化所有模态下情感数据的类间距离和类内距离之比,找

到多组投影,使得投影后的情感数据位于一个具有判别性的通用空间中,用以提高多模态生理数据的情感识别精度。