基于SAE和LSTM RNN的多模态生理信号融合和情感识别研究

相关主题

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

Ｓ￣ｔｕＵｄｙｏｆＩｅｍｏ，ｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎｂａｓｅｄｔｌｏ０ｎｆＩＵｓｕｓｉｏｎｍｕｌｔｉ－ｍｏｄａｌｂｉｏ — ｓｉｇｎａｌｗｉｔｈＳＡＥａｎｄＬＳＴＭｒｅｃｕｒｒｅｎｔｎｅｕｒａｌｎｅｔｗｏｒｋ
ＬＩＹｏｕ－ｊｕｎ，一，ＨＵＡＮＧＪｉａ－ｊｉｎ，一，ＷＡＮＧＨａｉ。ｙｕａｎ，一，ＺＨＯＮＧＮｉｎｇ，， ’
（１．ＩｎｓｔｉｔｕｔｅｏｆＩｎｔｅｒｎａｔｉｏｎａｌＷＩＣ，ＢｅＯｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１００１２４，Ｃｈｉｎａ；
ｍｅｔｈｏｄｔｏｅｘｔｒａｃｔａｎｄｆｕｓｅｔｈｅｓｉｇｎａｌｗｉｔｈｔｈｅｓｔａｃｋｅｄａｕｔｏ．ｅｎｃｏｄｅｒａｎｄＬＳＴＭｒｅｃｕｒｒｅｎｔｎｅｒａｕｌｎｅｔｗｏｒｋｓｗａｓｐｒｏｐｏｓｅｄ．Ｔｈｅｓａｃｔｋｅｄａｕｔｏ．ｅｎｃｏｄｅｒｎｅｕｒａｌｎｅｗｏｔｒｋｗａｓｕｓｅｄｔｏｃｏｍｐｒｅｓｓａｎｄｆｕｓｅｔｈｅｆｅａｕｒｔｅｓ．ＴｈｅｄｅｅｐＬＳＴＭｒｅｃｕｒｒｅｎｔｎｅｒａｕｌｎｅｔｗｏｒｋｗａｓｅｍｐｌｏｙｅｄｔｏｅｌａｓｓｉｆｙｔｈｅｅｍｏｔｉｏｎｓｔａｔｅｓ．Ｔｈｅｒｅｓｕｌｔｓｐｒｅｓｅｎｔｔｈａｔｔｈｅｆｕｓｅｄｍｕｌｔｉ．ｍｏｄａｌｆｅａｔｕｒｅｓｐｒｏｖｉｄｅｍｏｒｅｕｓｅｆｕｌｉｎｆｏｒｍａｔｉｏｎｔｈａｎｓｉｎｇｌｅ．ｍｏｄａｌｆｅａｔｕｒｅｓ．ＴｈｅｄｅｅｐＬＳＴＭｒｅｃｕｒｒｅｎｔｎｅｒａｕ１ｎｅｗｏｔｒｋａｃｈｉｅｖｅｓｍｏｒｅａｃｃｕｒａｔｅｅｍｏｔｉｏｎｃｌａｓｓｉｉｃｆａｔｉｏｎｒｅｓｕｌｔｓｔｈａｎｏｔｈｅｒｍｅｔｈｏｄ．Ｔｈｅｈｉｇｈｅｓｔａｃｃｕｒａｃｙｒａｔｅｉｓ０．７９２６Ｋｅｙｗｏｒｄｓ：ｍｕｌｔｉ — ｍｏｄａｌｂｉｏ — ｓｉｇｎａｌｅｍｏｔｉｏｎｒｅｃｏｎｉｇｔｉｏｎ，ｓａｃｔｋｅｄａｕｔｏ — ｅｎｃｏｄｅｒｎｅｕｒａｌｎｅｔｗｏｒｋ，ＬＳＴＭｒｅｃｕｒｒｅｎｔｎｅｕｒａｌ
摘
要：为了提高情感识别的分类准确率，提出一种将栈式自编码神经网络（ＳＡＥ）和长短周期记忆单元循环神）融合的多模态融合特征情感识别方法。该方法通过ＳＡＥ对不同模态的生理特征进行信息
经网络（ＬＳＴＭ
融合和压缩，随后用ＬＳＴＭＲＮＮ对长时间周期的融合进行情感分类识别。通过将该方法用到开源数据集中进行
验证，得到情感分类准确率达到０．７９２６。实验结果表明，ＳＡＥ对多模态生理特征进行了有效融合，ＬＳＴＭＲＮＮ
能够有效地对长时间周期中的关键特征进行识别。关键词：多模态生理信号情感识别：栈式自编码神经网络；长短周期记忆循环神经网络；多模态生理信号融合中图分类号：ＴＰ１８１，ＴＰＦ８３文献标识码：Ａ
Ａｂｓｔｒａｃｔ：Ｉｎｏｒｄｅｒｔｏａｃｈｉｅｖｅｍｏｒｅａｃｃｕｒａｔｅｅｍｏｔｉｏｎｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙｆｒｏｍｍｕｌｔｉ．ｍｏｄａｌｂｉｏ．ｓｉｇｎａ１ｆｅａｔｕｒｅｓ．ａｎｏｖｅｌ
第３８卷第ｌ２期
２０１７年ｌ２月
通
Biblioteka Baidu
信
学
报
Ⅵ）１ｌ３８Ｎｏ．１２Ｄｅｃｅｍｂｅｒ２Ｏｌ７
Ｊｏｕｒｎａ１ｏｎＣｏｍｍｕｎｉｃａｔｉｏｎｓ
ｄｏｉ：１０．１１９５９／ｊ．ｉｓｓｎ．１０００－４３６ｘ．２０１７２９４
４．ＢｅｉｊｉｎｇＡｄｖａｎｃｅｄＩｎｎｏｖａｔｉｏｎＣｅｎｔｅｒｆｏｒＦｕｔｕｒｅＩｎｔｅｒｎｅｔＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１００１２４，Ｃｈｉｎａ）
２．ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇａｎｄＢｒａｉｎＩｎｆｏｒｍａｔｉｃｓ，Ｂｅｉｊｉｎｇ１００１２４，Ｃｈｉｎａ；３．ＢｅｉｊｉｎｇＩｎｔｅｎａｒｔｉｏｎａｌＣｏｌｌａｂｏｒａｔｉｏｎＢａｓｅｏｎＢｒａｉｎｎｆＩｏｒｍａｔｉｃｓＷｉｓｄｏｍａｎｄＳｅｒｖｉｃｅｓ，Ｂｅｉｊｉｎｇ１００１２４，Ｃｈｉｎａ；
基于ＳＡＥ和ＬＳＴＭＲＮＮ的多模态生理信号融合和情感识别研究
李幼军，，一，黄佳进１，２，３，王海渊，，一，钟宁１，２，３，４
（１．北京工业大学国际ＷＩＣ研究院，北京１００１２４；２．磁共振成像脑信息学北京市重点实验室，北京１００１２４；３．脑信息智慧服务北京市国际科技合作基地，北京１００１２４：４．北京未来网络科技高精尖创新中心，北京１００１２４）