基于深度学习的脑电信号情感识别研究进展

Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｉｎ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｏｆ ＥＥＧ ｓｉｇｎａｌｓ
ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ
ＹＡＮＧ Ｚｈｕｏｄｏｎｇ，ＪＩＮ Ｗｅｉ，ＳＨＥＮＧ Ｈｕｉ，ＹＵＥ Ｌｕ
Ｓｈａｎｄｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｒａｄｉｔｉｏｎａｌ Ｃｈｉｎｅｓｅ Ｍｅｄｉｃｉｎｅ，Ｊｉｎａｎ ２５０３００
ＥＥＧ、ＥＣＧ、ＥＭＧ 等生物电信号，其中的 ２２ 位还提
供了正面 视 频 记 录。 在 每 次 实 验 后， 参 与 者 使 用
自我评估人体模型评估他们的觉醒、效价、支配和
喜好水平。
ＳＥＥＤ 数据集记录了 １５ 位（ ７ 名男性和 ８ 名女
性） 平均年龄为 ２３ ２７ 的健康受试者通过观看 １５ 个
中国电影剪辑诱发的 ＥＥＧ 信号。 这 １５ 个电影剪辑
分别包含积极、中性和消极三种情绪，实验通过艾森
克人格问卷和菲利普问卷来确保受试者能正确表达
剪辑所包含的情绪。
２ 模型输入数据的选择
虽然深度学习模型可以进行端到端的学习，自
动化特征提取，但使用手工制作的特征作为输入能
简化算法，提高计算效率与分类精度，故目前情感识
点之一。 脑电图（ ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，ＥＥＧ） 是对情感状态波动反应最为灵敏的信号，但传统的机器学
习算法受到脑电信号非平稳性和个体差异性等特性的制约，很难进一步提高分类准确率和模型泛化能
力。 近年来能自动化特征提取的深度学习方法愈受学者青睐。 本文对基于深度学习的脑电信号情感识
列的非线性，减 少 对 手 动 特 征 提 取 和 样 本 对 象 的
依赖，降低 情 感 识 别 的 难 度
［ ４］
。 故本文对基于深
度学习 的 脑 电 信 号 情 感 识 别 研 究 进 行 综 述 与 展
望，以期为后续研究提供参考。
１ 情感模型与常用公开数据集
１ １ 情感模型理论
电信号情感识别研究使用的数据库主要有：伦敦玛
情感本身具有极高的复杂性和抽象性，对情感
进行分类则是实现情感识别的基础，目前情感分类
主要基于两类模型：基本情感模型和维度情感模型。
基本情感模型认为情绪空间是由离散且有限的
基本情绪组成，其他复杂的非基本情感可以由多种
别模型的输入数据主要有 ＥＥＧ 传统特征、ＥＥＧ 原始
数据以及多模态信号融合特征三种。
ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎ ａｎｄ ａｓｓｉｓｔ ｍｅｄｉｃａｌ ｄｉａｇｎｏｓｉｓ ｈａｓ ｂｅｃｏｍｅ ａ ｒｅｓｅａｒｃｈ ｈｏｔｓｐｏｔ ｉｎ ｔｈｅ ｆｉｅｌｄ ｏｆ ａｒｔｉｆｉｃｉａｌ
ｉｎｔｅｌｌｉｇｅｎｃｅ． Ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ（ ＥＥＧ） ｉｓ ｔｈｅ ｍｏｓｔ ｓｅｎｓｉｔｉｖｅ ｓｉｇｎａｌ ｔｏ ｔｈｅ ｆｌｕｃｔｕａｔｉｏｎ ｏｆ ｅｍｏｔｉｏｎａｌ ｓｔａｔｅ，ｂｕｔ
神经科学、计算神经科学、人工智能等诸多领域的研
中区分的快乐、悲伤、厌恶、惊讶、恐惧和愤怒 ６ 种基
本情绪。
维度情感模型认为人类情感可以由多维空间情
感模型表达。 最常见的维度模型为 Ｒｕｓｓｅｌｌ 的二维
情感模型，该模型将情感状态分为两个维度，即表示
情绪强 度 的 唤 醒 和 代 表 情 绪 积 极 水 平 的 效 价 ［６］ 。
ｔｈａｔ ｃａｎ ａｕｔｏｍａｔｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ａｒｅ ｍｏｒｅ ａｎｄ ｍｏｒｅ ｆａｖｏｒｅｄ ｂｙ ｓｃｈｏｌａｒｓ． Ｔｈｉｓ ｐａｐｅｒ ｓｕｍｍａｒｉｚｅｓ ｔｈｅ ｒｅｓｅａｒｃｈ
ｍｅｔｈｏｄｓ ｏｎ ＥＥＧ⁃ｂａｓｅｄ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ． Ｔｈｅ ｒｅｌａｔｅｄ ｔｈｅｏｒｉｅｓ ｏｆ ｅｍｏｔｉｏｎ
可靠的 识 别 依 据。 现 代 认 知 神 经 科 学 的 研 究 发
现，海马、杏仁核、扣带回、前额叶皮质等独立大脑
区域与情绪功能密切相关
［ １］
，因此，在生理信号中
ＥＥＧ 最为准确。 在 情 感 识 别 研 究 中， 机 器 学 习 算
法的应用 较 早，已 取 得 一 定 成 果。 但 机 器 学 习 算
工程，２０２３，４２（３）：３１５－３２１． ＹＡＮＧ Ｚｈｕｏｄｏｎｇ，ＪＩＮ Ｗｅｉ，ＳＨＥＮＧ Ｈｕｉ，ｅｔ ａｌ． Ｒｅｓｅａｒｃｈ ｐｒｏｇｒｅｓｓ ｉｎ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ
ｏｆ ＥＥＧ ｓｉｇｎａｌｓ ｂａｓｅｄ ｏｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ［Ｊ］．Ｂｅｉｊｉｎｇ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ，２０２３，４２（３）：３１５－３２１．
情感作为人类的一种生理和心理状态，能直接
影响人的工作状态和生活质量，对人的生命活动至
关重要。 由于情感与意识密切相关，情感识别不仅
能帮助认识抑郁症患者的精神状态、评估昏迷或者
植物人等状态下患者的意识水平和大脑受损情况，
而且能极大促进人类与智能设备之间的交互，提升
用户体验。 因此，近年来人类情感识别已成为认知
ＤＯＩ：１０ ３９６９ ／ ｊ．ｉｓｓｎ． １００２ － ３２０８ ２０２３ ０３ ０１７．
中图分类号 Ｒ３１８ ０４ 文献标志码 Ａ 文章编号 １００２ － ３２０８（２０２３）０３ － ０３１５ － ０７
本文著录格式 杨卓东，金卫，生慧，等． 基于深度学习的脑电信号情感识别研究进展［Ｊ］．北京生物医学
ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ ｔｈｅ ｐｕｂｌｉｃ ｄａｔａｓｅｔｓ ｗｈｉｃｈ ａｒｅ ｉｎ ｃｏｍｍｏｎ ｕｓｅ ｈａｖｅ ｂｅｅｎ ｍｅｎｔｉｏｎｅｄ． Ｔｈｅ ｅｆｆｅｃｔｓ ｉｎｆｌｕｅｎｃｅ ｏｎ
ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ｏｆ ｄｉｆｆｅｒｅｎｔ ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｍｏｄｅｌｓ ａｎｄ ｉｎｐｕｔ ｄａｔａ ｗｈｉｃｈ ｉｓ ｄｉｖｉｄｅｄ ｉｎｔｏ ＥＥＧ
ｆｕｔｕｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｄｉｒｅｃｔｉｏｎ ｉｎ ｔｈｉｓ ｆｉｅｌｄ，ｉｎ ｏｒｄｅｒ ｔｏ ｂｒｉｎｇ
ｒｅｆｅｒｅｎｃｅ ｆｏｒ ｆｏｌｌｏｗ⁃ｕｐ ｒｅｓｅａｒｃｈ．
【 Ｋｅｙｗｏｒｄｓ 】
ＥＥＧ ｓｉｇｎａｌ； ｅｍｏｔｉｏｎ； ｅｍｏｔｉｏｎ
ｒｅｃｏｇｎｉｔｉｏｎ；ｆｅａｔｕｒｅｓ ｅｘｔｒａｃｔｉｏｎ；ｄｅｅｐ ｌｅａｒｎｉｎｇ
丽女王大学的 Ｋｏｅｌｓｔｒａ 等 ［８］ 建立的多模态 数 据 集
（ ｅｌｅｃｔｒｏｏｃｕｌｏｇｒａｍ，ＥＯＧ） 、皮肤电反应（ ｇａｌｖａｎｉｃ ｓｋｉｎ
等。 相对非 生 理 信 号 而 言， 生 理 信 号 不 受 主 观 意
志以及部分 生 理 功 能 障 碍 的 影 响，是 一 种 更 客 观
别研究进行归纳总结，简述情感识别的相关理论以及常用公开数据集，总结对比不同情感识别模型和
ＥＥＧ 传统特征、ＥＥＧ 原始数据以及多模态信号融合特征三类输入数据对分类精度的影响，最后探讨现
阶段研究所存在的问题并展望该领域未来发展方向，以期能为后续研究提供借鉴。
关键词 脑电信号；情感；情感识别；特征提取；深度学习
２ １ ＥＥＧ 传统特征
ＥＥＧ 信号含有大量生理信息，学者研究手工特
征的目的主要是降低数据维数、先行提取与情感相
Copyright©博看网. All Rights Reserved.
第３期
杨卓东，等：基于深度学习的脑电信号情感识别研究进展
· ３１７·
关的信息，目前常用的 ＥＥＧ 特征主要分为时域、频
ＤＥＡＰ 以 及 由 上 海 交 通 大 学 吕 宝 粮 教 授 领 导 的
ＢＣＭＩ 实验室 ［９］ 提供的 ＥＥＧ 数据集 ＳＥＥＤ。
ＤＥＡＰ 数 据 集 记 录 了 ３２ 位 （ １６ 名 男 性 和 １６
名女性） 平均年龄为 ２６ ９ 岁的健康参与者通过观
看 ４０ 段 不 同 情 绪 倾 向 的 １ ｍｉｎ 音 乐 视 频 诱 发 的
身体动作等，生理信号包括脑电图（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ，
水平。
１ ２ 常用公开数据集
公开数据集由于其易于获取且方便比对研究成
ＥＥＧ ） 、 心 电 图 （ ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ， ＥＣＧ ） 、 眼 电 图
果受到了学者的广泛青睐，目前基于深度学习的脑
ｒｅｓｐｏｎｓｅ，ＧＳＲ） 及肌电图 （ ｅｌｅｃｔｒｏｍｙｏｇｒａｐｈｙ ， ＥＭＧ）
等 ［１４］ 将 ＣＷＴ 应用于广义 Ｍｏｒｓｅ 小 波 族， 在 ＤＥＡＰ
２ １ １ 时域特征与频域特征
６１ ２３％（ 高低二分类） 以及 ８３ ５９％，５５ ５６％ （ 高中
得、无信息丢失是时域特征的优点，是最早应用于情
提取，在 ＳＥＥＤ 数据集上使用长短期记忆网络（ ｌｏｎｇ
第 ４２ 卷 第 ３ 期
２０２３ 年 ６ 月
Ｖｏｌ ４２ Ｎｏ ３
Ｊｕｎｅ ２０２３

北京生物医学工程
Ｂｅｉｊｉｎｇ Ｂｉｏｍｅｄｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ
基于深度学习的脑电信号情感识别研究进展
杨卓东 金卫 生慧 岳路
摘 要 情感识别能有效促进智能人机交互的发展，辅助医学诊断，已成为人工智能领域的研究热
ｔｒａｄｉｔｉｏｎａｌ ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓ ａｒｅ ｄｉｆｆｉｃｕｌｔ ｔｏ ｆｕｒｔｈｅｒ ｉｍｐｒｏｖｅ ｔｈｅ ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｃｃｕｒａｃｙ ａｎｄ ｍｏｄｅｌ
ｇｅｎｅｒａｌｉｚａｔｉｏｎ ａｂｉｌｉｔｙ ｄｕｅ ｔｏ ｉｔ’ ｓ ｎｏｎ⁃ｓｔａｔｉｏｎａｒｙ ａｎｄ ｉｎｄｉｖｉｄｕａｌ ｄｉｆｆｅｒｅｎｃｅ． Ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ，ｄｅｅｐ ｌｅａｒｎｉｎｇ ｍｅｔｈｏｄｓ
为更 好 地 区 分 愤 怒 和 害 怕 等 情 绪， Ｍｅｈｒａｂｉａｎ ［ ７］
以支配作为新维度将 Ｒｕｓｓｅｌｌ 情感模型从二维扩展
到三维，支配 反 映 了 对 人 的 情 绪 状 态 的 主 观 控 制
究热点。
情感识别研究的数据源主要分为生理信号和非生
理信号两大类。 非生理信号主要包含面部表情、声音和
ｔｒａｄｉｔｉｏｎａｌ ｆｅａｔｕｒｅｓ，ＥＥＧ ｒａｗ ｄａｔａ ａｎｄ ｍｕｌｔｉｍｏｄａｌ ｓｉｇｎａｌ ｆｕｓｉｏｎ ｆｅａｔｕｒｅｓ ｈａｖｅ ｂｅｅｎ ｓｕｍｍａｒｉｚｅｄ ａｎｄ ｃｏｍｐａｒｅｄ ｉｎ
ｔｈｉｓ ａｒｔｉｃｌｅ． Ｆｉｎａｌｌｙ，ｔｈｉｓ ｐａｐｅｒ ｄｉｓｃｕｓｓｅｓ ｔｈｅ ｅｘｉｓｔｉｎｇ ｐｒｏｂｌｅｍｓ ｉｎ ｃｕｒｒｅｎｔ ｒｅｓｅａｒｃｈ ａｎｄ ｌｏｏｋｉｎｇ ｆｏｒｗａｒｄ ｔｏ ｔｈｅ
Ｃｏｒｒｅｓｐｏｎｄｉｎｇ ａｕｔｈｏｒ：ＪＩＮ Ｗｅｉ（ Ｅ⁃ｍａｉｌ：Ｓｕｎ＿ｊｉｎｗｅｉ＠ ｓｉｎａ ｃｏｍ）
【 Ａｂｓｔｒａｃｔ】 Ｅｍｏｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ ｗｈｉｃｈ ｃａｎ ｅｆｆｅｃｔｉｖｅｌｙ ｐｒｏｍｏｔｅ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ｉｎｔｅｌｌｉｇｅｎｔ ｈｕｍａｎ⁃
法依赖手动提取的特征，这要求较多的先验知识，
需要进行 大 量 的 预 处 理 操 作
［ ２］
。 此 外， 由 于 脑 电
信号的时间 不 对 称 性、非 平 稳 性 以 及 个 体 差 异 性
等特性，机器学习算法对样本对象的依赖性强，泛
化能力较差
［ ３］
。 采用深度学习技术不仅可以自动
分析信号序 列 的 内 在 信 息，而 且 可 以 克 服 信 号 序
基金项目：山 东 中 医 药 大 学 科 学 基 金 优 秀 青 年 科 学 基 金
（２０１８ｚｋ２２、２０１８ｚｋ２３） 、中医药院校电子信息专业学位
研究生培养模式研究与实践（ ＸＪＪＧ２０２１００６） 资助
作者单位：山东中医药大学智能与信息工程学院（ 济南 ２５０３００）
通信作者：金卫，教授。 Ｅ⁃ｍａｉｌ：Ｓｕｎ＿ｊｉｎｗｅｉ＠ ｓｉｎａ ｃｏｍ
Copyright©博看网. All Rights Reserved.
· ３１６·
北京生物医学工程 第 ４２ 卷
０ 引言
基本情感组合而成。 例如 Ｅｋｍａｎ ［５］ 根据人类的面
部表情进行拓展，将情感分为可以在人类面部表情