基于深度神经网络的微表情识别
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
： 幅度很小。
每一个 Ｌ Ｓ Ｔ Ｍ 结构都有一个记忆单元 Ｃ ＋ ｆ ｔ 表 示当 前时 刻 ） ， 它 保存 着这 个 时刻 Ｌ Ｓ Ｔ Ｍ 结
构 的 内部 状 态 ， 同 时 里 面 还 有 三 个 门来 控 制 整
个结构 的变化 ， 它们分别是输入 门 （ ） ， 忘记 门 （ Ｃ ） 和输 出门 （ ｈ ） ， 它们的定义如下所示 ：
短 时记忆 型 （ Ｌ Ｓ Ｔ Ｍ ）递 归 神 经 网 络 组合 而成 ， Ｃ Ｎ Ｎ层 负 责 提 取 微 表
法， 其性能远远超过使用人工提取特征的方法 ，
并且在 近几 年 内的 Ｉ ｍａ ｇ ｅ Ｎｅ ｔ 大 规 模 视 觉 识 别 挑 战 比赛 中 连 续 刷新 了 世 界 纪 录 。
网 络 所 学 习到 的 特 征 更 具 有 鲁 棒 性 ： 局 部 感 受 是由忘记门和上一时刻的内部状态所控制的 ， ｆ ｔ
然 而在 一些极端 环境 下 ， 人们为 了压抑
的真 实 内心 情 感 时 ． 他 们 的面 部 变 化 十 分
、
，
、
决定了上一时刻的内部状态 对当前时刻的 内部 我们通 常称之为微表情 。 在 刑侦、医学、 野 、权值共享和降采样 。局部感受野是指每 一 状 态的影响程度 ， 而ｉ 则确 定了输入数据 的非 心理 和国防等领 域上 ， 微表情 的应用前 个 卷积层的神经元只能和上一层 的一部分神经 线 性 变 换 得 到 的 状 态 对 当 前 时 刻 记 忆 单 元 的 接 ， 这样每一个神 经元能够感受 到局部的视觉 内部状 态 决定 了该 Ｌ Ｓ Ｔ Ｍ 的输 出。正 因为 这 特征 ， 然后在 更高层 将局部信 息进 行整合 ， 进 个巧妙 的设计 ， ＬＳ Ｔ Ｍ 就能处理长序列 的数据 ， 而 得 到整 个 图 片 的 描 述 信 息 。权 值 共 享 是 指 每 并 且 能 够 从 输 入 序 列 中 获 取 时 间 上 的 关 联 性 。
的识别微表情 ， 这 里我 们采用长短 时记忆网络 （ Ｌ Ｓ Ｔ Ｍ） ， 它是递归神经网络 （ Ｒ ＮＮ）中的一种变ห้องสมุดไป่ตู้ 换形式 ， 它 能够充分 的利用 数据 的上下文信息 ，
在对序 列的识别任务 中表现优异 ， 近 几 年 来 它 被 充 分 的利 用 到 自然 语 言 处 理 、 语 音 识 别 机 器 翻 译等 领域 。综 上所 述 ， 本 文提 出一 种 Ｃ ＮＮ
图１ ：Ｌ Ｓ Ｔ Ｍ单 元 结 构 构如 图 ｌ 所示 。
情 的 静 态 图像 特 征 ， Ｌ Ｓ Ｔ Ｍ层 将 提 取 到 的卷 积特 征 进行 整 合 ，而得 到 这些 特 征在 时域 上 的信 息 ，进 而 对 这 些 信 息 进 行 分 类 训 练 。 在 Ｃ Ａ Ｓ Ｍ ２ 数 据 集 下 ，该 方 法对 ５类 表 情的识别率 比传统 方法高。
本 文 决定使 用卷 积神 经网络 （ Ｃ ＮＮ） 来提 取 人脸微表情特 征 ， 它能让机器 自主地从样本
数 据 中 学 习到 表 示 这 些 微 表 情 的 本 质 特 征 ， 而
这 些特征 更具有一 般性。 由于微表情 的特性 ，
要 充 分 利 用微 表 情 的 上 下 文 信 息 才 能 更 为 精 确
ｍａ ｇ ｅ＆Ｍｕ ｌ ｔ ｉ ｍｅ ｄ ｉ ａ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ・ 图像与多媒体技术
基 于深 度神经网络的微 表情识别
文／ 唐 爽
利 用 深 度 卷 积 神 经 网 络 的 自 适 应 特 征 提 取 方
微 表 情是 一 种极 为短 暂 的 面 部 表 情 ，当人 们想 要掩 饰 内心 的 真 实情感 时 ，就会 不 自觉的 流 露 出来。 由于微表 情的持 续时 间短 ， 动 作 幅度 小等 特点 ， 检 测 和 识别 微 表 情就 变得 尤 为 困难 。为 了解 决传 统 图像识 别 的方 法 的识 别率 低 和预 处 理 复 杂等 缺 点 ，本 文提 出 了采 用 深度 神 经 网络 的方 法来 对 微表 情 进行 识 别。该 深 度神 经 网络 由卷积 神 经 网络 （ Ｃ Ｎ Ｎ ）和 长
ｔ ａ ｎ ｈ （ ｃ ￡ ）
（ ６ ）
其 中 ａ是 一 个 ｓ ｉ ｇ ｍｏ ｄ函 数 ， 而 委则表 示
人们 的 内心 想法 通常 都会 表现 在面 部表
，
中的特征 ， 相 比人工提取的特征更具有 区分度 ， 输 入数据 的非线性变化 ， ｗ 和 ｂ是模 型需要训 而且不需要对原始数据做过多的预处理。 练得到的参数。等式 ５展示了当前的记忆单元 卷积 神经 网络 （ Ｃ ＮＮ） 通 过三 种方 式来 让
ｌ ＋ａ ｅ ）
（ ２ ）
（ ３ ）
（ ４ ）
（ ５）
傀
（ ‰ ｔ ＋秘 ｅ 一 ｔ 争 ｏ ）
ｔ ａ ｎ ｎ （ Ｗ ￣ ． ｘ ＃ ＋
＝ ・ ｆ ｆ － ，＋
・
Ｌ ｅ Ｃ ｕ ｎ等在 １ ９ ９ ０年 首次 提 出 ， 现 己在 图像 识
别领域取 得巨大成功 ， 它 能够 发 现 隐 藏 在 图 片
和Ｌ Ｓ Ｔ Ｍ 结合 的微表情 识别方法。
２相关工作
键词 】微表情识别 卷积神经 网络 长短 时 ２
．
ａ ｒ （ ‰ Ｉ ＋ ｔ ． １ ＋ ）
（ １ ）
磊 （
１卷积神经 网络模型
卷 积 神 经 网络 模 型 （ Ｃ ＮＮ）最 早 是 由
￡ ＋
一 ｉ ＋ ）
一
‘
分远大 ， 不过 即便是经过训练 的人也很难 元 连接 ， 而 不 是 一 般 神 经 网络 里 所 要 求 的 全 连 影 响程度 。等 式 ６展示 了输 出门和 当前时刻的
旧艮 来准确的检测和识 别微 表情。其主要原 ｝ 是 它 的持续 时间 短 ， 仅为 １ ／ ５ ～１ ／ ２ ５ ｓ ， 而且
每一个 Ｌ Ｓ Ｔ Ｍ 结构都有一个记忆单元 Ｃ ＋ ｆ ｔ 表 示当 前时 刻 ） ， 它 保存 着这 个 时刻 Ｌ Ｓ Ｔ Ｍ 结
构 的 内部 状 态 ， 同 时 里 面 还 有 三 个 门来 控 制 整
个结构 的变化 ， 它们分别是输入 门 （ ） ， 忘记 门 （ Ｃ ） 和输 出门 （ ｈ ） ， 它们的定义如下所示 ：
短 时记忆 型 （ Ｌ Ｓ Ｔ Ｍ ）递 归 神 经 网 络 组合 而成 ， Ｃ Ｎ Ｎ层 负 责 提 取 微 表
法， 其性能远远超过使用人工提取特征的方法 ，
并且在 近几 年 内的 Ｉ ｍａ ｇ ｅ Ｎｅ ｔ 大 规 模 视 觉 识 别 挑 战 比赛 中 连 续 刷新 了 世 界 纪 录 。
网 络 所 学 习到 的 特 征 更 具 有 鲁 棒 性 ： 局 部 感 受 是由忘记门和上一时刻的内部状态所控制的 ， ｆ ｔ
然 而在 一些极端 环境 下 ， 人们为 了压抑
的真 实 内心 情 感 时 ． 他 们 的面 部 变 化 十 分
、
，
、
决定了上一时刻的内部状态 对当前时刻的 内部 我们通 常称之为微表情 。 在 刑侦、医学、 野 、权值共享和降采样 。局部感受野是指每 一 状 态的影响程度 ， 而ｉ 则确 定了输入数据 的非 心理 和国防等领 域上 ， 微表情 的应用前 个 卷积层的神经元只能和上一层 的一部分神经 线 性 变 换 得 到 的 状 态 对 当 前 时 刻 记 忆 单 元 的 接 ， 这样每一个神 经元能够感受 到局部的视觉 内部状 态 决定 了该 Ｌ Ｓ Ｔ Ｍ 的输 出。正 因为 这 特征 ， 然后在 更高层 将局部信 息进 行整合 ， 进 个巧妙 的设计 ， ＬＳ Ｔ Ｍ 就能处理长序列 的数据 ， 而 得 到整 个 图 片 的 描 述 信 息 。权 值 共 享 是 指 每 并 且 能 够 从 输 入 序 列 中 获 取 时 间 上 的 关 联 性 。
的识别微表情 ， 这 里我 们采用长短 时记忆网络 （ Ｌ Ｓ Ｔ Ｍ） ， 它是递归神经网络 （ Ｒ ＮＮ）中的一种变ห้องสมุดไป่ตู้ 换形式 ， 它 能够充分 的利用 数据 的上下文信息 ，
在对序 列的识别任务 中表现优异 ， 近 几 年 来 它 被 充 分 的利 用 到 自然 语 言 处 理 、 语 音 识 别 机 器 翻 译等 领域 。综 上所 述 ， 本 文提 出一 种 Ｃ ＮＮ
图１ ：Ｌ Ｓ Ｔ Ｍ单 元 结 构 构如 图 ｌ 所示 。
情 的 静 态 图像 特 征 ， Ｌ Ｓ Ｔ Ｍ层 将 提 取 到 的卷 积特 征 进行 整 合 ，而得 到 这些 特 征在 时域 上 的信 息 ，进 而 对 这 些 信 息 进 行 分 类 训 练 。 在 Ｃ Ａ Ｓ Ｍ ２ 数 据 集 下 ，该 方 法对 ５类 表 情的识别率 比传统 方法高。
本 文 决定使 用卷 积神 经网络 （ Ｃ ＮＮ） 来提 取 人脸微表情特 征 ， 它能让机器 自主地从样本
数 据 中 学 习到 表 示 这 些 微 表 情 的 本 质 特 征 ， 而
这 些特征 更具有一 般性。 由于微表情 的特性 ，
要 充 分 利 用微 表 情 的 上 下 文 信 息 才 能 更 为 精 确
ｍａ ｇ ｅ＆Ｍｕ ｌ ｔ ｉ ｍｅ ｄ ｉ ａ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ・ 图像与多媒体技术
基 于深 度神经网络的微 表情识别
文／ 唐 爽
利 用 深 度 卷 积 神 经 网 络 的 自 适 应 特 征 提 取 方
微 表 情是 一 种极 为短 暂 的 面 部 表 情 ，当人 们想 要掩 饰 内心 的 真 实情感 时 ，就会 不 自觉的 流 露 出来。 由于微表 情的持 续时 间短 ， 动 作 幅度 小等 特点 ， 检 测 和 识别 微 表 情就 变得 尤 为 困难 。为 了解 决传 统 图像识 别 的方 法 的识 别率 低 和预 处 理 复 杂等 缺 点 ，本 文提 出 了采 用 深度 神 经 网络 的方 法来 对 微表 情 进行 识 别。该 深 度神 经 网络 由卷积 神 经 网络 （ Ｃ Ｎ Ｎ ）和 长
ｔ ａ ｎ ｈ （ ｃ ￡ ）
（ ６ ）
其 中 ａ是 一 个 ｓ ｉ ｇ ｍｏ ｄ函 数 ， 而 委则表 示
人们 的 内心 想法 通常 都会 表现 在面 部表
，
中的特征 ， 相 比人工提取的特征更具有 区分度 ， 输 入数据 的非线性变化 ， ｗ 和 ｂ是模 型需要训 而且不需要对原始数据做过多的预处理。 练得到的参数。等式 ５展示了当前的记忆单元 卷积 神经 网络 （ Ｃ ＮＮ） 通 过三 种方 式来 让
ｌ ＋ａ ｅ ）
（ ２ ）
（ ３ ）
（ ４ ）
（ ５）
傀
（ ‰ ｔ ＋秘 ｅ 一 ｔ 争 ｏ ）
ｔ ａ ｎ ｎ （ Ｗ ￣ ． ｘ ＃ ＋
＝ ・ ｆ ｆ － ，＋
・
Ｌ ｅ Ｃ ｕ ｎ等在 １ ９ ９ ０年 首次 提 出 ， 现 己在 图像 识
别领域取 得巨大成功 ， 它 能够 发 现 隐 藏 在 图 片
和Ｌ Ｓ Ｔ Ｍ 结合 的微表情 识别方法。
２相关工作
键词 】微表情识别 卷积神经 网络 长短 时 ２
．
ａ ｒ （ ‰ Ｉ ＋ ｔ ． １ ＋ ）
（ １ ）
磊 （
１卷积神经 网络模型
卷 积 神 经 网络 模 型 （ Ｃ ＮＮ）最 早 是 由
￡ ＋
一 ｉ ＋ ）
一
‘
分远大 ， 不过 即便是经过训练 的人也很难 元 连接 ， 而 不 是 一 般 神 经 网络 里 所 要 求 的 全 连 影 响程度 。等 式 ６展示 了输 出门和 当前时刻的
旧艮 来准确的检测和识 别微 表情。其主要原 ｝ 是 它 的持续 时间 短 ， 仅为 １ ／ ５ ～１ ／ ２ ５ ｓ ， 而且