面部表情识别的即时加工过程

图 1 实验流程图
图 2 面部表情识别的眼动轨迹
2. 2. 2 面部表情识别的反应时和正确率 对三种 性质面部表情识别的平均反应时及标准差分别为 , 正性 M RT = 0. 8744 s, SD = 0. 3486; 中 性 M RT = 111092 s, SD = 0. 4904; 负 性 M RT = 1. 3633 s, SD = 016458。单因素重复测量方差分析结果表明 ,面部 表情的性质对被试识别的反应时影响显著 , F ( 2, 34) = 26. 861, p < 0. 001。多重比较 (LSD )发现 ,正 性与中性 、负性 ,中性与负性差异都显著 。识别每种 图片的正确率都在 89%以上 ,不同性质表情图片之 间差异不显著 。 2. 2. 3 面部表情识别的眼动指标 对总注视时间 、 注视次数 、注视点持续时间和瞳孔直径四个眼动指
心 理 学 报 2007, 39 (1) : 64～70 A cta Psych o log ica S in ica
面部表情识别的即时加工过程
隋 雪 任延涛
(辽宁师范大学心理学系 ,大连 116029)
摘 要 采用眼动记录技术探讨面部表情识别的即时加工过程 。基本的面部表情可以分为三种性质 :正性 、中性 和负性 ,实验一探讨大学生对这三种面部表情识别即时加工过程的基本模式 ;实验二采用遮蔽技术探讨面部不同 部位信息对面部表情识别的影响程度 。结果发现 : (1)被试对不同性质面部表情识别的即时加工过程存在共性 ,其 眼动轨迹呈“逆 V型 ”; (2)被试对不同性质面部表情的识别存在显著差异 ,在行为指标和眼动指标上都有体现 ; (3)对不同部位进行遮蔽 ,眼动模式发生了根本性改变 ,遮蔽影响面部表情识别的反应时和正确率 ; ( 4)面部表情 识别对面部不同部位信息依赖程度不同 ,眼部信息作用更大 。上述结果提示 ,个体对不同性质面部表情识别的即 时加工过程具有共性 ,但在不同性质面部表情识别上的心理能量消耗不同 ;并且表情识别对面部不同部位信息依 赖程度不同 ,对眼部信息依赖程度更大 。 关键词 面部表情 ,识别 ,即时加工过程 ,眼动 。 分类号 B842
1
6
10
12
14
17
22
26
28
30
39
41
均值
0. 29
3. 64
2. 49
- 0. 06 - 2. 28 - 2. 38 0. 20
- 2. 23 - 0. 08 3. 43
3. 24
- 2. 27
表情性质 中性
正性
正性
中性
负性
负性
中性
负性
中性
正性
正性
负性
2. 1. 3 实验仪器及程序 本实验由一台 Pentium Ⅳ 2. 8G计算机控制 ,刺激呈现在 19英寸彩色显示 器中 央 。屏 幕 分 辨 率 为 1024 ×768, 刷 新 频 率 为 100Hz。被试眼睛与屏幕中心的距离为 60cm。用 ASL504型眼动仪记录被试的眼动情况 ,数据采集频 率为 60Hz。眼睛在一个点停留 16m s记录为一个凝 视点 ( gaze point) ,眼睛在一个点停留 100m s记录为 一次注视 ( fixation) ,两次注视之间的眼动过程记录 为眼跳 ( saccade) 。用 gazetraker 3. 12软件运行实验 程序并同时记录被试的反应时 、正确率和眼动数据 。 整个实验程序分为练习和正式实验两个阶段 。 练习过程 ,首先向被试说明表情性质的判断标准 ,然 后呈现指导语 :“这是一个表情识别实验 ,当图片呈 现出来后 ,请您尽快判断图片上人物表情的性质 ,是 正性 、中性 ,还是负性 ,然后按键盘上的左 、中 、右光 标键 ,分别代表正性 、中性和负性 。如果清楚了 ,请 按空格键开始 。”经过练习被试掌握了判断方法后 ,
一中 ,利用眼动记录技术记录被试识别不同性质面 是指个体的不满 、愤怒和仇视等 。因变量为反应时 、
部表情的即时加工过程 ,考查面部表情的三种性质 正确率和眼动指标 。
(正性 、中性 、负性 )对识别过程的影响 ,并假设加工 三种表情图片材料的选取方法如下 :选取 60幅
不同性质面部表情的眼动有规律性 ,并且时间进程 西方人物图片 ,所有图片都经过数字化处理 ,图片为
条件下 ,即时加工过程如何改变 ,并假设面部表情识 情组 (男 、女 各 10 张 ) 、中 性 表 情 组 (男 、女 各 10
别对面部不同部位信息依赖程度不同 ,面部不同部 张 ) 、负性表情组 (男 、女各 10张 ) 。把 60张图片随
位信息缺乏 ,眼动模式发生根本性改变 。
机排列 ,用 PowerPoint呈现 ,由 150名大学生进行 -
和准确性不同 。在实验二中 ,利用遮蔽技术对实验 黑白色 ,亮度和对比度一致 ,均为肩部以上的正面图
一的材料进行遮蔽处理 ,考查眼睛的作用与嘴和鼻 片 ,视角为 11. 77°。所有图片按照表情性质分成三
子的作用之间有什么差异 ,在不同部位信息缺乏的 组 ,每组各 20 张 ,图片人物性别比例一致 。正性表
1 引言
面部表情的研究始于 19世纪 ,自从达尔文在他 著名论著《人类和动物的表情 ( The Exp ression of the Emotions in Animals and M an, 1872) 》中阐述了人的 面部表情和动物的面部表情之间的联系和区别之 后 ,对于面部表情的含义一直说法不一 。情绪理论 家认为面部表情传达着有关主体情绪状态的信息 ; 行为生态学家则认为面部表情传达着主体的行为目 的和行为要求 。有人用研究证明了面部表情以传达 情绪状态为主 ,也含有感情 、意图和愿望 [ 1 ] 。在人 际交往中 ,面部表情起着重要作用 ,正确识别他人的 表情是保证顺利交往的条件 。对于人类个体如何确 定或识别他人面部表情的含义引起研究者们的极大 兴趣 [ 2～4 ] 。研究者们普遍认为一般的表情识别可以 用单一感官完成 ,也可以用多种感官相配合来完成 。 它是一个整体识别和特征识别共同作用的结果 。具 体说来 ,远处辨认人 ,主要是整体识别 ,而在近距离 面部表情识别中 ,特征部件识别则更重要 。此后人 们对影响面部表情识别的因素进行了大量研究 。 Lott等人研究发现 ,随着年龄增加 ,面孔识别能力下 降 ,这种能力下降与其空间视觉和认知能力有 关 [ 5 ] 。 Pfütze等人也发现面孔识别与年龄有关 [ 6 ] 。
从表 2可以发现 ,对不同性质面部表情识别的 眼动数据存在一定差异 ,其中总注视时间 、注视次 数 、瞳孔直径差异较大 。 以总注视时间为因变量 ,进行单因素重复测量 方差分析发现 ,表情性质主效应显著 , F ( 2, 34 ) = 25. 518, p < 0. 001。多重比较 (LSD )发现 ,正性与 中性 、正性与负性 、中性与负性差异都显著 。以注视 次数为因变量 ,进行单因素重复测量方差分析发现 , 表情性质主效应显著 , F (2, 34) = 35. 58, p < 0. 001。 多重比较 (LSD )发现 ,正性与中性 、正性与负性 、中 性与负性差异都显著 。以瞳孔直径为因变量 ,进行 单因素重复测量方差分析发现 ,表情性质主效应显 著 , F (2, 34) = 3. 308, ps < 0. 05。被试识别正性 、中 性和负性表情图片时 ,瞳孔直径逐渐增大 ,且差异都 显著 。 为探讨被试面部表情识别过程中对面部部件的 依赖程度 ,依据空间位置确定了两个兴趣区 :兴趣区 1为眼睛 、兴趣区 2为鼻子和嘴 。 对被试在这两个兴趣区上的两个眼动指标进行 统计 ,结果见表 3。 从表 3可以发现 ,不同性质 、不同兴趣区的眼动 指标存在较大差异 。
情识别过程中的眼动数据 ,来探讨面部表情识别的 重复测量实验设计 。自变量为表情性质 ,包括正性 、
即时加工过程 ,识别不同性质表情的眼动模式如何 , 中性和负性三个水平 。正性是指个体的愉快 、舒适 、
以及对面部不同部位信息的依赖程度如何 。在实验 满意等 ;中性是指个体的平静 、沉稳和沉思等 ;负性
注视次数
1. 83 ±0. 66 2. 40 ±0. 84 3. 00 ±1. 16
注视点持 续时间 ( s) 0. 3107 ±0. 049 0. 3126 ±0. 058 0. 3172 ±0. 063
瞳孔直径 (像素 )
32. 85 ±5. 60 33. 46 ±4. 43 34. 22 ±4. 59
Saito的研 究 发 现 性 格 与 面 孔 识 别 关 系 也 非 常 密 切 [ 7 ] 。而 Mogg等人研究发现焦虑患者对面部表情 的反应与正常人有本质区别 。他们会首先选择威胁 面孔 ( threat faces)或把眼睛更快地转移到威胁面孔 上 [ 8 ] 。M ullins等研究也发现情绪状态对表情识别 的影响 [ 9Байду номын сангаас] 。此外 ,健康状况 [ 3 ] 、性别 [ 10 ]以及图片上 人物的性别 [ 11 ]等因素都影响面部表情的识别过程 , 特别是图片上人物的表情性质对面部表情识别具有 显著的影响 。此外 ,人脸上不同部位对识别的贡献 也不相同 ,如眼睛和嘴的重要程度大于鼻子 [ 12 ] 。这 说明面部不同部位信息对表情识别具有不同意义 。 那么 ,图片上人物表情的性质以及面部不同部位信 息是如何影响表情识别的呢 ? 它们在个体表情识别 的即时加工过程中如何起作用的呢 ? 这是本研究关 心的问题 。对于这些问题的探讨 ,眼动记录是一种 很好的技术 ,它可以考察面部表情识别的即时加工 过程 。有研究发现 ,在各种认知任务中对眼睛注视 的控制起着巨大的作用 ,注视的位置和注视的时间 与所进行的认知加工任务具有一定的锁时性 ( time2 locked) [ 13 ] 。在面部表情识别过程中 , 主体也是通 过眼睛的运动来完成对不同表情识别所需信息的搜 集 ,然后对这些信息进行加工进而完成识别 ,这个过 程是伴随信息搜集逐步完成的 ,也叫即时加工过程 。
2 实验一
5～5 分的 11 级评定 ,负数代表负性 ,正数代表正 性 ,靠近 0代表中性 。结果有效数据 143 份 。对结
2. 1 方法
果进行统计 ,按照如下标准选取实验图片 :负性图片
2. 1. 1 被试 随机选取辽宁师范大学 18 名本科 取 - 5～ - 2分 ,中性图片取 - 1 ～1 分 ,正性图片取
收稿日期 : 2006 - 04 - 04
通讯作者 :隋雪 , E2mail: suixue88@1631com
64
1期
隋 雪 等 :面部表情识别的即时加工过程
65
通过分析这一即时加工过程 ,可以更好地了解面部 表情识别过程的实质 。本研究通过记录被试面部表
2. 1. 2 设计与材料 采用“识别 - 判断 ”实验范式 考察面部表情识别的即时加工过程 。实验为单因素
进入正式实验 。 正式实验过程 : ( 1 ) 呈现指导语 (同练习指导 语 ) ; (2)然后在屏幕中央呈现注视点 ,持续 2 s; ( 3) 注视点消失 ,接着呈现一张面部表情图片 ; ( 4)被试 对随机出现的正性 、中性 、负性图片进行识别 ; ( 5 ) 被试识别后 ,用右手的食指 、中指和无名指分别按键 盘光标键的左 、中 、右键 (被试之间左右键进行平 衡 )对图片进行正性 、中性 、负性判断 ,按键后 ,图片 自动消失 ,一次试验 ( trial)结束 。 接着重复步骤 (2) ～ (5)一直到整个实验结束 , 实验流程见图 1, 12张图片随机排列 。 2. 2 结果与分析 2. 2. 1 面部表情识别的眼动轨迹 本实验中 ,被试 识别不同性质表情图片的眼动轨迹呈“逆 V 型 ”者 达 83. 3% ,即倾向于从右侧眼眉开始向嘴部运动 , 而后向图片左侧的眼睛返回 ,完成表情识别 ,见图 2。这说明面部表情识别需要特定信息 ,被试在搜集
66
心 理 学 报
39卷
信息过程中 ,不是随机观看 ,而是有规律的 。
标进行统计 ,结果见表 2。
表 2 四个眼动指标结果 (M ±SD )
表情 性质 正性 中性 负性
总注视 时间 ( s) 0. 5760 ±0. 2582 0. 7373 ±0. 3851 0. 9677 ±0. 4592
生 , 5男 , 13女 ,年龄在 18～21 岁之间 ,平均年龄为 2～5分 ,每种性质男女各两张 ,共选取 12张图片作
19. 56岁 (SD = 0. 86) ,所有被试视力 (或矫正视力 ) 为正式实验材料 ,见表 1。
正常 ,且均为自愿参加 。
表 1 确定的 12张实验图片的评定均值
图片编号