1. 引言
1.1. 面孔与面孔识别
面孔是人类头部的正面部分,范围为从额头到下颌。作为外部刺激物来讲,不同于文字、物体等视觉刺激,面孔是一种复杂的特殊刺激,无论是从整体的五官结构进行知觉,还是对局部的特征结构进行知觉,所能得到的信息都是多种多样的,这其中包含熟悉度、情绪、身份等等一系列信息。
面孔识别指的是人类对面孔的知觉,在个体发展中,婴儿出生后不久就可以识别出人类的面孔。近几年来,国内外学者对于面孔识别的研究热度逐渐提升,多方面证据显示出了面孔识别的特殊性。在认知神经研究方面,脑成像研究中Kanwisher等 [1] 将人们在识别面孔时所激活的脑区称作梭状回面孔区(fusiform face area, FFA),ERP研究得出在进行面孔识别时,在腹侧颞叶后部和脑后部电极T5、T6处会产生一个负波N170,而对其他物体进行识别时却不能够产生 [2]。这种N170效应包含右半球优势,具体表现在颞区的右侧 [3]。在行为实验方面,Yin和Robert [4] 得出个体在识别倒置面孔时会感到比较困难,而对一般倒置物体进行识别时却不存在这种倒置效应。而造成这种差异的原因多种多样,有研究者们认为这是由面孔自身结构的特殊性所引起的 [5]。
从面孔中可以得到的信息包含特征信息(featural information)和构形信息(configural information),前者指眼睛、鼻子等这些局部结构特征,后者则指这些特征之间的结构关系。对这两者的划分最早来源于对面孔倒置效应的研究,研究者根据实验结果提出了两种对面孔信息的加工模式,一个是特征加工(featural processing),一个构形加工(configural processing),顾名思义就是分别对于两种信息的加工。但两者的先后顺序在目前还没有得出一个确切的结论 [6]。除此之外,不同学者对于面孔信息的加工模式也有自己不同的理解与命名,像是整体加工(holistic processing)和特征加工(featural processing) [7]、总体加工(whole processing)和部分加工(part processing) [8],虽然名字不同,但其中大部分内容都相似,都在强调局部和整体。
1.2. 面孔识别的区域化效应
最近的一项研究发现以往关于不同单位脑细胞加工不同面孔的想法是错误的,研究者们发现大猩猩在加工不同面孔时,表现出了不同单位脑细胞对不同面孔的区域细节特征有反应,即不同细胞加工不同面孔特征,比如说可能存在单独的加工眼睛大小的细胞、加工眼睛形状的细胞等等 [9]。以往相似的研究也在人类的大脑里发现了相似的加工机制,但并不明确,还需进一步研究 [10]。生理基础影响个体认知加工方式,拥有面孔特征特异性的细胞也许决定了个体在面孔识别时存在一种区域化效应(regionalization effect),即在整体加工的基础上,不同区域特征信息对于加工时的信息提取有着不同的影响。而且众多实验得出在进行面孔识别时,上半张脸比下半张脸更加重要,也就是说在对面孔信息进行提取时会产生一种空间结构上的知觉窄化,个体在识别时可能更多地关注上半张脸,Barton等 [11] 通过实验得出被试在识别五官信息被打乱的面孔时,会聚焦于上半张脸。
1.3. 面孔情绪识别与区域化效应
人类是社会性动物,与人交往是社会生活中必不可少的活动,能够识别他人情绪是与人进行社会沟通的关键,且其被看作是情商的构成部分之一 [12]。而识别面孔表情是识别情绪、进行沟通的重要途径,基本表情理论提出人们普遍存在六种基本表情,由面部肌肉结构所决定,包括愤怒、恐惧、惊奇、高兴、厌恶和悲伤 [13]。基于这个理论的面孔情绪识别研究众多,综合来看外部因素、内部因素都会影响被试对面孔情绪的识别。外部因素包含被试的社会文化背景、年龄等 [14],内部因素包含面孔图片的背景等 [15]。在ERP研究中,发现不同情绪间的N170没有差异 [16],但面孔情绪会诱发出P300,高兴面孔激发起的P300波幅最小,愤怒、悲伤和中性表情引起的波幅相对来说较大 [17]。
除此之外,不少研究得出在识别面孔情绪时也存在一种区域化效应。Yuki等使用带有“混合情绪”(例如:中性面孔上是表达悲伤的眼睛或者表达悲伤的嘴巴)的面孔材料对日本大学生和美国大学生进行了实验,结果发现日本人更加倾向于通过眼睛识别情绪,美国人则通过嘴巴,且被试在识别恐惧、愤怒情绪时更习惯通过图片的眼部进行识别,对于高兴情绪则通过嘴部 [18]。同样的,Baron-Cohen等和Calvo等使用了表达不同情绪的局部面孔图片(即单独呈现眼睛或嘴巴)进行实验,得到了个体倾向于通过嘴巴识别高兴情绪的结论 [19] [20]。而Cunningham等的研究以及Nusseck等的研究则均采用表达多种情绪的人物对话视频作为材料,通过控制面部不同区域的动态对被试进行实验,皆得出结论对于某些情绪,通过面孔局部区域就可以将情绪识别出来,例如高兴情绪的关键识别位置是嘴巴,难过、疑惑、思考和厌恶的关键识别位置是眼睛 [21] [22]。Andrés Fernández-Martín等采用带有“混合情绪”的视频片段进行了实验,得出高兴情绪通过嘴巴进行识别,而且被试更倾向于通过眼睛对个体是否可以信赖进行判断 [23]。
综上所述,可以看出眼睛和嘴巴作为面部的重要区域,在面孔识别中占据着关键的地位。特别的,上半张脸的眼睛在识别许多复杂情绪时都发挥了作用,Lee和Anderson通过分析不同强度的情绪图片的眼部细节,以及不同情绪面孔中其和嘴巴的配合程度,得出眼睛在识别内心复杂情绪的时候占据着最重要的地位 [24]。但嘴巴也在识别高兴情绪时起到了重要的作用。因此本实验尝试探究嘴巴和眼睛在不同表情中发挥的作用。
2. 实验方法
2.1. 被试
随机选取31名学生,年龄范围为18~20岁(平均年龄18.8岁),10名男生、21名女生,皆为右利手、视力正常。被试之前没有参与过相似的实验,在进行实验前均获取了被试的同意。
2.2. 实验仪器与器材
2.2.1. 仪器
Photoshop CS6软件,E-prime 2.0实验设计软件,SPSS 20.0数据分析软件。
2.2.2. 材料来源及处理
原材料选自The NimStim set of facial expressions [25],该面孔材料信效度较高,且被多个相似主题的研究所使用,故事先未进行预评分操作。选取的面孔均为白人面孔,同一人的高兴、悲伤、惊奇、恐惧、生气、厌恶以及中性情绪的面孔各1张,1人对应7张,共选取3男3女,共42张。将原图修改为黑白照片,去除耳朵、头发、衣服等部位。另外,将每张情绪面孔图片能表达出情绪色彩的部位控制为眼睛区域或者嘴巴区域,前者包括眼睛、眉毛及其周围的肌肉组织,后者包括嘴巴及其周围的肌肉组织,其他面部特征均为中性情绪,即共有72张“混合情绪面孔”作为实验材料。
2.3. 实验设计
本实验采用6 (面孔情绪:高兴、悲伤、惊奇、恐惧、生气、厌恶) × 2 (面孔区域:眼睛、嘴巴)组内设计,自变量为面孔情绪和面孔区域,二者均为被试内变量,因变量为反应时、情绪强度评定等级。
2.4. 实验程序
实验界面为黑底白字,图片为黑白,为了减小被试在屏幕上的眼动范围,将图片设置为适当的大小(506像素 × 618像素)置于屏幕中间。
首先是1000 ms的注视点,接着开始反应阶段,每个反应界面包括一张面孔图片和情绪强度评定的选择指导语,被试需要输入评定等级以完成反应,9代表极其悲伤,1代表极其不悲伤,限定时间为10000 ms。接着进入5000 ms的空屏界面,之后再进行下一张面孔图片的判定,以此循环,直至实验结束。整个实验耗时大约30分钟,每个被试接受72个试次。
3. 实验结果
3.1. 不同面孔情绪和面孔区域下的反应时
以反应时为因变量,进行6 (面孔情绪:高兴、悲伤、惊奇、恐惧、生气、厌恶) × 2 (面孔区域:眼睛、嘴巴)的重复测量方差分析。被试对不同情绪、面孔区域面孔的反应时如表1。
结果发现,面孔情绪的主效应显著,F(5,30) = 2.81,p < 0.05,η2 = 0.005,事后检验发现,惊奇和厌恶情绪的面孔反应时显著低于其他情绪面孔,其他情绪面孔识别的反应时两两差异不显著,具体见图1。面孔区域的主效应显著,F(1,30) = 19.83,p < 0.05,η2 = 0.011,依据嘴巴进行面孔识别的反应时显著多于依据眼睛进行面孔识别的反应时;面孔情绪和面孔区域的交互作用不显著,F(5,30) = 0.96,p = 0.48,η2 = 0.003。但从趋势来看,在高兴情绪面孔中,对嘴巴的反应时更低,而在生气、恐惧、厌恶等消极情绪面孔中,对眼睛的反应时更低,具体见图2。
![](Images/Table_Tmp.jpg)
Table 1. Response time of eyes and mouth in different facial expressions
表1. 眼睛和嘴巴在不同情绪面孔识别时的反应时
![](//html.hanspub.org/file/27-2393253x7_hanspub.png?20211224084215419)
Figure 1. Response time of different facial expressions
图1. 不同情绪面孔下的反应时
![](//html.hanspub.org/file/27-2393253x8_hanspub.png?20211224084215419)
Figure 2. Response time of different regions in facial expressions
图2. 不同全情绪面孔区域下的反应时
3.2. 不同面孔情绪和面孔区域下的情绪强度评定等级
对情绪强度评定等级同代表中性情绪等级的5进行单一样本的t检验,得到t = 31.16,df = 3459,p < 0.05。情绪强度评定等级的单一样本t检验结果显著,说明数据整体上和5有显著差异,能够有效体现出情绪强度。
以情绪强度评定等级为因变量,进行6 (面孔情绪:高兴、悲伤、惊奇、恐惧、生气、厌恶) × 2 (面孔区域:眼睛、嘴巴)的重复测量方差分析。被试对不同情绪、面孔区域的评定等级如表2。
![](Images/Table_Tmp.jpg)
Table 2. Rating of eyes and mouth in different facial expressions
表2. 眼睛和嘴巴在不同面孔识别中的情绪评定等级
![](//html.hanspub.org/file/27-2393253x9_hanspub.png?20211224084215419)
Figure 3. Rating of different facial expressions
图3. 不同情绪面孔的评定等级
注:“**”指显著、p < 0.05。
Figure 4. Rating of different regions in facial expressions
图4. 不同情绪面孔区域的评定等级
结果发现,面孔情绪的主效应显著,F(5,150) = 55.52,p < 0.05,η2 = 0.07,事后检验可知,对于悲伤情绪的评定等级显著低于其他情绪,对于厌恶情绪的评定等级则显著高于其他情绪,具体见图3。面孔区域的主效应显著,F(1,30) = 309.40,p < 0.05,η2 = 0.14,对眼睛的情绪评价等级显著大于嘴巴;面孔情绪和面孔区域的交互作用显著,F(5,150) = 24.96,p < 0.05,η2 = 0.05。经简单效应分析发现,在高兴情绪面孔中,对嘴巴的情绪强度评价等级更高,而在生气、惊奇、恐惧情绪面孔中,对眼睛的评价等级更高,结果均显著,F高兴(5,150) = 187.10,p < 0.05,η2 = 0.08;F悲伤(5,150) = 27.00,p = 0.86,η2 = 0.01;F惊奇(5,150) = 38.73,p < 0.01,η2 = 0.02;F恐惧(5,150) = 92.32,p < 0.01,η2 = 0.04;F生气(5,150) = 50.42,p < 0.05,η2 = 0.02;F厌恶(5,150) = 39.45,p = 0.65,η2 = 0.02,见图4。
4. 讨论
4.1. 不同情绪面孔下的面孔识别
经实验发现,面孔情绪在反应时和情绪强度评定等级上都存在显著的主效应,符合实验假设。具体来说,被试对于厌恶和生气等消极情绪面孔的反应时低于高兴等积极情绪面孔的反应时;对于厌恶情绪面孔的情绪强度评定等级最高,对于悲伤情绪面孔的评定等级最低。
情绪的功能包括信号作用、组织作用、适应作用和动机作用 [26]。其中信号作用指的是个体可以通过不同方面的情绪行为同他人进行交流,特别是在个体发展的早期阶段,不具备成熟的言语功能,只能通过哭泣、拒绝等相关情绪行为向抚养者传递信息,以满足摄食等方面的生理需要或者在所需的时候得到安慰与治疗,进而使得养育者对于儿童的消极情绪格外敏感。从进化心理学这个角度来说,对消极情绪更敏感有利于后代健康地成长,有利于持续繁衍,所以个体对悲伤、厌恶和生气等消极情绪面孔的反应时相比较而言更低。另外,愤怒、悲伤等消极情绪面孔确实会引起波幅更大的P300 [17],且悲伤情绪面孔激发的P300潜伏期更长,而P300的潜伏期和波幅同任务性质有关 [27],更长、更大的潜伏期和波幅是由目标刺激或者靶刺激所激发,这也就进一步说明消极情绪面孔会获得个体更多的注意资源,使得个体更快对它做出反应。
而在情绪强度评定等级方面,厌恶情绪和悲伤情绪的面孔分别是强度等级最高以及最低的评价对象,而且在这两种情绪面孔当中对眼部和嘴部的评定等级之间不存在显著差异,也就是说在对厌恶情绪和悲伤情绪面孔的加工当中面孔情绪和面孔区域之间不存在交互作用,评定等级的差异并不是由面孔区域的不同而引发的,可能很大程度上和情绪面孔的刺激有关。分开来讨论,首先厌恶表情传达着一种反感、拒绝的信息,时常和有威胁性的人际关系以及道德问题相关,所以相比较于悲伤和恐惧,厌恶表情可能会使个体产生与自我相关的消极情绪,进而影响到个体对厌恶情绪面孔的强度评定。而且有相关研究(Pablo et al., 2018)得出在获得一定认知信息之后,厌恶情绪比惊奇情绪更能增加个体做出决定的信心,促使被试做出更极化的判断 [28]。在本实验当中也许厌恶表情感染了个体,使其产生相似情绪,进而对面孔刺激做出更极化的反应。而在另一方面,对于悲伤表情的评定等级最低,且接近于5这个中性情绪的指标,反应时也偏高,可以理解为在实际情景中,个体在表达悲伤情绪时,除了眼部、嘴部肌肉组织的活动,还包括眼泪、哭声等等具体表现,相比较于其他情绪,实验中呈现的仅有眼部或嘴部能体现出悲伤情绪的静止面孔图片可能不足以表达真实的悲伤情绪,使得其强度评定等级较低,而情绪强度低会使被试对此面孔情绪的判断感到不确定,进一步增加其反应时。
4.2. 不同情绪面孔及面孔区域下的面孔识别
由结果发现,在面孔识别中,相比于嘴巴,对眼睛的反应时更低,评定等级更高,这说明眼睛在识别面孔情绪时起到了更重要的作用,符合实验假设。而且具体来说,在高兴、惊奇、恐惧和生气情绪面孔中,眼睛和嘴巴发挥了不同的作用。
对于高兴情绪的面孔,对嘴部的情绪评定等级显著高于眼部,而且眼部的评定等级低于4,这代表被试倾向于认为嘴巴在传达高兴信息时的作用要大于眼睛。事实上,说到笑脸,我们首先想到的总是向上翘的嘴角,咧开的嘴以及露出的白色牙齿,比如说在用符号表示高兴情绪时,我们通常会使用“:)”,显著标志是“)”而不是“:”。Horstmann等发现牙齿区域在高兴情绪和愤怒情绪面孔中有着重要作用,说明个体倾向于通过嘴部加工高兴情绪面孔的原因之一是个体对牙齿区域的敏感性 [29]。所以,相比较于消极情绪面孔,个体在识别高兴情绪面孔时会倾向于通过嘴部进行快速判断。
另一方面,在惊奇、恐惧和生气的面孔中,眼部则起着更重要的作用,相比于嘴部情绪面孔,眼部情绪面孔能够表达出更强烈的情绪。在表现出一定情绪时,眼部包括瞳孔、眼部肌肉群、眉毛等部位的变化,而嘴部则只包括嘴部肌肉群的变化,相对来说嘴部的某些情绪化表情更容易在不需要外界刺激和复杂意识控制的条件下实现 [30],例如“假笑”,假笑面孔的眼部表情是很简单的,没有过于复杂的肌肉运动。这也是我们在识别高兴情绪面孔时倾向于通过嘴部识别的原因,因为眼部运动是十分复杂,而嘴部运动相对简单且易实现,所以快速判断时嘴巴区域也许能够起到更大的作用。而眼部在不同情绪中的状态更需要真实情景的感染和复杂的认知归因过程才能完全实现,所以眼部的真实表情更能使人信服,使被试做出更大的强度判断。而前文提到的悲伤情绪和厌恶情绪面孔的不显著,可能来源于这两种情绪的特殊性,对于悲伤情绪来说是单纯的眼部、嘴部区域无法体现出应有的情绪强度,对于厌恶情绪是眼部和嘴部发挥了近乎相同的作用,但Martin等得出厌恶情绪里嘴巴区域作用更大 [31],所以厌恶表情中的不同区域的作用还需进一步研究。
在反应时方面,虽然检验结果并不显著,但是数据的分布趋势是同假设相符的,即面孔情绪同面孔区域存在交互作用,具体的趋势是,在高兴情绪面孔中,眼部比嘴部有着更多的反应时,而在悲伤、惊奇、恐惧、生气和厌恶面孔中,则是嘴部有着更多的反应时。恰好是和评定等级相反的趋势,且也存在显著地负相关,即被试倾向于在更快的时间内对情绪面孔予以更高的强度评定等级,且在眼部、嘴部上都能体现出来。说明面孔能够体现出的情绪强度越大,个体的反应时越快。
5. 结论
对于高兴面孔,个体倾向于通过嘴部进行识别;对于惊奇、恐惧和生气面孔,个体则习惯于通过眼部进行识别。
致谢
感谢所有为本研究做出贡献的被试、同学和老师。