基于模拟微笑模型的中国成人表情图库制作

Establishment of the Chinese Adult Facial Expression Images Based on the Simulation of Smiles Model

摘要: 基于模拟微笑模型制作中国成人微笑表情图库，首先采集86名大学生的微笑表情图片，另招募35名大学生评定采集图片的类别和强度。然后采用ERP技术在电生理层面探究个体识别图库时的有效性。最后在信任博弈任务中探究图库的适用性。得到微笑表情图片共202张，每张图片的认同率均达标，且具有相应的情绪强度。电生理层面和行为层面引起的结果各自均存在显著差异。结果表明，制作的中国成人微笑表情图库具有较高的信效度，可作为测量工具。

Abstract: Creating a Chinese adult smile expression image database based on the simulation of smiles model, initially, 86 university students’ smiling expression photos were collected, and the additional 35 university students were recruited to assess the categories and intensity of the collected images. Subsequently, Event-Related Potentials (ERPs) technology was employed to investigate the effectiveness at the electrophysiological level when individuals recognize the image database. Finally, the applicability of the database was explored in a trust game task. A total of 202 smiling expression images were obtained, with each image meeting the standard recognition rate and having corresponding emotional intensity. The results, both on the electrophysiological and behavioral levels, each have significant differences. The findings indicate that the constructed Chinese adult smile expression database has high reliability and validity and can be used as a measurement tool.

1. 引言

微笑在日常生活中普遍存在，具有重要的人际功能(Dapprich et al., 2022)。例如，微笑可作为表达者传递社会信息的非语言信号，进而影响知觉者的社会行为，其在具体表现形式上是可变的，即人们拥有多种微笑的类型(Martin et al., 2017)。在研究中，微笑刺激材料的可靠性和普适性对研究结果有着重要的影响。因此，制作一套标准化的微笑表情图库，不仅有利于相关实验选择合适的微笑表情刺激材料，而且有利于对研究结果进行比较。例如，Martin等人(2021)根据模拟微笑模型(the simulation of smiles model; Niedenthal et al., 2010)制作了奖励型微笑(reward smiles)、附属型微笑(affiliation smiles)和支配型微笑(dominance smiles)刺激材料，为微笑的研究提供了实证素材。然而，这些刺激材料并未进行标准化处理，也缺乏对情绪强度的评级，在一定程度上影响实验结果的可靠性。

此外，表情刺激材料受特定文化背景的影响。例如，黄宇霞和罗跃嘉(2004)研究发现中外被试对国际情绪图库(International Affective Picture System, IAPS)评定的相关性较高，但也存在文化、个性及具体的社会生活等方面的差异。同时，尽管有研究发现表情识别的跨文化普遍性，但也发现了个体对本种族人的面孔表情更易识别的种族倾向性或异族效应(Wang & Markham, 1999)。刺激材料文化背景的特殊性和识别面孔表情的异族效应使得制作可靠的适用于本土研究的微笑表情图片具有重要意义。

以往的研究区分了不同微笑的表现形式和社会功能，但没有从神经层面对不同微笑表情的识别进行探讨。事件相关电位技术(Event-related potentials, ERPs)通过反映大脑皮层电生理活动的神经指标，可为图库的有效性提供电生理层面的证据。对表情和面孔加工最敏感的成分有N170和晚期正电位(late positive potentials, LPP) (Smith et al., 2013)。本研究主要探讨不同微笑表情是否会调节这两个成分。

另外，本研究试图为在信任博弈任务中为图库的可应用性提供行为层面的证据。在人际互动过程中，互动者的表情会影响对手对表达者的信任判断，进而影响信任行为(Güntürkün, Haumann, & Mikolon, 2020; Hess et al., 2020)。因此，本研究尝试探讨在信任博弈情境中三种微笑表情对知觉者的影响。

综上所述，为获取中国成人不同类型的微笑表情刺激材料，本研究基于模拟微笑模型，制作中国成人微笑表情图库，并对其认同度和情绪强度进行评价，以及采用ERP技术探讨识别三种微笑表情的脑电差异，验证图库的有效性，以期建立标准化、可应用于本土研究和跨文化研究的中国人微笑表情图库。

2. 实验1：微笑表情图库的制作

2.1. 方法

2.1.1. 微笑表情图片采集

在某高校招募86名本科生自愿参与研究。其中男生37名，平均年龄为19.91岁(SD = 1.82)。按照微笑模拟模型的分类，要求被试做出不同的表情然后进行拍摄，收集到奖励型微笑86张、附属型微笑86张、支配型微笑83张。拍摄完成后用Photoshop7.0软件对图片进行统一标准的后期图像处理(王妍，罗跃嘉，2005)。研究获得了信阳师范大学伦理委员会的批准。

2.1.2. 微笑表情图片类型与强度评定

另招募高校心理学研究生35名(男性16名)自愿参与本实验，平均年龄为24.26岁(SD = 2.12)，所有被试均视觉正常且无精神病史。对收集到的255张微笑表情图片进行微笑类型认同度及强度评定(王妍，罗跃嘉，2005)，在255张图片中按性别及表情类型随机抽取30张作为测谎图片，其中每种类型5张，复制后混入原始图片。因无相关对于不同微笑类型的评定方法，所以根据Martin等人(2021)的微笑表情主题对其进行微笑类型评定；对强度进行1~9等级评分(1为最弱，9为最强)。

2.2. 结果

2.2.1. 评分稳定性分析

为保证实验结果的可靠性，首先用被试在30张测谎图片上，其前后两次表情类型判断的一致率为指标，35名被试的一致率均大于0.6。之后对35名被试在测谎图片上的情绪强度评定进行分析，前后两次评定的相关系数r = 0.84 (p < 0.001)，表明被试在实验中的评分稳定性较高。

2.2.2. 不同微笑表情图片的认同度

情绪类别认同度：指被试认为该图片情绪类型属于对应情绪类型的人数占被试总人数的百分比(刘静等，2019)。3种微笑类型中，附属型微笑的认同度为83.7%，奖励型微笑的认同度为79.1%，支配型微笑的认同度为74.7% (见表1)。

Table 1. The proportion of smiling expressions on different levels of identification

表1. 微笑表情在不同认同度上的比例(%)

认同度	<29	30~39	40~49	50~59	60~69	70~79	80~89	>90
奖励性	10.0	4.7	2.3	3.5	17.4	12.8	19.8	29.1
附属型	—	2.3	7.0	7.0	31.4	26.7	22.1	3.5
支配型	7.2	6.0	9.6	2.4	12.0	14.5	32.5	15.7

2.2.3. 不同微笑表情图片的强度

首先，剔除认同度在60%以下的图片，结果得到微笑表情图片共202张：其中奖励型微笑图片68张，附属型微笑图片72张，支配型微笑图片62张；然后，对认同度在60%以上的微笑表情图片的情绪强度评分进行分析发现(见表2)：不同微笑表情图片在强度上存在显著差异：F (2, 199) = 57.91, p < 0.001, ${\eta }_p^2$ = 0.37，BF10 = 2.6213 + 17，多重比较发现，奖励型微笑的强度(M = 6.94, SD = 0.5)显著高于支配型微笑的强度(M = 6.47, SD = 0.46, p < 0.001)和附属型微笑的强度(M = 6.19, SD = 0.26, p < 0.001)；且支配型微笑的强度显著高于附属型微笑的强度，p < 0.001。

Table 2. The proportion of smiling expressions on different levels of emotional intensities

表2. 微笑表情在不同情绪强度上的比例(%)

情绪强度评分	4~4.9	5~5.9	6~6.9	7~7.9	>8
奖励性	—	1.5	54.4	44.1	—
附属型	—	19.4	80.6	—	—
支配型	—	11.3	72.6	16.1	—

2.3. 讨论

实验1筛选出认同度在60%以上的面孔图片共202张。图片经过统一加工处理具有较高的图像质量，同时评定结果具有较高的稳定性。表明图片能达到常规心理学实验的要求，可作为微笑相关研究的标准化实验材料进行使用。

3. 实验2：微笑表情图片有效性的电生理检验

采用ERP技术探讨三种微笑表情的脑电识别差异，为图库的有效性提供电生理层面的证据。

3.1. 方法

3.1.1. 被试

招募大学本科生23名(男生10名)参与本实验，平均年龄为21.13岁(SD = 1.66)。研究获得了信阳师范大学伦理委员会的批准。

3.1.2. 实验设计

本实验采用单因素3水平(微笑表情：奖励型微笑/附属型微笑/支配型微笑)被试内设计；因变量为ERP指标(N170成分和LPP成分)。

3.1.3. 实验材料

微笑表情图片，选自实验1。按不同类型各60张，其中男女面孔各半的方式选取三种微笑表情图片共180张。

3.1.4. 实验程序

正式实验用E-prime2.0编制程序。进行180伦一次性信任博弈游戏，面孔性别采取顺序平衡。在刺激呈现前有1000 ms的注视点(+)，每个刺激呈现2000 ms。

3.1.5. 脑电数据分析

结果考察N170和LPP两种脑电成分，其中N170选择分析面孔呈现后150~190 ms波幅，LPP选择分析面孔呈现后300~800 ms波幅。N170成分选择P7，P8，PO7，PO8四个电极点(李婉悦等，2022)进行单因素(微笑表情：奖励型微笑/附属型微笑/支配型微笑)方差分析；LPP成分选择Fz，FCz，Cz，CPz，Pz五个电极点进行单因素(微笑表情：奖励型微笑/附属型微笑/支配型微笑)方差分析。

3.2. 结果

N170成分：对数据进行重复测量方差分析，P7：F (2, 66) = 1.63, p = 0.204, ${\eta }_p^2$ = 0.05；P8：F (2, 66) = 0.12, p = 0.891, ${\eta }_p^2$ = 0.01；PO7：F (2, 66) = 0.6, p = 0.551, ${\eta }_p^2$ = 0.02；PO8：F (2, 66) = 0.16, p = 0.85, ${\eta }_p^2$ = 0.01。结果表明微笑表情的类型在各点上主效应均不显著(见图1)。

LPP成分：对数据进行重复测量方差分析，Fz:F (2, 66) = 11.94，p < 0.001，${\eta }_p^2$ = 0.27，BF10 = 331.382。FCz:F (2, 66) = 15.54，p < 0.001，${\eta }_p^2$ = 0.32，BF10 = 4068.461。Cz:F (2, 66) = 18.23，p < 0.001, ${\eta }_p^2$ = 0.36，BF10 = 23648.925。CPz:F (2, 66) = 16.56，p < 0.001，${\eta }_p^2$ = 0.33，BF10 = 8045.547。Pz:F (2, 66) = 12.87，p < 0.001，${\eta }_p^2$ = 0.28，BF10 = 642.725。结果表明，微笑表情的类型在各点上的主效应均显著。多重比较发现，附属型微笑诱发的LPP波幅显著低于奖励型微笑和支配型微笑；而奖励型微笑和支配型微笑诱发的波幅差异不显著(见图2)。

Figure 1. Waveform maps of N170 components induced by different smiling expressions

图1. 不同微笑表情诱发的N170成分波形图

Figure 2. Waveform [A] and topographic [B] maps of LPP components induced by different smiling expressions

图2. 不同微笑表情诱发的LPP成分波形图[A]以及地形图[B]

3.3. 讨论

实验2旨在考察微笑表情识别的神经机制。ERP结果发现，三种微笑表情面孔刺激下均出现N170成分，但三者引起的N170波幅和潜伏期无显著差异。LPP成分结果显示：附属型微笑诱发了最负的LPP成分，奖励型微笑和支配型微笑诱发的LPP成分最正并且没有差异。这一结果与奖励型微笑和支配型微笑的情绪强度评分高于附属型微笑情绪强度评分相一致，为图库的有效性提供了电生理证据。

4. 实验3：微笑表情图库的适用性检验

通过信任博弈任务，探究三种微笑表情对信任行为的影响，为图库的适用性提供行为层面的证据。

4.1. 方法

4.1.1. 被试

用G*Power事先计算达到相应效应量所需的最低样本：根据效应量f = 0.25，显著水平α = 0.05，至少需53名被试才能达到80% (1 − β)的统计功效。因此招募大学本科生60名(男生29名)参与本实验，平均年龄为20.12岁(SD = 1.46)。

4.1.2. 实验设计

本实验采用单因素3水平(微笑表情：奖励型微笑/附属型微笑/支配型微笑)被试内设计；因变量为信任博弈任务中被试的信任行为(投资的金额)。

4.1.3. 实验材料

微笑表情图片，选自实验1。按不同类型各30张，其中男女面孔各半的方式选取三种微笑表情图片共90张。

4.1.4. 实验程序

正式实验用E-prime2.0编制程序。进行90轮一次性信任博弈游戏，面孔性别采取顺序平衡，按键进行被试间平衡。

实验结束后进行微笑表情操纵检验。呈现7个题目来测量微笑表情操纵的有效性(Hillebrandt & Barclay, 2017; Martin et al., 2021)：“同伴看起来是：轻蔑的、自以为是的、快乐的、满意的、愉悦的、假装的、隐藏其他情绪的”(1 = 非常不同意，5 = 非常同意)。

4.2. 结果

4.2.1. 微笑表情操作的有效性

检验奖励型、附属型和支配型微笑表情题目的Cronbach’ α分别为0.98、0.76和0.98，分别取其均值作为被试对同伴微笑表情的评分。被试内重复测量单因素方差分析发现：微笑表情在测量奖励型微笑的题目上(题目3、题目4和题目5)存在显著差异，F (2, 177) = 160.62，p < 0.001，${\eta }_p^2$ = 0.65，BF10 = 2.020e+37；微笑表情在测量附属型微笑的题目上(题目6和题目7)存在显著差异，F (2, 177) = 33.5，p < 0.001，${\eta }_p^2$ = 0.28，BF10 = 1.032e+10；微笑表情在测量支配型微笑的题目上(题目1和题目2)存在显著差异，F (2, 177) = 261.49，p < 0.001，${\eta }_p^2$ = 0.75，BF10 = 1.996e+50。各类型微笑表情在本类题目得分上均高于另两种，表明本实验中微笑表情的操纵有效。

4.2.2. 微笑表情对信任行为的影响

对信任行为进行单因素方差分析，结果发现(见图3)：微笑表情的主效应显著，F(2, 177) = 50.68，p < 0.001，

注：误差线表示标准误；* p < 0.05, ** p < 0.01, *** p < 0.001。

Figure 3. The effect of smiling expressions on trust behavior

图3. 微笑表情对信任行为的影响

${\eta }_p^2$ = 0.36，BF10 = 7.409e+39。多重比较发现，被试对于奖励型微笑同伴的信任行为(M = 5.46, SD = 1.36)分别显著高于附属型微笑同伴(M = 4.71, SD = 1.71, p = 0.004)和支配型微笑同伴的信任行为(M = 3.01, SD = 1.36, p < 0.001)；且对于附属型微笑同伴的信任行为显著高于支配型微笑同伴的信任行为，p < 0.001。

4.3. 讨论

实验3旨在考察在于同伴进行信任博弈时，同伴的微笑表情对被试信任行为的影响。结果发现，被试对奖励型微笑的同伴互动时信任水平最高，与附属型微笑的同伴互动时信任水平居中，与支配型微笑的同伴互动时信任水平最低，并且三者间两两差异显著。

5. 总讨论

本研究制作了标准化的中国成人微笑表情图库，可作为表情研究的刺激材料。在制作完成后我们使用这些微笑表情刺激材料探讨了在信任博弈情景中不同微笑表情对信任行为的影响。我们得到了具有代表性的奖励型微笑图片68张，附属型微笑图片72张，支配型微笑图片62张，各类微笑表情刺激材料之间认同度和强度评分存在差异。结果表明：奖励型微笑在认同度最高组(大于90%)比例和情绪强度评分中均最高。说明积极的情绪表情具有较高的认同度，同时也说明奖励型微笑会让感知者产生愉悦的状态，表达了强烈的积极情绪(Martin et al., 2017)。附属型微笑有最高的认同度，且所有符合要求的图片情绪强度评分的分布更为居中(5~7分)。说明附属型微笑相比于奖励型微笑和支配型微笑，既没有反应更强烈的积极情绪，也没有反应更强烈的消极情绪，这有利于其在情绪研究中作为参照条件使用(程刚等，2015)。支配型微笑认同度最低，且情绪强度评分分布较广。说明支配型微笑反应了更强烈的消极情绪，这一特征有利于研究者在同一表情类型下，进一步按不同情绪强度选择实验材料(程刚等，2015)。

ERP结果表明，被试观看不同微笑表情的面孔刺激引起的N170成分没有显著差异。N170成分出现在面孔加工的早期阶段，普遍被认为反映面部结构编码(杨韵等，2016)，而不反映情绪面孔加工。例如，王丽丽等人(2018)发现个体观看对方比赛胜利和失败后的表情时，两者所引起的N170成分没有显著差异。本文得到类似的结果，说明N170成分可能无法区分不同的微笑表情。

此外，LPP成分对面孔评估敏感(Marzi et al., 2014)，反映情感和动机相关的刺激被增强处理(Lang & Bradley, 2010)。本研究发现，奖励型微笑和支配型微笑比附属型微笑诱发了更正的LPP成分，而奖励型微笑和支配型微笑诱发的LPP成分没有差异。这一结果与奖励型微笑和支配型微笑的强度评分均大于附属型微笑的强度评分相一致。

在行为层面上，我们发现，在信任博弈任务这种情境下，微笑表情会影响到个体的信任行为，并且不同的微笑表情对个体信任行为的影响表现出明显的差异，支持了模拟微笑模型(Niedenthal et al., 2010)。具体来说，奖励型微笑会让感知者产生愉悦的状态，可以强化最初导致微笑的行为，因此会引起最高水平的信任行为；附属型微笑被认为不反映强烈的积极情绪，但表明了积极互动的潜在可能性，因此会引起中等水平的信任行为；而支配型微笑则传达了一种支配和优越的信号，因此相应引起了最低水平的信任行为。

尽管所制作的中国成人微笑表情图库能达到使用的要求，但作为首次尝试，并限于技术上的不足，存在一定的局限。第一，拍摄面孔图片所选取的被试均为大学生，因此可能导致数据上的偏差，之后的研究应增加不同年龄段的被试。第二，研究中被试的样本量较小，也可能产生偏差，这也是在今后的实验中需要补充的地方。

基金项目

河南省研究生教育改革与质量提升工程项目(YJS2024KC33)；河南省科技厅软科学项目(242400410385)。