基于面部表情的抑郁症识别和诊断研究

Research on Depression Recognition and Diagnosis Based on Facial Expressions

摘要: 抑郁症是一种常见但会影响患者生活质量的精神疾病，它常表现为面部表情和行为上的变化。然而，目前抑郁症的诊断主要依靠患者自我报告和医师主观判断，这种方式存在较大局限性。面部表情可以传递丰富的非语言信息，在抑郁症的识别和评估中具有重要作用，人工智能在图像特征提取和分类等方面有独特优势，可为研究面部表情与抑郁症之间的关系提供有力支撑。该文基于人工智能技术的抑郁症患者面部特征研究，并对未来研究方向进行展望，以期为日后抑郁症临床智能化诊断和跟踪提供参考。

Abstract: Depression is a prevalent mental illness that significantly impacts patients’ quality of life, often manifesting through alterations in facial expressions and behavior. However, the current diagnostic approach for depression predominantly relies on patient self-reporting and subjective assessments by physicians, presenting notable limitations. Facial expressions are capable of conveying nuanced non-verbal cues and thus hold considerable promise in the detection and evaluation of depression. Leveraging artificial intelligence, with its distinct capabilities in image feature extraction and classification, offers potent tools for investigating the correlation between facial expressions and depression. This study employs artificial intelligence technology to examine the facial characteristics of individuals with depression, and anticipates future research avenues, aiming to furnish insights for the advancement of clinically intelligent diagnosis and monitoring of depression.

1. 引言

抑郁症是一种高发的精神疾病，其主要临床表现为持续的低落情绪、失去兴趣或快乐以及认知和行为上的变化 ‎[1] 。根据世界卫生组织的报告，抑郁症已然成为一个全球性的公共健康问题。据估计，全球约有3.5亿人受抑郁症的困扰，抑郁人群涵盖各个年龄段和国家 ‎[2] 。我国抑郁症患病率达到2.1%，我国抑郁症的终身患病率为6.8%。抑郁症的高患病率及其负面影响将给个人、家庭和社会带来巨大的经济压力和生活负担。然而，由于抑郁症的复杂性以及对心理健康问题的误解与污名，使得许多患者并未获得及时的诊断与治疗。因此，及早识别和精确诊断抑郁症患者，并给予及时有效的治疗与干预至关重要。

目前，抑郁症的评估主要依靠患者自我报告和临床医师的主观判断 ‎[3] ，这种流行的抑郁症诊断方式已被证实存在一定的缺陷。首先，在诊断过程中，患者的个人主观意识较强，描述症状时容易模糊不清，导致临床医师难以做出客观且准确的诊断。其次，由于涉及个人隐私和担心歧视等心理因素，患者往往不愿如实地向医生表达自己的真实情感，导致了误诊和漏诊的存在。另外，这种诊断方式总是严重依赖于经验丰富或有一定知识储备的医师来诊断，这导致了医疗水平落后以及专业人员不足地区的抑郁患者不能够得到及时的诊断和治疗。因此，利用新兴技术开发一套抑郁症自动诊断系统，辅助医生进行临床上的诊断，对抑郁等精神疾病的及时治疗以及精神疾病领域的未来发展具有重大的意义。

近年来，抑郁症的自动识别和分析受到了医学、心理学和计算机科学等领域的广泛关注。在现有的抑郁症自动辅助诊断的研究中，其研究方向可分为基于生理信号的辅助诊断方法研究和基于非生理信号的辅助诊断方法研究。其中，常见的生理信号包括脑电 ‎[4] ‎[5] 、核磁 ‎[6] 、精神影像学 ‎[7] 、相关激素水平 ‎[8] ‎[9] 等。非生理信号包括眼动 ‎[10] 、步态 ‎[11] 、语音 ‎[12] 与面部表情 ‎[13] 等。由于非生理信号数据易获取、容易捕捉患者在自然态下的真实表现和情感反应、以及基于非生理信号的识别系统易开发和普及等优势，许多的研究人员选择从非生理学信号的方向展开对抑郁症自动诊断研究。在非生理信号中，面部表情传达人的情感信息量的55%，可以反映人类的大多数内心的真实想法。在Pampouchidou等人的研究中，通过计算机视觉等技术自动识别抑郁症已经被证明是一种比较有效的方法 ‎[13] 。另外，许多人工智能技术已应用于进行图像处理领域的试验 ‎[14] ‎[15] ，近年来也日趋与心理健康领域相结合 ‎[16] 。这些技术可以为抑郁症领域中的多个临床研究方向提供支持，比如基于面部特征差异的智能化诊断、症状严重程度变化跟踪、治疗效果检验等，为抑郁症的自动化检测提供可能。

2. 与面部表情相关的理论

2.1 基本情绪理论

艾克曼“基本情绪理论”的核心观点是：存在一些基本情绪，这些情绪具有生物学基础，在不同文化背景下都会通过独特的面部表情模式来表达，这些面部表情是与生俱来、普遍存在的 ‎[17] 。艾克曼通过大量跨文化研究发现，快乐、悲伤、愤怒、厌恶、恐惧和惊讶这六种基本情绪，在不同文化中都会对应特定的面部肌肉运动模式 ‎[18] ‎[19] 。例如，快乐通常伴随着挑起的嘴角和眼角；而恐惧则表现为瞪大的眼睛和张开的嘴巴。这种情绪与面部表情的对应关系并非后天学习获得，而是深植于人类的生物遗传之中。有力的证据是，即便在与外界隔绝、缺乏文化交流的部落中，婴儿在出生不久就能自然产生与这些基本情绪对应的面部表情 ‎[20] ‎[21] 。此外，艾克曼还发现，通过刻意模仿或抑制某种情绪的面部表情，个体对相应情绪的主观体验也会受到增强或削弱，这被称为“面部反馈效应”。这进一步说明了情绪与面部表情之间密不可分的生物学联系 ‎[17] 。

面部表情是内在情绪体验的外在反映和表达形式。抑郁症作为一种严重的负面情绪障碍，患者内心持续处于沮丧、无望、绝望等低落情绪之中，这种内在情绪状态通常会通过特征性的消极面部表情(如皱眉、无神等)来外现。因此，抑郁症患者异常的面部表情就成为评估其内在消极情绪的重要生物学指标。

2.2. 面部反馈假说

“面部反馈假说”(Facial Feedback Hypothesis)是情绪研究领域一个具有重要影响的理论观点。该理论认为，面部表情不仅是内在情绪体验的表征，面部肌肉的运动反过来也会影响和加强个体的情绪感受。也就是说，通过刻意模仿或抑制某种面部表情，个体对相应情绪的主观体验会受到增强或减弱。经典研究发现，当要求被试把笔含住，使其不能微笑时，对卡通故事的有趣性评价达到最低 ‎[22] 。“含笔实验”直接证实了面部表情对情绪体验的反馈作用。

总的来说，面部反馈假说阐明了面部表情不仅是被动的外在反映，还能主动影响内在的情绪感受过程。大量临床观察发现，抑郁症患者通常会表现出无神、消极、愁眉苦脸等面部表情特征。这种持久的消极面部表情不仅反映了患者内在的负面情绪，而且会进一步加重和延长他们的抑郁情绪体验。

2.3. 理论论

根据理论之理论(Theory-Theory)的观点，人们通过对面部表情的解读来推断目标个体的情绪状态。这一过程是基于一种关于心理状态和行为表征之间映射关系的理论性推理 ‎[23] 。理论之理论认为，人们在大脑中储存有大量的心理概念表征，用以对应不同的面部表情模式并赋予相应的情绪命名。当观察到某一特定面部表情时，观察者会调用相关的心理表征，结合对面部的推理能力，从而推断和归因出目标个体所处的情绪状态。这一理论的核心前提在于，面部表情本身蕴含足够的信息，能让人们根据其几何特征和轮廓对应出特定的情绪类别。许多研究发现，面部表情确实展现出独特的视觉特征，足以支持人们对情绪状态的判断和归因 ‎[24] 。总的来说，理论之理论为我们展示了基于面部线索进行情绪识别的理论基础和认知机制。

3. 抑郁症患者面部表情行为研究

抑郁症会改变人的各种非语言行为，面部表情作为非语言行为的主要方式，承载了大量的信息。因此，面部表情是抑郁症诊断中一个高价值的特征指标。

现有的文献对抑郁症患者的表情行为模式在临床诊断上的观察结果大致可以分为以下几个观点：1) 抑郁症患者的正性情绪减少，导致与正性情绪相关的积极表情行为减少。Fairbanks等人研究了抑郁症患者和正常人的表情行为，发现抑郁组表现出的微笑行为非常少 ‎[25] ，皱眉行为比较多。Scherer等人的研究也发现了相似的结果，相较于正常人，抑郁的个体通常表现出更少的微笑、嘴巴活动和对视，以及更多的皱眉、目光向下转移和非特定注视 ‎[26] ；2) 抑郁症患者的负性情绪增加，导致与负性情绪相关的消极表情行为增多。大量研究者发现抑郁症患者经常表现出忧郁和悲伤的面部表情，社会行为水平较低，他们的面部表情往往呈现以下特征：眼睛下垂、眉头紧锁、嘴角下拉、视线涣散、头低垂、笑容减少、易感情流露等，整体给人一种忧郁、沮丧或难过的感觉 ‎[27] ‎[28] 。3) 在情感认知方面，抑郁症患者的情感认知功能受损，更容易表现出负性的认知模式。神经影像学研究显示，当呈现面部表情刺激时，抑郁症患者的相关脑区如杏仁核、岛叶皮层等激活存在异常，这些区域与情绪加工和面部表情识别的神经机制密切相关 ‎[29] 。一些具体发现包括：杏仁核活动异常与抑郁症患者对负性面部表情(如悲伤)反应性降低，对正性面部表情(如快乐)反应异常有关；岛叶皮层过度激活可能反映了抑郁患者对负性情绪过度关注和加工的倾向；除了杏仁核和岛叶，前额叶、颞顶叶等与注意、情绪调节相关区域在抑郁症患者也表现出异常的激活模式，这些神经异常可能导致了抑郁症患者对面部情绪尤其是正性情绪的识别和理解能力下降。4) 在情绪反馈的敏感程度方面，抑郁症患者对外界的情绪刺激会呈现敏感程度降低的情况，Rottenberg等人的研究发现，与正常对照组相比，抑郁症患者在观看正性和负性情感电影片段时，面部表情变化更少，情绪体验也较为迟钝 ‎[30] 。即使在自身经历真实的负性情景时，抑郁症患者的面部表情反应也较为迟缓，特别是在微表情层面 ‎[31] ，也就是说在面临情绪刺激时，抑郁患者很难被诱发出相应的情绪反馈，导致抑郁症患者的表情行为变化较为迟缓，表情行为变化速率降低。

抑郁症患者的表情行为与正常人存在明显差异，这些差异使得通过表情识别抑郁症成为了一种可能。通过观察和分析抑郁症患者面部表情的特征性变化，使其可以作为辅助诊断的依据，提高对抑郁症的识别率。

4. 基于面部表情的抑郁症识别研究

在基于面部表情的抑郁自动识别和检测的研究中，学者们提出了不同的面部表情和抑郁识别技术，从手工设计的浅层特征的研究方法到利用深度学习方法提取的深度特征的研究方法。手工设计的浅层特征是从头部姿势和面部活动提取的。早期的研究主要基于视觉线索，如面部表情、面部动作单元(Action Units, AUs)、眼球运动、瞳孔变化、眨眼频率、面部地标、面部轮廓等。Wang等人提出的框架是先定义面部表情特征，将人脸划为由58个特征点组成的28个区域利用重要的面部地标点来表示面部表情，通过计算面部地标点的形状变化作为面部表情特征 ‎[32] 。最后的实验结果表明，精神障碍患者的面部表情变化趋势与健康对照组的面部表情变化趋势不同。Wen等人 ‎[33] 将面部区域划分成若干个子区域，使用LPQ-TOP特征提取人脸面部区域动态特征并采用稀疏编码方法对所提取的动态特征进行编码用于抑郁症的诊断，同时利用边界Fisher分析(Marginal Fisher Analysis, MFA)映射方法和决策融合，进一步提高了诊断的准确率。后续Cohn等人同样定义了脸部特征点(Landmarks)，他们利用面部行为编码系统(Facial Action Coding System, FACS)和主动外观模型(Active Appearance Model, AAM)，然后对每一张人脸进行建模，提取68个脸部特征点，记录每一个点的坐标，以此作为初级特征。最后提取特征点之间的距离、角度、面积等高级特征，由SVM和Logistic回归给出抑郁症预测结果。

由于面部特征不仅会反映空间上的变化，还会反映在时间上的变化，Meng等人 ‎[34] 采用运动历史直方图(Motion History Histogram, MHH)来捕捉面部表情的运动信息，通过特征选择来降低特征的维数。然后利用偏最小二乘法和线性回归算法进行抑郁程度预测。

利用深度学习方法提取的深度特征是利用深度神经网络从静态图像序列自动学习到面部活动的高层抽象特征，已有研究表明，相对于手工设计的特征，深度特征可以更好地实现抑郁症的识别。Zhu等人 ‎[35] 提出了一种双流CNN网络来捕捉面部外观特征和面部运动特征，其中一种深度网络输入原始图片，另一种网络将提取的光流特征做输入，最后通过两个全连接层进行特征融合来估计抑郁程度。Zhou等人 ‎[36] 利用具有全局平均池化层(Global Average Pooling, GAP)的CNN从面部图像学习不同面部区域与抑郁识别的对应关系，然后联合不同面部区域的响应获得最终的识别结果。同时，将训练好的深度模型与抑郁激活图(Depression Activation Map, DAM)结合来显示不同的面部区域的抑郁程度。该方法表明，眼睛区域在抑郁症的表象中是最显著的区域。以上这些深度学习的方法都是以不同的方式整合从视频帧中学习到的视觉特征来考虑时间信息，但这些方法不利于描述重要的动态信息，而动态信息能够提高抑郁症识别的鲁棒性，所以研究者们开始探索利用3D CNN来直接学习时间和空间信息。Jazaery等人 ‎[37] 使用3D卷积神经网络(3D Convolutional Neural Network, C3D)从两种不同尺度的面部视频生成时空特征，然后利用递归神经网络(Recurrent Neural Network, RNN)对特征转换建模，从而预测抑郁水平。Melo等人 ‎[38] 利用C3D分别对全脸区域和眼部区域提取时空特征，然后融合全局的C3D和局部的C3D的预测结果得到最终的抑郁评分结果。

以上的研究表明基于视觉的自动抑郁检测技术在特征提取方面经历了一定的演变过程。初期研究主要提取静态图像中的低级特征，后续开始关注面部形状、表情等几何特征和面部动作单元。随着深度学习的发展，研究者利用卷积神经网络自动学习人脸高维概括特征。最后，再通过循环神经网络可以提取面部动态变化的时间信息。这一系列的变化反映出基于面部线索进行抑郁症识别和诊断研究的发展趋势。随着人工智能算法的演进，面部特征提取的能力将不断提升，有助于抑郁症的自动检测和诊断。

5. 应用面部表情信息进行抑郁症研究的难点

随着人们越来越认识到抑郁症对个人、家庭和社会的负面影响，各领域的学者开始置身于抑郁症的研究中。在计算机视觉领域，对于抑郁症状的识别和诊断研究主要致力于探寻能够有效评估判断抑郁症的客观指标，以此来构建抑郁症识别检测模型。研究人员通常会收集抑郁症患者的生理和行为信号，利用数据分析、特征设计、模型构建或深度学习网络等手段实现分类或回归，辅助医生进行临床上的诊断。然而，要构建一个能够实现广泛应用的自动抑郁识别系统，还需要大规模的数据采集，并深入研究抑郁患者与正常人面部表情的差异，找出有效的判别特征。面部是一个复杂的区域，其特征众多，但哪些特征才能成为临床有效的客观诊断标准，还有待后续研究的探索。因此，目前应用面部表情信息进行抑郁症识别的研究仍然存在以下几个问题，第一，抑郁情绪识别数据库的开源和适用性问题。传统的面部表情视频数据库受其敏感性的限制，无法进行开源和分享，且包含的被试样本较少，在不同国家数据库差异较大，实验所使用的刺激模式和刺激材料都有所不同，以上问题均限制了该领域的发展应用。第二，不同应用场景、不同性别和年龄段下的抑郁识别。当前的情绪识别研究大多数在有众多限制条件下的实验环境中进行情绪唤醒，然后捕捉面部表情和建立模型。但在理想的实验室环境下建立的模型，在现实的校园环境下是否适用是亟待验证的重要问题。不同年龄段不同性别的研究对象，面部表情特征会有着极大的差别，相同的模型对不同生理特征的对象，能否得到一致情绪识别结果，同样是仍需检验的问题。第三，特定的异常情绪定义。人的情绪是复杂且多变的，一时的失落表情不能代表有抑郁心理，一时的欢乐表情也不代表该对象就没有抑郁的可能。因此，如何判断观察的对象的表情的表层特征和深层含义，并进一步通过机器学习模型进行区分，是困难且重要的问题。第四，想要建立高泛用性的模型，就必须要控制模型的时间和空间复杂度，新兴的深度学习模型虽然可以实现较高的识别准确率，但作为代价则需要大量的内存需求及计算时间耗费，这一高成本的弊病更会进一步放大。因此，如何在保证识别准确率的基础上控制模型成本是非常重要的问题。

6. 未来发展方向

人工智能技术应用于抑郁症研究，为解决临床问题奠定了基础。但当前研究存在如忽略患者情绪时间变化特点、样本量偏小等问题，这影响了研究质量。另外，面对复杂生理特征，采用的研究指标较为单一。对未来基于面部表情的抑郁症识别研究，可以考虑以下几点。

6.1. 关注抑郁症患者的情绪变化，增加对时间因素的考量

抑郁症患者的情绪变化存在明显的“早重晚轻”周期性规律，这预示测试时间会对抑郁程度的判断产生重要影响，但现有研究较少考虑这一变量。另外，人的面部表情变化复杂多样，仅针对某一时间点的分析不足以精确评估抑郁状态。建议后续研究增加随访次数，控制好测试时点，以更准确捕捉抑郁症的临床特征，使检测结果更符合临床需求。

6.2. 关注面部特征差异，丰富抑郁检测的指标体系

目前机器学习研究多集中在抑郁症分类和识别结果上，而较少关注不同抑郁程度以及有无抑郁症下面部特征的具体变化，这些被忽略的特征差异也非常有价值。比如抑郁人群面部微表情出现的频率、强度、持续时间等都可以为基础心理学研究提供支持，也可以丰富临床应用中抑郁评估的指标体系。充分利用机器学习技术挖掘这些细微特征，将是未来研究的一个方向。

6.3. 开展多模态研究，精准检测抑郁状态

有研究融合了说话行为、眼睛活动和头部姿势等多种模态进行抑郁症预测，结果显示多模态特征融合表现最佳，与单峰系统相比有显著改进 ‎[39] 。这预示着朝向多模态研究的发展趋向。目前除面部特征外，人工智能技术也已在语音、身体姿势 ‎[40] 、生理信号 ‎[41] 等研究中发挥作用，有研究开始试图将面部表情与其他指标的结合。未来在大规模高质量数据集上开展多源异构特征的融合与建模，能更准确检测抑郁状态。

6.4. 结合临床治疗研究

抑郁症的治疗方法有药物服用、心理咨询，以及重复经颅磁刺激、电休克疗法等物理治疗。这些方法的临床效果一直是研究者和临床医生关注的焦点。然而，目前抑郁症面部特征相关的研究鲜有与具体治疗效果相结合的，仅有个别与重复经颅磁刺激相结合的研究。建议后续研究可以更多地考察面部特征与各种治疗方法的联合效应，这种客观、非侵入式的方法能更有效地评估治疗效果，节省时间和精力。

6.5. 提升临床应用水平

当前抑郁症自动化检测研究存在可应用平台或程序不足的问题。尽管已有研究者利用3D人脸技术和语音识别整合而成的抑郁严重程度测量系统，以及基于图像处理和语音助手并且无需精神科医师参与的线上检测网站，但这些平台完善程度和推广范围还有限。未来临床中心可以考虑通过患者信息共享平台收集更多实际数据进行模型分析，也可以开发集成了面部信息采集模块的智能手机治疗应用，为用户提供个性化的健康评估报告或症状预警。大规模真实的临床数据无疑将提高检测模型的准确性，并不断完善优化临床应用方案。

7. 总结

抑郁症作为一种严重影响生活质量的常见精神疾病，其及时识别和精准诊断一直是临床实践中的重大挑战。面部表情作为人类情绪和内在心理活动的重要外在体现，为抑郁症的辅助诊断提供了新的切入点。通过计算机视觉和人工智能技术对面部表情进行智能分析，可以从面部微表情、面部运动等细微特征中捕捉抑郁症的症状，从而有望提高临床诊断的客观性和准确性。

当前，基于面部表情的抑郁症智能诊断研究虽然取得了一定进展，但在数据、算法和临床转化等方面仍面临诸多挑战。未来需要开展大规模多模态的数据采集，深入探索面部表情与抑郁症之间的内在联系机制，发展高效精准的人工智能诊断模型，并与临床实践紧密结合，以期真正实现面部表情辅助诊断在临床中的规模化应用，为抑郁症的早期筛查和精准治疗提供有力支撑。只有持续推进人工智能技术在精神心理健康领域的创新应用，才能不断提高抑郁症等疾病的诊断水平，帮助更多患者早期发现、及时就医，从而真正改善他们的生活质量，促进全民心理健康。