多模态疼痛评估的研究进展

Research Progress in Multimodal Pain Assessment

摘要: 阐述多模态数据融合的概念，描述当前多模态(行为及生理模态)数据融合在疼痛评估技术中的应用，提出多模态数据融合可使疼痛评估更高效、准确，未来的多模态智能疼痛识别技术在成熟的基础上应丰富不同疼痛类型识别的算法，抓住疼痛的共性反应，并在疾病发生中检验疼痛对病情进展的预警价值。

Abstract: This paper describes the concept of multi-modal data fusion, describes the current application of multi-modal data fusion (behavioral and physiological modes) in pain assessment technology, and proposes that multi-modal data fusion can make pain assessment more efficient and accurate. The future multi-modal intelligent pain recognition technology should enrich different pain type recognition algorithms on the basis of maturity, and seize the common reaction of pain. The early warning value of pain to disease progression was examined during the occurrence of disease. In addition, nursing staff should cross-collaborate with big data researchers and complement their resources to enhance the clinical practicability of the research and solve the difficulties in clinical pain assessment.

1. 引言

疼痛是反应人身体健康状况的生理指标之一，它可以直接反应人体内部或外部产生的病变。疼痛是人们就医的首要原因，比如，约有52.2%的患者抱怨过他们曾经因为疼痛而寻求医生的帮助[1]。文献[2]报导疼痛是医院病患抱怨的主因，约达80%。

疼痛评估是疼痛管理的重要组成部分[3]。目前，患者的自我疼痛评估是医疗实践中疼痛评估的金标准[4]，对于婴儿，或者具有语言障碍的患者[5]可能无法自我报告疼痛，对于此类患者，目前由其代理人，如专业的医疗人士、婴儿的父母等来评估疼痛并进行治疗。目前临床对疼痛程度的评估均由受过专业训练的医护人员完成。一方面专业人员的培训需耗费大量时间与精力，另一方面评估结果受个人主观因素的影响较大，无法及时客观地反映疼痛程度[6]。

研究者们一直在探索评估疼痛的客观指标，以尽量减少患者的报告偏倚和观察医生的主观偏倚，更好的减少疼痛的发生率。

2. 多模态数据融合的概述

多模态是目前最新的一种智能化疼痛评估方式，其数据来源于单模态。多模态数据融合指在研究过程中，采集不同模态的信息，一般由2个或2个以上模态组成，将不同模态下的数据集成到一个空间中，综合成统一的结果表达[7]。比起单模态数据它可以给予更为丰富及广泛的信息，并且受数据缺失的影响较小。在疼痛评估测量中，多模态数据融合是指疼痛状态下的行为指标(面部表情变化、身体活动、声音)和生理指标(生命体征、脑血流动力学)等方面信息的互相联合转化。近年来，多模态数据融合在临床上已被广泛应用于疾病诊断、信息化管理等方面的研究，在提高临床管理效能、促进医学进步上起了重要作用，推动了大数据时代与临床工作的有效结合[8]。由于近来基于多信息融合的疼痛识别方法被证实有效，并且比大多数单一信号能够取得更好的效果，因此，融合不同信息源的疼痛表情识别及疼痛强度估计方法也越来越受到关注。

3. 基于行为及生理模态的疼痛评估技术应用

3.1. 行为模态

行为模态通常包括：面部表情、身体活动、副语言发声、说话等。近些年，疼痛智能识别技术在基于疼痛行为表现的研究上已取得一定成就，研究大多利用面部表情构建模型，奠定了人工智能在临床疼痛识别应用前景的初步基础。

3.1.1. 面部表情

疼痛不仅是一种感官体验，也是一种情感体验，通过面部表情在人类交流中传递给外界的信息量达到55% [9]。疼痛表情是最直观能够被观测者监测到的一种生理信号，具有易观测、相对客观等优势。因此依据人脸表情进行疼痛评估可以为医生提供一个更为可靠且准确的参考，为患者接受更有效的治疗并及时康复提供了新的可能。此外，针对无法用言语表达疼痛的人群，如新生儿、精神受损的患者、或是在ICU中的患者，表情可以作为评估其疼痛的主要指标，为其提供及时、准确的治疗。同时，随着数字化渗透到各个领域，利用相机等相对便宜的高科技设备实施对疼痛表情的管理及监测也为家庭理疗提供了更为高效、便捷、及时的解决方案，比如对老年人病痛及患有长期性疾病的患者进行家庭理疗和疼痛的监测。

自20世纪90年代以来，面部表情识别技术受到了国内外学者的广泛关注，许多先进国家的研究机构都建立了专门的人脸表情研究团队，并建立多种数据库。在疼痛表情研究领域，研究者们通过对疼痛相关运动单元(AU)的采集、提取和深度解读，逐步建立并完善了面部疼痛表情库，例如COPE数据库、UNBC-McMaster肩部疼痛数据库、BioVid热疼痛数据库。疼痛表情评分齐全的UNBC-McMaster肩部疼痛表情数据库[10]为疼痛监测做出了贡献。而现有研究仍存在着数据量有限[11]、面部表情种类较少[12]、标注不足等有待完善之处。疼痛表情图像数据量的扩大和更多疼痛强度等级的细分将有助于推动疼痛评估、改善训练模型的人机交互效果。

Denys Fontaine等训练和外部验证了深度学习系统(ResNet-18卷积神经网络)，识别和分类1189名患者手术前和手术后的2810个面部表情，根据NRS自我报告疼痛强度，通过准确性、敏感性和特异度来评估AI模型表现。评估重度疼痛(NRS ≥ 7/10)的敏感性和特异性分别为77.5%和45%，评估中重度疼痛(NRS ≥ 4/10)的敏感性和特异性分别为89.7%和61.5% [13]。

Sikka等利用计算机视觉(Computer Vision, CV)和机器学习(Machine Learning, ML)技术用于自动疼痛评估。从50例腹腔镜阑尾切除术后5~18岁青少年典型内源性/持续和外源性/短暂疼痛的视频中，建立了一个基于CVML的儿童术后疼痛评估模型，评估了儿童自我报告的疼痛评分和模型准确性，根据疼痛严重程度的模型检测显示，两种疼痛条件下存在中到强度的相关性(r = 0.65~0.86; r = 0.47~0.61) [14]。

Rahu等研究结果表明，非交流性危重症患者的面部疼痛表情不会减少。面部上半部分的动作(刮眉、下眉和收紧眼眶)是最常见的激活表情，可能是非交流的危重患者自我报告评分的有效选择[15]。

因此依据人脸表情进行疼痛评估可以为医生提供一个更为可靠且准确的参考，为患者接受更有效的治疗并及时康复提供了新的可能。

3.1.2. 疼痛行为

那些和疼痛相关的身体活动通常旨在保护自己、防止进一步的损伤，并且减轻疼痛。这些活动包括保护性条件反射、按摩及保护受伤部位。具体的身体活动会因人而异。比如，与长期的腰部疼痛相关的身体活动可能包括：下意识地保护疼痛部位、僵硬、需要支撑、突然的行动或跛行，或按摩受影响的身体部位[16]。Werner等[17]针对疼痛引起的头部移动及姿势变化进行了研究，发现这些动作往往是向下的或朝向疼痛部位，但在不同条件下这些动作的速度及范围中会有所不同。

文献[18]通过IntraFace及深度图提取视频中脸部特征和头部姿势特征，结合生物特征信号，并利用线性SVM分类器及随机森林分类器进行分类，实验结果表明针对特定人物模型，融合了视频信号和生物特征信号来识别疼痛程度的效果比单一信号的更好，实验也证实了影响成功识别疼痛的因素在不同的个体间具有高度相似性。

针对疼痛引起的头部移动及姿势变化进行的研究，发现这些动作往往是向下的或朝向疼痛部位，但在不同条件下这些动作的速度及范围中会有所不同。尽管不寻求口头交流，但一些声音表达(如“哎哟”)表示疼痛或表示不适。疼痛行为还包括发声，如辅助语言(哭泣、呻吟、喘气，和叹息)，以及语言质量的改变等方面，如语音的大小、音色、停顿等变化。对于婴儿来说，哭泣是最典型的疼痛反应的一种(但有哭泣有相当多的变种)。

3.2. 生理模态

生理模态包括大脑活动、心血管活动、皮肤电信号变化等。生理信号也被认为有助于疼痛识别，且相较于表情更加客观，因其无法被人为操控。具体来说，心率、皮肤电导、脑血流动力学、骨骼肌等的变化都被证实与疼痛相关，且可以由电子设备测量得到。

与外观变化相比，生理信号可以提供相对客观的与疼痛相关的信息。

Walter等[19]首先探索了生理信号sEMG (surface Electromyography，表面肌电图，衡量皱眉肌、颧骨肌肉等运动)和EDA (Electrodermal Activity，皮肤电活动)的振幅、频率、平稳性、熵、线性特征等。

Worley [20]等结合EEG、EMG、ECG、NIRS和视频监控到的行为动作特征构建疼痛事件监测系统。由于人体对疼痛的感知涉及到大脑的多个区域，通过对大脑活动的研究解码疼痛变得非常复杂。脑电图(Electroencephalogram, EEG)反映人体大脑皮层电活动的平均值，包含大量的生理病理信息。通过对脑电信号进行特征提取，有望实现对疼痛的客观评估，为疼痛的临床治疗提供更多信息。

近几年，非接触的、基于视觉的生理指标的预测在计算机视觉领域备受关注，因为它是一种快捷、方便的评估方法，并有很大潜力为未来的医疗智能、环境智能提供非接触式的测量支持。

4. 多模态数据融合评估疼痛的智能评估技术应用

多模态融合是指识别系统不仅利用视频所提供的信息，同时还结合其他信息源提供的信息，如生理信号(如心率、皮肤导电率等)、背景信息，或语音信号等[21]。由于近来多模态融合的疼痛预测方法被证实是有效的，并且比大多数单模态方法取得更好的效果[22] [23]，因此，融合不同信息源的疼痛表情识别及疼痛强度估计方法也越来越受到关注。

BioVid热痛数据库[24]采用了不同的方法，包括从传感器(GSR、EMG、ECG和EDA)获取的多模态数据和参与者面部的视频。该数据库包含87名参与者中每个人的四个逐渐增加的人工诱导疼痛水平以及基线数据。尽管实验涉及健康参与者，但记录的疼痛相关表情是真实的。最近，引入了多模态EmoPain数据集[25]。该数据集侧重于慢性疼痛，包括22名慢性腰痛患者和28名健康人的数据进行比较。这些参与者在现实的康复环境中进行了各种体育锻炼。该数据集包括高分辨率多视图视频、多向音频流、三维动作捕捉数据和来自背部肌肉的EMG信号。

B. T. Susam等[26]通过将皮肤电活动(EDA)记录与视频面部表情融合来开发客观的疼痛评估指标，从而补充基于主观自我报告的方法。结果表明，EDA和面部表情数据提供了较高的敏感性和特异性，但它们在临床显着疼痛与临床非显着疼痛分类方面的融合取得了显着改善，产生了90.91%的准确率，100%的敏感性和81.82%的特异性。一个基于多模态传感信号的客观疼痛强度估计系统[27]表明，面部表情、眼球运动、脑电图、皮肤电导率、皮肤温度和血压被证明是最有希望检测不同程度的疼痛状态的。

Salekin [28]等提出了一种新的多模态时空方法，它整合了视觉和声音信号，并将其用于评估新生儿术后疼痛。还比较了多模态和单模态术后疼痛评估的表现，并测量了时间信息整合的影响。在真实数据集上的实验结果表明，所提出的多模态时空方法具有最高的AUC (0.87)和精度(79%)，平均比单峰方法高6.67%和6.33%。

目前单模态和多模态法方法之间的显著不平衡。目前超过86%的报告研究[29]是基于单模态方法。基于接触传感器的方法和基于音频的方法只占少数；未来的研究还应分析身体活动的频率、强度、时间和类型，考虑步态、平衡功能和行走能力的检测，以提供更可靠的疼痛识别方法。我们还需要关注疼痛与其他情感状态的关系，比如负面情绪，这些情绪可能在痛苦事件中共存。

5. 结语

疼痛评估需综合考虑行为与生理反应等多方面因素。随着人工智能的发展，多模态数据融合评估疼痛可能是未来临床疼痛测量工具发展的一大趋势，有望在减少人力资源消耗的同时也可以提高评估结果的可靠性，更好地提高临床疼痛管理效能。当前的智能疼痛评估技术几乎是为急性疼痛或术后疼痛而设计，慢性疼痛很难评估，而潜在的慢性疼痛识别对医疗诊断工作有巨大的辅助价值，可及时提示病情变化，帮助提高预见性。未来的多模态智能疼痛识别技术在成熟的基础上应丰富不同疼痛类型识别的算法，抓住疼痛的共性反应，并在疾病发生中检验疼痛对病情进展的预警价值。建议临床人员与大数据等计算机研究人员合作，学科交叉，资源互补，以临床角度出发，增强该技术的临床实用性，聚焦于改善疼痛评估难点，解决临床问题，提升疼痛管理的临床效果。

NOTES

^*通讯作者。