不同助航灯光情境下飞行员认知负荷识别研究
Research on Recognition of Pilots’ Mental Workload under Different Navigational Lighting Scenarios
DOI: 10.12677/jast.2024.122011, PDF, HTML, XML, 下载: 17  浏览: 38  科研立项经费支持
作者: 焦帅涛, 刘 闯, 张 帅, 张敬坤:中国民用航空飞行学院新津分院,四川 成都;朱文兵, 张晨阳:西南交通大学交通运输与物流学院,四川 成都;张 宇:西部航空有限责任公司飞行部,重庆
关键词: 飞行安全认知负荷助航灯光机器学习Flight Safety Mental Workload Navigational Lights Machine Learning
摘要: 该研究探讨了不同助航灯光情境下飞行员认知负荷的识别方法。助航灯光是飞机在夜间和复杂气象进场着陆中的重要视觉辅助工具,其失效会增加飞行员的认知负荷,影响飞行安全。本研究采用模拟机实验,设计了助航灯光完好和失效两种情况下的夜航进近着陆任务,使用便携式心电设备和NASA-TLX量表,采集了被试飞行员的PPG信号和主观负荷评分,分析了助航灯光失效对飞行员认知负荷的影响。通过提取PPG信号的HRV特征,并对比多种机器学习算法,构建了对飞行员认知负荷能有效分类的模型。结果表明,助航灯光失效显著增加了飞行员的主观认知负荷。KNN模型在识别飞行员认知负荷方面表现出最高的准确性,达70.23%。本研究的结果强调了助航灯光对保障飞行安全的重要性,研究为飞行安全管理提供了重要数据和有效工具。
Abstract: This study investigates methods for identifying pilots’ mental workload under different navigational lighting scenarios. Navigational lights serve as crucial visual aids for aircraft landing during night flights and complex weather conditions, with their failure increasing pilots’ mental workload and impacting flight safety. Through simulator experiments, this research designed tasks for night approach landings with both operational and failed navigational lights, collecting pilots’ PPG signals and subjective workload scores using portable electrocardiogram devices and the NASA-TLX scale to analyze the impact of navigational light failure on pilots’ mental workload. By extracting HRV features from the PPG signals and comparing various machine learning algorithms, an effective model for classifying pilots’ mental workload was constructed. The results demonstrated that the failure of navigational lights significantly increased pilots’ subjective mental workload. The KNN model exhibited the highest accuracy in identifying pilots’ mental workload, reaching 70.23%. The findings underscore the importance of navigational lights in ensuring flight safety, providing critical data and effective tools for flight safety management.
文章引用:焦帅涛, 朱文兵, 刘闯, 张帅, 张敬坤, 张宇, 张晨阳. 不同助航灯光情境下飞行员认知负荷识别研究[J]. 国际航空航天科学, 2024, 12(2): 88-95. https://doi.org/10.12677/jast.2024.122011

1. 引言

随着航空技术的飞速发展,飞行安全一直是航空领域的重中之重。机场跑道助航灯光作为飞机在夜间和复杂气象进场着陆中的目视辅助引导工具,对保障飞行安全具有重要的作用。关键助航灯光如中线灯、进近灯和PAPI (Precision Approach Path Indicator)灯,为飞行员提供了关于跑道位置和飞机进近角度的信息[1]。这些灯光通过不同的颜色和配置模式,帮助飞行员在复杂的夜间飞行环境中准确判断飞机相对于跑道的位置和姿态,从而做出及时和准确的调整。当助航灯光系统出现故障或失效,飞行员需要更高的认知资源来实现进近着陆操作,会使飞行安全受到威胁。中线灯的失效可能导致飞行员偏离跑道中心,增加事故风险;进近灯故障会干扰飞行员及时识别跑道,影响着陆决策的准确性;而PAPI灯失效可能导致飞行员误判下降路径,增加着陆过程中的风险。因此,探究飞行员在助航灯光失效情况下的认知负荷,并制定相应的调整措施,对保障飞行安全至关重要。

认知负荷是指在完成任务时所付出的注意力资源大小,认知负荷的大小取决于任务的复杂性、个体的先验知识、信息的呈现方式以及任务执行的环境[2]。在任务执行过程中,如果认知负荷过高,可能会导致工作记忆过载,影响任务的有效完成;相反,如果认知负荷过低,则可能意味着任务对个体来说过于简单,无法充分激发其认知潜能。因此,适当的认知负荷对于任务执行至关重要。为准确评估个体在执行任务过程中的认知负荷,通常采用三种主要的测评方法:主观测评、绩效测评和生理测评[3]。主观测评方法依赖于个体对自身认知负荷的主观感受和评价,常通过问卷调查,如NASA-TLX量表、Overall Workload量表等[4]进行。绩效测评方法关注个体在完成任务过程中的表现,例如任务完成时间、错误率和决策质量等。生理测评方法则基于对个体生理活动的观测,如心电信号、脑电信号、眼动追踪等,这些指标能够提供认知负荷的客观生理证据[5]

当前已有较多研究关注了飞行安全与认知负荷之间的联系。如刘承平等[6]使用眼动数据探讨了信息加工类型与多任务协同对飞行员脑力负荷的影响,提出了基于认知过程的飞行员脑力负荷动态预测模型。汪磊等[7]通过心率变异性指标以及平均瞳孔直径数,结合主观量表,对比分析了单人驾驶情境中飞行员脑力负荷变化水平。汪磊等[8]也结合眼动、心电等多种生理测量指标探讨了航线飞行员的脑力负荷与飞行员经验水平的关系。但是,针对助航灯光失效情境下飞行员认知负荷的特征研究相对较少。因此,采用生理信号数据建立一个助航灯光失效情境下飞行员认知负荷的识别模型,将有助于提升飞行安全、优化飞行员决策。

本研究将展开模拟机实验,设计助航灯光完好以及助航灯光失效两种情况下的夜航进近着陆任务,使用便携式心电设备以及NASA-TLX主观认知负荷量表采集被试飞行员的PPG信号及主观负荷评分,探讨助航灯光失效对飞行员认知负荷的影响。

2. 方法

2.1. 被试

本研究共招募了17名被试,年龄在21~24岁。所有被试均为中国民航飞行学院的学员,具有专业的航空知识,平均有128小时的累计飞行时长。所有被试无色盲色弱且视力或矫正视力正常,没有精神疾病或心脏疾病历史。实验前24小时内无饮酒、咖啡,无服用药物。被试在实验开始前签订了《知情同意书》。

2.2. 实验设备

在本研究中,本文使用了飞行模拟器来模拟飞行环境。飞行模拟器能够精确再现各种飞行情景,包括气象条件、飞行路线、机场环境以及助航灯光,提供高度真实的操控系统和视觉显示。Polar Verity Sense是一种便携式设备,可通过蓝牙连接到手机,用于监测光电容积描记图(Photoplethysmogram, PPG)信号。这些设备的使用可以确保实验数据的准确性和可靠性。

2.3. 实验场景

实验场景设置为广汉机场三转弯位置开始飞目视起落航线,模拟夜航助航灯光正常工作和助航灯光失效(中线灯、进近灯、PAPI灯不亮)两种飞行场景。飞行起始高度为2500英尺,飞行速度为90节,两个转弯都是90度角,最终降落到13号跑道。飞行场景示意图如图1所示。

Figure 1. Experimental flight scenario

1. 实验飞行场景

2.4. 实验过程与数据采集

实验开始前,要求被试填写个人信息表,为被试佩戴好Polar Verity Sense并且检查设备信号采集情况。实验开始后,被试需要在飞行模拟器中完成两种预设的实验场景下的进近着陆任务,以有效地触发飞行员在执行任务时的认知负荷变化。在完成每一项模拟飞行任务后,被试需立即填写NASA-TLX量表,以评估被试在任务中的主观认知负荷。

3. 数据处理

3.1. NASA-TLX量表数据处理

将每位参与者在每个任务完成后的评分进行整理和分析。NASA-TLX量表包括六个维度:心理需求、体力需求、时间压力、业绩水平、努力程度和挫败感。为了确定认知负荷形成过程中各因素的相对重要性,本研究采取了成对比较的方法,以评估它们在影响认知负荷方面的相对权重,计算各因素的加权平均值,得出最终的认知负荷分数。

3.2. PPG信号预处理

在本研究中,本文对采集的PPG信号中的脉搏间期(Pulse-to-Pulse Interval, PPI)数据进行了预处理,以确保数据分析的准确性和可靠性。首先,对PPI数据进行识别并去除异常值和离群值[9] [10]。异常值是指那些显著偏离正常范围的数据点,可能由传感器误差、信号干扰或被试的非标准生理反应造成。离群值则指的是那些显著偏离其他数据点的观测值。然后采用线性插值法来补全缺失值,这种方法涉及使用相邻的正常数据点来估算缺失或异常数据点的合理值,以此确保数据序列的连续性和完整性。

3.3. HRV特征提取

采用了30秒的时间窗口以及50%的重叠率来提取HRV特征。共计提取了26个常用的HRV特征指标[11],涵盖了时间域、频率域和非线性域的多个方面。时间域指标主要关注心率序列的统计特征,例如平均心率、标准差和RMSSD (均方根差)。频率域指标则分析心率序列的频谱分布,如高频(HF)、低频(LF)比率及它们的相对权重。非线性域指标则探讨心率序列的复杂动态行为,例如Poincaré图形特征等。详细特征及其描述见表1

Table 1. HRV characteristics

1. HRV特征

HRV特征

描述

单位

时域特征

Mean

脉搏间期(PPI)的平均值

ms

SDNN

PPI的标准差

ms

SDSD

连续PPI之间差异的标准差

ms

NN50

超过50毫秒的PPI数量

count

PNN50

超过50毫秒的PPI所占的百分比

%

NN20

超过20毫秒的PPI数量

count

PNN20

超过20毫秒的PPI所占的百分比

%

RMSSD

PPI连续差异的均方根

ms

Median

PPI的中位数

ms


STD HR

心率的标准差

bpm

Mean HR

平均心率

bpm

Max HR

一段时间内记录的最高心率

bpm

Min HR

一段时间内记录的最低心率

bpm

Range

PPI的最大值与最小值之间的差异

ms

CVSD

连续差异的变异系数

-

CV

PPI的变异系数

-

频域特征

LF

低频带的功率

ms2

HF

极低频带的功率

ms2

HFUN

高频成分在总功率中的标准化百分比

%

LFNU

低频成分在总功率中的标准化百分比

%

LF/HF

低频(LF)与高频(HF)的比值

%

Total Power

频率带的总功率

ms2

VLF

极低频带的功率

ms2

非线性特征

SD1

Poincaré图投影在垂直于连线的线上的标准差

ms

SD2

Poincaré图投影在连线上的标准差

ms

SD2/SD1

SD2与SD1的比值

%

4. 数据分析

4.1. 主观认知负荷量表分析

不同模拟飞行场景下被试的主观认知负荷得分如图2所示。与助航灯光正常情境下相比,飞行员在助航灯光失效情况下的主观认知负荷得分显著增加。这一结果表明助航灯光的失效显著增加了飞行员在飞行任务中的心理负荷。具体而言,在助航灯光失效的情境下,飞行员需要投入更多的注意力和认知资源来保证飞行安全,这可能是由于在缺乏视觉辅助的情况下,对飞行路径和状态的判断变得更加困难。

Figure 2. Subjective mental workload score mean value of pilots

2. 飞行员主观认知负荷得分均值

4.2. HRV特征统计分析

首先对HRV特征数据进行正态性检验。对于符合正态分布的数据,本文采用了T检验来分析不同条件下HRV特征的差异。T检验是比较两个独立样本均值差异的标准方法,适用于正态分布且方差齐性的数据。对于不符合正态分布的数据,本文则采用了曼–惠特尼U检验进行分析。曼–惠特尼U检验是一种非参数检验,适用于两个独立样本的中位数比较,尤其适合于不满足正态分布要求的数据。在本研究中,显著性水平设定为P < 0.05。当统计测试结果的P值小于0.05时,认为两组数据间的差异是统计上显著的。用于判断HRV特征在不同飞行情景下是否存在显著差异,从而对飞行员的认知负荷水平进行更准确的评估。差异性分析结果见表2。由结果可知,NN50、PNN50、NN20、PNN20在两种飞行情境中具有显著性差异。

Table 2. Difference analysis results in HRV characteristics

2. HRV特征差异性分析结果

特征

检验类型

统计量

P值

Mean

曼–惠特尼U检验

3619

0.9053

SDNN

曼–惠特尼U检验

3412

0.5989

SDSD

曼–惠特尼U检验

3071

0.1111

NN50

曼–惠特尼U检验

2604

0.0022

PNN50

曼–惠特尼U检验

2604

0.0022

NN20

T检验

−2.41681

0.0167

PNN20

T检验

−2.41681

0.0167

RMSSD

曼–惠特尼U检验

3075

0.1139

Median

曼–惠特尼U检验

3506.5

0.8180

STD HR

曼–惠特尼U检验

3234

0.2787

Mean HR

曼–惠特尼U检验

3369

0.5089

Max HR

曼–惠特尼U检验

3019

0.0791

Min HR

曼–惠特尼U检验

3513

0.8339

Range

曼–惠特尼U检验

3347

0.4658

CVSD

曼–惠特尼U检验

3154.5

0.1828

CV

曼–惠特尼U检验

3658

0.8095

LF

曼–惠特尼U检验

3388

0.5478

HF

曼–惠特尼U检验

2998

0.0685

HFUN

曼–惠特尼U检验

4001

0.1886

LFNU

曼–惠特尼U检验

4001

0.1886

LF/HF

曼–惠特尼U检验

3160

0.1886

Total Power

曼–惠特尼U检验

3320

0.4157

VLF

曼–惠特尼U检验

3405

0.5838

SD1

曼–惠特尼U检验

3071

0.1111

SD2

曼–惠特尼U检验

3438

0.6567

SD2/SD1

曼–惠特尼U检验

3901

0.3165

NN50是指在整个记录期间PPI差值超过50毫秒的次数,而NN20则是差值超过20毫秒的次数。较高的NN50或NN20值通常反映出心率的较大波动,这可能与心理应激、增加的心理负荷或情绪反应有关[12]。在更为复杂或要求更高的飞行情境中,飞行员可能经历更大的认知负荷,从而导致心率变异性变化。PNN50和PNN20分别是NN50和NN20占总PPI数量的百分比。这些百分比的显著差异进一步强调了在不同飞行情境下飞行员认知状态的变化。

4.3. 认知负荷分类

为了构建对飞行员的认知负荷能有效识别的模型,本文采用了多种机器学习分类算法:随机森林(RF)、支持向量机(SVM)以及K最近邻(KNN) [13]。其中,SVM考虑了径向基函数(RBF)和线性核函数。首先对特征进行了标准化处理,确保所有特征在相同的尺度上,从而避免了某些数值较大的特征对模型结果的过度影响。为了提升这些分类器的性能,对各算法的参数进行优选,以找到最适合本文数据集的配置。对于SVM,惩罚系数从1、2、4、8、16、32中选取;对于RF,基评估器参数的变化范围为10、50、100;对于KNN,临近值从1、3、5、7、9中选取。其他参数为scikit learn 1.1.0中的默认参数。

为了评估这些分类器的性能,采用了5折交叉验证的方法。5折交叉验证通过将数据集分为五个部分,轮流使用其中四部分进行训练,剩余一部分用于测试,以此来减少过拟合的风险并提高模型的泛化能力。分类器的性能通过几个关键的评价指标来衡量,包括准确率(Accuracy)、精确率(Precision)、召回率(Recall)和F1分数(F1 Score)。各模型的分类结果见表3。由结果可知,使用KNN分类模型时有最好的分类准确率、精确率、召回率和F1分数,分别达70.23%、70.95%、69.70%、69.61%。KNN模型的这种优异性能可能归因于其简洁性和对于非线性数据模式的敏感性,使其能够在不同飞行任务情境下有效区分飞行员的认知负荷水平。KNN模型在本研究中的表现验证了其作为飞行员认知负荷分类的有效工具的潜力。

Table 3. Classification results

3. 分类结果

分类器

准确率

精确率

召回率

F1分数

RF

0.6070 ± 0.0756

0.5984 ± 0.0888

0.5930 ± 0.0818

0.5840 ± 0.0918

SVM (Linear)

0.6608 ± 0.0743

0.6578 ± 0.0763

0.6537 ± 0.0793

0.6510 ± 0.0830

SVM (RBF)

0.6485 ± 0.0374

0.6497 ± 0.0383

0.6400 ± 0.0422

0.6362 ± 0.0452

KNN

0.7023 ± 0.0494

0.7095 ± 0.0611

0.6970 ± 0.0473

0.6961 ± 0.0477

5. 结论

1) 助航灯光失效会增加夜航飞行中飞行员在进近着陆过程中的认知负荷。为保障飞行安全,需定期检修助航灯光系统,保证其正常工作。

2) HRV指标(如NN50、PNN50、NN20和PNN20)能有效反映飞行员在助航灯光失效和正常情况下的认知负荷,为飞行安全管理提供重要数据。

3) KNN模型在识别飞行员认知负荷方面表现出较高的准确性,具有未来在飞行员训练和认知负荷识别系统中应用的潜力。

基金项目

民航飞行技术与飞行安全重点实验室飞行技术专题项目(FZ2022ZX07)。

参考文献

[1] 刘宏超. 通用机场助航灯光及机坪助航设备设计[J]. 光源与照明, 2023(8): 30-32.
[2] Young, M.S., Brookhuis, K.A., Wickens, C.D. and Hancock, P.A. (2014) State of Science: Mental Workload in Ergonomics. Ergonomics, 58, 1-17.
https://doi.org/10.1080/00140139.2014.956151
[3] Tao, D., Tan, H., Wang, H., Zhang, X., Qu, X. and Zhang, T. (2019) A Systematic Review of Physiological Measures of Mental Workload. International Journal of Environmental Research and Public Health, 16, Article 2716.
https://doi.org/10.3390/ijerph16152716
[4] Rubio, S., Díaz, E., Martín, J. and Puente, J.M. (2003) Evaluation of Subjective Mental Workload: A Comparison of SWAT, NASA-TLX, and Workload Profile Methods. Applied Psychology, 53, 61-86.
https://doi.org/10.1111/j.1464-0597.2004.00161.x
[5] 卫宗敏, 郝红勋, 徐其志, 等. 飞行员脑力负荷测量指标和评价方法研究进展[J]. 科学技术与工程, 2019, 19(24): 1-8.
[6] 刘承平, 肖旭, 赵竞全. 基于认知过程的飞行员脑力负荷动态预测[J]. 北京航空航天大学学报, 2023, 49(11): 2921-2928.
[7] 汪磊, 张之洋, 邵铿睿, 等. 模拟SPO情境中的飞行员脑力负荷测量与分析[J]. 中国安全生产科学技术, 2022, 18(12): 26-32.
[8] 汪磊, 王朔, 邹颖, 等. 基于任务情境的航线飞行员脑力负荷特征研究[J]. 安全与环境学报, 2023, 23(4): 1202-1208.
[9] Tiwari, A., Cassani, R., Gagnon, J., Lafond, D., Tremblay, S. and Falk, T.H. (2020) Prediction of Stress and Mental Workload during Police Academy Training Using Ultra-Short-Term Heart Rate Variability and Breathing Analysis. 2020 42nd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC), Montreal, 20-24 July 2020, 4530-4533.
https://doi.org/10.1109/embc44109.2020.9175414
[10] Gilgen-Ammann, R., Schweizer, T. and Wyss, T. (2019) RR Interval Signal Quality of a Heart Rate Monitor and an ECG Holter at Rest and during Exercise. European Journal of Applied Physiology, 119, 1525-1532.
https://doi.org/10.1007/s00421-019-04142-5
[11] Mohanavelu, K., Poonguzhali, S., Ravi, D., et al. (2020) Cognitive Workload Analysis of Fighter Aircraft Pilots in Flight Simulator Environment. Defence Science Journal, 70, 131-139.
https://doi.org/10.14429/dsj.70.14539
[12] Li, S., Yang, Q., Wu, P., et al. (2023) Heart Rate Variability Parameters Were Not Associated with 30-Day All-Cause Mortality in Intensive Care Unit Patients with or without Atrial Fibrillation: A Retrospective Study of the MIMIC-IV Database. Shock, 60, 24-33.
https://doi.org/10.1097/SHK.0000000000002149
[13] 王煜文, 王盛, 韩明秀, 等. 基于机器学习的飞行员脑力负荷评估研究进展[J]. 载人航天, 2021, 27(6): 789-796.