基于改进BP神经网络的设备管理与维修人员培训效果评估方法

Improved BP Neural Network-Based Training Effect Assessment Method for Equipment Management and Maintenance Personnel

摘要: 设备管理与维修培训领域，目前缺乏对受训者培训效果的评估方法，针对这一问题，建立了基于BP神经网络的设备管理与维修人员培训效果评估模型，利用麻雀搜索算法(SSA)对BP神经网络进行全局优化。实验结果表明，麻雀优化算法将误差值收敛至0.5以下。经过与其他模型对比测试，改进BP神经网络模型在R²、精度和召回率上表现优异。模型具有可重复性，在训练和测试集上的实验结果稳定，可以为设备管理与维修培训效果评估提供支持。

Abstract: In the field of equipment management and maintenance training, there is a lack of methods to assess the training effect of trainees, to address this problem. Thus, a BP neural network-based model for assessing the training effect of equipment management and maintenance personnel was established, and a global optimisation of the BP neural network was carried out by using the Sparrow Search Algorithm (SSA). The experimental results show that the sparrow optimisation algorithm converges the error value to below 0.5. After comparison testing with other models, the improved BP neural network model performs well in terms of R², precision and recall. The model is reproducible and the experimental results are stable on both training and test sets, which can support the evaluation of equipment management and maintenance training effectiveness.

1. 引言

随着工业自动化和智能化的不断深入，设备管理与维修在现代工业生产中扮演着日益重要的角色。设备管理与维修人员是确保设备稳定运行、提高生产效率的关键。其职责既包括对企业生产设备的维护、故障诊断与修复、性能监控与优化等，也包括制定和执行设备管理策略、保障生产的连续性与稳定性等。复合型岗位职责要求人员不仅具有一定的知识储备和维修技术，还需具备应急处置、跨部门沟通等管理能力。随着设备的数字化程度提升，岗位人员的培养的要求增加、内容增多，人员不仅要熟悉设备的日常使用，还需熟练运用调度平台实施数据分析、做出决策等，一定程度上提升了培训组织的难度。

为了使培训模式适应新的岗位需求，需对培训进行改进[1]。评估是培训改进的关键环节[2]。评估，可以分为形成性评估和总结性评估。形成性评估实施在教学或培训过程中，目的是提供有关学习进展的反馈，帮助培训教师了解受训者的学习需求和困难，是针对受训人员的评估。总结性实施在培训过程结束后，目的是评价整个教学或培训项目的有效性，是针对培训模式、培训手段的评估。通过对比不同培训模式下受训者成绩，可以检验培训模式、培训手段的效果。因此，有效的形成性评估手段是实施总结性评估的前提。

当前的设备管理与维修培训有以下特点，一是对培训的改进逐步由模糊化向精细化、经验驱动向数据驱动的方向转变；二是对培训的总结性评估研究的多，对形成性评估研究的少，缺乏对受训者培训效果的评估方法。关于培训评估的方法，传统的培训评估由于数据量有限，主要以定性和定量结合的方法为主，主要有层次分析法、模糊综合评判法、灰色系统理论等。数据驱动的评估方法，可以减少主观性带来的影响[3]。数据驱动，即通过对培训数据的全周期监控和解构性评估，为培训改进提供科学依据[4]。BP神经网络因其强大的非线性映射能力和自学习能力，可以有效进行数据分析和学习。BP神经网络的训练阶段仍有其缓慢的收敛和容易进入局部最优的风险。为了解决这些问题，研究者们采用了模拟退火算法(Simulated Annealing, SA) [5]、遗传算法(Genetic Algorithm, GA) [6]和粒子群优化算法(Particle Swarm Optimization, PSO) [7]在一定程度上克服了BP神经网络的局限性。

针对以上问题，本文尝试建立基于BP神经网络的设备管理与维修人员培训效果评估模型。首先建立评估指标体系，用培训过程中的数据训练BP神经网络；使用麻雀搜索算法(Sparrow Search Algorithm, SSA) [8]优化BP神经网络，弥补BP神经网络收敛慢、容易陷入局部最优的不足。实验结果表明，SSA-BP神经网络能够较准确评估受训者成绩，为衡量设备管理与维修培训效果提供了支持。

2. 设备管理与维修培训评估指标体系

为解决培训内容更新快、内容量大等问题，在培训中构建了线上线下混合的培训模式，如下图1所示。在理论学习部分，受训者根据在线学习平台的课程进行学习，参与互动、回答课堂问题、完成章节考试等。在实际操作部分，受训者使用线下模拟平台进行练习；为培养受训者的团队工作能力，线下模拟平台终端可以在局域网范围匹配，实现编组练习；平台会记录个人和编组作业的过程。在线和线下培训的数据，会集中汇总形成培训数据库。

Figure 1. Basic description of the equipment management and maintenance training model

图1. 设备管理与维修培训模式的基本描述

设备管理与维修培训评估指标体系是为了全面衡量受训者在培训后的水平而构建的一套综合性评价体系。指标体系通过分析受训者在在线学习、线下个人和编组练习等多个环节中的表现，利用学习过程中产生的数据进行评估。该体系通过三个主要维度——基础能力、管理技能、团队贡献率——来全面评估培训效果和能力水平。

2.1. 基础能力

基础能力是指受训者在设备管理与维修领域的基本知识和基础技能，是进行更高级技能训练的前提。这一维度的评估主要关注受训者对理论知识的掌握程度以及在运用设备管理与维修平台的基本操作能力。

2.1.1. 设备管理与维修理论水平

评估受训者对设备管理与维修相关理论知识的理解和掌握情况。这包括对理论知识的记忆、理解和应用能力。通过线上课堂作答、考试以及线下测试的考试结果来衡量。具体以以下数据支撑。

答题正确率：反映受训者答对题目的比例。

题目难度：考虑题目的不同难度，并给予相应的权重。

重复答题次数：统计受训者在正确回答某个题目前所需的尝试次数。

答题时间：记录受训者解答每个题目所花费的时间，用以评估其对知识的掌握速度。

其他指标：包括答题频率、答题策略等。

2.1.2. 基础操作水平

衡量受训者在运用设备管理与维修平台的基本操作技能，如操作的准确性、效率和对修正错误的能力等。主要包括：

操作效率：通过比较基准时间与实际操作时间来衡量受训者的操作效率。

操作准确度：反映受训者操作的准确性，以准确操作次数占总操作次数的比例来表示。

回退操作频次：通过回退操作次数来评估受训者在操作过程中误操作的频率。

其他参数：如快捷操作使用频率等。

2.2. 管理技能

管理技能是受训人员工作中的重要技能。包括判断、沟通、决策、规划和应急响应等多个方面。

2.2.1. 综合判断能力

该指标用于评估受训者在面对复杂情况时，能够综合运用所学知识、技能和经验，对问题进行分析、判断并做出合理决策的能力。通过分析受训者对上级方案中要素的正确判断比例以及对故障诊断的得分来进行评价。

2.2.2. 沟通理解能力

此指标衡量受训者在沟通过程中对信息的理解程度和表达清晰度。通过评估受训者接收信息的理解准确度以及对信息的表达清晰度得分来进行判断。

2.2.3. 决策制定能力

该指标评估受训者在面对不同情况时制定决策的效率和质量。主要通过决策作业次数、平均决策响应时间和总作业时间等数据来进行评估。

2.2.4. 规划和资源管理能力

此部分评价受训者在规划设备管理与维修方案和资源分配时的能力。通过资源分配的合理性比例和规划执行的满意度得分来衡量。

2.2.5. 应急响应能力

该指标用于评估受训者在突发事件中快速制定应急计划和响应的能力。通过应急计划的及时性比例、应急响应的有效性得分和应急响应时间来衡量。

2.3. 团队贡献率

团队贡献率是指受训者在团队中的个人贡献程度，用以衡量受训者在团队中发挥的作用，评估的关注点在受训者通过个人能力提升团队整体表现的大小。

2.3.1. 任务延时影响指数

用于衡量个人在单个任务中延时对团队总延时的影响。通过计算个人任务延时与团队总延时的比率来评估个人对团队进度的影响。

2.3.2. 决策正确率

通过个人操作失误导致的回退操作与系统总回退操作的比率来衡量个人在决策过程中的正确性。

2.3.3. 额外任务承担能力

衡量个人在完成本职工作任务之外，承担并完成额外分配任务的能力。通过统计个人实际完成的总任务数量与本职任务完成数量的比例来评估。

2.3.4. 团队参与度指数

通过计算个人在每项团队任务中的作业时间与该任务总时间的比重来衡量个人在团队中的参与程度。

2.3.5. 指令有效性指数

衡量在岗位间沟通中传递的消息数量与实际任务完成情况的关系，用以反映指令的有效性。

2.4. 设备管理与维修培训评估指标体系构建

以上这三个一级指标共同构成了设备管理与维修培训评估指标体系。如图2所示。

Figure 2. Indicator system for evaluating equipment management and maintenance training

图2. 设备管理与维修培训评估指标体系

3. 基于BPNN的设备管理与维修培训评估方法

在构建指标体系的基础上，通过对培训数据库的提取处理，使用训练数据训练BP神经网络，使用SSA算法优化神经网络。基本过程如图3所示。

Figure 3. SSA-BP neural network based evaluation of equipment management and maintenance training

图3. 基于SSA-BP神经网络的设备管理与维修培训评估

3.1. 基于BPNN的受训者水平评估模型构建

人工神经网络(Artificial Neural Networks, ANN)以每一层的神经元接收前一层的输出作为输入，并通过激活函数生成输出信号[9]。在训练过程中，网络的权重会根据误差信号进行优化调整，以减少输出与预期目标之间的差距。BPNN能够广泛应用于图像识别[10]、语音识别[11]、分类预测[12]等多种任务。

对于受训人员的训练数据，本研究构建了一个三层BPNN结构，如图4所示，基本过程如下。

Figure 4. Basic structure of BP neural networks

图4. BP神经网络基本结构

设置网络权重和阈值。输入层的输出为x，输入层、隐藏层和输出层的神经元数量分别为n、p和m。隐藏层中第j个节点的输入和输出值的计算如公式(1)所示。

$\{\begin{array}{l}{I}_j={\displaystyle \sum _{i=1}^p{w}_{ij}{x}_i}+{\theta }_j\\ a_i^1=f\left(I_j\right)=\frac{1}{1+{\text{e}}^{-I_j}}\end{array}$ (1)

在公式(1)中，$I_j$ 表示隐藏层的输入值；$w_{ij}$ 表示连接权重；${\theta }_j$ 表示节点j的阈值；$a_i^1$ 表示隐藏层的输出值。

输出层中第k个节点的输入和输出值的计算如公式(2)所示。

$\{\begin{array}{l}{I}_k={\displaystyle \sum _{i=1}^l{w}_{jk}{a}_i^1}+{\theta }_k\\ a_k^1=f\left(I_k\right)=\frac{1}{1+{\text{e}}^{-I_k}}\end{array}$ (2)

在公式(2)中，$I_k$ 表示输出层的输入值；$w_{jk}$ 表示隐藏层和输出层之间的连接权重；${\theta }_k$ 表示节点j的阈值；$a_k^1$ 表示隐藏层的输出值。

反向传播过程需要确定全局误差是否满足设定的精度，当训练误差满足要求时，则结束算法学习，否则选择样本重新计算隐藏层神经元的输入值和输出值，直到误差满足设定要求或算法迭代结束，全局误差的计算如公式(3)所示。在公式(3)中，$d_{ik}$ 表示第i个训练样本的k输入值的预期输出；$y_{ik}$ 表示网络输入值的预测值；m表示样本输出的数量。

$E=\frac{1}{2}{\displaystyle \sum _{i=1}^1{\displaystyle \sum _{k=1}^m{\left(d_{ik}-y_{ik}\right)}^2}}$ (3)

BPNN的训练误差大小也与连接权重有关，通过梯度下降法进行纠正，计算过程如公式(4)所示，$\alpha$ 表示BPNN的学习率。

$w_{jk}=w_{jk}-\alpha \frac{\partial E}{\partial w_{jk}}$ (4)

$\alpha$ 代表梯度下降的速率，输出层的反向传播误差信号计算过程如公式(5)所示。

${\delta }_k=-\frac{\partial E}{\partial I_k}=-\frac{\partial E}{\partial y_k}\frac{\partial y_k}{\partial I_k}=\left(d_k-y_k\right)f^{\prime }\left(I_k\right)=y_k\left(1-y_k\right)\left(d_k-y_k\right)$ (5)

$w_{ij}$ 表示输入层和隐藏层之间连接权重，$w_{jk}$ 表示隐藏层和输出层之间连接权重。权重修正过程如公式(6)所示。

$\{\begin{array}{l}{w}_{ij}=w_{ij}-\alpha a_i^0{a}_j^1\left(1-a_j^1\right){\displaystyle \sum _{k=1}^m{\delta }_k{w}_{jk}}\\ w_{jk}=w_{jk}-\alpha a_j^1{y}_k\left(1-y_k\right)\left(d_k-y_k\right)\end{array}$ (6)

本研究选择训练数据作为输入变量，为了防止模型过拟合，需要根据实际输入变量的数量确定隐藏层的神经元的数量。其中，输入样本的维度即输入层神经元的数量n；输出结果的维度即输出层神经元的数量m。隐藏层神经元数量，影响着网络的收敛速度和预测准确性，隐藏层神经元数量p根据经验公式决定，如公式(7)所示。

$p=\sqrt{n+m}+a$ (7)

在公式(7)中，a是[1, 10]之间的常数，神经元数量通常是大于或等于0的整数。

3.2. SSA优化BPNN

BPNN具有非线性建模能力和并行计算能力，可以根据问题的需求灵活调整隐藏层的每个参数，可以适应各种复杂的评估问题。然而BPNN的泛化能力较弱，需要大量的训练样本才能达到更好的预测效果，优化过程容易遇到局部最优解。

麻雀搜索算法是一种群智能优化算法，算法的设计灵感源自麻雀的捕食行为，通过模拟麻雀的行为模式，将麻雀种群划分为发现者、跟随者和警戒者三类[13]。发现者主要负责探寻食物资源并为种群指引觅食方向，跟随者则跟随发现者的引导并参与食物的争夺；当一部分发现者在探寻食物过程中发现危险，会停止探寻行为并向麻雀群体发出警告，这部分为警戒者。通过设置发现者和跟随者不同的行为策略，赋予发现者较好的适应度值，保证其在搜索过程中优先于跟随者获取食物，并且拥有比跟随者更大的觅食搜索范围。发现者在安全范围内搜寻食物，当发现危险时，就会鸣叫发出信号，当警戒值超过阈值时，其转化为警戒者，麻雀种群会停止捕食行为，并迅速转移到安全的地方进行觅食。将搜索空间划分为若干个小区域，在每个区域内设置一定数量的麻雀，代表可能的解。“麻雀”在搜索空间中的运动受到自身记忆和群体影响，在搜索过程中，它们会随机选择目标点并朝目标点移动，同时记录并观察周围麻雀的最优解，以更新自己的移动方向和速度。通过这种方式，SSA能够在搜索空间中有效地寻找最优解。

SSA良好的全局搜索能力能够解决BPNN陷入局部最优的问题，提升收敛速度。因此，本研究选择麻雀搜索算法来优化BPNN的初始权重和阈值，将BP神经网络的权重和阈值设为麻雀种群的维度，将误差值设为麻雀的位置，得到的全局最优位置即为最低误差。BPNN在初始状态就使用了优化过的阈值和权重，故提高了收敛速度。优化过程如图5所示。

Figure 5. SSA algorithm to optimize BP neural network process

图5. SSA算法优化BP神经网络过程

算法步骤如下。

步骤1 初始化麻雀种群。

每个麻雀代表一个潜在的候选解，n为种群大小，d为种群维度，即麻雀群体为$n\times d$ 的元素矩阵，如(8)所示。

$X_{SSA}=\left[\begin{array}{cccc}{x}_{1,1}& x_{1,2}& \cdots & x_{1,d}\\ x_{2,1}& x_{2,2}& \cdots & x_{2,d}\\ ⋮& ⋮& & ⋮\\ x_{n,1}& x_{n,2}& \cdots & x_{n,d}\end{array}\right]$ (8)

种群维度d是SSA算法优化BP神经网络的关键。此处将BP神经网络的权值和阈值作为种群的维度，因此种群维度d为总权值W和阈值B之和。假设网络结构由L层组成，$N_i$ 表示第i层的节点数，其中输入层是第0层，输出层是第L层，种群维度d的计算公式如(9)所示。

$\begin{array}{l}d=W+B\\ W={{\displaystyle \sum }}_{i=0}^{L-1}{N}_i\cdot N_{i+1}\\ B={\displaystyle \sum _{i=1}^L{N}_i}\end{array}$ (9)

步骤2 确定初始适应度与初始最优个体位置。

麻雀种群的适应度值可以由公式(10)转换如下。f为适应度值。

$F_{SSA}=\left[\begin{array}{c}f\left(\left[x_{11},x_{12},\cdots ,x_{1d}\right]\right)\\ f\left(\left[x_{21},x_{22},\cdots ,x_{2d}\right]\right)\\ ⋮\\ f\left(\left[x_{n1},x_{n2},\cdots ,x_{nd}\right]\right)\end{array}\right]$ (10)

步骤3 更新发现者、跟随者及警戒者的位置。

发现者的位置更新过程如公式(11)所示，其中$X_{i,j}^t$ 表示第i只麻雀在第j维下迭代次数t的位置；$ite{r}_{\max }$ 表示最大迭代次数；$\alpha$ 和Q表示随机常数；$R_2$ 和ST分别表示警报值和安全阈值，当$R_2\ge ST$ 时，麻雀从广泛搜索区域飞往安全区域逃避天敌；L表示$1\times d$ 的矩阵。

$X_{i,j}^{t+1}=\{\begin{array}{ll}{X}_{i,j}^t\cdot \exp \left(\frac{-i}{\alpha \cdot ite{r}_{\max }}\right)\hfill & \text{if}{R}_2<ST\hfill \\ X_{i,j}^t+Q\cdot L\hfill & \text{if}{R}_2\ge ST\hfill \end{array}$ (11)

跟随者的位置更新过程如公式(12)所示，其中$X_p$ 表示发现者占据的最佳位置；$X_{worst}$ 表示全局最差位置；A表示$1\times d$ 的矩阵，满足$A^{+}=A^{\text{T}}{\left(A{A}^{\text{T}}\right)}^{-1}$ 。当$i>n/2$ 时，表示适应性较差的麻雀i处于饥饿状，麻雀群体需要前往食物更丰富的区域寻找食物。

$X_{i,j}^{t+1}=\{\begin{array}{ll}Q\cdot \exp \left(\frac{X_{worst}^t-X_{i,j}^t}{i^2}\right)\hfill & \text{if}i>n/2\hfill \\ X_p^{t+1}+\left|X_{ij}^t-X_p^{t+1}\right|\cdot A^{+}\cdot L\hfill & \text{if}i\le n/2\hfill \end{array}$ (12)

警戒者的位置更新过程如公式(13)所示，其中$\beta$ 为控制步长的系数，均值为0，方差为1的正态分布随机数；表示麻雀飞行方向的随机常数，取值范围为[−1, 1]；$f_i$ 表示种群的适应度值；$f_w$ 和$f_g$ 分别表示全局最佳和最差适应度值；$\epsilon$ 表示最小常数，防止分母为0。当适应度值达到全局最差适应度值时，表示麻雀感知到危险，停止捕食并立即向麻雀群体靠拢。

$X_{i,j}^{t+1}=\{\begin{array}{ll}{X}_{best}^t+\beta \cdot \left|X_{i,j}^t-X_{best}\right|\hfill & \text{if}{f}_i>f_g\hfill \\ X_{i,j}^t+K\cdot \frac{\left|X_{i,j}^t-X_{worst}^t\right|}{\left(f_i-f_w\right)+\epsilon }\hfill & \text{if}{f}_i=f_g\hfill \end{array}$ (13)

步骤4 迭代获得最优值。

如果当前最优值比上一次迭代的最优值好的话就进行更新操作，否则不进行更新，并继续进行迭代直到找到最优解。最终得到最优位置$X_{best}$ ，即优化的BPNN的最低误差值；$X_{best}$ 对应的最佳适应度值$f_g$ ，即BPNN初始化的权重和阈值。

4. 评估方法及优化算法性能测试

为了验证本研究设计的训练成绩评估模型及训练方案优化模型的有效性，本研究设计了性能测试和优化效果分析实验，并对结果进行了分析和讨论。

4.1. 基于SSA-BPNN的设备管理与维修培训成绩评估模型的性能测试

4.1.1. 参数设置

本文实验收集的数据来源于2022~2024年度的设备管理与维修培训人员。培训的方式为线上课程学习结合线下系统练习；线上选用iCourse平台的《设备管理与预防维修》和中国大学MOOC平台的《设备管理与预防维修》，线下选用课题组开发的设备管理与维修培训平台。受训人员训练分为理论学习、个人练习和编组练习三个部分，后两者依托培训平台实施。因课程教学模式改革和大纲调整等原因，统计区间内的班次训练安排存在差异。训练成绩是由设备管理工程师、设备维修工程师、生产经理和技术经理等在课中和结业阶段评价而来，成绩经过模糊综合评价、层次分析法进行处理，过程不作赘述。数据通过在线学习平台的课程管理数据以及培训平台的管理后台提取。整体数据在编码、清洗、筛选、特征选择后，部分数据通过指标体系进行了转换，最终共得到有效训练数据521组。数据基本格式表1所示。

Table 1. Equipment management and maintenance training achievement data

表1. 设备管理与维修培训成绩数据

数量	质量	受训者编号
		1	2	3	4	5	6	7	…	521
基础能力	设备管理与维修理论水平C1	8.2	7.9	7.1	8.6	9.0	6.8	7.5		8.9
	基础操作水平C2	9.5	9.2	9.7	9.0	8.5	9.8	9.6	…	9.1
管理技能	综合判断能力	5.5	6.4	6.1	5.9	7.3	4.6	6.7	…	5.8
	沟通理解能力C4	8.8	7.6	8.2	9.0	7.7	8.6	7.9	…	8.5
	决策制定能力C5	6.9	7.5	7.0	6.6	8.1	5.3	7.4	…	6.7
	规划和资源管理能力C6	7.4	7.8	8.2	7.1	8.6	6.5	7.9	…	7.6
	应急响应能力C7	9.0	8.4	7.9	9.2	8.5	9.3	8.8	…	8.9
团队贡献率	任务延时影响指数C8	2.1	2.5	1.9	2.3	1.8	2.7	1.6	…	2.0
	决策正确率C9	7.6	6.8	7.5	6.6	8.2	5.7	7.1	…	7.9
	额外任务承担能力C10	8.1	9.0	7.2	8.5	7.3	8.6	7.4	…	8.9
	团队参与度指数C11	9.2	8.6	8.9	9.5	8.8	9.4	8.7	…	9.0
	指令有效性指数C12	5.6	6.1	5.8	6.5	5.9	6.6	5.5	…	6.0
评分		7.5	8.3	7.7	8.0	8.5	7.2	8.1	…	7.9

数据集按7:3的比例随机分为训练集和测试集。实验环境位于Windows 10操作系统，计算机CPU为Intel Xore Silver 4210R@ 2.40GHz (×2) 64GB，GPU为NADIA GeForce RTX 3090 24GB。基于MATLAB2023b构建了神经网络和算法框架。

首先设置神经网络参数。不同隐藏层和节点数量的BPNN训练误差结果如表2所示。如表2所示，当隐藏层数量为2，第一层和第二层的节点分别为14和8时，BPNN误差最小。因此，本研究中设置的BPNN隐藏层为14-8，故权重总数为$12\times 14+14\times 8+8\times 1=288$ ，阈值总数为$14+8+1=23$ ，SSA算法的种群维度为311。根据实验经验，学习率设为0.1，最小训练误差设为0.0001。将SSA中的发现者个体设为种群中所有个体的20%，警惕组的麻雀个体设为总种群的10%，安全阈值ST设为0.8。

Table 2. Statistical results of BPNN errors with different hidden layers and number of nodes

表2. 不同隐藏层和节点数下BPNN误差的统计结果

隐含层数	第一层节点数	第二层节点数	第三层节点数	训练误差
1	6	-	-	5.033
1	10	-	-	3.938
1	14	-	-	4.274
2	6	4	-	4.451
2	10	6	-	3.769
2	14	8	-	3.467
3	6	4	4	5.213
3	10	6	4	4.846

4.1.2. SSA性能测试

为了测试麻雀搜索算法在模型中的优化效果，选取了部分其他智能优化算法进行配对，包括人工蜂群算法(Artificial Bee Colony Algorithm, ABC) [14]，蝙蝠算法(Bat Algorithm, BA) [15]，鲸鱼优化算法(Whale Optimization Algorithm, WOA) [16]，优化算法应用于BPNN的初始权重和阈值的优化搜索，以及智能优化算法在计算过程中展现的BPNN评估模型的最优解求解误差，选择平均相对误差(ARE)、R平方(R²)、精度(Accuracy)和召回率(Recall)四个评估指标进行对比。考虑到每次运行神经网络算法的结果存在差异，不同的评估模型运行了30次。BPNN、SSA-BPNN及其他智能算法优化的BPNN性能对比如表3、图6所示。

Table 3. Comparison of the performance of BPNN, SSA-BPNN and other intelligent algorithm optimized BPNNs

表3. BPNN、SSA-BPNN及其他智能算法优化的BPNN性能对比表

模型	平均相对误差(ARE)		R平方(R^2)		精度(Accuracy)		召回率(Recall)
	测试集	训练集	测试集	训练集	测试集	训练集	测试集	训练集
BPNN	0.442	0.367	0.854	0.768	0.756	0.789	0.746	0.721
ABC-BPNN	0.513	0.421	0.862	0.822	0.864	0.877	0.831	0.881
BA-BPNN	0.352	0.421	0.801	0.765	0.799	0.765	0.794	0.781
GA-BPNN	0.404	0.362	0.846	0.794	0.813	0.807	0.841	0.825
WOA-BPNN	0.321	0.333	0.733	0.801	0.867	0.877	0.803	0.813
SSA-BPNN	0.113	0.095	0.895	0.908	0.921	0.906	0.997	0.935

Figure 6. Comparison of the performance of BPNN, SSA-BPNN and other intelligent algorithm optimized BPNNs

图6. BPNN、SSA-BPNN及其他智能算法优化的BPNN性能对比图

可见SSA-BPNN模型的四个评价指标在测试集和训练集上的表现都相对较好。

平均相对误差(ARE)是预测值与实际值之间的平均相对误差，MRE越小，模型的准确性越高，SSA-BPNN在测试集和训练集上都保持了较低的误差值，这表明模型对数据的拟合能力和泛化能力较强。

R平方(R²)于衡量模型解释数据变化的能力，值的范围通常在0到1之间。值越大，模型解释数据变化的能力越强。SSA-BPNN在测试集和训练集上的R²值都较高，说明模型能够较好地解释数据中的变异性。

精度(Accuracy)和召回率(Recall)是分类问题中常用的评估指标。召回率表示正确预测的正类样本占实际正类样本的比例，而准确率表示正确预测的正类样本占所有预测正类样本的比例。这两个指标通常是一对矛盾的指标，代表模型捕捉正类样本的能力。SSA-BPNN在这两个指标上的表现也相当不错，尤其是在训练集上，精度和召回率都接近或超过了0.9，这表明模型在分类任务上具有较高的正确率和召回能力。

以上验证了SSA-BPNN模型可以更好地应用于设备管理与维修培训水平的评估，SSA-BPNN与BPNN的指标对比也可显示出SSA算法优化效果明显。

4.1.3. SSA-BPNN成绩评估模型效果分析

最后，将本研究设计的评估模型与实际值进行比较。如图7所示，SSA-BPNN模型的评估值与实际值的趋势基本一致，评估值与实际值高度吻合。可以看出，SSA-BPNN评估模型可以对设备管理与维修培训水平进行合理的评估。

Figure 7. Comparison of SSA-BPNN model test results with actual values

图7. SSA-BPNN模型测试结果与实际值的比较

5. 结论

科学合理的训练方案对于优化设备管理与维修培训效果、提高人员综合能力具有重要意义。为了适应新条件下不断变化的培训需求，本研究在传统BPNN模型的基础上引入了麻雀搜索算法，该算法可以实现BPNN的初始权重和阈值的优化，提高了BPNN模型的评估质量。实验结果表明，在寻找BPNN权重和阈值的最优解过程中，SSA算法显著降低了模型的误差，误差值收敛至0.5以下。与其他智能优化算法相比，SSA-BPNN模型在R2、精度和召回率上表现优异。模型具有可重复性，在训练和测试集上的实验结果稳定。综合以上实验结果，可得到以下结论，一是选取的SSA算法与其他算法相比，在优化建立的BP神经网络的效果上具有显著性；二是建立的基于SSA-BP培训效果评估模型能准确预测受训者成绩，可以为设备管理与维修培训效果评估提供支持。

本研究设计的评估和优化模型，使培训过程中的统计数据得到了最大化的应用，为线上线下混合式培训的普及提供了支持，为受训者个性化的自学自训提供了帮助。实际应用中，评估模型还需进一步调整，以适应岗位的新需求。