基于截断最大相关熵准则损失函数的鲁棒极限学习机

Robust Extreme Learning Machine Based on Truncated Maximum Correlation Entropy Criterion Loss Function

摘要: 极限学习机(Extreme Learning Machine, ELM)在前馈神经网络中具有高效快速的优势。然而ELM在面对异常值时较敏感，鲁棒性较差。本文对最大相关熵损失函数进行了截断，将最大相关熵损失函数进一步改进为能够限定最大损失为常数的截断最大相关熵损失函数，构建基于截断最大相关熵准则损失函数的鲁棒ELM模型，以此来抑制噪声和异常值对模型的影响。采用迭代重加权算法对模型进行求解。最后在数据集上验证所提出的模型的有效性。实验结果表明，该模型在噪声条件下提高了对噪声和离群值的鲁棒性。

Abstract: Extreme Learning Machine (ELM) has the advantage of being efficient and fast in feed forward neu-ral networks. However, ELM is sensitive to outliers and has poor robustness. In this paper, the maximum correlation entropy loss function is truncated, and the maximum correlation entropy loss function is further improved to a truncated maximum correlation entropy loss function that can limit the maximum loss as a constant. A robust ELM model based on the truncated maximum cor-relation entropy criterion loss function is constructed to suppress the influence of noise and outliers on the model. The iterative reweighting algorithm was used to solve the model. Finally, the validity of the proposed model is verified on the data set. Experimental results show that the robustness of the model to noise and outliers is improved under noisy conditions.

1. 引言

极限学习机(Extreme Learning Machine, ELM)是由黄等人在文献 [1] 中提出的一种简单高效的单隐层前馈神经网络算法。ELM随机选取网络的内权和隐层偏置，采用均方误差(Mean Squared Error, MSE)作为损失函数，并通过求解线性方程组得到唯一的解析解，因此克服了传统神经网络的一些不足，已被广泛应用于医学 [2] 、生物学 [3] 、故障诊断 [4] 、图像分类 [5] 、荷电状态估计 [6] 等领域。

由于ELM采用MSE作为损失函数，当样本中存在噪声和离群值时，离群值会放大对参数估计的影响，从而导致模型的敏感性和鲁棒性较差。因此，极限学习机的许多变体都致力于提高对极限学习机鲁棒性的研究。对于残差较大的异常点，通常采用迭代修正的方式来减少异常值的影响 [7] ，以获得鲁棒的极限学习机模型。当数据集中添加了不同程度的高斯噪声时，可以采用自编码器对输入数据进行重构，将隐层输出值关于输入的雅克比矩阵的F范数引入目标函数中，以提取更鲁棒的抽象特征 [8] 。

当然，还能从损失函数的角度出发，对损失函数进行变体以提高极限学习机的鲁棒性能。文献 [9] 提出了一种基于指数Laplace损失函数回归估计鲁棒极限学习机，由于指数Laplace损失函数具有非负、对称、有界等特点，能够有效地提高预测精度。文献 [10] 建立了基于1-范数损失函数和2-范数正则化项的鲁棒ELM模型，可以处理高维数据，且对不平衡的数据集也能产生良好的结果。文献 [11] 提出了四种不同的损失函数(1-范数、Huber、bisquare和Welsch)，采用了1-范数和2-范数正则化项防止过拟合，提出了统一的鲁棒正则化ELM。文献 [12] 提出了基于正则化相关熵准则的ELM，采用半二次规划求解所建模型，通过在人工数据集上进行仿真实验，实验结果表明正则化相关熵准则ELM优于传统ELM和正则化ELM。文献 [13] 提出了相关熵融合极限学习机，将核映射与系数加权相结合，用相关熵损失函数替代均方误差损失函数，推导出相关熵循环更新公式，增强了它的鲁棒性。文献 [14] 提出了基于最大相关熵准则的多尺度高斯核极限学习机，用最大相关熵准则代替多尺度核极限学习机中传统的最小均方误差准则构造目标函数，推导出基于最大相关熵准则的多尺度高斯核极限学习机，进而提高其鲁棒性。文献 [15] 提出了一种基于pinball损失函数和L1范数正则化的ELM模型，以实现鲁棒性和稀疏性的提高。

受上述研究的启发，本文在最大相关熵准则损失函数的基础上，采用截断思想，提出了截断最大相关熵损失函数，并将其引入到ELM框架中，建立了能够降低噪声和异常值影响的基于截断最大相关熵准则的鲁棒极限学习机(Truncated Maximum Correntropy Criterion Extreme Learning Machine, TMCCELM)，实验结果表明当数据中异常值过多且残差较大时，本文TMCCELM的结果优于对比的几种鲁棒极限学习机算法，具有较好的鲁棒性和较高的预测精度。

2. ELM模型

给定N个训练样本的数据集 ${\left\{\left(x_i,y_i\right)\right\}}_{i=1}^N\left(i=1,2,\cdots ,N\right),x_i\in R^n,y_i\in R$ ，具有L个隐藏节点和激活函数 $g_i\left(x\right)$ 的数学表达式为：

$f\left(x\right)={\beta }_{i}G\left({\omega }_i{x}_i+b_i\right),i=1,2,\cdots ,N$ (1)

其中 ${\omega }_i$ 是输入层和第i个隐藏层神经元之间的输入权值， ${\beta }_i$ 是连接第i个隐藏层神经元与输出层之间的输出权值， ${\omega }_i·x_i$ 表示 ${\omega }_i$ 与 $x_i$ 的内积，并且输出节点被选择为线性的，ELM网络中隐含层的映射生成的中间矩阵为：

$H\left[{\omega }_1,\cdots ,{\omega }_L,x_1,\cdots ,x_N,b_1,\cdots ,b_L\right]=\left[\begin{array}{ccc}G\left({\omega }_1\cdot x_1+b_1\right)& \cdots & G\left({\omega }_L\cdot x_1+b_L\right)\\ ⋮& \ddots & ⋮\\ G\left({\omega }_1\cdot x_N+b_1\right)& \cdots & G\left({\omega }_L\cdot x_N+b_L\right)\end{array}\right]$

其中 $\beta ={\left[{\beta }_1,{\beta }_2,\cdots ,{\beta }_L\right]}^{\text{T}}$ 表示输出层和隐层之间的权值矩阵， $y={\left[y_1,y_2,\cdots ,y_N\right]}^{\text{T}}$ 表示训练样本期望输出矩

阵，式(1)可以写成如下形式：

$H\beta =y$

$H\beta =y$ 的最小范数二乘解 $\hat{\beta }$ ：

$\hat{\beta }=H^{+}y$

其中 $H^{+}$ 表示隐层输出矩阵H的Moore-Penrose广义逆。

3. T-MCC-ELM模型

3.1. 截断最大相关熵准则损失函数

相关熵是一种用来描述两组随机变量相似性的度量，已被广泛应用于信号处理和鲁棒学习领域 [16] 。对于给定任意两个随机变量 $A,B$ ，它们的相关熵可以定义为：

$V_{\sigma }\left(A,B\right)=E\left[K_{\sigma }\left(A,B\right)\right]$ ,

其中 $K_{\sigma }(\cdot )$ 是满足Mercer理论的核函数 $K_{\sigma }=\exp \left(-\frac{x^2}{2{\sigma }^2}\right)$ ； $\sigma$ 表示核函数宽度；E表示数学期望。在实

践中，联合概率密度通常是未知的，并且只有有限数量的数据可用，这导致了相关熵有以下的样本估计：

$V_{\sigma }=\frac{1}{M}{\displaystyle \underset{i=1}{\overset{M}{\sum }}{K}_{\sigma }}\left(A_i,B_i\right)$ ,

其中 $K_{\sigma }$ 是高斯核函数，对于变量 $A=\left[a_1,a_2,\cdots ,a_N\right]$ 和变量 $B=\left[b_1,b_2,\cdots ,b_N\right]$ ，A和B的差值可以表示为 $S=A-B=\left(s_i,s_2,\cdots ,s_N\right)$ ，其中 $s_i=a_i-b_i$ 。上式相关熵的最大值称为最大相关熵(Maximum Correntropy Criterion, MCC)，可以表示为 [17] ：

$\max \frac{1}{M}{\displaystyle \underset{i=1}{\overset{N}{\sum }}{K}_{\sigma }}\left(s_i\right)=\max \frac{1}{M}{\displaystyle \underset{i=1}{\overset{N}{\sum }}\exp }\left(-\frac{s_i^2}{2{\sigma }^2}\right)$ .

在MCC下，可以将问题转换为实际值y与预测值f之间的相似性问题，即

$\max V_{\sigma }\left(y,f\right)=\exp \left(-\frac{s^2}{2{\sigma }^2}\right)$ .

其对偶问题为：

$\min 1-\exp \left(-\frac{s^2}{2{\sigma }^2}\right)$ .

综上所述，在最大相关熵损失函数基础上，提出了截断最大相关熵损失函数：

$l_{\theta }\left(s_i\right)=\{\begin{array}{l}1-\exp \left(-\frac{s^2}{2{\sigma }^2}\right),1-\exp \left(-\frac{s^2}{2{\sigma }^2}\right)\le \theta ,\\ \theta ,1-\exp \left(-\frac{s^2}{2{\sigma }^2}\right)>\theta .\end{array}$

其中 $\theta >0$ 为预先给定的异常值的最大惩罚， $l_{\theta }\left(s_i\right)$ 的上界表明当误差超过某定值时，损失函数 $l_{\theta }\left(s_i\right)$ 值为常数，能够抑制异常值的影响。

3.2. 基于截断最大相关熵准则损失函数的鲁棒极限学习机

基于截断最大相关熵准则损失函数，本文建立具有抑制异常值影响的鲁棒ELM模型，其对应的优化模型具有如下形式：

$\begin{array}{l}\min \frac{1}{2}{\Vert \beta \Vert }_2^2+c{\displaystyle \underset{i=1}{\overset{N}{\sum }}{l}_{\theta }}\left(s_i\right),\\ \text{s}\text{.t}h\left(x_i\right)\beta =y_i-s_i,i=1,2,\cdots ,N.\end{array}$ (2)

其中第一部分是为了防止过拟合引入的 $L_2$ 正则化函数；第二部分是T-MCC函数，C表示正则化参数。为了解决(1)的二次规划问题，这里引入权重矩阵的 $w\left(s_i\right)$ ，构造如下拉格朗日函数：

$l\left(\beta ,S_i,\alpha \right)=\frac{1}{2}{\Vert \beta \Vert }_2^2+c{\displaystyle \underset{i=1}{\overset{N}{\sum }}{l}_{\theta }}\left(e_i\right)-{\displaystyle \underset{i=1}{\overset{N}{\sum }}{\alpha }_i}\left(h\left(x_i\right)\beta -y_i+s_i\right)$ (3)

其中 ${\alpha }_i$ 表示每个样本所对应的拉格朗日乘数法中的参数变量，对式(2)中每个参数求偏导数，令偏导数为0，可得：

$\begin{array}{l}\frac{\partial L}{\partial \beta }=0\Rightarrow \beta ={\displaystyle \underset{i=1}{\overset{N}{\sum }}{\alpha }_i}h\left(x_i\right),\\ \frac{\partial L}{\partial s_i}=0\Rightarrow {\alpha }_i=C\frac{\partial l_{\theta }\left(s_i\right)}{\partial s_i}=c{w}_i{s}_i,\\ \frac{\partial L}{\partial {\alpha }_i}=0\Rightarrow h\left(x_i\right)\beta -y_i+s_i=0\Rightarrow H\beta -y+s=0,\end{array}$ (4)

其中

$\begin{array}{l}\alpha ={\left[{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_N\right]}^{\text{T}},\\ w_i=\frac{\frac{\partial l_{\theta }\left(s_i\right)}{s_i}}{s_i}=\{\begin{array}{l}\frac{1}{{\sigma }^2}\exp \left(-\frac{s^2}{2{\sigma }^2}\right),{\left[1-\exp \left(-\frac{s}{2{\sigma }^2}\right)\right]}^2\ge \theta ,\\ 0,{\left[1-\exp \left(-\frac{s}{2{\sigma }^2}\right)\right]}^2<\theta ,\end{array}\\ s={\left[s_1,s_2,\cdots ,s_N\right]}^{\text{T}}.\end{array}$ (5)

由(4)可得隐含层输出权重 $\beta$ ，其最优解 $\beta$ ：

$\beta =\{\begin{array}{l}{\left(H^{\text{T}}WH+\frac{I}{C}\right)}^{-1}{H}^{\text{T}}Wy,N\ge L\\ H^{\text{T}}{\left(WH{H}^{\text{T}}+\frac{I}{C}\right)}^{-1}Wy,N<L\end{array}$

其中对角矩阵 $W=\mathrm{diag}\left\{w_1,w_2,\cdots ,w_N\right\}$ 。

4. 迭代重加权算法及T-MCC-ELM算法的设计步骤

为了得到 $\beta$ 的最优权重，同时兼顾模型的训练速度，本文采用了迭代重加权算法。单个样本的权重可表示为 $W\left(s\right)=\left(\partial L\left(s\right)/\partial s\right)/s$ ，即

$W\left(s\right)=\frac{1}{{\sigma }^2}\exp \left(-\frac{s^2}{2{\sigma }^2}\right)$ . (6)

因此，N个样本的权重可表示为：

$W\left(s\right)=\mathrm{diag}\left(w\left(s_1\right),w\left(s_2\right),\cdots ,w\left(s_N\right)\right)$ .

T-MCC-ELM算法设计

输入：训练集 ${\left\{\left(x_i,y_i\right)\right\}}_{i=1}^N$ ，正则化参数C，隐含层节点L，最大迭代次数 $k_{\max }$ 和迭代停止条件 $\rho$ ， $\rho >0$ ，计算隐藏层输出矩阵H，令 $W^{\left(0\right)}=I$ 和 $k=1$ 。

输出： $\beta$ 。

步骤1：根据下式，计算 ${\beta }^{(\; k\; )}$

$\beta =\{\begin{array}{l}{\left(H^{\text{T}}WH+\frac{I}{C}\right)}^{-1}{H}^{\text{T}}Wy,N\ge L,\\ H^{\text{T}}{\left(WH{H}^{\text{T}}+\frac{I}{C}\right)}^{-1}Wy,N<L,\end{array}$

由表达式（1），可得 $f^k\left(x\right)$ ；

步骤2： $s_i^{\left(k\right)}=y_i-f^{\left(k\right)}\left(x_i\right)$ 设置对角矩阵 $W^{\left(k\right)}$ ，其中 $W_i{}^{\left(k\right)}$ 为对角元素；

步骤3：令 $k=k+1$ ，计算 ${\beta }^{\left(k+1\right)}$ ；

步骤4：若 $k<k_{\max }$ ，且 $\Vert {\beta }^{k+1}-{\beta }^k\Vert >\rho$ ，则转步骤5；

步骤5：由式（1）得 $f^{\left(k+1\right)}\left(x\right)$ ，令 $k=k+1$ ，转步骤2。

5. 实验

下面的实验设计旨在验证TMCCELM在不同异常值存在情况下的鲁棒性能和计算效率。本文给出了TMCCELM和ELM、RELM、WRELM、RCCELM算法的实验结果，并通过统计测试比较了这些算法的性能。本实验的数据集分为训练集和测试集，选择sigmoid函数 $g\left(x\right)=1/\left(1+\exp \left(-x\right)\right)$ 作为激活函数，TMCCELM的最大迭代次数设置为20，且在Matlab9.10(R2021a)的环境下进行。

人工数据集采用回归问题中广泛使用的sinc函数作为目标函数的近似，定义如下：

$y\left(x\right)=\{\begin{array}{l}\frac{\sin x}{x},x\ne 0,\\ 1,x=0.\end{array}$

对于每个数据点 $\left(x,y\right)$ ，用于训练的x以统一的步长在 $\left[-1,1\right]$ 中选取，用于测试的x是从区间 $\left[-10,10\right]$ 中选取。为了全面评估异常值的鲁棒性，我们从 $\left[-10,10\right]$ 中随机选取扰动值添加在y的测试点上，且服从均匀分布，值得注意的是训练数据不包含异常值。为了揭示TMCCELM算法的鲁棒性，在不同水平异常点(包括0%、10%、20%、……、80%)数据集上分别进行了实验，在具有不同异常值水平的噪声环境情况下，对比了几个改进的极限学习机的鲁棒性。

为了更清楚地比较这些算法的性能，下面给出5种算法在异常值10%、30%、50%、80%下的sinc函数的回归图像，实验结果如下：

Figure 1. Sinc regression image of outlier 10%

图1. 异常值10%的sinc回归图像

从实验结果我们可以看出，ELM、RELM、WRELM在曲线两端出现波动，这是由于异常值的出现引入了额外的噪声，从而干扰了ELM的训练过程，导致在曲线两端拟合时出现波动。RCCELM模型在峰值处有较小的波动，表明最大相关熵损失函数在异常值存在的情况下表现相对于另外四种算法较感，通过观察图像两端发现，TMCCELM算法在异常值10%下的整体拟合效果较好。

当异常值增加至30%时，MCCELM和ELM均出现了较大的波动，ELM在右侧端点处对异常值的敏感程度较为明显。RELM、WRELM在端点处对异常值的敏感度增加，由于TMCCELM通过采用截断思想对模型进行了改进，这种改进使TMCCELM在处理包含异常值的数据时更具有鲁棒性，尤其体现在曲线两端拟合时减少了波动。

Figure 2. Sinc regression image of outlier 30%

图2. 异常值30%的sinc回归图像

Figure 3. Sinc regression image of outlier 50%

图3. 异常值50%的sinc回归图像

当异常值增加至50%时，RELM和WRELM由于引入了正则化和加权处理，仍然在端点处出现波动，并且在曲线其他部分并不是完全拟合，ELM在左侧端点处出现较大的波动，表现其在异常值50%的情形下对异常值的干扰更为敏感，TMCCELM在左侧端点处出现轻微波动，在曲线其余部分达到了完美拟合的效果。

Figure 4. Sinc regression image of outlier 80%

图4. 异常值80%的sinc回归图像

当异常值达到80%时，五种模型出现了不同程度的波动情况，其中MCCELM表现较为明显，ELM、RELM、WRELM、MCCELM曲线部分偏离原始曲线，朝向异常点，而TMCCELM的曲线始终最接近原始曲线，证明TMCCELM对异常值不敏感，从而验证了该模型的可行性以及对待噪声和异常值的鲁棒性能。

以上图1~4分别显示了五种不同的算法在受不同数量的异常值影响下的测试数据的性能。从这些图中，可以得到以下结果：

1) ELM和MCCELM导出的曲线被推向异常值的一侧；

2) 在异常值较大的情况下，MCCELM有偏离sinc曲线的趋势；

3) TMCCELM在这些算法中取得了最佳性能，相对于ELM、RELM、MCC-ELM和WRELM，其对异常值更鲁棒。

为了进一步评估这五种模型的鲁棒性能，接下来给出这五种算法在不同异常值下的训练RMSE和测试RMSE，如表1~4所示：

Table 1. RMSE of different algorithms with 10% outliers

表1. 不同算法在10%异常值下的RMSE

从训练RMSE来看，TMCCELM的表现最佳为0.0006，其次是RCCELM，WRELM通过加权和正则化处理，相对于ELM、RELM表现较好。从测试RMSE来看，TRCCELM和MCCELM相对于另外三个模型表现较好，表明TMCCELM和MCCELM在测试集上能够获得更准确的预测结果。

Table 2. RMSE of different algorithms under 20% outliers

表2. 不同算法在20%异常值下的RMSE

在异常值20%的情况下，TMCCELM和MCCELM在处理异常值时表现较好，它们的测试RMSE远低于另外三种算法。与异常值10%相比，TMCCELM的训练RMSE不变，测试RMSE增加了0.0001。

Table 3. RMSE of different algorithms under 50% outliers

表3. 不同算法在50%异常值下的RMSE

在异常值50%的情形下，TMCCELM算法的测试RMSE较于异常值10%和20%的情形，有略微增加，但相对于另外四种算法仍具有较低的误差，表明在异常值50%的情形下，TMCCELM模型对异常值更具有鲁棒性。

Table 4. RMSE of different algorithms under 80% outliers

表4. 不同算法在80%异常值下的RMSE

当异常值增加至80%的情形下，TMCCELM仍具有较低的RMSE，其值为0.0517，其次是WRELM和RELM，分别为0.0719和0.0721。ELM和MCCELM的训练RMSE和测试RMSE均较高，因此，在较多异常值的情形下，ELM和MCCELM对异常值更为敏感，鲁棒性能较差。

通过比较不同模型在异常值下的拟合效果以及这五种算法在包含噪声和异常值的数据的鲁棒性能，表明了TMCCELM在对待异常值时的鲁棒性能较强，为了更好的验证该模型的优越性，表5给出其在不同异常值下的训练时间。

Table 5. The training time of 5 algorithms with different outliers

表5. 不同异常值下5种算法的训练时间

通过比较不同异常值下的训练效果，由表5可以得出，在异常值10%时，TMCCELM的训练时间为0.0021，在异常值20%时，训练时间增加了0.004，随着异常值的增加，训练时间只产生微量变化，当异常值增加至80%时，训练时间不足一秒，因此，针对截断最大相关熵损失函数，本文给出了一个合理且有效的提升极限学习机鲁棒性的模型。

6. 总结

基于截断最大相关熵准则损失函数的鲁棒极限学习机采用截断最大相关熵作为损失函数，与传统的极限学习机相比，在对损失函数的选择上作出了改进，由于传统ELM采用最小二乘损失函数，对异常值表现较为敏感，而TMCCELM考虑采用截断思想，对最大相关熵损失函数进行了截断，将异常值的影响限制在可接受的范围内，使得模型在面对噪声和异常值时具有更强的鲁棒性和稳定性。

NOTES

^*通讯作者。