基于ConvGRU深度学习网络模型的PM_2.5浓度预测

PM_2.5 Concentration Prediction Based on ConvGRU Deep Learning Network Model

摘要: 针对于大气污染输送对PM_2.5浓度预测影响的问题，本文以珠江三角洲作为研究区域，采用珠江三角洲PM_2.5小时浓度数据作为研究数据，基于卷积操作和GRU模型构建了一种能够同时考虑时间依赖特征和空间特征的ConvGRU模型。并使用ConvGRU模型预测了珠海市PM_2.5小时浓度，结果表明：ConvGRU模型预测PM_2.5浓度和真实PM_2.5浓度相关系数高达0.83，均方误差(MSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPR)、均方根误差(RMSE)均显著小于SVM和RF和ConvLSTM、LSTM和GRU。

Abstract: In response to the issue of predicting the impact of atmospheric pollution transport on PM_2.5 con-centrations, this paper takes the Pearl River Delta as the research area. Hourly PM_2.5 concentration data from the Pearl River Delta were used as the research dataset. A ConvGRU model, which com-bines convolutional operations and GRU (Gated Recurrent Unit), was developed to account for both temporal dependencies and spatial features. The ConvGRU model was employed to predict the hourly PM_2.5 concentrations in Zhuhai. The results showed that the ConvGRU model achieved a high correlation coefficient of 0.83 between the predicted PM_2.5 concentrations and the actual values. Moreover, it outperformed other models such as SVM, RF, ConvLSTM, LSTM, and GRU, with signifi-cantly lower values of mean squared error (MSE), mean absolute error (MAE), mean absolute per-centage error (MAPR), and root mean squared error (RMSE).

1. 引言

近年来我国经济快速发展，空气污染已引起广泛关注 [1] 。其中，细颗粒物(PM_2.5)污染事件频发，这已成为困扰我国大部分城市和地区的首要环境问题 [2] 。PM_2.5粒子半径小且含有重金属等有毒有害物质，在空气中停留时间长，这给人们的生活、健康带来了极大危害 [3] 。预测空气污染可以为公众和政府机构应对严重污染事件提供有效的预警和决策支持。因此，亟需准确可靠地预测PM_2.5的环境浓度，以改善空气质量，保护公众健康，这具有十分重要的现实意义。

当前对空气污染物浓度预测的方法主要分为三种，分别为数值模型、统计模型和基于机器学习的预测模型 [4] [5] [6] 。数值模型是通过构造求解复杂的微分方程来模拟污染物在大气中的物理化学变化和输运过程，具有代表性的数值模型包括多尺度空气质量模型(CMAQ)和天气研究和预测模型(WRF-Chem) [7] [8] 。由于这些模型的准确性高度依赖于详细的污染物源排放数据，因此在实际预测中会存在不确定性。其次是基于对历史数据内部关系进行数据驱动挖掘统计模型，常见的有ARIMA和ARMA等经典统计模型 [9] [10] 。因为统计模型不涉及复杂的物理变化、化学反应和传输过程，所以统计模型计算成本低于数值模型。但此类模型主要适用于小型数据集和单变量时间序列建模，并且对数据的平稳性有严格的要求，因此极大地限制了经典统计模型在空气污染预测中的性能和适用性。最后是基于机器学习的预测模型，常见的有随机森林(RF)和人工神经网络(ANN)等 [11] [12] 。然而，上述模型往往需要研究人员手动构建特征，这很大程度上依赖于个人经验。并且在处理大数据集时，它们表现出不足以减少冗余数据的能力，这反过来又影响了它们的学习和泛化能力。因此，有必要构建更精确的模型来改进空气污染预测。

深度学习算法作为最新的机器学习成果，它具有优秀的自学习能力和非线性映射能力，因此被广泛应用在空气污染预测领域 [13] 。其中递归神经网络(RNN)及其变体，如长短期记忆模型(LSTM)和门控循环单元(GRU)，被专门用于序列预测。Biancofiore等 [14] 使用递归神经网络(RNN)来实现PM_2.5时间序列建模和预测，结果表明RNN在PM_2.5时间序列建模分析中的表现良好。然而，空气污染预测需要对各种复杂和非平稳的空气污染物数据和气象数据之间的时空关系进行建模，而单一的基于RNN的模型可能仍然不足以处理时空依赖数据集。因此，为了克服单个基于RNN的模型的缺点，加之卷积神经网络(CNN)具有出色的特征提取能力，故本研究采用CNN算法来增强时空建模。黄婕等 [15] 使用RNN-CNN深度学习预测模型对PM_2.5进行预测，结果表明，RNN-CNN模型在PM_2.5时间序列预测上的表现明显优于集成之前的RNN和CNN，而且泛化误差更低。杨雨佳等 [16] 采用CNN-GRU组合预测模型对臭氧进行预测，由于CNN-GRU模型融合了空间和统计特征，因此模型的预测精度较高并且具有较好的鲁棒性。

因此，本研究试图基于ConvGRU组合模型来探索珠海市PM_2.5浓度演变的时空特征。同时结合随机森林(RF)、支持向量机(SVM)、LSTM、GRU、ConvLSTM预测模型进行横向对比，以便充分挖掘PM_2.5数据的时空特征。通过上述研究，本文能更深入地为区域联防联控提供多步骤、准确和可靠的预警，并提高空气污染物的可预测性。

2. 数据与方法

2.1. 数据获取与预处理

本研究选取珠江三角洲地区(包含东莞、佛山、广州、惠州、江门、深圳、肇庆、中山和珠海9个城市) 2018年1月1日至2019年12月31日PM_2.5小时质量浓度数据作为研究对象，数据来自全国城市空气质量数据服务平台。由于停电、机器故障等非人为因素导致部分城市数据缺失，其中数据缺失分布相对均匀且缺失率均不超过1.5%，对于缺失数据采取前后时刻取平均值的方法进行填补。受限于篇幅原因，仅展示珠海市PM_2.5污染数据演化趋势，如图1所示。

表1为珠江三角洲2018年1月1日至2019年12月31日PM_2.5浓度数据的基本统计量结果。从均值和标准差来看，同一时期各城市的均值和标准差具有显著差异，这反映出PM_2.5浓度在空间上的变异性。从偏度与峰度来看，各城市的PM_2.5浓度时间演化均不服从正态分布，说明PM_2.5浓度演化可能具有非线性特征。

考虑到大气输送的影响，本研究将珠海市PM_2.5污染数据作为输出变量，其他城市PM_2.5污染数据作为输入变量。在将数据输入模型之前，需要对输入数据进行归一化处理。本研究使用的标准化方法是极差标准化，将所有解释变量的范围变为[0,1]之间，使用的公式如下：

$\widehat{X_t}=\frac{X_t-X_{\min }}{X_{\max }-X_t},t=1,2,\cdots ,N$ (1)

其中， $X_{\max }$ 和 $X_{\min }$ 分别表示原始数据集中的极大值和极小值。并将处理后的归一化数据按8:1:1的比例进行划分。

Table 1. Basic statistical of PM2.5 in Pearl River Delta

表1. 珠江三角洲PM_2.5浓度的基本统计量

Figure 1. Time series of Zhuhai PM_2.5

图1. 珠海市PM_2.5浓度时间序列图

2.2. 方法

2.2.1. GRU模型

Cho等 [17] 在循环神经网络(RNN)的基础上提出门控循环单元(GRU)，该算法解决了处理长时间序列时梯度消失的问题，并且去除了输出门，进一步提高了计算效率。因此本研究试图采用GRU算法，使模型的在每一个时间步对输入的时间序列数据产生新的记忆状态，并能在最后的一个时间步对记忆进行更新，其计算式如下：

$z_t=\sigma \left(W_z\left[h_{t-1},x_t\right]\right)$ (2)

$r_t=\sigma \left(W_z\left[h_{t-1},x_t\right]\right)$ (3)

$\widehat{h_t}=\tanh \left(W\left[r{}_t\ast h_{t-1},x_t\right]\right)$ (4)

$\widehat{h_t}=\left(1-z_t\right)\ast h_{t-1}+z_t\ast \widehat{h_t}$ (5)

其中， $x_t$ 表示神经元的输入， $W$ 表示候选隐藏状态权重矩阵， $W_z$ 表示更新门权重矩阵， $W_r$ 表示重置门权重矩阵， $\sigma$ 表示sigmoid函数， $h_t$ 表示隐藏层输出。

2.2.2. ConvGRU模型

本文提出的ConvGRU模型算法是GRU模型的一种扩展，该算法将GRU模型和CNN模型相结合。ConvGRU的主要思路是将卷积操作代替矩阵运算，这使得在特征提取过程中不仅包含了GRU提取的时间依赖特征而且还包含卷积操作捕获了空间特征。ConvGRU模型采用门结构控制信息流动，权重的一部分放到了卷积核内，另一部分放入循环层的循环核。

ConvGRU的计算过程如下所示：

$Z_t=\sigma \left(W_{xz}\times x_t+W_{hz}\times H_{t-1}\right)$ (6)

$R_t=\sigma \left(W_{xr}\times x_t+W_{hr}\times H_{t-1}\right)$ (7)

${H^{\prime }}_t=f\left[W_{xh}\times x_t+R_t\circ \left(W_{hh}\times H_{t-1}\right)\right]$ (8)

$H_t=\left(1-Z_t\right)\circ {H^{\prime }}_t+Z_t\circ H_{t-1}$ (9)

其中， $Z_t$ 表示更新门； $R_t$ 表示重置门； ${H^{\prime }}_t$ 表示候选门(即记忆状态)； $\times$ 表示卷积操作。 $\circ$ 表示哈达玛积； $f$ 表示非线性激活函数； $\sigma$ 表示Sigmoid激活函数； $H$ 和 $W$ 表示输入张量的高和宽。

2.2.3. 评估指标

为了更直观地评价模型的预测精度，使用均方误差(MSE)、平均绝对误差(MAE)、平均绝对百分比误差(MAPR)、均方根误差(RMSE)、可决系数(R²)对污染物浓度的预测结果进行评价。表达式如下：

$MSE=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{\left(y_i-{\hat{y}}_i\right)}^2}$ (10)

$MAE=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left|\left(y_i-\widehat{y_i}\right)\right|}$ (11)

$RMSE=\sqrt{\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}{\left(y_i-\widehat{y_i}\right)}^2}}$ (12)

$MAPE=\frac{1}{m}{\displaystyle \underset{i=1}{\overset{m}{\sum }}\left|\frac{y_i-{\hat{y}}_i}{y_i}\right|}$ (13)

$R^2=1-\frac{{\displaystyle {\sum }_{i=1}^m{\left(\widehat{y_i}-y_i\right)}^2}}{{\displaystyle {\sum }_{i=1}^m{\left(\bar{y}-y_i\right)}^2}}$ (14)

其中， $y_i$ 表示观测值； $\widehat{y_i}$ 表示预测值； $m$ 表示观测值的数量。

3. 结果与讨论

3.1. 预测结果和精度评价

为了验证ConvGRU模型的预测性能，本文以2种浅层机器学习模型(SVM和RF)和3种深度学习模型(ConvLSTM, LSTM, GRU)作为基准模型进行对比分析。

首先，将归一化数据进行数据划分，将数据按8:1:1的比例划分成3份，前80%的数据作为模型的训练集，中间10%的数据作为验证集，最后10%数据作为测试集。其次，将归一化后的训练集输入到6个模型中进行训练，其训练迭代次数均为100次，并使用中间10%验证集数据对训练的模型进行验证，以此验证模型是否发生过拟合和欠拟合情况。最后，使用训练好的模型计算测试集的MSE、MAE、MAPR、RMSE和R²。计算结果如表2和图2所示。

对比2个浅层机器学习模型(RF和SVM)的5个指标可以发现，ConvGRU模型的MSE、MAE、MAPR和RMSE均显著低于浅层机器学习模型，且R²显著高于浅层机器学习模型。与RF和SVM各指标的平均值相比，ConvGRU模型的评价指标MSE、MAE、MAPR和RMSE分别减少了17%、12%、17%和9%，R²则提升5%。这表明ConvGRU模型预测性能相较SVM和RF模型更好。这主要是由于在大气系统中，受气象、地形地貌和污染防治政策等因素的影响，PM_2.5的浓度演化具有显著的非线性和非平稳性特征 [18] 。因此，传统的浅层机器学习模型SVM和RF对于非线性和非平稳性数据学习能力要低于ConvGRU深度学习模型，故ConvGRU模型预测性能更优。

Figure 2. PM_2.5 prediction results

图2. PM_2.5预测结果图

Table 2. Model accuracy evaluation

表2. 模型精度评价

对比2个深度学习模型(LSTM和GRU)的5个指标可以发现，ConvGRU模型的MSE、MAE、MAPR和RMSE分别为53.07、5.16、0.22和7.28，均显著低于GRU和LSTM模型。并且ConvGRU模型的R²为0.83显著高于GRU和LSTM模型。与GRU和LSTM各指标的平均值相比，ConvGRU模型的评价指标MSE、MAE、MAPR和RMSE分别减少了11%、8%、8%和6%，R²则提升3%。这表明ConvGRU模型预测性能相较传统的GRU和LSTM模型更好。这主要是由于PM_2.5浓度演化不仅会受到过去时刻浓度演化的影响(时间依赖特征)，而且还会受到来自周边其他城市PM_2.5污染的影响(空间特征) [19] 。GRU和LSTM作为经典的循环神经网络模型，此类模型能够通过其特征结果捕获时间序列内在的时间依赖特征，即GRU和LSTM模型在实际运用中仅考虑了PM_2.5污染的时间特征而忽略了空间特征。而ConvGRU模型将卷积操作代替矩阵运算，这使得在特征提取过程中不仅包含了GRU提取的时间依赖特征同时还包含卷积操作捕获的空间特征。因此，ConvGRU模型预测性能要优于GRU和LSTM。

对比变体模型ConvLSTM模型的5个指标能够发现，ConvGRU模型的MSE、MAE和RMSE均低于ConvLSTM模型，但其MAPR和R²与ConvLSTM模型相等。与ConvLSTM各指标相比，ConvGRU模型仅MSE、MAE和RMSE评价指标分别减低了0.77%、0.77%和0.27%。这表明ConvGRU模型的预测性能要优于ConvLSTM模型但不明显。但在实验过程中，ConvLSTM模型的训练时长要远高于ConvGRU模型。这主要是由于与LSTM相比，GRU模型内少一个输出门，即ConvGRU模型内在参数比ConvLSTM模型少三分之一。因此，ConvGRU模型训练速度更快，故ConvGRU模型优于ConvLSTM模型。

3.2. 污染等级评估

依据国家环境保护标准空气质量指数规范 [20] ，对研究区域(珠海)的PM_2.5的真实值和预测值进行等级划分。由于PM_2.5浓度主要分布在0~115 $\text{μg}/{\text{m}}^3$ ，因此选取前3个等级进行分析，如表3所示。从真实值分布来看，珠海市PM_2.5污染数据量主要集中在1级(优)和2级(良)，而3级(轻度污染)的数据量相对较少。从6个模型的预测结果来看，ConvGRU模型1级污染数据量和真实值差距最接近，其次是LSTM模型，相差最大的是SVM模型；2级污染数据中，仍然是ConvGRU模型和真实值的数据量差距最接近，其次是ConvLSTM模型，相差最大的仍然是SVM模型。这表明在1级污染范围内，LSTM模型的预测效果相较ConvLSTM模型的预测效果更好，而在2级污染范围内则是ConvLSTM模型预测效果更好。总体而言，6个模型中ConvGRU模型对珠海市PM_2.5数据的预测效果与真实值最为接近，SVM模型预测结果差距相对而言最大。

Table 3. Predictionand comparison of PM2.5 pollution levels in Zhuhai by six models

表3. 6种模型对珠海市PM_2.5污染等级预测对比

4. 结论

本研究以珠江三角洲为研究区域，以PM_2.5小时浓度数据为因变量。考虑到空气污染受大气输送的影响，周边城市的PM_2.5污染也将会被目标城市PM_2.5浓度造成影响，即存在空间特征。据此，本文基于卷积层与GRU模型，建立一个新的能够有效捕获时空特征的深度学习模型ConvGRU模型来预测珠海市PM_2.5浓度。然后使用5个评估指标评价了ConvGRU的预测性能，并对比不同等级下珠海市PM_2.5真实值和预测值结果。得到以下结论：

1) 对于具有非平稳、非线性特征的PM_2.5浓度数据，ConvGRU模型比传统浅层机器学习模型MSE、MAE、MAPR和RMSE分别减低了17%、12%、17% 和9%，R²则提升5%，即ConvGRU模型比传统浅层机器学习模型更有优势。

2) 相比于GRU和LSTM的各评价指标的平均值相比，ConvGRU模型的评价指标MSE、MAE、MAPR和RMSE分别减低了11%、8%、8%和6%，R2则提升3%，即ConvGRU模型不仅能够捕获时间序列的时间依赖特征，而且还能提取多元时间序列间的空间特征。

3) 与ConvLSTM各指标相比，虽然ConvGRU模型仅MSE、MAE和RMSE评价指标分别减低了0.77%、0.77%和0.27%，但模型的计算效率得到了显著的提升。

4) ConvGRU在对污染等级评估过程，与真实情况最为接近，即ConvGRU预测结果更符合真实情况。

参考文献