基于元学习的萌动期网络舆情预测模型

Public Opinion Prediction Model Based on Meta-Learning

摘要: 现有的时间序列预测模型在网络舆情处于萌动期时，因训练所用数据大多为历史相似事件的网络舆情数据，存在严重的过拟合问题。针对上述问题，本文提出一种基于元学习的萌动期网络舆情预测模型Reptile-BiLSTM，基于SIR模型构建舆情传播网络，根据舆情特点优化OLEI算法并计算舆论的影响力特征，在历史相似事件的舆情数据上对BiLSTM模型进行预训练，使用Reptile算法在少量目标事件的舆情数据上对预训练模型进行微调，提高模型在萌动期网络舆情发展预测任务上的表现。经实验验证，Reptile-BiLSTM在evs、r2指标上较BiLSTM分别上升6%、13%，表明本文提出的模型能够在网络舆情处于萌动期时较准确地预测其发展趋势，能够尽早地为相关工作人员引导舆情发展提供有效的决策支持。

Abstract: When the online public opinion is in the germination stage, the existing time series prediction model has a serious overfitting problem because most of the training data are the online public opinion data of similar historical events. To solve the above problems, this paper proposes a meta-learning based online public opinion prediction model Reptile-BiLSTM, constructs a public opinion communication network based on the SIR Model, optimizes the OLEI algorithm according to the characteristics of public opinion, calculates the influence characteristics of public opinion, and pre-trains the BiLSTM model on the public opinion data of similar historical events. The Reptile algorithm is used to fine-tune the pre-trained model on the public opinion data of a small number of target events to improve the model’s performance in predicting the development of online public opinion during the budding period. The experimental results show that the evs and r2 indexes of Reptile-BiLSTM are 6% and 13% higher than those of BiLSTM respectively, indicating that the model proposed in this paper can accurately predict the development trend of network public opinion when it is in the sprouting stage, and provide effective decision support for relevant staff to guide the development of public opinion as soon as possible.

1. 引言

信息科学技术和社交媒体平台的快速发展为人们提供了一个自由的舆论环境，也使得社会热点事件信息在社交网络中的传播活跃度达到了前所未有的高度。社会热点事件在潜伏、萌动、加速、成熟、衰退过程中产生的网络舆情对社会的稳定和国家的安定有着举足轻重的影响力 [1] ，若不能得到及时、正确的引导，很有可能引发网民的不良情绪，进而诱发大规模违法行为，对社会安全稳定构成严重威胁。因此，如何尽早地对社会热点事件的网络舆情发展趋势进行预测已经成为舆情演化研究领域的一项重要研究课题。

目前基于深度学习的时间序列预测模型已经能够为网络舆情分析人员提供一定程度的帮助，其中双向长短期记忆网络模型(Bi-directional Long Short-Term Memory, BiLSTM)因其出色的双向学习能力广泛应用于网络舆情预测任务 [2] 。BiLSTM模型对处于成熟期的网络舆情具有较好的预测能力，但由于处于萌动期及更早时期的网络舆情数据量较少，无法进行有效的训练，因此难以在网络舆情发展到一定规模前提供可靠的预测结果。

为了在网络舆情进入加速期前准确地预测其发展趋势，协助相关人员将恶性网络舆情的危害降到最低，本文针对BiLSTM模型在网络舆情处于萌动期时难以进行有效训练的问题，将元学习算法中的Reptile算法 [3] 和BiLSTM模型相结合，提出一种基于元学习的萌动期网络舆情预测模型Reptile-BiLSTM。

本文主要贡献：

(1) 基于SIR [4] 构建网络舆情传播网络，优化意见领袖节点影响力指数(OLEI) [5] ，计算舆论影响力特征以缓解模型在数据量少时难以有效分析网络舆情发展关键特征的问题。

(2) 对BiLSTM模型进行预训练后，得到具有一定先验知识的预训练模型。

(3) 基于Reptile算法提炼元参数，缓解预训练模型的过拟合问题。

2. 相关工作

1997年，Hochreiter等 [6] 提出LSTM模型，有效缓解RNN模型在反向传播过程存在的梯度消失和梯度爆炸问题，但无法分析当前时刻的状态与后方序列的关系。2005年，Alex Graves等 [7] 提出BiLSTM模型，其出色的双向学习能力能够更好地分析整个序列过程的演变。2014年，Kyunghyun Cho等 [8] 提出GRU模型，相比于BiLSTM模型有效减少训练时的时间、空间开销，但在预测准确性上略微下降。2015年，Dzmitry Bahdanau等 [9] 提出BilSTM-attention模型，优化模型预测结果的连续性，使输入信息与预测结果具有更强的关联性。2018年，白静等 [10] 提出BiLSTM-CNN模型，能够较准确地判断出群众对网络舆情的立场，但未对网络舆情的后续发展趋势进行解释。2019年，黄炜等 [11] 将BiLSTM-CRF模型用于反恐领域，能够准确识别网络舆情信息中的涉恐内容并进行预警，但无法在事件早期进行有效地分析。2019年，Guixian Xu等 [12] 将情感信息的贡献融合到传统的TF-IDF算法中，生成加权词向量，使模型更有效地捕获上下文信息。2020年，Ren Cai等 [13] 针对网络舆情评论的风格和质量差异导致难以准确提取用户观点和倾向问题，使用BERT-BiLSTM模型进行组合预测，能够较准确地预测舆情中网民的情绪倾向。2021年曾子明等 [14] 提出U-BiLSTM模型，提高预测突发公共卫生事件网络舆情演化的准确性，但该模型提取不同用户在社交媒体的情感影响力时存在不稳定、缺乏解释性等问题。2021年，L Breitfeller等 [15] 提出STAGE模型，能够得到明确的文本时间线索以提供丰富的语义信息。2021年，P Nandwani等 [16] 针对网络舆情中舆论情感分析的层次、各种情感模型以及情感分析和文本情感检测的过程进行了详细地阐述。2022年，陈登建等 [17] 提出LDA-CNN-BiLSTM模型，能够动态挖掘不同阶段下的突发公共舆情主题关注度演化并分析社会公众情感演化，但无法有效地对规模较小或处于萌动期及更早时期的网络舆情进行分析。2022年，秦权等 [18] 提出BERT-ATT-BILSTM模型，能够有效分析疫情事件发展过程中网民情绪的动态变化，但人工构建画像的方式不能广泛适用于各类舆情事件。2022年，Asutosh Mohapatra等 [19] 提出一种基于BiLSTM结合self-attention机制的混合深度学习模型，通过自我注意力机制动态评估并结合双向信息判断舆情内容的真实性。2022年，曾莉等 [20] 提出LDA⁃Attention⁃BiLSTM模型，能够揭示各主题下网络舆情事件爆发的主要原因、传播阶段的主要话题与事件处理结果等信息，但在分析过程中没有充分利用网络舆情发展的关键特征。

综上所述，众多研究者们已经为网络舆情预测领域做出了大量宝贵的贡献。但当网络舆情处于萌动期时，数据量过少，无法对模型进行有效的训练，因此常将历史相似事件的网络舆情数据置入训练集。由于历史相似事件的网络舆情数据量往往远多于当前处于萌动期的网络舆情数据量，从而导致模型出现过拟合问题，即使在训练时能够取得极低的损失值，也无法在测试集中获得较好的预测效果。为实现尽早地对突发事件的网络舆情进行分析，在网络舆情进入加速期前预测其后续的发展趋势，需要解决以下三个问题：

(1) 网络舆情处于萌动期时，数据量过少，模型难以对网络舆情发展的关键特征进行有效分析的问题。

(2) 仅使用处于萌动期时的网络舆情数据，会导致模型对网络舆情其他阶段的认知能力不足的问题。

(3) 大量历史相似事件的网络舆情数据带来的过拟合问题。

为解决上述问题，本文提出一种基于元学习的萌动期网络舆情预测模型Reptile-BiLSTM，对处萌动期时网络舆情进行及时、有效地预测。

3. 模型介绍

Reptile-BiLSTM模型的流程分为3个阶段：1) 影响力特征计算阶段。基于SIR模型构建网络舆情传播网络，使用优化后的OLEI算法计算舆论的影响力特征，缓解微调阶段数据量过少导致模型难以有效地分析关键特征的问题。2) 预训练阶段。在特征重构后的数据中筛选出历史相似事件的网络舆情数据，基于该数据构造预训练数据集并对BiLSTM模型进行预训练，使模型获得历史相似事件网络舆情各阶段特征分布的先验知识。3) 元学习微调阶段。在特征重构后的数据中筛选出目标事件的网络舆情数据，基于该数据构造微调数据集。使Reptile算法优化BiLSTM模型原有的权重更新方式，在微调数据集上对经过预训练后的BiLSTM模型进行微调，提高模型的细分领域能力，缓解过拟合问题。模型整体架构如图1所示。

Figure 1. Model framework diagram

图1. 模型框架图

3.1. 影响力特征计算

网络舆情的发展通常会受某些意见领袖的关键舆论影响，这类舆论往往是受大众认可、与群众情感联系密切、易于传播的舆论 [21] 。针对上述三个维度及网络舆情传播的特点，对OLEI算法进行改进，基于SIR模型对爬取得到的网络舆情数据构建网络舆情传播网络，使用改进后的OLEI算法计算舆论所属用户的影响力特征并近似为舆论的影响力特征。将舆论影响力特征作为影响网络舆情发展的关键特征之一，能有效筛除部分影响力极低的舆论，降低特征纬度同时显示地为模型分析网络舆情发展提供导向，缓解模型在数据量少时无法进行有效分析的问题。

通过爬取及预处理可以获得舆论的多项特征，包括舆论所属用户在一定时间内发布的相关原创内容总数量N、舆论的被转发数量C_r、舆论的被评论数量C_c、舆论的被点赞数量C_l、舆论下方评论区中的用户数量n_l、舆论所属用户的粉丝数量n_f、舆情传播网络中的总用户数量n、舆论的情感极性数值E_{r_snownlp}、舆论下方评论区内容的情感极均值E_{c_snownlp}，将舆论所属用户视为潜在的意见领袖，上述特征结合OLEI算法进行计算可以得到舆论所属用户转发指数p_r、舆论所属用户评论指数p_c、舆论所属用户赞同指数p_l、舆论转发情感极性指数 $E_r$ 、舆论评论情感极性指数 $E_c$ 、舆论所属用户的网络度中心性指数 $N_d$ 、舆论所属用户的网络中介中心性指数 $N_b$ ，结合上述七项结果能够得到舆情传播网络中舆论的影响力特征。

用户的转发指数 $p_r$ 与用户发布内容的被转发数量 $C_r$ 和用户在一定时间内发布的内容总数量N有关， $p_r$ 的计算过程如公式(1)所示。

$p_r={\left(\frac{C_r^2}{N}\right)}^{\frac{1}{3}}$ (1)

用户的评论指数 $p_c$ 与用户发布内容的被评论数量 $C_c$ 和用户在一定时间内发布的内容总数量N有关， $p_c$ 的计算过程如公式(2)所示。

$p_c={\left(\frac{C_c^2}{N}\right)}^{\frac{1}{3}}$ (2)

用户的赞同指数 $p_l$ 与用户发布内容的被点赞数量 $C_l$ 和该用户在一定时间内发布的内容总数量N有关， $p_l$ 的计算过程如公式(3)所示。

$p_l={\left(\frac{C_l^2}{N}\right)}^{\frac{1}{3}}$ (3)

用户的网络中心性指数 $N_d$ 与用户发布内容的评论区用户数量 $n_l$ 、用户的粉丝数量 $n_f$ 、舆情传播网络中的总用户数量n有关， $$ 的计算过程如公式(4)所示。

$N_d=\frac{n_f+n_l}{n-1}$ (4)

对OLEI算法中用户的网络中介中心性指数 $N_b$ 的计算方式进行改进，将计算过程中以社交网络最短路径进行统计的方式，更改为以社交网络最短路径结合舆情传播网络中舆论传递最短路径的方式进行统计，经过统计得到用户粉丝中无关注关系的人数 $n_{f\_ind}$ 、用户发布内容下方评论区用户中无关注关系的人数 $n_{l\_ind}$ ， $N_b$ 的计算过程如公式(5)所示。

$N_b=\frac{C_2^{n_{f\_ind}+n_{l\_ind}}}{C_2^{n-1}}$ (5)

舆论转发情感极性指数 $E_r$ 使用舆论的情感极性数值 $E_{r\_snownlp}$ ，舆论评论情感极性指数E_c使用舆论下方评论区内容的情感极均值 $E_{c\_snownlp}$ 。

结合上述七项结果可以得到舆情传播网络中舆论的影响力特征，该步骤的计算过程如公式(6)所示。

$OLEI=-{\log }_2\left(\frac{1}{p_r*E_r+p_C*E_C+p_l+N_d+N_b+1}\right)$ (6)

3.2. 预训练

相似事件的网络舆情发展特征分布存在相似性 [22] 。通过使用历史相似事件的网络舆情数据对模型进行预训练，结合BilSTM模型出色的双向学习能力对网络舆情发展的各阶段特征进行学习，解决仅使用处于潜伏期、萌动期时的网络舆情数据导致的模型对网络舆情其他阶段认知能力不足的问题。

在提取影响力特征后的网络舆情数据中筛选出历史相关事件的网络舆情数据 $X=\left[x_1,x_2,\cdots ,x_n\right]$ ，将该数据输入BiLSTM模型后，数据会经过正反两个LSTM模型，其中正向的LSTM模型可以正向学习由 $x_1$ 至 $x_n$ 内导致舆情被推进的各种因素，反向LSTM模型可以逆向分析 $x_n$ 到 $x_1$ 内舆情的发展与过往发生的事件间的关联，该过程所经历的模型网络结构如图2所示，图中的Forward Layer层为正向的LSTM模型，Backward Layer层为反向的LSTM模型。

Figure 2. BiLSTM model network structure diagram

图2. BiLSTM模型网络结构图

Figure 3. Cell structure diagram

图3. 基本单元结构图

输入单层LSTM模型的网络舆情数据会依次经过LSTM模型的基本单元cell，其结构如图3所示，该结构中独特的门控机制是LSTM模型对网络舆情进行分析的核心组件。门控机制是一种可选择性地让信息通过的组件，由一层Sigmoid为激活函数的网络层和一个逐个元素相乘的操作构成，Sigmoid激活函数的输出值在0到1之间，这个值代表了门允许通过的信息量。LSTM模型的门控机制由图3中的三个门结构实现，它们分别是遗忘门f_t、输入门i_t、输出门o_t。

输入cell的网络舆情数据首先会经过遗忘门，遗忘门结构将会有选择地保留上一个cell输出的隐藏状态和当前输入的网络舆情信息，该过程如公式(7)所示，其中 $\sigma$ 为Sigmoid激活函数， $W_f$ 为遗忘门的权重矩阵， $h_{t-1}$ 为 $t-1$ 时刻的隐藏状态， $x_t$ 为t时刻输入的网络舆情数据。

$f_t=\sigma \left(W_f\cdot \left[h_{t-1},x_t\right]+b_f\right)$ (7)

经过遗忘门筛选后的网络舆情信息接下来会经过输入门，输入门结构将会决定当前输入的网络舆情数据需要保留多少信息并将保留下来的信息添加到cell的单元状态中，该过程如公式(8)和公式(9)所示，其中 $W_i$ 、 $W_c$ 为输入门的权重矩阵，tanh层用来获取候选的保留信息。

$i_t=\sigma \left(W_i\cdot \left[h_{t-1},x_t\right]+b_i\right)$ (8)

${\tilde{c}}_t=\tanh \left(W_c\cdot \left[h_{t-1},x_t\right]+b_c\right)$ (9)

经过输入门筛选后的网络舆情信息接下来会经过输出门，输出门结构用于获得当前时刻cell的输出以及隐藏状态，该过程如公式(10)和公式(11)所示，其中 $W_o$ 为输入门的权值， $c_t$ 为当前时刻cell的单元状态。当前时刻cell的输出以及隐藏状态将会串行地传递给下一个cell。

$o_t=\sigma \left(W_o\cdot \left[h_{t-1},x_t\right]+b_o\right)$ (10)

$h_t=o_t*tanh\left(c_t\right)$ (11)

正向LSTM模块最后一个cell的结果与反向LSTM模块最后一个cell的结果合并后可以得到预测结果，计算预测结果与真实的网络舆情数据的差距作为损失，通过反向传播对BiLSTM模型的权重进行更新，进而使模型习得相似事件网络舆情各阶段的特征分布。

3.3. 元学习微调

由于处于萌动期的目标事件网络舆情与预训练阶段所用的相似事件网络舆情在特征分布上存在一定的偏差，预训练模型往往会出现过拟合问题 [23] 。通过使用少量目标事件的网络舆情数据，对预训练模型进行微调，结合Reptile算法在小样本场景上出色的归纳偏差能力，对模型权重进行更新，使模型更适合目标事件网络舆情的发展预测任务，缓解过拟合问题。

在提取影响力特征后的网络舆情数据中筛选出目标事件的网络舆情数据集T，设定学习率α、随机梯度下降次数k，每个batch中所含的task数量为n。将Reptile算法常用的任务抽取方式从随机抽取变更为按照相对时间顺序抽取，在数据集T中抽取任务t，使用模型当前的权重进行预测，计算预测结果与真实的网络舆情数据的差距作为损失，进行随机梯度下降(Stochastic Gradient Descent, SGD)，上述算法执行的伪代码流程如图4所示。算法流程中的模型权重更新过程可以使用批处理版本，批处理版本的权重更新过程如公式(12)所示。

$\varphi \leftarrow \varphi +\alpha \frac{1}{n}\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\left(U_{T_i}^k\left(\varphi \right)-\varphi \right)$ (12)

Reptile算法通过一阶梯度对预训练后的BiLSTM模型进行权重更新的过程如下。

设目标事件的网络舆情数据集T中的每个任务提供k个损失值 $L_1,L_2,\cdots ,L_k$ ，首先进行如下定义：

Figure 4. Reptile algorithm flow diagram

图4. Reptile算法流程图

$g_i={L^{\prime }}_i\left({\varphi }_i\right)$ (13)

${\varphi }_{i+1}={\varphi }_i-\alpha g_i$ (14)

${\bar{g}}_i={L^{\prime }}_i\left({\varphi }_1\right)$ (15)

${\bar{H}}_i={L^{″}}_i\left({\varphi }_1\right)$ (16)

由上述定义公式，对Reptile算法中的SGD梯度进行泰勒展开可以得到公式(17)。

$\begin{array}{c}{g}_i={L^{\prime }}_i\left({\varphi }_i\right)\\ ={L^{\prime }}_i\left({\varphi }_1\right)+{L^{″}}_i\left({\varphi }_1\right)\left({\varphi }_i-{\varphi }_1\right)+O\left({\left|\left|{\varphi }_i-{\varphi }_1\right|\right|}^2\right)\\ ={\bar{g}}_i-{\bar{H}}_i\left({\varphi }_i-{\varphi }_1\right)+O\left(a^2\right)\\ ={\bar{g}}_i-\alpha {\bar{H}}_i\underset{j=1}{\overset{i-1}{{\displaystyle \sum }}}{g}_j+O\left(a^2\right)\\ ={\bar{g}}_i-\alpha {\bar{H}}_i\underset{j=1}{\overset{i-1}{{\displaystyle \sum }}}{\bar{g}}_j+O\left(a^2\right)\end{array}$ (17)

设权重向量更新操作为 $U_i$ ，则SGD的权重更新过程如公式(18)所示。

$\begin{array}{l}{g}_U=\frac{\partial }{\partial {\varphi }_1}{L}_k\left({\varphi }_k\right)\\ =\frac{\partial }{\partial {\varphi }_1}{L}_k\left(U_{k-1}\left(U_{k-2}\left(\dots \left(U_1\left({\varphi }_1\right)\right)\right)\right)\right)\\ ={U^{\prime }}_1\left({\varphi }_1\right)\cdots {U^{\prime }}_{k-1}\left({\varphi }_{k-1}\right){L^{\prime }}_k\left({\varphi }_k\right)\\ =\left(\underset{j=1}{\overset{k-1}{{\displaystyle \prod }}}\left(I-a{L^{″}}_j\left({\varphi }_j\right)\right)\right)g_k\\ ={\bar{g}}_k-\alpha \underset{j=1}{\overset{i-1}{{\displaystyle \sum }}}{\bar{H}}_j{\bar{g}}_k-\alpha {\bar{H}}_k\underset{j=1}{\overset{i-1}{{\displaystyle \sum }}}{\bar{g}}_j+O\left(a^2\right)\end{array}$ (18)

当公式(17)中k = 2时，可以得到Reptile算法对BiLSTM模型的权重更新过程，该过程如公式(19)所示。

$\begin{array}{c}{g}_{Reptile}=g_1+g_2\\ ={\bar{g}}_1+{\bar{g}}_2-\alpha {\bar{H}}_2{\bar{g}}_1+O\left(a^2\right)\end{array}$ (19)

通过上述推导过程，可以对Reptile算法对模型的权重更新方向与预训练阶段时对模型的权重更新方向进行比较，比较结果如图5所示。通过对更新方向进行分析可以得到，预训练能够较好地找到适用于当前任务的最佳权重，Reptile算法能够更好地找到适用于多任务的最佳权重。

Figure 5. Optimization direction comparison diagram

图5. 优化方向对比图

在Reptile算法进行优化权重的过程中选择Log-Cosh误差作为损失函数，该损失函数在所有地方均二次可微，Log-Cosh误差值的计算过程如公式(20)所示。

$L\left(y,y^p\right)=\underset{i=1}{\overset{n}{{\displaystyle \sum }}}\log \left(\cosh \left(y_i^p-y_i\right)\right)$ (20)

基于上述公式，对于任一batch中的任意task_i(其中 $i=1,2,3\cdots ,n$ )，使用公式(20)计算当前权重 $\varphi$ 的损失值，通过公式(19)计算权重更新值 $\Delta {\varphi }_i$ ，计算批次中各task对应权重更新值的均值作为本次权重更新值，完成各批次更新后得到适用于目标网络舆情发展预测的Reptile-BiLSTM模型权重。

4. 实验

4.1. 实验数据

本文使用的实验数据集由自行爬取得到的新浪微博网络舆情数据构成。对新浪微博平台上两次新冠疫情期间两个不同城市的网络舆情数据进行爬取，得到2022年3月份上海新冠疫情封城时期的微博网络舆情数据2,926,385条，2022年9月份山东济宁新冠疫情封城时期的微博网络舆情数据129,366条，部分爬取得到的微博网络舆情数据如图6所示。

Figure 6. Part of the Weibo network public opinion data diagram

图6. 部分微博网络舆情数据图

对爬取得到的微博网络舆情数据进行清洗，将无意义、主题无关、内容重复的数据清除。对清洗后的微博网络舆情数据使用SnowNLP模块进行分析，得到微博舆情文本内容、评论文本内容的情感极性，并将数据原本的文本内容替换为情感极性数值，部分结果如图7所示。

Figure 7. Weibo content emotion polarity score diagram

图7. 微博内容情感极性分数图

将上海新冠疫情封城时期的全量微博网络舆情数据与山东济宁新冠疫情封城时期前两日的微博网络舆情数据构建为训练集，将山东济宁新冠疫情封城时期两日后的微博网络舆情数据构建为测试集，其中将山东济宁新冠疫情封城时期前两日的微博网络舆情数据作为处于萌动期的目标事件网络舆情数据。

4.2. 实验参数

本文使用LSTM模型、BiLSTM模型、GRU模型、LDA⁃Attention⁃BiLSTM模型作为基准模型与Reptile-BiLSTM模型进行比对实验，实验中具体的实验参数设置如表1所示。

Table 1. Model parameter table

表1. 模型参数表

4.3. 实验对比模型

LSTM模型：该模型是一个特殊的循环神经网络，可以利用时间序列对输入进行分析，具有时间循环结构，能够很好地刻画时空关联的序列数据。

BiLSTM模型：该模型是由前向LSTM模型与后向LSTM模型组合而成，能够有效地学习到数据中的双向依赖信息，是目前进行网络舆情发展预测任务的最常用模型之一。

GRU模型：该模型是LSTM模型的一种变形，在大多数情况下与LSTM模型的性能相近，同时参数数量少于LSTM模型，因此训练的时间、空间成本更低。

LDA⁃Attention⁃BiLSTM模型：该模型能够在各主题下分析网络舆情情绪演化，并揭示网络舆情事件爆发的主要原因、传播阶段的主要话题与事件处理结果等信息。

Reptile-BiLSTM模型为本文提出的模型。

4.4. 实验结果分析

实验分为消极、中性、积极三种情绪的网络舆情发展趋势预测，分析三种情绪的实验结果得到的结论大体相近，因此以消极情绪发展趋势的预测结果进行实验结果分析说明。

使用训练后的LSTM、BiLSTM、GRU、LDA⁃Attention⁃BiLSTM、Reptile-BiLSTM模型分别在测试集上进行五次独立的实验，分别取独立实验中的最优结果作为对比结果，其中网络舆情的消极情绪发展预测结果如图8所示。对图8进行分析可以得到，LSTM、BiLSTM、GRU模型的预测结果曲线都仅能大致地体现网络舆情的消极情绪处于持续增长趋势，预测结果曲线过于平滑，无法为分析网络舆情发展的拐点提供有效的决策依据。在网络舆情发展的拐点附近，LDA⁃Attention⁃BiLSTM、Reptile-BiLSTM模型的预测结果曲线存在明显波动，较符合网络舆情发展的变化趋势，但LDA⁃Attention⁃BiLSTM模型在多个拐点处存在滞后问题。Reptile-BiLSTM模型能够较为准确地预测出网路舆情地整体发展趋势，同时能够较为及时地预测出网络舆情发展的拐点，能够对处于萌动期的网络舆情的发展趋势做出有效的预测。

Figure 8. Comparison of prediction results diagram

图8. 预测结果对比图

LSTM模型、BiLSTM模型、GRU模型、LDA⁃Attention⁃BiLSTM模型、Reptile-BiLSTM模型在测试集中消极情绪发展趋势预测结果的最佳指标得分数据如表2所示，这些指标分别衡量了模型预测结果的拟合优度、平均绝对误差、均方误差、均方根误差和决定系数，其中mae、mse、rmse三项指标是分别除以10²、10⁶、10²后的结果。通过对比五种模型的最佳得分可以得出，Reptile-BiLSTM模型在各指标上得分最高。五种模型对于中性、积极情绪的最佳预测结果对比结论与消极情绪对比结论大体相近，不再进行赘述。

由于r2指标同时考虑到了误差的均值和方差，能够有效地避免不同量纲对指标的影响，因此在分析模型参数k值与模型效果的关联时以r2指标为主要参考。分别在K取不同值时对模型进行训练,使用训练后得到的Reptile-BiLSTM模型在测试集上进行三次独立地预测实验，取最优结果作为最终预测结果，最优结果的r2得分如图9所示。对图9进行分析可以得到，k的取值由1逐渐增大到8时，模型的性能均在逐渐增强。当k的取值大于8后，随着k取值的变化，模型的性能发生波动，在本次实验中，k取值为32时，Reptile-BiLSTM模型的预测效果最好。

Table 2. Model prediction results score table

表2. 模型预测结果得分

Figure 9. Diagram of the relationship between k and r2

图9. k与r2关系图

在1050ti显卡机器上进行训练任务，当K取不同值时，Reptile-BiLSTM模型所需的训练时间如图10所示。当k取32时，Reptile-BiLSTM模型所需的训练时间为3小时56分钟，相同epoch、batch_size等参数情况下，LDA⁃Attention⁃BiLSTM模型所需的训练时间为4小时32分钟。

Figure 10. Diagram of the relationship between k and training time

图10. k与训练时间关系图

经过上述实验可以得出，相比于目前主流的BiLSTM模型，本文提出的Reptile-BiLSTM模型在预测处于萌动期的网络舆情发展趋势时表现更加优秀，整体的预测结果更贴合实际的网络舆情发展趋势。同时，与较新的LDA⁃Attention⁃BiLSTM模型相比，本文提出的Reptile-BiLSTM模型对于预测网络舆情发展的拐点具有更好的时效性，同时在进行模型训练时需要更少的时间成本。综上所述，本文提出的Reptile-BiLSTM模型能够对处于萌动期的网络舆情发展趋势进行有效的预测。

5. 结语

针对处于萌动期的网络舆情，BiLSTM等模型在少样本场景下训练效果差、过拟合的问题，本文提出一种基于元学习的萌动期网络舆情预测模型Reptile-BiLSTM。Reptile-BiLSTM模型使用SIR构建舆情传播网络，基于改进后的OLEI算法计算舆论影响力特征，通过Reptile算法对预训练后的BiLSTM进行微调，从而提高模型的泛化能力。经实验证明，相比于BiLSTM，Reptile-BiLSTM模型对处于萌动期的网络舆情发展趋势具有更好的预测效果，evs、r2指标分别上升6%、13%，整体预测曲线贴合实际发展趋势，同时能够及时地体现网络舆情发展的拐点。

在未来的工作中将会对文本内容的情感分析展开进一步的研究。本文采用SnowNLP模块对文本内容的情感极性进行分析，该方式存在分类准确性不足等问题。在接下来的工作中，将会尝试使用大语言模型对文本情感极性进行推理，提高分类有效性，进而提高舆情发展预测的整体准确性。

基金项目

上海市社科规划青年课题“突发公共事件中网络情绪共振的发生机制及治理研究”(2021EXW003)。