基于混合神经网络的混沌噪声背景下微弱脉冲信号的检测

Detection of Weak Pulse Signals in the Background of Chaotic Noise Based on Hybrid Neural Networks

摘要: 微弱信号是指相对背景噪声而言，其信号幅度的绝对值很小、信噪比较低的一类信号，这种信号通常受到各种干扰和噪声的影响，使得其在背景中难以被准确检测或识别。微弱信号可能来自于远距离传输、低功率信号源、弱信号目标等情况。在实际应用中，检测和提取微弱信号是一项重要的技术挑战，因为微弱信号往往包含有用的信息，例如传感器信号、通信信号、生物信号等。有效地检测和分析微弱信号可以帮助我们了解环境、诊断疾病、进行通信传输等。为了提高微弱信号的检测精度，本文构建一种基于注意力机制的CNN-LSTM模型，首先，基于混沌信号对初始值的敏感性及短期可预测性，根据Takens定理对各局部传感器的观测信号进行相空间重构，建立Att-CNN-LSTM模型来对混沌信号进行预测，由此得到单步预测误差，此时，对观测信号的检测问题就可以转化为对一步预测误差的信号检测问题。最后，使用Z检验的方法对微弱信号进行检测，得到局部传感器的检测结果。实验结果表明，本文提出的模型有相较于其他模型有更好的表现。

Abstract: Weak signals refer to a type of signals with very small absolute values of signal amplitude and low signal-to-noise ratio relative to background noise. These signals are usually influenced by various interferences and noise, making it difficult to accurately detect or identify them in the background. Weak signals may come from long-distance transmission, low-power signal sources, weak signal targets, and other situations. In practical applications, detecting and extracting weak signals is an important technical challenge because weak signals often contain useful information, such as sensor signals, communication signals, biological signals, etc. Effectively detecting and analyzing weak signals can help us understand the environment, diagnose diseases, and facilitate communication transmission. To improve the detection accuracy of weak signals, this paper constructs a CNN-LSTM model based on the attention mechanism. Firstly, considering the sensitivity of initial values and short-term predictability of chaotic signals, the observation signals of each local sensor are reconstructed in phase space according to the Takens theorem. An Att-CNN-LSTM model is then established to predict chaotic signals, obtaining single-step prediction errors. At this point, the detection problem of observation signals can be transformed into a signal detection problem of one-step prediction error. Finally, the weak signals are detected using the Z-test method, and the detection results of local sensors are obtained. Experimental results show that the proposed model in this paper outperforms other models.

1. 引言

现如今随着科学技术的快速发展，信号处理及其理论方法已经广泛应用于雷达，通信，自动化，故障诊断等领域。目前，在信号处理的许多理论和实践问题中往往存在着复杂的混沌系统，随着混沌理论的成熟和应用的广泛，将混沌理论和微弱信号检测相结合已成为一种研究趋势 [1] 。如何在混沌噪声背景下检测出微弱信号并且如何采用更好的方法去提高混沌噪声背景下微弱信号的检测能力，利用较少的数据在任意噪声背景下实现较低的信噪比工作门限，准确预测出所需要的信号，这也是目前信号处理的一个研究热点和重要分支 [2] 。

近年来，分数最大相关熵算法、深度学习和极端学习机等方法被用于混沌时间序列的预测 [3] [4] [5] ，显著提高了预测精度。由于神经网络模型具有较强的非线性处理能力，因此神经网络得到了较好的结果。文献 [6] 证实，长短期记忆神经网络(LSTM)对预测混沌时间序列具有良好的鲁棒性，并具有较高的预测精度。文献 [7] 提出了一种基于脑情绪学习模型(BEL)和自适应遗传算法(AGA)的混沌时间序列预测方法，以解决传统神经网络方法收敛速度较慢的问题。混合神经网络也用于混沌时间序列的预测，大大提高了混沌时间序列的预测精度。文献 [8] 提出了一种关于注意机制的混合神经网络和预测模型，该模型比其他机器学习模型具有更高的预测精度。相较于单一的神经网络方法相比，混合神经网络获得了更好的检测性能。

因此，为了提高混沌背景中微弱脉冲信号的检测精度，本文提出了一种基于注意力机制的CNN-LSTM的混合预测模型。首先对局部传感器的观测信号进行相空间重构，利用CNN对重构后的相空间序列提取其空间特征，然后利用LSTM捕获空间特征下的时间特征，并采用注意力机制对其进行加权求和，得到最终观测信号的预测值，最后根据预测误差检测混沌噪声背景中是否存在微弱脉冲信号。本文旨在构建能有效提高混沌背景下微弱脉冲信号检测精度的混合神经网络模型，具体思路如图1所示。

Figure 1. Framework diagram of research ideas

图1. 研究思路框架图

2. 混沌噪声中的微弱信号检测融合问题

2.1. 局部传感器的检测问题

每个局部传感器观测到的信号都是相同的，由于微弱信号淹没在混沌噪声背景中，因此观测信号中不仅包含微弱信号即目标信号，还包含混沌噪声信号和白噪声信号 [9] 。假设H₀表示观测信号中没有目标信号，H₁表示观测信号中有目标信号，则在混沌噪声背景中微弱脉冲信号的检测问题可以抽象为如下的假设检验问题：

$\{\begin{array}{l}{H}_0:y\left(t\right)=c\left(t\right)+N\left(t\right)=\tilde{C}\left(t\right)\\ H_1:y\left(t\right)=c\left(t\right)+N\left(t\right)+s\left(t\right)\end{array}$ (2.1)

其中有y(t)表示观测信号，c(t)表示混沌背景信号，N(t)表示白噪声信号，s(t)表示微弱脉冲信号，其独立于混沌和噪声信号。由于检测的微弱脉冲信号淹没在混沌噪声背景信号中，无法直接检测出观测信号中是否含有微弱脉冲信号，需要对混沌噪声背景信号进行剥离，由此将上述的假设检验问题转化为：

$\{\begin{array}{l}{H}_0^{\ast }:y\left(t\right)-c\left(t\right)=N\left(t\right)\\ H_1^{\ast }:y\left(t\right)-c\left(t\right)=N\left(t\right)+s\left(t\right)\end{array}$ (2.2)

上式除去混沌噪声背景信号c(t)的干扰，可以更加直接的从观测信号检测是否含有微弱脉冲信号。接下来要做的工作有：1) 利用混沌背景信号这一先验知识，建立基于注意力机制的CNN-LSTM预测模型，得到预测误差。2) 从预测误差中检测是否存在有微弱脉冲信号。

2.2. 单传感器信号的预测

本文介绍的基于注意力机制的模型的结构图如图2所示，详细介绍如下：

第一层是输入层。将进行相空间重构后的混沌序列表示为x，则x的形状为(N, T, F)，其中N表示样本数，T表示时间步长，F表示每个时间步长的特征数。然后将相空间域数据集进行归一化处理，归一化的处理不仅能够消除量纲的影响，还能提高模型的预测精度，本文采用最大最小标准化处理。

第二层是卷积神经网络层(CNN层)。卷积神经网络层主要用于提取输入数据的局部特征。通过卷积层和池化层，卷积神经网络层可以有效地捕获输入数据中的空间特征，本模型使用一维卷积，卷积核的大小为3 × 3，池化核的尺寸为2 × 2，卷积层的激活函数为ReLU函数，数据经过卷积层核池化层处理后，输出到LSTM层。

第三层是长短记忆神经网络层(LSTM层)。LSTM具备选择性记忆的功能，可以选择记忆重要信息，过滤掉噪声信息，减轻记忆负担 [10] 。通过记忆单元和门控机制来控制信息的流动，其隐藏状态和记忆单元在每个时间步长更新，并传递到下一个时间步长。

第四层是注意力层。为了动态地关注输入序列的重要部分，我们引入注意力机制，通过注意力权重突出关键数据信息的影响，进一步挖掘重要特征之间的内部关系。注意力权重根据输入序列的重要性进行计算，然后将注意力权重与LSTM的隐藏状态相乘，就得到加权的特征表示。假设注意力权重为A，其中 $A=\left[a_1,a_2,\cdots ,a_n\right]$ ，则注意力权重的训练过程如下：

$a_t=\text{softmax}\left(\tanh \left(W{H}_t+b_t\right)\right)$ (2.3)

利用训练出来的权重对的输出向量进行加权求和，计算公式如下：

$S_t={\displaystyle \underset{t=1}{\overset{m}{\sum }}{a}_t}{H}_t$ (2.4)

其中W是权重矩阵，H_t表示LSTM在t时刻的输出，softmax为激活函数，用来对注意力权重进行归一化。

第五层是输出层。通过输出层得到预测结果，进而得到一步预测误差，以此来判断混沌背景中是否存在微弱脉冲信号。

Figure 2. Structure diagram of CNN-LSTM based on attention mechanism.

图2. 基于注意力机制的CNN-LSTM结构图

2.3. 单传感器信号的检测

利用Att-CNN-LSTM对相空间中重构的混沌时间序列进行预测，得到第i个传感器的一步预测误差 $e_i\left(t\right)$ 如下：

$e_i\left(t\right)=y_i\left(t\right)-g_i\left(Y\left(t-1\right)\right)$ (3.5)

利用一步预测误差来检测混沌噪声中是否存在弱脉冲信号。因此，假设检验问题可以转化为：

$\{\begin{array}{l}{H}_i{}_0:e_i\left(t\right)=N_i\left(t\right)\\ H_i{}_1:e_i\left(t\right)=N_i\left(t\right)+s\left(t\right)\end{array}$ (3.6)

在这种情况下，原假设表示预测误差只包含白噪声，而备择假设表示预测误差不仅包含白噪声，而且还包含一个弱信号。假设白噪声服从正态分布，即 $N\left(t\right)~N\left(\mu ,{\sigma }^2\right)$ ，则假设检验问题可以转化为：

$\{\begin{array}{l}{H}_i{}_0:\mu =0\\ H_i{}_1:\mu \ne 0\end{array}$ (3.7)

采用z检验的方法来检验微弱信号的存在性。对于给定的显著性水平为 $0<\alpha <1$ 我们构建统计量 $z=\left(e(t)-{\mu }_{e\left(t\right)}\right)/{\sigma }_{e\left(t\right)}\sqrt{n}$ 和 $p=p\left(\left|z\right|\ge z_{\alpha /2}\right)$ ，当 $p>\alpha$ 时，我们接受零假设，即 $u=0$ ，表示信号中没有观察到目标信号。

3. 仿真实验结果与分析

为了检验本文提出模型的普适性和优越性，本文以Lorenz混沌系统为试验环境。通常用信噪比(SNR)来衡量信号的强度，信噪比 $\text{SNR}=10\log \left(\frac{{\sigma }_s^2}{{\sigma }_c^2+{\sigma }_N^2}\right)$ ，其中 ${\sigma }_s^2=\frac{1}{n}{\displaystyle \underset{t=1}{\overset{n}{\sum }}{\left(s\left(t\right)-\bar{s}\left(t\right)\right)}^2}$ ， ${\sigma }_c^2=\frac{1}{n}{\displaystyle \underset{t=1}{\overset{n}{\sum }}{\left(c\left(t\right)-\bar{c}\left(t\right)\right)}^2}$ ， ${\sigma }_N^2$ 是白噪声N(t)的方差。一般而言，信噪比越大，说明观测信号中混杂的噪声越小，信噪比越小，说明观测信号中混杂的噪声越大，

Lorenz方程为：

$\{\begin{array}{l}\frac{\text{d}x}{\text{d}t}=-\sigma \left(x-y\right)\\ \frac{\text{d}y}{\text{d}t}=rx-y-xz\\ \frac{\text{d}z}{\text{d}t}=xy-bz\end{array}$ (4.1)

其中 $\sigma =10$ 、 $r=28$ 、 $b=8/3$ 。初始条件设置为 $x=1$ ， $y=1$ ， $z=1$ ，为了确保混沌和实验的真实性和有效性，丢弃前10,000个数据点，其余4000个数据点用于实验。本文选用的Dst指数来自世界地磁数据中心，选取2022年7月到12月中的4000条数据，时间间隔为1个小时。利用互信息法和Cao法得到了样本的延迟时间为9，嵌入维数为15。

3.1. 实验参数设置

假设微弱脉冲信号是两个周期的微弱脉冲信号叠加在一起的，令 $s\left(t\right)=1.5s_1\left(t\right)+2.5s_2\left(t\right)$ 。

$s_1\left(t\right)=\{\begin{array}{l}1t=T_1,2T_1,3T_1,\cdots \\ 0其他\end{array}$ (4.2)

$s_2\left(t\right)=\{\begin{array}{l}1t=T_1,2T_1,3T_1,\cdots \\ 0其他\end{array}$ (4.3)

产生长度为4000的时间序列， $T_1=15$ ， $T_2=25$ 记为 $\left\{s\left(t\right),t=1,2,3,\cdots ,4000\right\}$ ，在使用Att-CNN-LSTM模型进行预测前，首先对数据进行归一化处理，利用归一化将相空间域数据集统一到(0,1)范围内，本文采用最大最小归一化方法，具体如下：

${\hat{x}}_t=\frac{x_t-x_{\min }}{x_{\max }-x_{\min }},t=1,2,3,\cdots ,N$ (4.4)

其中， $x_t$ 为原始时间序列数据， ${\hat{x}}_t$ 为归一化后的时间序列数据， $x_{\min }$ 为时间序列的最小值， $x_{\max }$ 为时间序列中的最大值，N表示时间序列的长度。

3.2. 在Lorenz系统中的微弱信号检测

3.2.1. 微弱脉冲信号存在性的检测实验

在Lorenz系统中，利用Att-CNN-LSTM模型检测目标信号，此时，在信噪比为−48.8055 dB时，实验结果如下：

(a) (b) (c) (d)

Figure 3. Graph of the results of the observed signal. (a) Chaotic Background Signal with White Noise; (b) Observed Signal $x\left(t\right)$ ; (c) Prediction Error Graph of $\tilde{c}\left(t\right)$ ; (d) Prediction Error Graph of $x(\; t\; )$

图3. 观测信号的结果图：(a) 含白噪声的混沌背景信号；(b) 观测信号 $x\left(t\right)$ ；(c) $\tilde{c}\left(t\right)$ 的预测误差图；(d) $x\left(t\right)$ 的预测误差图

图3(a)和图3(b)分别代表包含白噪声的混沌背景信号 $\tilde{c}\left(t\right)$ 和观测序列 $x\left(t\right)$ ，图3(c)和图3(d)分别代表 $\tilde{c}\left(t\right)$ 和 $x\left(t\right)$ 单步预测的预测误差图。从图3(a)和图3(b)可以看出，两者的时间图基本一致，说明微弱的脉冲信号对混沌噪声背景信号的影响微乎其微，因此，无法轻易的将其检测出来。从图3(d)来看， $x\left(t\right)$ 出现了偏差较大的预测误差值，表示观测序列中可能存在微弱信号。

3.2.2. 单传感器下不同强度混沌信号的预测

为判断本文提出的模型是否具有普适性和优越性，保持微弱信号 $S\left(t\right)$ 的周期不变，使得 $a_1=1.5\times {10}^j$ ， $a_2=2.5\times {10}^j$ ， $j=-5,-4,-3,-2,-1,0$ 。对应的信噪比分别为：−279.0640 dB，−233.0123 dB，−186.9606 dB，−140.9089 dB，−94.8572 dB，−48.8055 dB，将其与单一的CNN和LSTM模型，未引入注意力机制的CNN-LSTM模型以及最小二乘支持向量机的预测结果进行比较。实验结果如表1所示。

由表1和图4显示的结果可以看出，在6个不同的信噪比下，Att-CNN-LSTM模型的误差最小，其预测性能要高于其他模型。其中单一的CNN和LSTM模型的预测结果要优于CNN-LSTM模型，说明混合模型提取了太多的非关键特征，降低了模型的精度，也可以看出，注意力机制对于特征的进一步处理有重要意义。另外，单一的LSTM模型结果要优于CNN模型，说明在重构后的相空间域数据集中，CNN提取的空间特征要优于LSTM提取的时间特征。

Table 1. Prediction results of chaotic signals with different signal strengths

表1. 不同信号强度混沌信号预测结果表

Figure 4. Comparison of prediction results of different models

图4. 不同模型的预测结果对比图

随着脉冲信号强度的变化，模型的检测性能也发生了改变。当SNR小于−140.9089 dB时，MAPE和RMSPE明显增大，Att-CNN-LSTM模型整体的预测效果不理想，这是因为此时的脉冲信号太弱，几乎被淹没在混沌噪声背景中。但当SNR大于−140.9089 dB时，模型的预测误差较小，非常接近真实值，所以Att-CNN-LSTM模型可以很好的适用于SNR大于−140.9089 dB时的微弱脉冲信号预测。

3.2.3. 单传感器下不同强度混沌信号的检测

为了验证本文提出的模型在微弱脉冲信号检验中的有效性，将其与单一的CNN和LSTM模型，未引入注意力机制的CNN-LSTM模型以及最小二乘支持向量机的检测结果进行比较。实验结果如表2所示。

Table 2. Detection results of chaotic signals with different signal strengths

表2. 不同信号强度混沌信号检测结果表

由表2可以看出，随着微弱脉冲信号强度的增加，模型的检测性能也逐渐增加，相较与其他模型，本文提出的模型在不同的信噪比下均取得了较好的结果。同样的，当SNR大于−140.9089 dB时，模型的准确率和召回率都很高，所以Att-CNN-LSTM模型可以很好的适用于SNR大于−140.9089 dB时的微弱脉冲信号检测。

3.2.4. 各局部传感器的检测结果

设置了20个传感器对该观测信号进行检测，假设从传感器1到传感器20的白噪声的均值都为0，方差分别为0.1，0.2，0.3，……，2。同样，每个传感器分别在训练集和测试集上进行检测，各局部传感器的检测结果如表3所示。

Table 3. Detection results of local sensors

表3. 局部传感器的检测结果

根据表3可以看出，20个传感器的ACC值和Rec值都比较高，说明检测结果较好，而且，随着白噪声方差的增大，传感器的ACC值和Rec值逐渐减小，说明局部传感器本身的观测白噪声对被检测的脉冲信号有一定的影响，而且观测白噪声越大，检测效果越差。

4. 结语

本文在前人研究的基础上，提出了一种基于注意力机制的CNN-LSTM混合神经网络检测方法，利用CNN对重构后的相空间序列提取其空间特征，利用LSTM捕获空间特征下的时间特征，同时引入注意力机制，对获得的特征进行加权。仿真实验结果表示，和单一的模型相比，本文构建的模型检验能力更强，运行时间更短，预测精度更高，在SNR大于−140.9089 dB时的微弱脉冲信号检测取得了较好的效果。

基金项目

重庆理工大学研究生创新项目资助(项目编号：No.gzlcx20232086)。