对抗攻击下的高光谱图像分类

Hyperspectral Image Classification under Adversarial Attack

摘要: 近些年来深度学习在高光谱图像(HSI)分类领域取得了重大的进展，但是在面对对抗干扰时，神经网络所表现的脆弱性不容忽视。生成的对抗样本与干净样本相比，人眼几乎无法察觉，但是大多先进的深度学习模型可能会受对抗样本的愚弄，从而分类预测时误判。为了针对这一问题，本文提出了一种分层特征引导上下文网络(HFGCNet)。本文发现，通过利用高阶特征指导低阶特征学习的方法学习可以增强多尺度特征融合的有效性，能更好地提取出HSI所包含的全局上下文信息，为上下文网络的损失分摊模块提供一个更好的输入，显著地提高了神经网络面对对抗干扰时的鲁棒性。在两个公开HSI数据集上进行对比实验，结果表明与其他先进的深度学习模型相比，本文所提出的方法更具抵抗力。

Abstract: Deep learning has made significant progress in the field of hyperspectral image (HSI) classification in recent years, but the vulnerability exhibited by neural networks in the face of adversarial interference cannot be ignored. The generated adversarial samples are almost undetectable to the human eye compared to clean samples, but most advanced deep learning models may be fooled by the adversarial samples and thus misclassify the classification prediction. To address this problem, we propose a hierarchical feature-guided context network (HFGCNet). We find that learning by utilizing higher-order features to guide the learning of lower-order features enhances the effectiveness of multi-scale feature fusion, better extracts the global contextual information contained in the HSI, provides a better input to the loss apportionment module of the context network, and significantly improves the robustness of the neural network in the face of adversarial interference. Comparative experiments on two publicly available HSI datasets show that the method proposed in this paper is more resistant compared to other state-of-the-art deep learning models.

1. 引言

图像分类是从高光谱图像中提取出重要信息方法之一 [1] 。过去，研究者通常使用传统算法对遥感影像进行解码与分析。虽然传统算法具有一定的可解释性，但是太过于依赖专家领域的知识和人工设计的特征提取器。这些特征提取器也无法有效的区别不同类别之间的差异，从而导致传统算法无法高效、准确的对HSI数据分类 [2] 。深度学习凭借其端到端自动学习判别特征的优势缓解了这一问题。

Figure 1. Examples of adversarial attacks on deep neural networks for hyperspectral image classification Tasks

图1. 高光谱图像分类任务的深度神经网络的对抗性攻击示例

Chen等人首次在HSI分类中使用了深度学习，提出了一种基于无监督学习和自动编码器分层训练的光谱–空间信息联合分类网络 [3] 。鉴于HSI分类任务中标记样本数量，Zhu等人首次将对抗生成网络(GAN)引入到HSI分类任务中，更高效的扩展样本数量。同时设计针对空间和光谱特征的1D-GAN和3D-GAN模型作为相应的分类器 [4] 。Feng等人分别设计了生成器，用于生成包含空间和光谱信息的样本。他们还设计了一种通过提取光谱特征进行多重分类的判别器 [5] 。Zhang等人将Progressive GAN与wasserstein梯度惩罚概念相结合，实现了平滑稳定的训练 [6] 。尽管深度学习模型在遥感领域表现优异 [7] ，但是在面对对抗干扰时，极易做出错误的判断。Szegedy等人首次发现，在干净样本中加入对抗扰动会降低模型分类的准确性 [8] 。如图1所示，在原始干净图像上添加此快速符号梯度法(FGSM)后生成的对抗图像，人类视觉系统几乎无法辨别。本文使用Ghostnet [9] 作为深度学习示意模型。虽然Ghostnet在原始图像上可以实现98.25%的OA，但在对抗图像上却只有17.84%。这种落差无疑展现了对抗干扰会对用于HSI分类的深度学习模型构成巨大威胁。

针对该问题，本文提出了一种分层特征引导上下文网络的对抗防御方法。该方法在骨干网络中使用特征编码与远程编码模型。在连接方式中，为了更好的让高阶特征指导低阶特征学习，本文借鉴了U-Net的连接方法 [10] 。将最终学习到的特征输入到上下文网络中，利用上下文网络的损失共享机制增强模型内在的鲁棒性。最后通过设计的顺序特征融合模块进行多尺度拼接，增强融合特征的表征能力。该网络能更好的辨别不同类别之间的差异，同时增强模型的泛化能力。本文的模型在两个不同数据集上均取得了超过95%的总体准确率(OA)。

2. 高光谱数据集介绍

本文所用的数据集均为公开可用的。第一个数据集为Pavia University。该数据集由ROSIS传感器在意大北部帕维亚上空拍摄得到的。空间分辨率为1.3米，共有115个波段，空间维度大小为610 × 340，处理12个噪声波段后剩余103个波段，有9个特征类别可供分类。Pavia University数据集的真实遥感影像和地面实况图如图2示，各个地物样本数量如表1所示。

(a) 原始图像 (b) 地面实况图

Figure 2. Pavia university dataset

图2. 帕维亚大学数据集

Table 1. Number of training and testing samples used University of Pavia dataset

表1. 帕维亚大学数据集中使用的训练和测试样本数帕维亚大学数据集

第二个数据集为Salinas。该数据集由AVIRIS传感器获取，空间分辨率为3.7米，空间维度大小为512 × 217。原始数据包含224个波段，剔除水汽吸收严重的波段后，剩下204个波段，有16个特征类别可供分类。Salinas数据集的真实遥感影像和地面实况图如图3示，各个地物样本数量如表2所示。

Table 2. Number of training and testing samples used Salinas dataset

表2. 萨利纳斯山谷数据集中使用的训练和测试样本数

(a) 原始图像 (b) 地面实况图

Figure 3. Salinas dataset

图3. 萨利纳斯数据集

3. 方法原理

3.1. 对抗攻击

假定深度神经网络函数为 $f:x\in {ℝ}^m\to y\in \left\{1,\cdots ,k\right\}$ ，其中k为类别标签数，y为相应的正确标签，对于给定图像x和相应标签 $y^{\prime }$ (本文希望网络预测错的结果)，可通过求解下面的盒式约束优化问题生成。

$\underset{\rho }{\min }{\Vert \rho \Vert }_2,\text{Subjectto}:\{\begin{array}{l}f\left(x+\rho \right)=y^{\prime }\\ x+\rho \in {\left[0,1\right]}^m\end{array}$ ， (1)

式中， $\rho$ 代表干扰值。精确计算公式(1)一般来说较困难。因此Szegedy等人使用公式(2)来获得近似解。

$\underset{\rho }{\min }c{\Vert \rho \Vert }_2+J\left(f\left(x+\rho ,\theta \right),y^{\prime }\right)$ ， (2)

其中J为损失函数，θ为神经网络参数。由于在实际应用中公式(2)方法耗时较长，导致优化困难。针对这一问题，Goodfellow等人提出了快速梯度符号法(FGSM)。快速梯度符号法是一种一步攻击方法，对抗实例x_adv的生成计算如式(3)所示：

$x_{adv}=clip\left(x-\epsilon sign\left({\nabla }_{x}J\left(f\left(x,\theta \right),y^{\prime }\right)\right)\right)$ ， (3)

式中 ${\tilde{N}}_{x}J\left(f\left(x,\theta \right),y^{\prime }\right)$ 为 $J\left(f\left(x,\theta \right)\right)$ 的梯度，sign(∙)为sign函数，clip(∙)确保最终生成的对抗范例的像素值被限定在一个特定的范围内。ε是控制扰动的标量系数。Kurakin等人通过引入∞规范来调整生成的扰动，改进了FSGM。

${\varsigma }_{\infty }:x_{adv}=clip\left(x-\epsilon \frac{{\nabla }_{x}J\left(f\left(x,\theta \right),y^{\prime }\right)}{{\Vert {\nabla }_{x}J\left(f\left(x,\theta \right),y^{\prime }\right)\Vert }_{\infty }}\right)$ ， (4)

3.2. 网络模型设计

整个网络由骨干网络、上下文编码模块、顺序特征融合模块这三部分组成。骨干网络由四个2D卷积层、一个6 × 6的平均池化层和四对特征编码和远程特征编码模块构成。前四个卷积层采用不同扩张率的扩张卷积来扩大感受野。特征编码模块(如图4所示)由用于空间特征交互的ConvNeXt轻量级深度卷积层和用于加速模型收敛的批量归一化(BN)层组成。远程特征编码模块(如图4所示)以特征编码模块为基础，加入了深度扩张卷积(扩张率为3)，并配有两个跳转连接。其中特征编码只包括实线元素，而远程特征编码则包括实线和虚线元素。DW Conv是深度卷积层。

Figure 4. The structure of feature encoding and remote feature encoding

图4. 特征编码和远程特征编码的结构

Figure 5. Sequential feature fusion module

图5. 顺序特征编码模块

Figure 6. Hierarchical feature-guided context network

图6. 分层特征引导上下文网络

为了更好地捕捉全局特征信息，提取的高层次特征C₆以建立全局空间依赖关系。注意力块中所有卷积核的大小均为1 × 1，m和n分别代表通道数，分别为64和48。输出特征C₇的尺寸为m × h₃ × w₃。然后通过残差连接与C₆连接，以降低过拟合风险。最后，通过1 × 1卷积层减少特征维度，输出大小为n × h₃ × w₃的C₈。本文将C₈重塑为 $\left(h_3{w}_3\right)\times n$ 。紧接着将其送入到上下文网络中将给定像素点与整个图像所有相关像素点建立残差关系。设计一个可学习字典D，大小为k × n，其中k = n = 48，

$e_{ij}=\frac{\exp \left(-s_j{\Vert r_{ij}\Vert }^2\right)}{{\displaystyle {\sum }_{l=1}^k\exp \left(-s_l{\Vert r_{il}\Vert }^2\right)}}{r}_{ij}$ ， (5)

式中r_ij代表D中每第i行元素(即D中第i个码本)与输入到上下文网络的C₈中第j特征点的残差，s_j为第j个码本的缩放因子。全局上下向量 $e\in {ℝ}^n$ ，再将其输入到一个全连接层，输出特征为m × 1 × 1的特征，和输入特征C₈做通道乘法输出为S。最后将S、C₁、C₂输入到顺序特征融合模块中完成最后的拼接。顺序特征融合模块如图5所示，该模块可以减少融合特征图中边界信息的损失，这种高分辨率和低分辨率特征图之间的持续信息交互，可以将丰富的语义信息和精细的细节特征结合起来，实现对边界信息和相互干扰目标的更精确检测。整个网络如图6所示

4. 实验与分析

4.1. 实验设计和细节

本文在实验中使用的对抗样本都是通过公式(4)生成，其中ε的值设置为0.06。实验是在相同扰动强度下，比较不同模型在相同对抗测试集上的分类结果。本研究中的所有实验结果都是通过重复20次随机训练和测试数据获得的。所有实验结果均通过计算20次结果的平均值和标准偏差得出。实验所需的训练集包括从相应数据集中为每个类别随机抽取的100个样本，而测试集则由其余样本组成。本文使用总体准确率(OA)、卡帕系数(k)、平均准确率(AA)和每个类别的准确率来评估不同的模型。本文中的所有实验均使用Pytorch框架进行。每个模型训练周期设置为1000。实验在A100-PCIE-40GB GPU上进行。

4.2. 分类结果

分析表3、表4，本文可以看出，本文设计的模型在两个数据集上的表现均优于其余四个比较模型。在两个数据集上，SACNet均远超其余3个对比模型28%的OA。这一现象表明，仅仅提取光谱和空间信息可能无法有效解决网络易受恶意攻击的问题。通过对比两个表中数据，可以发现现有的基于深度学习的先进方法极易受到对抗性干扰。以CNN-LS²CM [11] 和SSFCN [12] 为例，它们在干净数据集上均取得了出色的成绩，然而在对抗测试集上的性能却严重下降。此外，本文还观察到，在SACNet [13] 的基础上加入特征编码和远程特征编码组合模块，以及顺序特征融合模块后，HFGCNet在性能上明显优于SACNet。这进一步证明了这两个模块的加入对增强模型内在的对抗防御能力是有效的。

进一步分析图7、图8分类图像。在帕维亚大学数据集上，本文可以发现图像右下角明显属于“Meadows”类别的区域，其余四个模型均在这一区域表现出不同程度的误判，而本文HFGCNet模型对该类别的分类与地面实况基本一致。在萨利纳斯数据集上，本文还观察到图像左下角明显属于“Soil vinyard develop”的类别区域，其余四种对比模型都明显出严重的分类错误。相比之下，本文所提出的HFGCNet对对抗攻击具有更强的鲁棒性，且分类图更接近地面实况标注。这是因为基于FGSM算法的对抗干扰是在原始输入样本的基础上沿着损失函数的梯度方向生成干扰的，这就意味着攻击者根据训练模型的梯度信息来调整生成的对抗样本，而在本文对比的四个方法中有三个是单纯的基于空谱信息特征的网络并不能很好处理图像中各像素点产生的有害梯度的影响，而SACNet是利用将像素点之间产生关联性，从而将各像素点产生的有害梯度由该图像中其他相关像素共同分担，所以性能相较于其余3个模型较优，但是其在主干网络的特征提取和网络末端特征融合部分并未学习到的语义信息，从而导致分类结果相较于本文较差。

Table 3. Adversarial classification results on the Pavia dataset, with best results in bold

表3. 帕维亚数据集上的对抗分类结果，最佳结果以粗体显示

Table 4. Adversarial classification results on the Pavia dataset, with best results in bold

表4. 萨利纳斯数据集上的对抗分类结果，最佳结果以粗体显示

(a) (b) (c) (d) (e) (f) (g)

Figure 7. Classification maps of Pavia University dataset on the adversarial test set with ε = 0.06. (a) The false color image, (b) Ground-truth map, (c) SACNet, (d) SSFCN, (e) CNN-LS²CM, (f) Ghostnet, (g) HFGCNet

图7. 帕维亚大学数据集在ε = 0.06的对抗测试集上的分类图。(a) 伪彩色图，(b) 地面实况图，(c) SACNet，(d) SSFCN，(e) CNN-LS²CM，(f) Ghostnet，(g) HFGCNet

(a) (b) (c) (d)(e) (f) (g)

Figure 8. Classification maps of Salinas dataset on the adversarial test set with e = 0.06. (a) The false color image, (b) Ground-truth map, (c) SACNet, (d) SSFCN, (e) CNN-LS²CM, (f) Ghostnet, (g) HFGCNet

图8. 萨利纳斯数据集在ε = 0.06的对抗测试集上的分类图。(a) 伪彩色图，(b) 地面实况图，(c) SACNet，(d) SSFCN，(e) CNN-LS2CM，(f) GhostNet，(g) HFGCNet

5. 结束语

迄今为止，大多数基于深度学习的高光谱成像(HSI)研究都取得了巨大成功。然而，这些研究大多建立在干净的数据集上。很少有人考虑过将数据应用到不同的场景下进行准确分类。在本研究中，本文将HSI应用于对抗攻击场景下，并通过对比实验证明了深度学习模型在面对对抗攻击时的脆弱性。

通过几组模型对比，本文发现，在分类中综合空间特征与光谱特征并不能很好的防御通过训练网络损失函数梯度生成的对抗干扰的威胁。同时本文也发现，通过将图像中的给定像素点与其余像素点建立关联性可在一定程度上防御对抗干扰，但是通过对比SACNet与HFGCNet两者的分类结果，发现这种关系的构建需要提取更全面的上下文信息才能有更好效果。鉴于此，本文提出了一种基于分层特征引导上下文网络模型。用于端到端处理高光谱成像(HSI)中的对抗防御问题。本文的方法主要侧重在如何使得输入到上下文网络的全局信息特征更加优质，从而让给定像素与其余像素特征更好地建立非线性关系，以达成损失共享最大化，增强模型内在的鲁棒性。本文在两个公开的数据集上测试了所提出的方法。实验结果表明，与其他先进的深度分类模型相比，本文的方法在对抗防御具有更显著的优势。