基于Transformer模型的高光谱图像分类算法研究

Research on Hyperspectral Image Classification Algorithm Based on Transformer Model

摘要: 高光谱图像(Hyperspectral image, HSI)分类在遥感领域扮演着关键角色。然而，处理高光谱图像分类任务时，遇到了光谱相同但物质不同、光谱不同但物质相同的复杂情况。尽管现有基于卷积神经网络(Convolutional Neural Network, CNN)的方法在局部信息处理方面表现出色，但它们在表示能力上存在一定限制。为了应对这一挑战，本文提出了一种综合考虑光谱信息和空间信息的Transformer方法(Spatial Spectral Transformer Network, SSTN)，即本文引入了Transformer结构，在光谱和空间中倾向于捕捉全局信息。通过构建Transformer，模型将空间光谱特征有机结合。通过规范的实验研究，本文发现：在IndianPines和Houston2013数据集的分类任务中，本文的方法相较于其它Transformer网络表现更为优越，并在与其他骨干网络的对比中具有显著的改进。

Abstract: Hyperspectral image (HSI) classification plays a crucial role in the field of remote sensing. When dealing with HSI classification tasks, there are complex situations where the spectra are the same but the substances are different, and the spectra are different but the substances are the same. Although existing methods based on Convolutional Neural Networks (CNN) perform well in local in-formation processing, they have certain limitations in representation ability. To address this chal-lenge, a Transformer method that comprehensively considers spectral and spatial information (Spatial Spectral Transformer Network, SSTN) has been proposed. To overcome this limitation, this article introduces a Transformer structure that tends to capture global information in both spec-trum and space. By constructing a Transformer, the model organically combines spatial spectral features. The rigorous experimental results show that in the classification task of the Indian Pines and Houston2013 datasets, our method performs better than other Transformer networks and shows significant improvement compared to other backbone networks.

1. 研究背景与现状

高光谱遥感是遥感领域崭新的技术，通过整合数百个波段的光谱信息，能够捕捉地表特征微妙变化。高光谱技术在多个领域都有广泛应用，而高光谱图像(HSI)分类则是其关键应用之一，广泛用于矿产勘探 [1] 、农业开发 [2] 、环境科学 [3] 等方面。HSI分类研究的主要挑战在于应对高维光谱数据引发的休斯效应 [3] ，其中同一物质可能呈现不同的光谱信息，而相同的光谱信息可能对应不同的物质。近年来，研究者们通过不同的方法探索如何更有效地处理高光谱数据，提高分类的准确性和鲁棒性。

基于CNN的高光谱图像分类方法是最早被广泛研究的方法之一。研究者们通过卷积层、池化层等操作，提取光谱和空间特征，取得了一系列显著成果。Murali等人 [4] 提出了一种新的用于HSI分类的3D深度特征提取CNN模型，实验结果显著提高了HSI分类的性能。接着，Zhen等人 [5] 设计了一种用于HSIs的多尺度光谱空间CNN模型，该模型将多个感受野融合特征与不同层次的多尺度空间特征相结合。然后，Hüseyin等人 [6] 针对当要提取深层空间和光谱特征时，出现梯度特性的损失和由于深度增加而导致的退化等问题，提出了基于3D卷积神经网络的ResNet50分类方法。Koushikey等人 [7] 提出了一种多级三维卷积神经网络(3-Dimensiona1 Convolutional Neural Network, 3-DCNN)，模型将总体准确度和kappa系数提高了2%~5%。

尽管，基于CNN的分类方法取得了突破性进展，但依然存在面临着很多挑战和局限性。例如：CNN主要通过卷积核在图像上进行滑动来获取局部特征，这意味着每个神经元只能感知输入图像的一个相对较小的局部区域。对于一些需要全局上下文信息的任务，如长距离依赖关系的建模，CNN可能不够有效。为了弥补CNN局限性，将Transformer模型 [8] 应用于HSI分类是一项令人期待的新研究方向，它能够获取长距离依赖关系。另外，这种新颖的应用可能有助于改善HSI分类的性能，特别是在处理光谱信息复杂、休斯效应显著的情况下。He等人 [9] 提出了一种空间光谱Transformer (Spatial-Spectral Transformer, SST)模型，利用类似于VGGNet [10] 的网络结构来提取空间特征。Qing等 [11] 通过引入光谱注意机制，与Transformer中的多注意机制相结合，有效地捕捉了连续光谱关系另外，Hong等人 [12] 设计了一种名为光谱Transformer (Spectral Transformer, SF)的新模型，它可以从群体邻近波段学习光谱表示信息并构建Transformer模型。尽管，上述基于Transformer的分类方法获得了令人感到满意的性能，但依然面临着光谱相同但物质不同、光谱不同但物质相同的复杂情况，特征表示能力上有限的问题。因此，本文提出了一种基于Transformer的高光谱图像分类新方法。

2. 研究方法

本文提出的一种基于空谱Transformer的高光谱图像分类新方法(Spatial Spectral Transformer Network, SSTN)，其结构如图1所示。首先，整个图像进行相邻空间处理，即将图像切分为小数据立方体；接着，将所切分的数据按一定空间大小进一步划分，得到新的数据；然后，将每一个划分得到的数据立方体经过空间划分之后作为线性映射的输入；最后，图像数据进行位置嵌入和Transformer模型进行特征提取，进而分类。

Figure 1. Schematic diagram of SSTN structure

图1. SSTN结构示意图

2.1. 相邻空间数据处理

鉴于不同空间包含的地物信息不同，不同空间位置存在地物相关性。另外，若将整个图像作为模型的输入数据，将会给网络带来巨大的计算负担。因此，考虑到上述问题，空谱Transformer网络首先将输入进行相邻空间处理，即将其通过逐像素提取获得数据立方体，其中立方体包含了类别的相邻信息。假设输入的数据大小为 ${ℝ}^{H\times W\times L}$ ，经过相邻空间数据处理之后得到n个 $x_i\in {ℝ}^{b\times b\times L}$ 。其中，n为数据样本总数量。

2.2. 空谱Transformer模块

空谱Transformer模块即充分考虑了空间信息，同时还获取了光谱的长距离依赖关系。其结构如图1的右半部分。

首先，为了进一步考虑图像的空间关系，空谱Transformer模块将相邻空间数据处理后得到的数据立方体进行空间9等分划分，得到9个小数据立方体。此部分可以被表示为：

$x_i=\left\{x_j|j=1,2,\cdots ,k\right\}\in {ℝ}^{s\times s\times L}$ (1)

上式中， $s\times s$ 表示划分后的数据空间大小，L表示光谱数量，j表示划分的个数。

其次，Transformer模块将划分后得到的数据作为输入的令牌(Tokens)，每个令牌表示为

$\left[T_1,T_2,\cdots ,T_z\right]$ ，所有的tokens与一个可学习的分类令牌 $T_0^{cls}$ 进行类别嵌入，线性映射和类别嵌入可被表示为：

$T_{in}=\left[T_0^{cls},T_1,\cdots ,T_z\right]+PE$ (2)

上式中， $T_{in}$ 表示Transformer的输入。

然后，经过线性映射和类别嵌入的数据作为MHSA和MLP块的输入。即将数据为Q、K和V，Q和K进行多组自注意力特征提取，最后经过融合与V进行乘积。此部分可被表示为：

$SA\left(Q,K,V\right)=\text{Softmax}\left(\frac{Q{K}^{\text{T}}}{\sqrt{d_K}}\right)V$ (3)

$\text{MHSA}=\text{Concat}\left(S{A}_1,S{A}_2,\cdots ,S{A}_h\right)W$ (4)

上式中，d_K表示K的维度，h表示多头自注意力的组数。 $\text{Concat}(\cdot )$ 表示级联函数。另外，得到的MHSA特征被送至MLP层进行进一步的高级语义特征的提取。

最后，经过空谱Transformer模块进行特征提取所得到的高级特征被送到Softmax分类器中进行分类。

3. 实验结果与分析

3.1. 数据集描述

为了验证所提出的SSTN模型的有效性，本文选择了2种数据集进行一系列的实验，分别为Indian Pines和Houston2013数据集。

Indian Pines数据集包含了来自不同地物类别的16个类别，其中主要涵盖了农业、森林和植被等地物，是一副145 × 145像素的图像，涵盖了224个光谱波段的信息。除去吸水波段和低信噪比波段外，使用了200个波段。

Houston2013数据集是由高光谱图像分析团队和NCALM (National Center for Airborne Laser Mapping)在休斯敦大学的校园和附近城区采集的，图像空间大小为349 × 1905像素，包含144个光谱波段。另外，该数据集包含了15个不同的土地覆盖类别，这些类别可以包括城市建筑、道路、植被、水体等。

Table 1. Category names and number of data sample divisions for all datasets

表1. 所有数据集的类别名称和数据样本划分数量

3.2. 实验设置

本文提出的方法是在Pytorch框架上实现的，设备配备有Intel(R) Core (TM) i9-9900K CPU、NVIDIA GeForce RTX 3090 GPU和64 G随机存取内存。学习率大小为0.0005，训练轮次为300。

3.3. 实验定量分析

对于表1~3所示的所有方法分类的定量指标，本文方法在OA、AA和Kapp评价指标上表现优于其他方法。在Indian Pines数据集上，SSTN的OA值分别高出CDCNN、FDSSC、SSRN、ViT、SSFTT方法22.74%、7.62%、3.17%、4.18%和0.95%。在Houston2013数据集，SSTN的OA值分别高出CDCNN、FDSSC、SSRN、ViT、SSFTT方法21.10%、1.91%、16.52%、15.38%和4.74%。这充分说明了本文所提出方法的优越性和优异的分类精度。

Table 2. Classification results of all methods on the Indian Pines dataset

表2. 所有方法在Indian Pines数据集上的分类结果

Table 3. Classification results of all methods on the Houston 2013 dataset

表3. 所有方法在Houston2013数据集上的分类结果

3.4. 可视化分析

所有方法在Indian Pines和Houston2013数据集上的分类可视化图如图2和图3所示。在图2中，不同的物体之间，所有的分类可视化图类别边缘周围仍存在一些噪声点。与其他方法相比，本文所提出的方法能够形成一个相当清晰的分类图。在图3中，通过观察，网球场、停车场和跑道等大型建筑的显著存在，可以发现所提出的方法可以有效地保存这种大型结构。

Figure 2. Visualization of classification of all methods on the Indian Pines dataset. (a) Truth- land cover map, (b) false color map, (c) CDCNN, (d) FDSSC, (e) SSRN, (f) ViT, (g) SSFTT, (h) SSTN

图2. 所有方法在Indian Pines数据集上的分类可视化图。(a) 地物真实图，(b) 假彩色图，(c) CDCNN，(d) FDSSC，(e) SSRN，(f) ViT，(g) SSFTT，(h) SSTN

Figure 3. Visualization of classification of all methods on the Houston2013 dataset. (a) Truth-land cover map, (b) false color map, (c) CDCNN, (d) FDSSC, (e) SSRN, (f) ViT, (g) SSFTT, (h) SSTN

图3. 所有方法在Houston2013数据集上的分类可视化图。(a) 地物真实图，(b) 假彩色图，(c) CDCNN，(d) FDSSC，(e) SSRN，(f) ViT，(g) SSFTT，(h) SSTN

4. 总结

本文提出了一种综合考虑光谱信息和空间信息的Transformer方法(SSTN)。为了克服现有CNN在局部信息处理方面的局限性，首先引入了Transformer结构，在光谱和空间中倾向于捕捉全局信息。通过构建Transformer，模型将空间光谱特征有机结合。接着，为了验证SSTN方法的有效性，本文还进行了一系列实验，包括定量分析和可视化分析。实验结果表明，本文的方法相较于其他Transformer网络表现更为优越，并在与其他骨干网络的对比中具有显著的改进。

在未来，这项工作可以扩展，包括混合深度光谱空间特征提取模型，如图神经网络，以提高分类精度。另外，我们可以进一步提高光谱空间特征学习能力，寻求速度和精度之间的平衡，这将是从卫星和无人飞行器(UAV)平台进行实时分类的基础。

基金项目

2023年教育部产学合作协同育人项目(230714421107183)；2023年“上海高校青年教师培养资助计划”；2023年上海市“教师专业发展工程”高校教师培养计划；上海市青年科技启明星计划(23YF1429700)；国家自然科学基金青年项目(62303325)。

NOTES

^*第一作者。

^#通讯作者。