遥感影像超分辨率重建降质模型研究

Study on Quality Reduction Model for Super-Resolution Reconstruction of Remote Sensing Images

摘要: 遥感影像通过从航空器或卫星获取地表的图片，为环境监测与管理、农业、城市规划与管理、灾害管理和应急响应、国防和安全、科学研究等多个领域提供了极其宝贵的信息。目前，大部分的遥感影像超分辨率降质模型都倾向于使用单一的双三次降采样技术来模拟图像损失，或者采用传统的一阶退化模型，但这种方式并不能较好地模拟遥感图像在真实环境中的退化情况。为了更准确地模拟遥感图像在实际环境中的退化行为，本研究构建了一个高阶退化模型。这一模型在提升遥感图像重建质量方面表现出色，能更精确地复原遥感图像，并增强了网络模型处理各种类型的遥感图像时的泛化性能。

Abstract: Remote sensing images provide extremely valuable information for many fields, such as environmental monitoring and management, agriculture, urban planning and management, disaster management and emergency response, national defense and security, and scientific research, by acquiring pictures of the ground surface from aircraft or satellites. Currently, most of the super-resolution quality degradation models for remote sensing images tend to use a single double-three times downsampling technique to simulate the image loss, or adopt the traditional first-order degradation model, but this approach does not better simulate the degradation of remote sensing images in the real environment. In order to more accurately simulate the degradation behavior of remote sensing images in real environments, a higher-order degradation model is constructed in this study. This model performs well in improving the quality of remote sensing image reconstruction, recovers remote sensing images more accurately, and enhances the generalization performance of the network model when dealing with various types of remote sensing images.

1. 引言

图像分辨率可以用来衡量图像内细节信息丰富度，体现成像系统对物体细微结构的表现能力。随着计算机图形学与数字图像处理技术的演进，图像分辨率成为广受关注的重要研究课题。

在使用遥感图像进行目标检测[1]和分类[2]、场景变化检测[3]时，为了获得更加准确的结果，需要高分辨率的图像。在图像超分辨率处理过程中，图像退化模型是一个核心组成部分，用于模拟低分辨率图像是从高分辨率图像退化而来的过程。随着遥感技术的不断进步，与传统图像相比，遥感图像因其广泛的覆盖范围和较小的地面影响，已经在灾害预警[4] [5] [6]、环境变化监测[7] [8]以及军事侦查[9]等多个领域得到了广泛应用。本文将展开针对本研究中所使用到的遥感图像退化模型的研究。首先对当前普遍应用于实践中的各类经典图像退化模型进行了详尽的综述，随后对专门为遥感图像场景定制的高阶退化模型进行了深度阐述，此模型旨在提供更高程度的精确度与真实性，以更贴近实际遥感图像遭遇的复杂退化现象。为进一步验证其创新性与先进性，本研究设计并实施了一系列实验，实验结果有力地证实了所提出的高阶图像退化模型在遥感图像退化领域的卓越性能。

2. 经典图像退化模型

许多退化模型都预设了一个完美的双三次下采样核，这与实际的退化情况有所区别。这种退化的不一致性导致了这些方法在实际应用中的不适用性。

基于底层退化的过程，目前存在的建模方法主要可以划分为显式和隐式两大类。对于一个实际系统而言，不同层次上可能存在多种退化模式，而每种模式都有其特定的物理意义和数学描述，因此需要将它们统一起来进行研究。在显式模型中，经典退化模型得到了广泛的应用，这一模型是由模糊性、降采样以及噪声因素共同构成的。但是，在真实的世界中，退化的情况往往是非常复杂的，很难通过简单的退化组合来完成模型构建。因此，在真实世界样本中，这些方法很可能会失败。隐式建模技术是通过生成对抗网络GAN的数据分布来学习，从而得到退化的模型。这种基于生成器结构的退化模型可以有效地描述和预测真实环境下的退化。尽管如此，这些方法仅适用于训练数据集内的退化问题，并不能有效地应用于分布之外的图像处理。另外，对真实退化场景进行模拟是一个困难且耗时的问题。为了恢复一般的现实世界中的LR图像，需要合成更接近实际降解过程的训练对象。真实的退化往往源于多种退化机制的复杂结合，如卫星成像系统、图像的传输，这导致了进一步的数据压缩和不可预知的噪声产生。

在进行遥感图像的超分辨率重建工作时，通常需要使用高分辨率的图像以及通过缩放等手段获得的低分辨率图像。现有的许多数据集，如DVI2K [10]、Flickr2K [11]等，都是通过调节镜头与场景的距离和利用相机的缩放功能来获取高分辨率图像以及原始分辨率为1/2、1/3、1/4的低分辨率图像。

该构建方法里，高分辨率图像所经历的劣化呈现出显著的一致性。然而，现实世界遥感成像过程中，设备性能、外界条件等多种复杂变量的交织作用，往往导致不同类型的遥感影像在获取过程中各自丢失不同的高频成分。鉴于此，对这些富含空间细节与光谱特征的影像进行深入分析处理，势必要求从其中有效挖掘并充分利用额外的有价值信息。成对的高分辨率(HR)与低分辨率(LR)遥感图像样本不易直接获取，且日常生活的普通图像与遥感图像在性质及内容上存在显著差异，所以普通图像无法作为遥感图像退化问题研究的有效替代。另外，传统方法往往只利用了高分遥感数据中包含的细节特征，而忽略了这些细节特征对于其他地物和目标的作用。因此，在遥感图像的超分辨率研究中，人们经常采用图像退化模型来捕获低分辨率的图像，进而生成成对的HR-LR图像。

最常见的图像退化模型是线性退化模型，假设图像的退化是线性且平稳的。这个模型通常表示为一个退化函数h，它作用于高分辨率图像，并且可能加入加性噪声n来模拟实际图像获取过程中的噪声。数学表示为：

$I_{LR}=\left(I_{HR}\ast h\right)+n$ (1)

其中，I_LR是退化后的低分辨率图像；I_HR是原始高分辨率图像；h是退化矩阵，用于模拟成像过程中的模糊效果，决定了每个像素点如何影响其周围的像素点；n是噪声，通常被假设为随机过程，如高斯噪声，用来模拟成像过程中的随机噪声及其他干扰。

还有一种是降采样模型，是一种通过减少图像分辨率来实现图像退化的模型。数学表示为：

$I_{LR}=I_{HR}{\downarrow }_s$ (2)

其中，${\downarrow }_s$ 表示下采样，下采样因子s决定了减少的程度，当s = 2意味着图像在每个维度上的分辨率减半。

通过这种方式，可以比较容易地获取到成对的HR-LR图像。但在实际场景中，图像损失与单纯地线性退化或降采样有较大出入。因此，将二者融合后得到目前最常用的遥感图像退化模型。数学上可以表示为：

$I_{LR}=\left(I_{HR}\ast h\right){\downarrow }_s+n$ (3)

一阶图像的退化模型如图1所示。

Figure 1. Classical first-order image degradation model

图1. 经典一阶图像退化模型

模糊是由多种因素引起的，如相机焦点不准、摄影过程中的微小移动，或者成像系统的固有限制。常见的模糊核包括高斯核、运动模糊核等。下采样是减少图像分辨率的过程，通常通过每隔一定像素取样的方式进行。这个过程减少了图像的尺寸，同时也丢失了一些细节信息。噪声是成像过程中不可避免的，可以来源于多种因素，如传感器噪声、环境干扰等。

模糊退化的一般视为一个线性模糊滤波器(即核函数)与目标图像进行卷积运算的过程。在众多可供选择的滤波器模型中，各向同性及各向异性的高斯滤波器凭借其广泛应用与有效性，成为最为常用的模糊退化模型代表。对于一个特定大小为2t + 1的高斯模糊核k而言，其$\left(i,j\right)\in \left[-t,t\right]$ 元素，皆遵循高斯分布规律进行取值，形式为：

$k\left(i,j\right)=\frac{1}{N}\exp \left(-\frac{1}{2}{C}^{\text{T}}{\Sigma }^{-1}C\right)$ (4)

在这之中，$\Sigma$ 代表的是协方差矩阵；C代表的是空间的坐标系统；N是一个标准化的常数。协方差矩阵可以进一步被描述为：

$\Sigma =R\left[\begin{array}{cc}{\sigma }_1^2& 0\\ 0& {\sigma }_2^2\end{array}\right]R^{\text{T}}=\left[\begin{array}{cc}\cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \end{array}\right]\left[\begin{array}{cc}{\sigma }_1^2& 0\\ 0& {\sigma }_2^2\end{array}\right]\left[\begin{array}{cc}\cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{array}\right]$ (5)

其中，R代表一个旋转矩阵；${\sigma }_1$ 和${\sigma }_2$ 代表两个主轴上的标准偏差(即协方差矩阵的特征值)。

3. 针对遥感图像的高阶图像退化模型

由于受到大气条件、气候因素等的影响，云层、雾和大气污染都会散射和吸收遥感设备接收的光线，温度和湿度的变化会导致光线折射率变化，导致图像模糊不清，引起图像扭曲。同时，受限于传感器技术的发展，空间分辨率、光谱分辨率以及辐射分辨率难以达到要求，且卫星或飞行器的飞行高度较高，可能捕捉到的细节越少、图像不够清晰、难以准确捕捉目标物质的特征、无法较好地区分光亮和阴暗区域，图像的动态范围较低。而且侧摄和倾斜角度也可能会导致图像变形，特别是在地形起伏较大的区域，山脉、沟壑等地形特征会在图像上也会产生阴影，影响清晰度和解析度，不同的地表类型(如水体、植被、裸土)反射和吸收光线的特性不同，也会影响图像的色彩和清晰度。

为了更准确地模拟遥感图像在实际应用中受到污染的情况，在已有的经典图像退化模型的基础上，对可能影响遥感图像清晰度的主要问题进行了优化处理。本研究所构建的降阶模型涵盖了运动失真、模糊效应、下采样操作以及噪声引入等多个维度。为了实现对遥感图像退化过程的逼真模拟，灵活运用了不同尺度的模糊核对图像施加不同程度的模糊处理，同时搭配使用各异的噪声类型与下采样因子，对图像进行有针对性的降质操作。整个退化过程分为两个递进阶段，旨在系统性地再现真实环境下遥感图像可能出现的各种退化效应，从而确保模型的高度真实性与适用性。

在进行图像模糊处理的过程中，通常会选择使用具有线性模糊特性的滤波器来执行卷积操作。其中，具有各向同性和各向异性特性的高斯模糊核常被优先考虑。在这一章节中，采用的高斯模糊的公式可表示为：

$G\left(x,y\right)=\frac{1}{2\pi {\sigma }^2}{\text{e}}^{-\frac{x^2+y^2}{2{\sigma }^2}}$ (6)

其中，x和y代表图像中某个像素点与高斯核中心点在水平和垂直方向上的距离，而$\sigma$ 则是高斯核的标准差。二维高斯核的计算是基于特定的公式，它被用来对图像中的每一个像素以及其相邻区域进行加权平均处理。

尽管超分辨率领域已针对含有未知复杂退化特性的低分辨率图像开展了诸多复原尝试，但现有方法仍远未能充分应对现实中广泛存在的、形态各异的退化图像需求。因此，从理论上提升模型层次，即将传统的“一阶”退化模型升级至更能刻画真实世界复杂性的“高阶”退化模型，已成为推动该领域进一步发展的必然之举，如图2所示。

Figure 2. Higher-order degeneracy model

图2. 高阶退化模型

扩展经典的“一阶”退化模型，为“高阶”退化模型，进行多次“一阶”退化，上一次“一阶”退化的结果作为下一次“一阶”退化的输入，以期通过“高阶”退化可以得到和真实退化更接近的LR数据。

通过分别对一阶、二阶、三阶和四阶的退化模型进行运行测试，得到以下四幅图像，如图3所示。

Figure 3. First to fourth order quality reduction effect diagram

图3. 一至四阶降质效果图

以上四幅图片使用的降质模型采用了相同的参数，可以看出，三阶与四阶退化模糊效果相近，相比于二阶会更好，一阶退化降质效果最差。具体分辨率大小及文件大小的比对如表1所示。

Table 1. Comparison of degradation effect data of different order degradation models

表1. 不同阶数退化模型退化效果数据对比

阶数	分辨率	文件大小
0	256 × 256px	107 KB
1	240 × 240px	65.33 KB
2	114 × 114px	23.31 KB
3	56 × 56px	6.01 KB
4	30 × 30px	1.73 KB

显而易见，一阶退化效果相对较差，而二阶退化则效果较为明显，分辨率方面相比于前者有着明显的变化。相对于高阶模型，二阶模型在训练和推理时通常需要较少的计算资源，更加高效，三阶模型更大的资源消耗会限制它们在一些应用中的实用性。

总的来说，二阶退化模型能够满足所需要的条件。同时，考虑到阶数增加可能会提高整体系统的复杂度，从而导致效率下降。为了在简单性与有效性之间找到一个理想的均衡点，本研究选择了采用二阶降质的方法。

4. 实验结果分析

4.1. 遥感图像退化模型数据集

本文用于训练和测试模型的数据集是UC Merced Land-Use Dataset [12]。这是一个21级的土地利用图像遥感数据集，全部来源于USGS National Map Urban Area Imagery (美国地质调查局国家地图城市地区图像)系列。在这些数据集中包括了许多重要且广泛的景观信息。该数据集展示了公共领域的图像，其像素分辨率达到了1英尺(0.3米)，图像的像素尺寸是256*256，总共有2100张场景图像，分为21个不同的类别，而每个类别包含100张场景图像。在每一种场景里，都挑选了一张作为测试集，而剩下的图像则被用作训练集。

4.2. 实验环境与网络参数设置

在本文中，使用的实验硬件环境为：CPU：Intel Core i9-10900X处理器，GPU：NVIDIA RTX A5000，运行内存：64 G，固态内存：1 TB。所使用的系统为Windows 11企业多会话版，主要的开发语言是Python 3.7，并且构建了一个基于CUDA 11.7和CUDNN 11.7的深度学习环境，选择了Pytorch 1.12以及其相关的数据库来进行实验环境的搭建。

文中的两次降质过程采用基本相同的设置。第一次降质过程中，模型采用高斯模糊核，概率为{0.7, 0.15, 0.15}；模糊核大小从{7, 9, 11, ……, 21}中随机选择；模糊标准差$\sigma$ 从[0.2, 3]中采样；sinc核的概率为0.1。第二次降质过程中，模糊标准差$\sigma$ 从[0.2, 1.5]中采样，sinc核的概率为0.2，其余配置相同。

4.3. 实验与分析

通过两种不同降质模型得到的图像如图4所示。

Figure 4. Degradation effect of remote sensing images for different scenes

图4. 不同场景的遥感图像退化效果

其中，A系列图片是机场遥感影像，B系列为棒球场，C系列为海滩，D系列为城市建筑物。

为了证实本文中退化模型的改进效果，我们选择了在遥感影像超分辨率领域表现出色的Real-ESRGAN和Real-SR网络模型作为本章实验验证的核心网络模型。在实际工作中，选择了原始网络模型和用高级退化模型替代的网络模型进行训练和测试，并对这两种超分辨率的结果进行了图像质量的评估。具体的数据可以在表2中找到。表中，每一项评估标准都有一个向上或向下的指示箭头，箭头的方向朝上意味着指标的数值越大，得到的图像质量也就越高；箭头方向向下则相反，说明指标数值小的部分图像质量高。加粗的结果表示，这种方法在本次实验中的表现是最为出色的，也是本次试验中所有使用的方法中表现最好的一种。

Table 2. Performance of reconstructed images with different network models

表2. 不同网络模型重建图像的表现

数据集	评价指标	Real-SR	Real-SR (使用高阶退化模型)	Real-ESRGAN	Real-ESRGAN (使用高阶退化模型)
UC Merced Land-Use Dataset	NIQE	3.096	2.980	2.951	2.763
	PIQE	6.101	5.913	4.787	4.524
	HIQA	61.874	61.956	62.375	62.763
	CEIQ	3.592	3.617	3.644	3.681
	PSNR	24.125	23.997	24.015	23.910
	SSIM	0.581	0.517	0.507	0.492

表2中的数据表明，替换为高阶退化模型的Real-ESRGAN和Real-SR在NIQE、PIQE、HIQA和CEIQ四个评价指标方面均优于原始网络，但在PSNR和SSIM两个指标上的表现差强人意，没有得到比原始网络更好的效果。

部分由表2中四种模型超分辨率重建得到的图像如图5所示。

Figure 5. Comparison of images after reconstruction by different methods

图5. 不同方法重建后图像的对比图

上图中，通过使用不同的模型对图像进行重建，并根据多个评价指标对图像质量进行了评估。与原始网络相比，使用高阶退化模型的新网络在图像的整体清晰度和细节表现上有显著提升，尽管在全参考的评价指标PSNR和SSIM上的得分较低。这表明新网络虽然在部分数值上表现不佳，但在增强图像的视觉质量方面更为有效，更符合人眼对清晰度和细节的主观评价。

例如，在第一行中，替换高阶退化模型的Real-ESRGAN处理后的图像飞机轮廓更为清晰；第二行中，海水与海滩的交叉部分层次更加分明；第三行图片中，车辆这种小目标能够较好地实现重建；第四行图片中，对于船上的细节恢复效果较好。

5. 结语

本文详细介绍了在图像超分辨率领域常用的经典图像退化模型，并对该模型在实际应用中的一些不足进行了深入分析，同时也指出了在将其用于图像超分辨率任务时可能遇到的挑战。接下来，深入探讨了遥感影像成像的基本原理，并分析了在影像传输过程中可能出现的潜在损失。得出了导致高分辨率遥感图像出现细节丢失现象的主要原因是由于原始图像受到外界因素干扰而造成的一种非理想状态下的恢复结果。在进行了一系列的分析后，本研究选择了一个包含两个阶段的退化过程，并据此构建了一个更高级的退化模型，该模型专门用于模拟遥感图像在成像和传输过程中可能遭受的损失。为了验证这种建模的可行性，本文利用了遥感数据集进行测试。经过实验验证，这一经过优化的高阶退化模型可以显著提高遥感图像的清晰度。与采用传统模型的网络相比，这一新模型在无参考图像评价指标方面表现得更为出色，同时也在图像整体质量和视觉体验方面实现了明显的提升。总体而言，这一新型的高级退化模型为遥感图像质量的优化提供了一种更加高效的解决途径。

NOTES

^*通讯作者。