一种高分辨率SAR图像变化检测数据集制作方法
A Method for Generating High-Resolution SAR Image Change Detection Datasets
DOI: 10.12677/GST.2023.112013, PDF, HTML, XML, 下载: 327  浏览: 1,731  国家自然科学基金支持
作者: 李泽宇:北京建筑大学测绘与城市空间信息学院,北京;建筑遗产精细重构与健康监测北京市重点实验室,北京;赵江洪:北京建筑大学测绘与城市空间信息学院,北京;建筑遗产精细重构与健康监测北京市重点实验室,北京;自然资源部城市空间信息重点实验室,北京;地理信息工程国家重点实验室,陕西 西安 ;武汉大学测绘遥感信息工程国家重点实验室,湖北 武汉
关键词: 变化检测合成孔径雷达图像数据集训练样本Change Detection SAR Image Dataset Training Sample
摘要: 针对可用于变化检测模型训练的高分辨率SAR图像数据不足、SAR图像处理与样本标注复杂的问题,本文开展SAR图像变化检测数据集制作方法研究,简化SAR图像处理与样本标注流程,对多幅高分三号SAR影像依次进行预处理、精配准、样本标注与数据增强等操作,得到一套高分辨率SAR图像变化检测数据集,为深度学习变化检测网络的训练与测试提供数据基础。通过多种网络模型训练的实验测试与结果分析,验证了该数据集能够有效支持多场景变化检测任务,对于不同变化检测模型训练精度与效率的提升具有较好的参考价值。
Abstract: Aiming at the problems of insufficient high-resolution SAR image data that can be used for change detection model training and the complexity of SAR image processing and sample labeling, this pa-per carried out research on the production method of SAR image change detection data set to sim-plify the SAR image processing and sample labeling process. A set of high-resolution SAR image change detection data set is obtained by preprocessing, fine registration, sample labeling and data enhancement of several high-resolution third-level SAR images successively, which provides data basis for the training and testing of deep learning change detection network. Through the experi-mental test and analysis of STANet, DSAMNet and SNUNet network model training, the validity of the SAR image change detection data set obtained by the data set making method proposed in this paper is verified in the multi-scene change detection task.
文章引用:李泽宇, 赵江洪. 一种高分辨率SAR图像变化检测数据集制作方法[J]. 测绘科学技术, 2023, 11(2): 115-121. https://doi.org/10.12677/GST.2023.112013

1. 引言

利用遥感影像变化检测技术能够提取出地表在一段时间内的变化情况,在研究分析城市扩张、农业调查与灾害应急响应等方面具有重要应用,为科学决策提供保障和服务 [1] [2] [3] [4] 。变化检测的核心思路如图1所示,通过计算两幅图像的差异并进行分析,获得变化检测结果。利用深度学习技术能够从大量数据中提取不同层次的复杂特征,解决传统方法的处理范围、精度和效率有限的问题,满足实际应用中数据量大、分辨率高、场景复杂等要求。

Figure 1. Basic flow of change detection method

图1. 变化检测方法基础流程

基于光学遥感影像的变化检测一方面在成像时容易受到光线、云雾条件的影响,地物信息与阴影等干扰因素导致稳定性较差;另一方面,几何校正、重采样与匀色等预处理操作会对光学影像产生大量干扰,增加样本制作成本。相比之下,合成孔径雷达(Synthetic Aperture Radar, SAR)系统利用主动微波成像传感器,能够全天时、全天候地获取重访周期短、覆盖范围广的影像数据,并且对于船只与建筑物等人工目标的检测效果突出。SAR图像中丰富和稳定的信息能够提供可靠的数据基础,在变化检测方面具有较大的研究价值与发展潜力。

但是分析基于深度学习的SAR图像变化检测研究现状得知,实际应用中可用于深度网络模型训练的SAR图像变化检测公开数据集很少,标记准确的样本数据更是十分稀缺 [5] 。图2为部分常用的SAR变化检测数据集中的影像与样本标签,空间分辨率和时间分辨率难以满足变化目标精确检测的要求,导致模型过拟合问题严重,限制网络的优化扩展,使得目前大部分的SAR图像变化检测深度学习方法研究停留在理论层面,实际预测效果、鲁棒性和泛化性都十分有限。

(1) 渥太华数据集 (2) Bern地区数据集 (3) 黄河农田数据集1 (4) 黄河农田数据集2

Figure 2. Example of common datasets for SAR change detection

图2. SAR变化检测常用数据集示例

针对高分辨率SAR图像精细化变化检测算法研究中数据不足的问题,本文将重点研究SAR图像变化检测数据集构建方法,提出简便的SAR图像处理与样本标注流程,丰富SAR图像变化检测数据资源,从而推动变化检测深度网络算法研究,实现在较小尺度上分析不同时相影像中舰船、建筑物等目标的动态信息。研究内容包括:首先搜集整理可用的最高分辨率SAR图像数据资源;其次总结简化变化检测数据集制作方法,对高分三号SAR影像依次进行预处理、精配准、样本标注与数据增强等操作构建一套高分辨率SAR图像变化检测数据集,为深度学习变化检测网络的训练与测试提供数据基础;最后通过实验测试与结果分析,验证了通过本文提出的数据集制作方法得到的SAR图像变化检测数据集在多场景变化检测任务中的有效性。

2. 数据集制作方法

2.1. 数据源信息

高分三号卫星(GF-3)是中国首颗分辨率达到1 m的C频段多极化SAR卫星,包含条带、扫描与聚束等12种成像模式,具有高分辨率、多成像模式和大幅宽等特点。本文将基于高分三号卫星影像制作一套高分辨率SAR图像变化检测数据集,以位于太平洋西部沿岸的多个港口为主要研究区域,选取21景分辨率优于1 m的GF-3滑动聚束(Sliding-spotlight, SL)模式影像,根据成像时间组合为15对原始影像,具体信息如表1所示,成像时间为2018年至2021年且以夏季为主,数据选取时尽量保证每对影像的季节相同,以避免由于植被覆盖差异造成误差干扰。

Table 1. Specific information of original images of experiment

表1. 实验原始影像具体信息

2.2. 数据集制作

SAR图像中存在明显的相干斑点噪声,会严重影响目标解译效果,掩盖图像中的细节信息,因此滤波处理是SAR图像处理前的必要过程,能够在很大程度上减弱噪声的干扰。本实验的基础流程如图3所示,在数据预处理部分中利用SAR图像处理软件对原始SAR图像依次进行辐射定标、图像自适应滤波与地理编码操作,同时采用线性2%拉伸方式处理成8位图像,将同一地区的影像裁剪为相同的大小并通过区域网平差工具进行精配准。接着结合地图数据与先验知识,利用图像处理软件的颜色合成功能,对双时相灰度图像进行通道合成,得到反映两幅影像间差异的彩色图像,再进行变化样本标注,能够极大地降低手工标记变化样本的难度与工作量,并且提高精确程度。按照256像素 × 256像素的大小无重叠裁剪全部影像,并且通过旋转、缩放、增加噪音与遮挡等数据增强方法,对数据集的图像数量与多样性进行扩增,以提升深度学习模型的稳定性与泛化能力。最终得到共95,040组由前后时相影像与标签图组成的图像对,根据比例与综合图像变换类型原则,训练集、验证集和测试集的数据量分别设为60,000、20,000和12,040。

本文提出的高分辨率SAR图像港口变化检测数据集(High-resolution SAR images Port Change Detection dataset, HSPCD)的部分数据如图4所示,前2组分别为前后时相图像,第3组为手工标注的样本标签,其中白色部分表示发生变化的区域。

Figure 3. Flowchart of dataset production

图3. 数据集制作流程

(a) 前时相影像 (b) 后时相影像(c) 标签数据

Figure 4. Examples of HSPCD

图4. 自制数据集HSPCD示例

3. 实验与分析

3.1. 实验设置

在遥感影像变化检测任务中引入注意力机制能够提升模型性能并得到良好的效果,例如由金字塔时空注意力模块组成的时空注意力神经网络STANet [6] ;深层次监督变化检测网络DSAMNet [7] ;受DenseNet [8] 和NestedUNet [9] 的启发,基于UNet++提出了稠密孪生变化检测网络SNUNet [10] 。为验证本文所提出数据集制作方法的有效性,利用得到的高分辨率SAR图像变化检测数据集HSPCD对常用的SATNet、DSAMNet、SNUNet网络模型开展训练实验。实验环境设定为深度学习框架Pytorch,利用Adam优化器更新参数。通过训练集对模型进行训练,每一轮的训练效果通过验证集监测,设定50轮后停止训练,保存最优参数模型。最后利用得到的模型参数对测试集进行预测。

3.2. 结果与分析

利用数据集HSPCD的测试数据对不同网络的训练模型进行验证,图5展示了2个区域的实验数据与预测结果,各组中前2幅图像为前后不同时相的SAR图像,第3幅为标签数据,后3幅分别为SATNet、DSAMNet、SNUNet网络模型的预测结果,白色部分表示发生变化的区域。

对比实验结果发现上述3个网络模型均能够提取出发生的变化信息,并且不同模型的提取结果和标签数据相比具有明显差异,可对相应模型的性能进行定性评估。通过精度指标计算3个网络的综合精度均达到90%以上,验证了该数据集能够有效地用于变化检测模型训练,而且也能够通过参数调整等优化方法提高检测精度,更好地满足现实应用场景中对变化检测的不同要求。

因此,通过实验验证了本文的变化检测数据集HSPCD能够提供大量数据用于训练变化检测模型,并且通过比较测试结果评估不同的变化检测算法的准确性和稳定性,在模型训练过程中可以提供大量的信息和参考,为提高变化检测精度发挥重要作用。

(a) 区域1(b) 区域2

Figure 5. Change detection results of different models

图5. 不同模型变化检测结果

4. 结论

本文为解决现有图像数据资源不足导致的遥感影像变化检测方法稳定性、可靠性与精细化程度较低的问题,开展深度学习数据集制作方法实验研究与讨论,利用高效的图像处理方法,基于多幅高分辨率SAR图像构建了一套数据量充足、质量可靠的SAR图像变化检测数据集HSPCD,为后续相关研究提供丰富的数据基础。在对比实验中利用本文方法制作的数据集取得了较高的精度和良好的预测结果,证明其可靠性与高效利用高分辨率SAR图像中丰富信息和复杂特征的能力,丰富了数据源,能够推动相关研究的进一步发展,具有重要实际意义。通过分析可知,本文数据集中发生变化的对象以船只、房屋与裸地为主。接下来应在研究中增加包含更多类型地物和更高分辨率的SAR图像数据,并且进一步改善数据集制作方法,促进网络模型更高效、更有针对性的训练,从而推动在实际应用中的发展与优化。

基金项目

国家自然科学基金项目(41971350);国家重点研发计划项目(2018YFC0807806);地理信息工程国家重点实验室开放基金课题项目(SKLGIE2019-Z-3-1);武汉大学测绘遥感信息工程国家重点实验室开放基金资助项目(19E01);自然资源部数字制图与国土信息应用重点实验室开放研究基金项目(ZRZYBWD202102)。

参考文献

参考文献

[1] Ronneberger, O., Fischer, P. and Brox, T. (2015) U-Net: Convolutional Networks for Biomedical Image Segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention, 9351, 234-241.
https://doi.org/10.1007/978-3-319-24574-4_28
[2] Daudt, R.C., Le Saux, B. and Boulch, A. (2018) Fully Convolutional Sia-mese Networks for Change Detection. 2018 25th IEEE International Conference on Image Processing (ICIP), Athens, 7-10 October 2018, 4063-4067.
https://doi.org/10.1109/ICIP.2018.8451652
[3] Peng, D., Zhang, Y. and Guan, H. (2019) End-to-End Change Detection for High Resolution Satellite Images Using Improved UNet++. Remote Sensing, 11, 1382.
https://doi.org/10.3390/rs11111382
[4] Mou, L., Bruzzone, L. and Zhu, X.X. (2018) Learning Spectral-Spatial-Temporal Fea-tures via a Recurrent Convolutional Neural Network for Change Detection in Multispectral Imagery. IEEE Transactions on Geoscience and Remote Sensing, 57, 924-935.
https://doi.org/10.1109/TGRS.2018.2863224
[5] Qu, X., Gao, F., Dong, J., et al. (2021) Change Detection in Synthetic Aperture Radar Images Using a Dual-Domain Network. IEEE Geoscience and Remote Sensing Letters, 19, 1-5.
https://doi.org/10.1109/LGRS.2021.3073900
[6] Chen, H. and Shi, Z. (2020) A Spatial-Temporal Attention-Based Method and a New Dataset for Remote Sensing Image Change Detection. Remote Sensing, 12, 1662.
https://doi.org/10.3390/rs12101662
[7] Shi, Q., Liu, M., Li, S., et al. (2021) A Deeply Supervised Attention Metric-Based Network and an Open Aerial Image Dataset for Remote Sensing Change Detection. IEEE Transactions on Geoscience and Remote Sensing, 60, 1-16.
https://doi.org/10.1109/TGRS.2021.3085870
[8] Huang, G., Liu, Z., Van Der Maaten, L., et al. (2017) Densely Connected Convolutional Networks. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, 21-26 July 2017, 4700-4708.
https://doi.org/10.1109/CVPR.2017.243
[9] Zhou, Z., Siddiquee, M.M.R., Tajbakhsh, N., et al. (2019) Unet++: Redesigning Skip Connections to Exploit Multiscale Features in Image Segmentation. IEEE Transactions on Medical Imaging, 39, 1856-1867.
https://doi.org/10.1109/TMI.2019.2959609
[10] Fang, S., Li, K., Shao, J., et al. (2021) SNUNet-CD: A Densely Connected Si-amese Network for Change Detection of VHR Images. IEEE Geoscience and Remote Sensing Letters, 19, 1-5.
https://doi.org/10.1109/LGRS.2021.3056416