1. 引言
合成孔径雷达(SAR)是一种先进的微波观测设备,具有全天时、全天候工作的特点,已广泛应用于军事和民用领域。作为一种成像雷达,SAR具有获得高分辨率图像的能力,可以获得目标散射系数的空间分布[1]。SAR系统的二维分辨率的大小通常由距离向和方位向的带宽决定,同样也受到其他因素的影响,如系统噪声,平台振动等。这种影响在SAR回波[2]中通常以相位误差的形式表现,这导致SAR图像散焦,降低了图像的分辨率。为了实现高分辨的SAR成像,通常采用自聚焦算法来提高图像质量。SAR自聚焦[3]是一种从SAR回波数据中自动估计离焦参数,进行误差补偿,从而实现聚焦处理的方法。
传统基于度量优化的SAR自聚焦方法[4] [5] [6],在相位误差估计和补偿方面有不错的效果,通常能够实现相位误差的估计和补偿。但此类算法在SAR图像处理的实际应用中还存在着一些问题。首先,算法在处理过程中往往需要大量的迭代和优化过程,这带来了较高的计算复杂度。其次,算法对于初始值的选择比较敏感,如何选择相应的参数,这需要一定的调试经验。这使得基于度量优化的SAR自聚焦方法在执行图像聚焦任务时,效率较低,难以满足实际雷达系统的成像需求。
近年来,随着深度学习的快速发展,其技术广泛应用于信号处理(稀疏信号恢复)与图像处理(光学图像与遥感图像)领域[7] [8]。基于数据驱动的深度学习方法凭借深度网络强大的非线性拟合能力,可以实现对输入数据到输出数据的函数映射。通过对数据进行训练,实现对算法参数的自适应学习,避免了传统算法参数设置的难度和繁琐的迭代运算。Birsen Yazici团队[9]首次将深度学习技术推广到雷达成像领域,并提出了基于递归神经网络的合成孔径雷达自聚焦成像方法。钱江等人[10]将深度网络应用于SAR成像中,首先利用传统距离多普勒算法得到目标的粗成像结果,其次利用卷积神经网络输出高质量的目标图像。张云等人[11]提出了基于深度网络的SAR运动目标聚焦成像技术,设计了SAR运动目标成像网络和复数域慢速运动成像网络。将多通道杂波抑制处理后的SAR散焦图像作为网络的输入,利用样本对(散焦图像与聚焦图像)进行网络训练,实现网络对散焦图像与聚焦图像之间的映射关系。周远远等人[12]提出了一种基于编码器结构的深度网络用于实现SAR自聚焦,使用卷积神经网络学习SAR图像特征,实现SAR在图像幅度域的聚焦处理,解决了复杂平台运动位置误差导致的SAR图像散焦问题。唐文等人[13]提出了一种基于残差块结构的U-Net网络,用于实现SAR图像自聚焦,该方法没有建立误差模型,不依赖于图像中的强散射点,利用网络的强拟合能力,通过监督训练来构建散焦图像与聚焦图像之间的映射关系。
然而以上基于深度网络的SAR成像与自聚焦方法依赖于网络的数据强拟合能力,直接构建离焦图像与聚焦图像之间的函数映射关系,没有考虑到SAR图像散焦产生的原因和误差补偿方法。因此,此类基于网络优化的方法不具有物理可解释性,无法估计离焦图像中存在的相位误差。本文从传统基于度量优化的SAR自聚焦方法出发,提出了一种基于度量优化的深度网络SAR自聚焦方法。首先,通过卷积神经网络提取不同离焦图像特征,进行SAR离焦图像相位误差系数的映射。其次,估计的相位误差系数被建模成相应相位误差多项式构成的误差向量来补偿离焦图像,从而实现SAR离焦图像的误差估计和补偿。一方面,所提方法利用了卷积神经网络的特征提取能力,将不同程度的离焦图像通过特征分类,来实现离焦图像到相位误差系数的映射。另一方面网络结合传统基于度量优化,将图像的熵值(对比度)作为网络的损失函数,实现网络的训练优化,在保证聚焦质量的同时,提高了SAR自聚焦速度,避免了算法大量的迭代运算。
2. 基于度量优化的SAR自聚焦原理
SAR自聚焦方法是一种基于数据驱动的参数估计方法,是从雷达数据中来估计和补偿相位误差。基于度量的SAR自聚焦方法主要包括基于最大对比度、最小熵的方法,该类方法将SAR自聚焦问题看作数学优化问题,通过迭代优化的方式求解,实现对高阶相位误差的补偿。此外,距离向的相位误差一般较小,对图像质量的影响较小,因此本文仅考虑方位向的相位误差的估计与补偿。
为方便讨论,这里列出距离压缩后的雷达回波,其信号模型为:
(1)
其中,
,k为方位向脉冲序列索引,
为方位脉冲个数,
,n为距离单元索引,
为距离单元个数,
为第i个散射点的反射率;
为每一个距离单元对应的方位向相位误差。
通常方位向相位误差的估计和补偿在距离多普勒域进行,因此,这里将时域回波数据
通过方位向傅里叶变换转化到距离多普勒域。故相位补偿的SAR图像与距离压缩后的时域回波数据
的关系可以写为:
(2)
其中,
为补偿后的时域图像,M和N分别为方位向和距离向的采样点数,k为方位向下标,
为需要补偿的误差向量,其中下标m对应该方位向需要补偿的相位误差。为方便表述,这里将其转化为矩阵形式进行运算,即
(3)
其中,
和
分别代表方位向傅里叶变换和逆变换,Φ是相位误差向量对角化组成的矩阵,即
。
对于不同的相位误差,其相位误差向量
可以建模成不同的形式,通常将其建模成多项式类型的误差,影响图像散焦的原因是受到二阶和三阶多项式的影响,其中常数项和一阶项不会影响图像的度量指标的变化。这里将相位误差建模为:
(4)
其中,
多项式系数,p为方位向频率向量,通常可以将其归一化到[−1, 1]区间。
基于度量优化(这里以最大对比度与最小熵算法为例)的SAR自聚焦参数估计可以表示为以下流程图1,从流程图1中可以看到,其关键部分是通过计算图像度量值去更新相位误差,即建立度量函数C与误差向量
的函数关系。通过计算图像的度量指标(对比度与熵值)的更新量,使用梯度更新,其算法通过不断地更新误差向量,实现对图像的补偿,从而得到关于误差向量
的最优解。
Figure 1. SAR autofocusing algorithm flowchart based on maximum contrast
图1. 基于最大对比度的SAR自聚焦算法流程图
以最大对比度算法为例,简要介绍关于度量优化的SAR自聚焦方法。图像对比度定义为:
(5)
其中,
表示方差,
表示均值,
表示图像中第
点像素的强度。对于给定的SAR图像,
是一常数,故可以进一步化简得到更简单的对比度等价形式,即
(6)
通常,SAR图像的聚焦效果越好,则其图像对比度越大,如果图像完全聚焦,则图像对比度达到最大。而图像的聚焦程度与相位误差的补偿效果相关,相位误差补偿越精确,则图像聚焦质量越好。即图像的对比度
是相位误差向量
的函数。对式(6)求关于
的导数可得:
(7)
由于
,可得:
(8)
其中,“*”表示求复共轭,
表示取实部,且
关于
的偏导数为
(9)
可以得到图像对比度关于相位误差向量的导数,即:
(10)
其中
表示求复数的虚部。为求对比度最大条件下的相位误差补偿函数,即令其偏导数为零,可得:
(11)
将上式等式右边的分式同乘分子并两边平方得:
(12)
其中
式(12)得到了对比度最优意义下的相位误差形式,可以采用快速傅里叶变换实现对于
的求解,然后利用迭代方法进行图像的更新补偿。
然而,从最大对比度的自聚焦方法可以看出,对于一幅图像的误差补偿,通常需要进行多次的傅里叶变换和梯度计算,这对于大尺度图像的自聚焦方法求解时,该方法计算复杂度高,难以满足高效成像的需求。
3. 基于深度网络的SAR自聚焦方法
3.1. 网络框架
基于度量优化的SAR自聚焦方法通过建立图像度量值与相位误差之间的函数来估计相应的误差参数。其本质是对离焦图像到聚焦图像的相位误差参数的估计。然而,传统度量优化算法进行迭代优化时,需要对阈值进行设定,如果阈值设置过大,则可能造成算法收敛过快,得不到相位误差的最优解,对于误差较小的图像,则可能导致算法无法收敛;如果阈值设置过小,则算法迭代次数增加,且对于误差较大的图像,则需要更多的迭代次数,导致计算复杂度增加。
本文受传统度量优化算法的启发,提出了一种基于深度网络的SAR自聚焦方法。通常来说,不同相位误差的离焦图像其离焦程度不同,可以通过网络来拟合离焦图像与其相位误差的函数关系。但由于相位误差本身的复杂性,如果直接将相位误差与离焦图像对应,则函数关系过于复杂,网络很难收敛。上节提到相位误差通常可以建模成多项式的形式,通过网络训练实现对多项式系数与离焦图像之间的映射可以很大程度上减少网络模型的复杂度。首先,将离焦图像记为Y,网络的映射过程表示为
,其中θ为网络参数,且
为相位误差模型,C为SAR图像X上的度量函数,C关于网络参数θ可导,当
时达到最优,补偿后的时域图像表示为
。
(13)
其中,
为训练样本集合,N为训练样本数,
为第n幅离焦图像,图像熵和对比度作为度量指标,熵值越小或对比度越大则图像聚焦程度越高。其中熵值定义为:
(14)
其中
对应于网络输出的第n幅聚焦图像。
从图2中可看出,网络将离焦图像作为输入,利用深度网络的特征提取能力,提取离焦图像的特征,将不同离焦程度的图像以不同类型的相位误差系数来表示。通过更新系数向量构成的误差向量进行SAR图像的聚焦补偿,不需要设置迭代阈值参数。相比于传统基于最大对比度方法,网络方法聚焦速度快,训练完成后,只需要将离焦图像输入到网络中进行相应的测试即可完成图像的误差估计与补偿,且算法不需要反复迭代,执行速度快。
Figure 2. SAR autofocusing network framework
图2. SAR自聚焦网络框架
在网络设计方面,网络框架分为两个部分:特征提取与参数估计(相位误差系数)。首先,网络通过输入大量的离焦图像进行特征提取与特征分类,根据不同的离焦图像估计离焦图像所对应的误差系数。其次,估计的系数组合相应的相位误差向量,用于补偿通过方位向傅里叶变换得到的距离多普勒域的离焦图像。最后,通过方位向傅里叶逆变换将补偿后的图像转换到时域,计算损失和梯度从而进行反向传播。这里将图像熵值作为网络的损失函数,进行网络的优化。
Figure 3. Function and composition of deep network. (a) Network function, (b) Network structure
图3. 深度网络功能与结构组成。(a) 网络功能,(b) 网络结构
对于相位误差的建模,在本文第二部分基于度量优化方法中给予了详细的介绍。本节将详细介绍网络的如何实现对离焦图像特征的提取与相应误差系数的估计。深度网络分为两个部分,如图3(a)所示,分别是图像特征提取和离焦参数估计。具体的网络结构如图3(b)所示,其中网络共由6个卷积模块和两个全连接层,一个全局平均池化层(Global Average Pooling, GAP)和一个Dropout层。在特征提取方面采用6个卷积模块和一个GAP层实现,其中每个卷积模块由卷积层、实例归一化层(Instance Normalization, IN)和LeakyReLU激活层组成。相位系数的估计通过两个全连接层实现。
3.2. 网络参数
Table 1. Network layer input-output configuration table
表1. 网络层输入输出配置表
层 |
层配置 |
层输出大小 |
1 |
16 × 63 × 1卷积 + IN + LeakyRELU |
|
2 |
32 × 31 × 1卷积 + IN + LeakyRELU |
|
3 |
64 × 15 × 1卷积 + IN + LeakyRELU |
|
4 |
64 × 7 × 1卷积 + IN + LeakyRELU |
|
5 |
128 × 3 × 1卷积 + IN + LeakyRELU |
|
6 |
128 × 3 × 1卷积 + IN + LeakyRELU |
|
7 |
Global Average Pool |
|
8 |
128 × 128 FC + LeakyRELU |
|
9 |
Dropout (p = 0.5) |
|
10 |
128 × 2 FC |
|
在网络中将离焦的复数SAR图像的实部和虚部分别作为两个通道输入到网络中。首先通过卷积层进行特征提取,再通过IN层和一个LeakyReLU非线性激活层。对于IN层和LeakyReLU层的使用是结合雷达图像特征选择,通常在神经网络的训练过程中,批规范化(Batch Normalization, BN)层可以解决数据分布的不同,有助于网络的快速收敛,而考虑到不同离焦图像所对应的离焦参数不同,这里选用了更适合个体实例任务的IN层。同样的,选用GAP层实现对整个特征图的池化,用于保留离焦图像的全局信息。对于非线性激活函数的选择,选用带有负数输出的LeakyReLU非线性激活函数以满足实际雷达图像的需求。详细的网络输入输出结构如表1所示。
另外,对于卷积核的选取,考虑到计算复杂度与离焦图像的特征,本文在方位特征提取上选择了逐级递减的卷积核(63、31、15、7、3、3),距离向的卷积核大小为1。步长(Stride)设置为1,填充值(Padding)设置为零。
4. 实验结果
4.1. 数据集
本文选用了美国桑迪亚(Sandia)国家实验室的机载SAR数据(即MinSAR图像)作为实验对象,其数据介绍如下:
Figure 4. MinSAR image experimental data legend
图4. MinSAR图像实验数据图例
如图4,在实验中,选取了四幅图像,其大小为1638*2510,每幅图像随机裁剪成6000幅256*256大小的图像。将获得的理想图像通过在距离多普勒域随机生成的多项式相位误差来模拟雷达回波中真实存在的相位误差。其中四幅图像共24,000张图片构成相应的数据集,选取20,000张图片用作网络模型训练,剩下4000张图片用于测试。
评价指标的选取,对于网络的收敛情况,选用图像对比度与图像熵值作为损失函数,通过计算相应的损失判断网络的收敛情况。在数据测试过程中,选取图像熵值和图像对比度作为聚焦质量好坏的评价依据。选用峰值信噪比(PSNR)和结构相似度(SSIM)作为图像整体质量的评价依据,其相关定义如下:
(15)
其中
,这里的
是场景X的像素点总数,
是重建图像,
为参考图像(无误差图像)。
(16)
其中
,
;
,
;
分别是重建图像和参考图像的平均灰度值;灰度标准差;协方差。
和
是相关系数,设置为
,
,其中
,
,L是图像的像素值范围,这里归一化为0~1。
4.2. 实验结果分析
Figure 5. Focus results of different methods: (a)~(c) original images, (d)~(f) error images, (g)~(i) MCA, (j)~(l) Ours
图5. 不同方法的聚焦结果:(a)~(c) 原始图像,(d)~(f) 误差图像,(g)~(i) MCA,(j)~(l) Ours
在本节中,利用仿真数据对本文所提方法进行了实验验证。分别在对不同场景的相位误差条件下,验证了所提方法在相位误差估计和补偿方面的有效性。并与传统基于度量优化的方法(MCA)进行了对比,实验结果和分析如下。
在本实验中,选取了三幅离焦场景进行相应的测试,实验如图5所示。
可以看到在相位误差条件下,图像方位向出现了散焦现象,目标的形状和大小难以分辨。其中场景1的场景轮廓包含一些强散射点,在含有相位误差的条件下,其方位向散焦严重。最大对比度方法在相位误差估计和补偿方面有一定效果,场景轮廓得到改善,可以分辨出,但非强点轮廓(右下道路轮廓)补偿效果并不理想。相比之下,本文所提方法聚焦质量更高,鲁棒性更好。从表2定量的评价指标中可以得出,本文方法在熵值和对比度方面表现最好,在PSNR、SSIM指标中,效果都是最优的。基于最大对比度方法的补偿效果受场景影响较大。场景3中,本文所提方法重建图像中的熵值优于误差图像,略高于MCA方法。
Table 2. Focus quality assessment
表2. 聚集质量评价
|
Method |
PSNR |
SSIM |
En |
Scene 1 |
误差图像 |
22.5545 |
0.4877 |
10.5427 |
MCA |
24.9271 |
0.5468 |
10.4165 |
Ours |
30.2606 |
0.8699 |
10.3804 |
Scene 2 |
误差图像 |
16.6971 |
0.2357 |
10.8943 |
MCA |
21.1629 |
0.3663 |
10.6118 |
Ours |
27.3281 |
0.7971 |
10.5146 |
Scene 3 |
误差 |
20.9698 |
0.4530 |
10.6133 |
MCA |
23.9619 |
0.5544 |
10.5198 |
Ours |
29.9073 |
0.8256 |
10.5428 |
Figure 6. Phase error estimation results of different methods
图6. 不同方法的相位误差估计结果
从图6不同场景的相位误差估计方法对比结果来看,基于网络估计的方法在误差估计方面有更好的性能,估计的误差值与添加值曲线拟合程度最高,鲁棒性更好。基于最大对比度的方法,虽然对相位误差的估计有一定的效果,但依赖于场景,对于不同场景的估计效果不同。
5. 结论
本文基于度量优化的SAR自聚焦原理,提出了一种基于度量优化的深度网络SAR自聚焦网方法。通过卷积神经网络提取不同离焦图像的特征,实现SAR离焦图像相位误差系数估计与建模补偿。最后通过网络训练,不断进行相位误差的估计和更新,实现SAR离焦图像的误差估计和补偿。通过仿真实验,验证了本文所提方法的有效性。
NOTES
*通讯作者。