关于图像去噪的综述及优化模型的提出

An Overview of Image Denoising and an Optimization Model Are Presented

摘要: 在数字图像处理领域中，图像去噪一直是一个基础而关键的课题，尤其是随着遥感技术的发展和应用，对高质量图像的需求日益增长。对于图像去噪的方法却是多种多样的，而缺乏系统地对这些方法进行归类和分析。所以本文详细探讨了现代图像去噪技术的进展，我们将图像去噪方法分为这三大类：全变分、稀疏理论、深度学习。并系统地进行展开论述其中的优缺点，通过列举主要参考文献，并根据参考文献来给我们提供思路，并对这些参考文献仔细深入研究。总结这些参考文献的优点对于我们的启发，并提供建立优化模型的理论基础。最后我们将在本文中的各种方法下提供一些具体的参考优化模型、对于一些高光谱图像数据和条纹噪声的属性进行具体分析，为其它学者提供一些新的建立优化模型的灵感。这些参考文献中的研究成果和我们提供给读者的优化模型有助于推动遥感图像处理技术的发展具有重要意义。

Abstract: In the field of digital image processing, image denoising has always been a basic and key subject, especially with the development and application of remote sensing technology, the demand for high-quality images is increasing day by day. There are a variety of methods for image denoising, but there is a lack of systematic classification and analysis of these methods. Therefore, this paper discusses the progress of modern image denoising technology in detail. We divide image denoising methods into three categories: Total variational, sparse theory and deep learning. And systematically expounded the advantages and disadvantages of them, by listing the main references, and according to the references to provide us with ideas, and these references carefully in-depth study. Summarize the advantages of these references for our inspiration and provide a theoretical basis for building optimization models. Finally, we will provide some specific reference optimization models under the various methods in this paper, and analyze the attributes of some hyperspectral image data and fringe noise in detail, so as to provide some new inspiration for other scholars to build optimization models. The research results in these references and the optimization model we provide to the readers are of great significance to promote the development of remote sensing image processing technology.

1. 基于全变分方法

全变分(Total variation, TV)方法，它具有保留图像的细节信息和保护图像的边缘数据的特点。由1992年，Rudin等人发现了全变分的优点并提出了经典的全变分算法 [1] ，该数值算法如下所示：

$\underset{u\in BV\left(\Omega \right)}{\inf }E\left(u\right)={\displaystyle {\int }_{\Omega }\left|\nabla u\right|\text{d}x\text{d}y}+\frac{\lambda }{2}{\displaystyle {\int }_{\Omega }{\left(u-f\right)}^2\text{d}x\text{d}y}$ (1)

自全变分算法提出来之后，受到许多学者的关注，并且不断的对全变分进行相应的扩展研究，其中就包括：LCA模型和Aubert-Aujol模型等等。2004年，Farsiu等人提出了一种基于双边先验的L₁范数最小化和鲁棒正则化方法来处理不同的图像数据和噪声模型 [2] ，具体的BTV如下所示：

$U_{BTV}\left(Z\right)={\displaystyle {\sum }_{l=-p}^p{\displaystyle {\sum }_{m=0}^p{\alpha }^{\left|m\right|+\left|l\right|}{\Vert Z-S_x^l{S}_y^{m}Z\Vert }_1}}$ (2)

由于前面提出的全变分算法单一和数值求解困难。2008年，Wang等人提出、分析和测试一种交替最小化算法 [3] ，提出了一种新的半二次模型，用于从模糊和噪声图像中恢复出具有全变分正则化的图像，提高了全变分算法的计算速度和分析该算法的收敛速度。该优化模型如下所示：

$\underset{u}{\min }{\displaystyle {\sum }_{i=1}^{n^2}\Vert D_{i}u\Vert }+\frac{\mu }{2}{\Vert Ku-f\Vert }_2^2$ (3)

随着研究学者在全变分算法的基础上继续深入仔细研究，但这些学者很快就发现全变分的缺点，即容易在图像上产生阶梯效应，也就是对恢复的图像产生伪影，影响了图像的质量。所以后来的学者一边利用全变分的优点，一边致力于解决这个问题。

在2009年，Yang等人提出了一种在全变分上施加权重来抑制这种阶梯效应 [4] 。具体模型如下所示：

$\underset{u}{\min }{\displaystyle {\sum }_i{\alpha }_i\Vert G_{i}u\Vert }+\frac{\mu }{2}{\Vert Ku-f\Vert }^2$ (4)

2021年，研究了极大后验框架下的柯西图像恢复问题。Jon等人提出了一种新的图像先验，即在图像梯度上具有重叠群稀疏性的加权超拉普拉斯先验 [5] 。这种先验允许我们同时提高自然图像梯度的结构和像素的稀疏性。具体模型如下所示：

$\begin{array}{l}\underset{f}{\min }\left\{\left[{\varphi }_{OH}^w\left(x_1\right)+{\varphi }_{OH}^w\left(x_2\right)\right]+{\mathcal{I}}_{\Omega }\left(x_3\right)+\frac{\lambda }{2}\left[{\displaystyle {\sum }_{i,j=1}^n\log \left({\gamma }^2+{\left(y-g\right)}_{i,j}^2\right)}+\alpha {\Vert y-\tilde{f}\Vert }_2^2\right]\right\}\\ \text{subject}\text{to}{x}_1=D_{x}f,x_2=D_{y}f,x_3=f,y=Hf.\end{array}$ (5)

2021年，Cai等人通过利用图信号处理理论和低秩矩阵恢复模型提出了一种创新的去噪方法 [6] 。利用图信号处理，可以有效地表征高光谱图像的分段平滑特性，从而产生一种新的高光谱图像去噪正则化方法。

后来另一些学者将全变分思想转到多维数据上，2015年，He等人提出了一种基于全变分正则化低秩矩阵分解(Total variation regularized low-rank matrix factorization, LRTV)方法 [7] ，用于高光谱图像混合噪声的去除。具体的模型如下所示：

$\begin{array}{ll}\underset{X,S\in {ℝ}^{m\times n}}{\min }\hfill & {\Vert X\Vert }_{\ast }+\tau {\Vert X\Vert }_{\text{HTV}}+\lambda {\Vert S\Vert }_1\hfill \\ \text{s}\text{.t}.\hfill & {\Vert Y-X-S\Vert }_F^2\le \epsilon ,\text{rank}\left(X\right)\le r\hfill \end{array}$ (6)

2019年，Cheng等人提出了一种新的基于反射和光照先验的非凸Retinex变分模型 [8] ，使用超拉普拉斯先验来表示反射率梯度，使用混合超拉普拉斯算子和Tikhonov来表示光照梯度，该模型具体公式如下所示：

$\underset{r,l}{\min }{\alpha }_1{\Vert \left|Dr\right|\Vert }_{{\gamma }_1}^{{\gamma }_1}+{\alpha }_2\left\{{\Vert \left(1-g\right)\circ \left|Dl\right|\Vert }_{{\gamma }_2}^{{\gamma }_2}+{\Vert g\circ \left|Dl\right|\Vert }_2^2\right\}+\frac{1}{2}{\Vert l-s-r\Vert }_2^2+\frac{\tau }{2}{\Vert l\Vert }_2^2+{\delta }_{{\Omega }_1}\left(r\right)+{\delta }_{{\Omega }_2}\left(l\right),$ (7)

与此同时，在多维数据上是包含大量的光谱数据和丰富的空间信息。因此，为了充分利用这一特点，学者提出了一种利用全变分正则化约束来提取遥感图像的空间信息并将其与光谱信息相结合的有效的去噪方法。

2015年，Aggarwal等人提出了基于空谱全变分的图像去噪 [9] ，并提出了SSTV正则化项(Spatio-spectral total variation, SSTV)，SSTV是通过计算光谱差分和空间差分得出的，SSTV可以在没有任何权重的情况下恢复理想的图像，但是当给定的观测图像被高水平噪声污染时，就会产生类似噪声的伪影。 $\text{SSTV}\left(u\right):={\Vert D{D}_{b}u\Vert }_1$ ，2016年，Chang等人提出各向异性光谱–空间全变分模型用于多光谱遥感图像去除条带 [10] ，并提出了ASSTV正则化项(Anisotropic spectral-spatial total variation, ASSTV)， $\text{ASSTV}\left(u\right):={\tau }_v{\Vert D_{v}u\Vert }_1+{\tau }_h{\Vert D_{h}u\Vert }_1+{\tau }_b{\Vert D_{b}u\Vert }_1$ ，ASSTV考虑了空间和光谱相关性，但是它会产生光谱的过度拟合，具体模型如下所示：

$\underset{u}{\min }\frac{1}{2}{\Vert u-f\Vert }_2^2+{\lambda }_1{\Vert D_{\text{x}}u\Vert }_1+{\lambda }_2{\Vert D_{\text{y}}\left(u-f\right)\Vert }_1+{\lambda }_3{\Vert D_{z}u\Vert }_1$ (8)

2020年，Takeyama等人提出了基于空谱混合正则化的图像复原方法 [11] ，并提出了HSSTV正则化项(Hybridspatio-spectral total variation, HSSTV)，为了消除光谱的过度拟合，在光谱差分上施加了约束。 $\text{HSSTV}\left(u\right):={\Vert A_{\omega }u\Vert }_{1,p}$ ， $A_{\omega }:=\left(\begin{array}{c}D{D}_b\\ \omega D\end{array}\right)$ 。关于SSTV、ASSTV、HSSTV这三者的上图像的关系图，可以参考文献 [11] 。

随后，由于在遥感图像处理中，遥感图像在成像的过程中容易受到各种各样的噪声污染，而噪声的复杂性和图像的细节保持尤为重要。

学者们开始致力于研究图像和各种类型噪声的属性特点，来建立高效且收敛的优化模型。2020年，Hu等人提出了通过合并去噪和去条带两个子模型来同时去除高斯噪声和条纹噪声 [12] ，该去噪子模型考虑不同波段间的高斯噪声变化，进行多波段去噪，而对于去条带子模型，提出了一种自适应各向异性全变分来自适应地平滑条纹，并应用截断核范数将条纹的秩限制为1，然后合并两个子模型将获得用于去噪和去条带的最终图像恢复模型。2021年，Wu等人提出了一种基于全变分、全局低秩和方向稀疏约束的垂直条纹去除模型 [13] ，全变分用于保留细节，而全局低秩和方向稀疏性用于约束条纹噪声，充分利用条纹噪声的方向性和结构特性，达到了较好的去除效果。

2022年，通过分析条纹噪声的结构特性，将低秩先验从空间域扩展到梯度域，Song等人提出了一种结合双低秩属性的增强型先验，将该先验信息与全变分模型相结合，可以建立增强的低秩全变分模型(Enhanced low-rank prior and total variation regulation, ELRTV) [14] ，大量实验结果表明，增强的低秩全变分模型有效地去除条带噪声，并保留更多的细节，同时不会引入额外的伪影。该模型具体公式如下所示：

$\underset{N_s,X}{\min }\frac{1}{2}{\Vert F-X-N_s\Vert }_F^2+{\lambda }_1{\Vert \nabla vX\Vert }_1+{\lambda }_2{R}_o\left(N_s\right)+{\lambda }_3{R}_g\left(N_s\right)$ (9)

同时，许多学者在研究遥感图像去噪的同时，能够充分利用好全变分的优点和解决它的缺点，又能够充分考虑遥感图像数据结构的特点，并且遥感图像受到各种各样的噪声属性不同。为了充分考虑以上这些因素，所以又有新的一些模型的提出。

2019年，Chen等人提出了一种用于高光谱图像恢复的空间差分图像的组稀疏正则化恢复方法，采用了低秩Tucker分解来捕获高光谱图像的三个维度的空间–光谱相关性，提出了一种用于高光谱图像恢复的加权组稀疏正则化低秩张量分解(Weighted group sparsity-regularized low-rank tensor decomposition, LRTDGS)方法 [15] 。具体模型如下所示：

$\begin{array}{ll}\underset{\mathcal{X},\mathcal{S},\mathcal{G},U_i}{\min }\hfill & {\lambda }_1{\Vert W\odot D\mathcal{X}\Vert }_{2,1}+{\lambda }_2{\Vert \mathcal{S}\Vert }_1\hfill \\ \text{s}\text{.t}\text{.}\hfill & \mathcal{X}=\mathcal{G}{\times }_1{U}_1{\times }_2{U}_2{\times }_3{U}_3,{\Vert \mathcal{Y}-\mathcal{X}-\mathcal{S}\Vert }_F^2\le \epsilon .\hfill \end{array}$ (10)

2020年，Kong等人提出了一种全局和局部张量稀疏近似(Global and local tensor sparse approximation, GLTSA)模型 [16] ，该模型将两个 $l_0$ -范数正则化项用于条纹噪声和沿条纹梯度方向，以提高条纹去除性能，分别在空间域和光谱域上对干净图像的梯度使用 范数正则化。具体公式如下所示：

$\underset{\mathcal{S}}{\min }\alpha {\Vert \mathcal{S}\Vert }_0+{\Vert {\nabla }_2\mathcal{S}\Vert }_0+\lambda {\Vert {\nabla }_1\left(\mathcal{F}-\mathcal{S}\right)\Vert }_1+\gamma {\Vert {\nabla }_3\left(\mathcal{F}-\mathcal{S}\right)\Vert }_1$ (11)

2021年，将干净图像和不同类型的噪声作为独立分量处理。这样，图像去噪任务就可以很自然地看作是图像分解问题。基于条纹的结构特点和高光谱图像的低秩特性，Yang等人提出了将条纹和光谱低秩矩阵恢复与全局空间–光谱全变分正则化相结合 [17] ，对高光谱图像进行去条纹和去噪的方法。具体模型如下所示：

$\begin{array}{l}\underset{X,S,B}{\min }{\displaystyle {\sum }_{ij}\left({\Vert X_{ij}\Vert }_{*}+\lambda {\Vert B_{ij}\Vert }_1\right)}+\tau {\Vert X\Vert }_{\text{SSTV}}+\beta {\displaystyle {\sum }_{b=1}^P{\Vert S_b\Vert }_{\ast }}\\ \text{s}\text{.t}.{\Vert Y_{ij}-X_{ij}-S_{ij}-B_{ij}\Vert }_F^2\le \xi ,\text{rank}\left(X\right)\le r_1\\ {\Vert Y_b-X_b-S_b-B_b\Vert }_F^2\le \xi ,\text{rank}\left(S_b\right)\le r_2\end{array}$ (12)

2021年，Zhang等人提出了一种基于双低秩矩阵分解(Double low-rank matrix decomposition, DLR)的高光谱图像去噪和去条带化方法 [18] 。该模型如下所示：

$\begin{array}{l}\underset{L,B,S}{\min }{\Vert L\Vert }_{*}+{\lambda }_1{\Vert S\Vert }_1+{\lambda }_2{\displaystyle {\sum }_{n=1}^K{\Vert B_n\Vert }_{\ast }}\\ \text{s}\text{.t}.{\Vert Y-L-S-B\Vert }_F^2\le \epsilon ,\text{rank}\left(L\right)\le r_1,\text{rank}\left(B_n\right)\le r_2\end{array}$ (13)

2021年，实际应用中的各种鲁棒主成分分析算法需要提前知道低秩矩阵的秩，或者调整参数。为了克服这些局限性，Xu等人提出了一种基于低秩矩阵秩估计和重加权策略的自适应双加权鲁棒主成分分析算法来精确恢复低秩矩阵 [19] 。2021年，Chen等人提出了两种新的因子组稀疏正则化非凸低秩近似方法 [20] ，该方法通过低秩分解捕获谱相关性，同时利用因子组稀疏正则化进一步增强低秩特性。两个模型公式如下所示：

$\begin{array}{l}\underset{A,\mathcal{B},\mathcal{S}}{\min }\frac{\beta }{2}{\Vert \mathcal{Y}-\mathcal{B}{\times }_{3}A-\mathcal{S}\Vert }_F^2+\left({\Vert A\Vert }_{2,0}+\gamma {\Vert \mathcal{B}\Vert }_{2,0}\right)+\tau {\Vert \mathcal{S}\Vert }_1\\ \underset{A,\mathcal{B},\mathcal{S}}{\min }\frac{\beta }{2}{\Vert \mathcal{Y}-\mathcal{B}{\times }_{3}A-\mathcal{S}\Vert }_F^2+\left({\Vert A\Vert }_{2,1}+\gamma {\Vert \mathcal{B}\Vert }_{2,1}\right)+\tau {\Vert \mathcal{S}\Vert }_1\end{array}$ (14)

2022年，在处理含有多种类型的混合高强度条纹噪声时，现有方法往往不能完全去除噪声并重建高质量的高光谱图像。为了解决这个问题，Cai等人提出了一种基于各向异性空间和光谱全变差正则化双低秩近似的高光谱图像去噪方法 [21] 。

2022年，Yin等人提出了一种新的全变分模型，该模型利用 $l_0$ -范数作为数据保真度来去除脉冲噪声，同时利用重叠组稀疏性全变分(Overlapping group sparse total variation, OGS-TV)作为正则化项消除阶梯效应 [22] ，实验结果表明，所提出的模型在峰值信噪比和结构相似度方面均优于使用 $l_1$ 和 $l_0$ 范数。该模型如下所示：

$\underset{0\le u\le 1}{\min }{\Vert o\odot \left(Hu-b\right)\Vert }_0+\lambda \varphi \left(\nabla u\right)$ (15)

2022年，通过研究高光谱图像的梯度直方图，发现了真实高光谱中的梯度实际上服从超拉普拉斯分布，其power参数q = 1/2。考虑到这一先验，Xu等人提出了一种基于L_1/2范数的超拉普拉斯谱–空间全变分(HTV)去噪算法 [23] 。进一步，将HTV作为正则化项，提出了低秩矩阵模型和低秩张量模型。该模型具体如下所示：

$\begin{array}{ll}\underset{X,S}{\min }\hfill & {\Vert X\Vert }_{\ast }+{\lambda }_{\text{M}}{\Vert S\Vert }_1+{\tau }_{\text{M}}{\Vert X\Vert }_{\text{HTV}}\hfill \\ \text{s}\text{.t}\text{.}\hfill & Y=X+S,\text{rank}\left(X\right)\le r,\hfill \end{array}$ (16)

2022年，Peng等人提出了一种新的正则项命名为代表系数总变分来同时表征低秩和局部光滑性质 [24] 。2023年，现有的低秩模型往往具有较高的计算复杂度。针对这一问题，基于数据矩阵正交变换得到的代表系数矩阵可以继承数据矩阵空间结构的定理，Liu等人提出了一种用于红外小目标高效检测的代表系数全变分方法 [25] 。

2023年，图像去条纹是必不可少的，因为条纹噪声可能在实际应用中造成严重的问题。Kim等人提出了一种新的基于交替方向乘法器的优化模型，称为ADOM算法 [26] ，用于遥感图像中的条纹噪声去除。具体模型如下所示：

$\begin{array}{l}\underset{A,B,C,S}{\arg \min }\left\{{\Vert A\Vert }_1+{\lambda }_1{\Vert B\Vert }_{w_n,1}+{\lambda }_2{\Vert C\Vert }_{w_g,2,1}\right\}\\ \text{s}\text{.t}\text{.}A={\nabla }_{y}S,B={\nabla }_x\left(O-S\right),C=S\end{array}$ (17)

综上所述，在图像去噪方法上许多学者提出了许多优秀的优化模型，同时也引发了我们的思考，在文献 [12] - [26] 中，他们提出的优化模型中充分利用了多维图像数据特点和各种各样的噪声属性特点，其中就包括真实高光谱中的梯度实际上服从超拉普拉斯分布、条纹噪声的重复结构特性和提出新的基于交替方向乘法器的优化模型等等，从而达到恢复高质量图像结果。

与此同时，我们紧接着做了以下两个实验来分析高光谱图像的数据特点和条纹噪声的属性特点。

我们分别使用Pansharpening数据集1和Salinas数据集2进行实验，对这两个数据集进行x，y，z方向上的差分计算，图1分别显示了这两个数据集的梯度值的结果如下所示，我们分别绘画了高斯分布、拉普拉斯分布、超拉普拉斯分布。并且发现了超拉普拉斯分布比高斯分布和拉普拉斯分布更能够拟合x和y方向上的差分，而在z方向上不符合超拉普拉斯分布。这也就说明在传统的方法上，使用超拉普拉斯分布来约束干净图像比使用L₁范数和L₂更合适。

(a) (b)

Figure 1. Statistical results of gradient values for clean hyperspectral images were obtained from (a) the Pansharpening dataset of 10 (b) the Salinas dataset

图1. 对干净的高光谱图像的梯度值统计结果，(a) Pansharpening数据集的10个 (b) Salinas数据集

如图2所示，我们通过对条纹噪声图像进行奇异值分解并发现了条纹噪声图像的奇异值迅速下降为0，从而，让我们知道了在文献 [7] [8] [9] [10] 中，使用低秩的核范数约束比使用L₁范数来更合适。

Figure 2. Low rank attribute analysis of fringe noise

图2. 条纹噪声的低秩属性分析

通过以上这两个实验和前面学者研究成果，我们可以知道，要想恢复高质量的图像要满足以下条件：1) 对图像数据进行分析并发现其内在的特征和各种各样的噪声属性特点的研究。2) 为合适的图像数据和各种各样的噪声构建适合的正则项。3) 由于建立模型差异化，所以寻找合适的算法求解该模型，使得建立的模型是高效且鲁棒的。

而且在式(8)-(17)中可以发现对于一种图像和噪声的约束不仅仅是只使用一种范数约束，而是使用两个或者三个进行正则项约束，从而达到高质量图像恢复。在具体的模型中，而由超拉普拉斯建立的优化模型需要调节多个参数，才能达到理想的图像，而在文献 [20] 中，可以知道提出了两种新的因子组稀疏正则化非凸低秩近似方法，并且通过低秩分解捕获谱相关性，同时利用因子组稀疏正则化进一步增强低秩特性等众多优点。并且发现因子组稀疏正则项比超拉普拉斯分布更能够适应多维数据的特点，这是一个很好的启发。所以我们根据因子组稀疏正则项给出以下优化模型，具体求解过程在这里不再过多赘述。如下所示：

1) $\underset{u}{\min }{\displaystyle {\sum }_i{\alpha }_i\Vert G_{i}u\Vert }+\frac{\mu }{2}{\Vert Ku-f\Vert }^2+\lambda {\text{FGSR}}_p(\; u\; )$

2) $\underset{X,S\in {ℝ}^{m\times n}}{\min }{\text{FGSR}}_p\left(X\right)+\tau {\Vert X\Vert }_{\text{HTV}}+\lambda {\Vert S\Vert }_1$

3) $\underset{u}{\min }\frac{1}{2}{\Vert u-f\Vert }_2^2+{\lambda }_1{\Vert D_{\text{x}}u\Vert }_1+{\lambda }_2{\Vert D_{\text{y}}\left(u-f\right)\Vert }_1+{\lambda }_3{\Vert D_{z}u\Vert }_1+{\lambda }_4{\text{FGSR}}_p(\; u\; )$

4) $\underset{N_s,X}{\min }\frac{1}{2}{\Vert F-X-N_s\Vert }_F^2+{\lambda }_1{\Vert \nabla vX\Vert }_1+{\lambda }_2{R}_o\left(N_s\right)+{\lambda }_3{R}_g\left(N_s\right)+{\lambda }_4{\text{FGSR}}_p(\; X\; )$

其中 ${\text{FGSR}}_p(\cdot )$ 表示因子群稀疏正则项。 ${\text{FGSR}}_p\left(X\right)={\Vert X\Vert }_{S_p}^p=\sqrt[p]{{\sigma }_1}+\sqrt[p]{{\sigma }_2}+\cdots +\sqrt[p]{{\sigma }_r}$ 。 ${\text{FGSR}}_p(\cdot )$ 以Schatten p范数为基础。p可以取为 $\frac{1}{2}$ 、 $\frac{1}{3}$ 等等。对于 ${\text{FGSR}}_p(\cdot )$ 的求解过程在相应的文献中可以找到。近年来对于 ${\text{FGSR}}_p(\cdot )$ 的研究发现它比核范数和超拉普拉斯先验更能够约束相应的数据特点。

2. 基于稀疏理论方法

对于稀疏理论来恢复的图像，学者们利用稀疏编码、将图像稀疏表示、非局部稀疏低秩分解和使用稀疏系数矩阵等等。而稀疏表示的两大主要任务就是字典的生成和信号的稀疏分解。

2017年，Wang等人提出了一种基于光谱稀疏表示和单向huber-markov随机场的高光谱图像光谱–空域条带去除方法 [27] 。具体模型如下所示：

$\underset{\alpha }{\min }\Phi \left(\alpha \right)=\frac{1}{2}{\Vert y-D\alpha \Vert }_2^2+\lambda {\Vert \alpha \Vert }_1+\gamma 1^{\text{T}}\tau \left(V\alpha \right)$ (18)

2018年，Zhang等人介绍了两种非常快速和有竞争力的高光谱图像恢复算法:一种能够应对高斯和泊松噪声的去噪算法，一种用于恢复高光谱图像中某些已知波段的已知像元的某些观测值缺失的修复算法 [28] 。具体模型如下所示：

$\underset{z}{\min }\frac{1}{2}{\Vert \left(I\otimes E\right)z-\hat{y}\Vert }^2+\lambda \varphi \left(z\right)$ (19)

2021年，Peng等人提出了一种新的基于超拉普拉斯先验的超分辨率全局梯度稀疏非局部低秩张量分解模型 [29] ，通过融合低分辨率高光谱图像和高分辨率多光谱图像得到高分辨率高光谱图像。具体模型如下所示：

$\begin{array}{l}\underset{\mathcal{X}}{\min }{\displaystyle {\sum }_{i=1}^3{\alpha }_i{\Vert {\nabla }_i\left(\mathcal{X}-\hat{\mathcal{Y}}\right)\Vert }_{1/2}}+\frac{\lambda }{2}{\Vert \mathcal{Z}-\mathcal{X}{\times }_{3}P\Vert }_F^2+{\displaystyle {\sum }_{k=1}^K{\displaystyle {\sum }_{i=1}^3{\beta }_i{\Vert V_{ik}\Vert }_{\ast }}}\\ +{\displaystyle {\sum }_{i=1}^3{w}_i{\Vert {\nabla }_i\mathcal{X}\Vert }_1}+\frac{\mu }{2}{\displaystyle {\sum }_{k=1}^K{\Vert {\mathcal{R}}_k\mathcal{X}-{\mathcal{H}}_k{\times }_1{V}_{1k}{\times }_2{V}_{2k}{\times }_3{V}_{3k}\Vert }_F^2}\end{array}$ (20)

2021年，由于稀疏建模的L₀-范数优化是一个非凸和NP困难问题，因此通常引入凸松弛和正则化参数来解决。然而，凸松弛往往会导致稀疏建模结果不准确，而敏感的正则化参数会导致结果不稳定。因此，为了解决这些问题，Wan等人提出了一种精确的多目标低秩稀疏去噪框架 [30] ，以实现高光谱图像的精确建模。具体模型如下所示：

$\begin{array}{l}{\text{minimize}}_{L,S}F\left(x\right)=\underset{L,S}{\min }\left\{f_1\left(L\right),f_2\left(S\right),f_3\left(L,S\right)\right\}\\ \text{Low-rankHSI}:f_1\left(L\right)={\Vert L\Vert }_{\ast }\\ \text{Sparsenoise}:f_2\left(S\right)={\Vert S\Vert }_0\\ \text{DatafidelitySSTV}:f_3\left(L,S\right)={\Vert O-L-S\Vert }_F^2+\alpha {\Vert L\Vert }_{\text{SSTV}}\end{array}$ (21)

2022年，Zhang等人提出了一种混合噪声去除算法，同时利用稀疏表示和图拉普拉斯正则项去除高斯噪声和稀疏噪声 [31] ，稀疏表示有助于实现对原始图像的逼近，图拉普拉斯正则项可以保证高光谱图像的非局部空间相似性。对稀疏系数矩阵和条带噪声分量分别进行约束，可以去除不同类型的噪声。具体的模型如下所示：

$\underset{U,V,S}{\arg \min }{\Vert Y^{\prime }-UV-S^{\prime }\Vert }_F^2+\lambda {\Vert V\Vert }_1+\mu \text{Tr}\left(VL{V}^{\text{T}}\right)+\beta {\displaystyle {\sum }_{b=1}^P{\Vert S_b\Vert }_{\ast }}$ (22)

2023年，由于收集到的数据/信号可能具有多子空间结构，并且可能受到异常值的干扰。这些促使使用鲁棒和块稀疏信号表示。Seghouane等人提出了一种新的在异常值存在的情况下学习块结构字典的算法 [32] 。提出块稀疏性模型如下所示：

$\underset{D,X}{\min }{\displaystyle {\sum }_{i=1}^N\left(L_{\tau }\left(y_i-{\displaystyle {\sum }_{j=1}^J{D}_j{x}_{ij}}\right)+\lambda {\displaystyle {\sum }_{j=1}^J\sqrt{p_j}{\Vert x_{ij}\Vert }_2}\right)},{\Vert d_m\Vert }_2=1;\forall 1\le m\le K.$ (23)

2023年，Yue等人提出了一种结合稀疏表示和低秩学习的频谱去噪方法，称为低秩恢复字典学习 [33] 。首先，基于谱的同质性，采用字典学习方法提取谱中的稀疏特征；其次，利用谱的叠加，将干净字典的低秩特性嵌入到字典学习中，解决字典原子可能被高水平噪声污染的问题；然后，再利用低秩恢复字典学习建立了一个低秩去噪模型。最后，在去噪阶段，利用字典模型对噪声谱进行稀疏重建，完成去噪工作。低秩恢复字典学习模型如下所示：

$\begin{array}{l}\underset{D,X,S}{\min }{\Vert Y-DX-S\Vert }_F^2+\alpha {\Vert X\Vert }_1+\beta {\Vert S\Vert }_1+\gamma {\Vert J\Vert }_{\ast }\\ \text{s}\text{.t}.D=J.\end{array}$ (24)

2024年，稀疏字典学习中字典原子的选择极大地影响了稀疏字典学习的性能，并且经常遇到欠拟合或过拟合问题，为了解决这些问题，Tian等人提出了一种基于膝点的方法来正确选择字典原子以优化稀疏字典学习性能 [34] 。该方法不仅能自动确定字典原子和权值，而且能在欠拟合和过拟合之间取得平衡。

2024年，在工业过程中收集的数据经常受到异常值的破坏，这给工业过程的监测带来了挑战。Fu等人提出了一种新的方法称为图嵌入字典对学习鲁棒过程监控 [35] 。该方法联合学习合成字典和分析字典进行数据表示，与传统的基于L₁范数或L₀范数稀疏性约束的字典学习监测方法相比，减少了训练阶段的计算量。模型如下所示：

$\begin{array}{l}\min {\Vert X-DA\Vert }_F^2+\alpha {\Vert A-PX\Vert }_F^2+\beta {\displaystyle \underset{i,j=1}{\overset{N}{\sum }}{\Vert P{x}_i-P{x}_j\Vert }^2{W}_{ij}}+\gamma {\Vert P\Vert }_{2,1}\\ \text{s}\text{.t}.{\Vert d_i\Vert }_2^2\le 1,P^{\text{T}}P=I,\end{array}$ (25)

2024年，Xu等人提出了一种基于卷积字典学习的方法。该方法基于心动图的稀疏建模，从噪声测量中生成自适应大小的个性化字典。该字典用于对噪声的心动图进行稀疏编码到变换域 [36] 。从域的重建去除噪声，同时保持单个波形模式的心动图。建立模型如下所示：

$\begin{array}{l}\underset{\left\{w_n\right\}\left\{x_n\right\}}{\text{argmin}}\frac{1}{2}{\Vert y-{\displaystyle {\sum }_n{w}_n\ast x_n}\Vert }_2^2+\lambda {\displaystyle {\sum }_n{\Vert x_n\Vert }_1}\\ \text{s}\text{.t}.{\Vert w_n\Vert }_2=1\forall n.\end{array}$ (26)

综上所述，从文献 [32] [33] [34] [35] [36] 来看，字典学习方法已广泛应用于不同类型的图像和信号处理任务。由于学习字典的自适应能力强，能够更好的适应不同的图像数据特点等优点。而在文献 [27] [28] [29] [30] [31] 可知。建立的模型选择一个合适的字典，缺点就是自适应能力差，不能灵活的表示图像信号，另外，一些学者使用分析字典进行信号的稀疏表示时，虽然简单易实现，但是信号的表达形式单一且不具备自适应性。文献 [37] [38] [39] [40] ，稀疏表示和字典学习应用于其它领域中。

根据式(18)-(26)给出的参考模型，再结合我们在全变分这一小节里面的分析和总结。我们给出几个关于稀疏理论的优化模型如下所示：

1) $\left\{X,D,{\alpha }_i\right\}=\underset{D,X,{\alpha }_i}{\arg \min }\gamma {\Vert X-Y\Vert }_2^2+{\displaystyle {\sum }_i{\Vert R_{i}X-D{\alpha }_i\Vert }_2^2}+{\displaystyle {\sum }_i\eta {\Vert {\alpha }_i\Vert }_0}+\mu {\text{FGSR}}_p(\; X\; )$

2) $\underset{z}{\min }\frac{1}{2}{\Vert \left(I\otimes E\right)z-y\Vert }^2+\lambda \varphi \left(z\right)+{\lambda }_1{\text{FGSR}}_p(\; z\; )$

3) $\underset{U,V,S}{\arg \min }{\Vert Y^{\prime }-UV-S^{\prime }\Vert }_F^2+\lambda {\Vert V\Vert }_1+\mu \text{Tr}\left(VL{V}^T\right)+\beta {\text{FGSR}}_p(\; S\; )$

3. 基于深度学习方法

深度学习模型可以自动学习图像中噪声与干净图像之间的复杂关系，不需要手动设计特征或规则。深度学习模型可以针对大规模数据进行训练，并且在推理阶段可以快速处理图像。具有众多优点，相比于前面两种大类方法优势很明显。

2020年，针对双光子显微镜(two-photon microscopy, 2PM)三维图像的去噪问题，Lee等人提出了一种基于深度卷积神经网络(convolutional neural networks, cnn)的去噪算法 [41] 。所提出的模型由多个U-net组成，其中单个U-net去除不同尺度的噪声，然后根据由粗到细的策略产生性能提升。此外，组成的cnn采用了完全的3D卷积操作。这种架构使所提出的模型能够促进端到端学习，而无需任何预处理/后处理。使用了一种新的深度学习架构，由多个堆叠的U-net网络组成，Lee等人的模型可以看作是贝叶斯网络，具体公式如下所示：

$P\left(\varphi \right)=P\left({\varphi }_1,\cdots ,{\varphi }_K\right)=P\left({\varphi }_1|{\varphi }_2\right)P\left({\varphi }_2|{\varphi }_3\right)\cdots P\left({\varphi }_K\right)$ (27)

2021年，Cao等人提出了一种深度空谱全局推理网络，同时考虑局部和全局信息来去除高光谱图像噪声 [42] 。具体来说，提出了两个新的模块来建模和推理全局关系信息。第一个旨在建模特征图中像素之间的全局空间关系，第二个对跨通道的全局关系进行建模。这两个模块具体公式如下所示：

$\begin{array}{l}{F}_{\text{eu}}=F_{\text{in}}+f_{\text{GCM}}\left(f_{\text{DCM}}\left(F_{\text{in}}\right)\right)\\ F_{\text{du}}=F_{\text{in}}+f_{\text{DCM}}\left(f_{\text{GSM}}\left(F_{\text{in}}\right)\right)\end{array}$ (28)

2022年，Huang等人提出了一种新的先验引导的动态可调网络(prior-guided dynamic tunable network, PDTNet)用于真实图像去噪 [43] 。首先，将图像去噪优化问题分解为噪声估计和图像重建子问题，并利用推理过程指导PDTNet的架构设计；然后，采用内外部双重调制实现图像的真实去噪。具体地，在外部估计器和内部堆叠的动态残差块中嵌入设计的全局空间和通道注意力，分别从噪声先验特征和迭代图像特征中提取全局特征。然后，利用动态权重生成器块自适应地结合每个(dynamic residual blocks, DRB)的外部和内部特征。所提出的PDTNet将(Dynamic encoded prior estimation, DEPE)网络的先验生成合并到(Dynamic residual learning reconstruction, DRLR)网络中，以执行真实的图像去噪，我们称之为内部和外部双模化方案。DEPE网络和DRLR网络分别如下所示：

$\begin{array}{l}{O}_{DEPE}=G_{ga}\left(G_{en}\left(G_{es}\left(y;W_{ES}\right);W_{En}\right);W_{Ga}\right),\\ O_{APFB}=G_{fu}\left(G_{sp}\left({f^{\prime }}_i\right);G_{ch}\left({f^{\prime }}_i\right)\right)\odot G_{dw}\left(\hat{m}\right)\odot {f^{\prime }}_i\end{array}$ (29)

2023年，为了扩展深度卷积字典学习(deep convolutional dictionary learning, DCDicL)方法的应用范围，Sun等人设计了一种多模态的DCDicL方法的MMDCDicL (multi-modal deep convolutional dictionary learning, MMDCDicL) [44] 。在MMDCDicL的数学模型中，采用一种分析方法来解决与制导模态相关的子问题，利用其固有的可靠性。与此同时，像DCDicL一样，利用基于网络的噪声模态学习方法从数据中提取可信信息。基于该解决方案，建立了MMDCDicL的可解释网络结构。在该结构中设计了一个多核通道注意力块，以有效地整合来自不同模态的信息。MMDCDicL模型如下所示：

${\min }_{\left\{\begin{array}{cc}{\text{D}}_i& {\text{V}}_i\\ {\text{X}}_i& {\text{U}}_i\end{array}\right\}}\frac{1}{N}{\displaystyle {\sum }_{i=1}^N\frac{1}{2}{\Vert {\text{D}}_i⊛{\text{X}}_i-{\text{Y}}_i\Vert }_2^2}+\frac{1}{2}{\Vert {\text{V}}_i⊛{\text{U}}_i-{\text{G}}_i\Vert }_2^2+{\lambda }_{\text{X}}\psi \left({\text{X}}_i\right)+{\lambda }_{\text{D}}\varphi \left({\text{D}}_i\right)+{\lambda }_{\text{X}}\Gamma \left({\text{X}}_i\right)+{\lambda }_{\text{U}}{\Vert {\text{U}}_i\Vert }_1$ (30)

2024年，为有效去除心电信号中的噪声，Jin等人提出了一种基于深度小波卷积神经网络的信号去噪方法 [45] 。受去噪自编码器结构的启发，使用卷积层代替简单的全连接层来构建编码器和解码器。在卷积层自动提取特征的基础上，利用离散小波变换将信号转换为高频和低频分量以替代池化层，对输入数据进行压缩，充分保留有效信息。因此，将(discrete wavelet transform, DWT)引入到基于深度学习的模型结构中。由于DWT是可逆的，这种池化方案可以确保DWT形成中的所有特征都被保留。

$\begin{array}{l}{X}_1=f_L\otimes X{\downarrow }_2\\ X_2=f_H\otimes X{\uparrow }_2\end{array}$ (31)

2024年，Torun等人引入了一种自调制卷积神经网络，它利用了相关的频谱和空间信息。该模型的核心是一个新的块，称之为频谱自调制残差块 [46] ，它允许网络基于相邻的频谱数据自适应地变换特征，增强网络处理复杂噪声的能力。

2024年，Qin等人通过在学习迭代软阈值的卷积扩展中嵌入设计好的多层稀疏编码器，推导出多层卷积学习迭代软阈值算法。然后通过展开多层卷积学习迭代软阈值算法 [47] ，提出了用于机械振动信号去噪的多层卷积字典学习网络。将多层卷积字典学习网络与分类器相结合，将所提出的去噪方法应用于滚动轴承可解释故障诊断。多层卷积学习迭代软阈值模型如下所示：

$\underset{{\left\{z_i\right\}}_{i=1}^L}{\min }{\Vert y-D_1{z}_1\Vert }_2^2\text{s}\text{.t}.{\left\{z_{i-1}=D_i{z}_i,{\Vert z_L\Vert }_0\le s_i\right\}}_{i=2}^L$ (32)

综上所述，文献 [41] - [47] ，搭建的网络使用贝叶斯网络、由新的先验信息作为引导的动态可调网络、多模态深度卷积字典学习和自调制卷积神经网络等等。文献 [48] [49] [50] ，深度学习的方法应用于医疗、农业、军事和工业检测等等。具有广泛的应用前景。从式(27)~(32)可以知道，我们的优化方法和稀疏理论正在与深度学习进行融合。相互取长补短。但是深度学习也有一定的缺点。深度学习模型通常需要大量的带有噪声的图像数据进行训练，这可能对某些场景下的应用造成限制。深度学习模型只能处理其训练过程中出现过的噪声类型，因此对于未见过的噪声类型可能表现不佳。近几年来，深度学习在图像噪声去除方面具有很大的潜力，但也需要充分考虑其优点和缺点，并根据具体应用场景进行使用和改进。

4. 结论

本文不仅系统地综述了图像去噪技术的发展现状和各种方法的优缺点，全变分方法多种多样。足以见得全变分的优点。但由于全变分容易产生阶梯效应，所以后来学者一直在解决这个问题。一些则是采用自适应加权方式，另一些则是采用重叠组稀疏性等等，另外，全变分能够充分捕捉图像数据分布特点和各种各样噪声属性特征。这为我们提供思路，将来要想恢复高质量的图像，首先对图像进行充分分析和噪声的深入研究，再者为这样分析结果构建一个适合正则项约束，我们也在全变分这一小节中分析了高光谱图像的三个维度全变分数据统计结果和条纹噪声的奇异值分解，但是在文献 [20] 中，该学者研究发现 ${\text{FGSR}}_p\left(z\right)$ 比超拉普拉斯先验更好的拟合高光谱图像的三个维度。所以我们为其它学者提供一些关于 ${\text{FGSR}}_p\left(z\right)$ 的参考优化模型，目前对于使用全变分方法优化的图像只能处理一些低水平和已知类型的混合噪声图像，但是在现实世界中，我们采集到的图像可能受到严重污染和未知类型的噪声图像。这依然是一个值得研究的问题。

使用稀疏理论建立的优化模型，一个关键的问题就是稀疏系数的选择，将决定恢复的图像效果。从众多学者的文章中，可以发现，早期一些则是直接引用别人的稀疏字典和使用一些受欢迎的字典来建模，但是，近年来，一些则是发现学习字典是具有众多优点，并且搭建一个合适的网络来学习这种字典。现在有的学者已经在使用稀疏理论和深度学习相融合来达到图像去噪的模型。

现在，深度学习方法已经涉及到各个领域中，深度学习确实具有多种多样的优点。但是由于全变分建立的优化模型，存在一定的问题，优化模型是否鲁棒、求解优化模型的算法是否存在和参数范围的选择等等都影响图像恢复的结果。而稀疏理论的字典选择依旧是一个值得研究的问题。但是深度学习可以很好解决以上部分问题。未来可以将全变分或者稀疏理论与深度学习相结合。例如：我们搭建一个合适的网络来捕捉图像的先验信息和各种各样噪声属性，以这两种属性特征作为先验性质为引导的动态网络去噪。

深度学习方法可以与全变分优化模型或者稀疏理论相结合，应用于工业检测、地震检测、农业种植、军事打击和医学图像处理等等。目前，如果采用深度学习与其他方法相结合，只能处理一些低维度图像数据，但是对于高维度图像和处理模糊的视频图像有待再研究。

NOTES

²https://www.ehu.eus/ccwintco/index.php/Hyperspectral\_Remote\_Sensing\_Scenes