基于深度图像先验的椒盐噪声图像去噪

Salt-and-Pepper Noise Image Denoising Based on Deep Image Prior

摘要: 为了有效地去除图像中的椒盐噪声，本文利用低秩和深度图像先验，提出了一种基于加权核范数的优化模型。为了有效地求解优化模型，本文利用双线性分解，采用交替方向法将原问题分解成几个优化的子问题，对每个子问题给出相应的优化算法。数值实验表明，相比其它先进的方法，假设的新模型取得更好的去噪效果。

Abstract: To effectively remove salt-and-pepper noise from images, this paper proposes an optimization model based on weighted nuclear norm with the prior knowledge of low rank and depth image prior. To efficiently solve the optimization model, the paper utilizes bilinear decomposition and employs the Alternating Direction Method to decompose the original problem into several optimized sub-problems, for each of which corresponding optimization algorithms are provided. Numerical experiments demonstrate that compared to other advanced methods, the proposed new model achieves better denoising results.

1. 引言

随着网络的快速发展和通讯技术的更新换代，人们可以通过视频、文字、语音、图像等多种途径获取信息。相较于通过语音与文字等传统方式所获取的信息，利用图像进行信息传递则具有更加直接且全面的优势。由此可得，图像是一种重要的信息载体，通过图像处理可以帮助人们深入了解信息的内涵。然而，图像中常常存在各种噪声，这些噪声会干扰人们对图像的准确理解。因此，图像去噪的任务就是消除图像中的噪声，以提高人们对图像的认知水平，为后续处理提供更好的基础[1]。

图像复原其目的是从所得到的带噪图像中恢复出原图像即求原图像的某种最优意义下的估计值。在图像去噪的过程中，其核心任务便是要从已经遭受污染的图像中，成功清除掉那些无用的噪声，同时还要尽可能地保留住原始图像中所包含的所有重要特征[2]。图像去噪的方法分为两大类：基于传统的数学模型的方法和基于深度学习的方法。在传统的图像处理方法中，由于自然图像的低阶特性，基于低秩矩阵恢复方法得到广泛应用，旨在从退化的图像观测中找到潜在的低维子空间。

在机器学习[3]的领域中，出现许多优秀的降维方法。例如主成分分析算法(Principle Component Analysis, PCA)、线性判别分析、非负矩阵分解等等。其中，PCA是非常典型的线性降维方法[4]。值得注意的是，PCA在对高维数据进行降维处理时，会尽可能地保留住原始数据中的重要特征，并且还能揭示出高维数据矩阵背后所隐藏的低维结构。但是对于一些严重离群的噪声来说，PCA方法往往无法清除图像数据中的噪声。因此Wright等人[5]通过改良PCA方法在鲁棒性方面的缺陷，提出了一个改进模型——鲁棒主成分分析模型(Robust Principal Component Analysis, RPCA)，该模型如下：

$\underset{A,E}{\min }rank\left(A\right)+\lambda {\Vert E\Vert }_0,\text{s}\text{.t}\text{.}D=A+E$ ，(1)

在上公式中，D为数据矩阵，由结构矩阵A和噪声矩阵E组成，${\Vert •\Vert }_0$ 为矩阵的$L_0$ 范数，$\lambda$ 为权衡因子，其取值大于0。式(1)是一个非凸的NP-hard问题，为了有效地求解式(1)，Wright等人[5]对(1)式进行凸松弛，研究如下模型：

$\underset{A,E}{\min }{\Vert A\Vert }_{\ast }+\lambda {\Vert E\Vert }_1,\text{s}\text{.t}.D=A+E$ ，(2)

其中${\Vert •\Vert }_1$ 为矩阵的$L_1$ 范数，${\Vert •\Vert }_{\ast }$ 为矩阵的核范数。

对于RPCA模型的求解算法，众多研究人员投身其中，提出了增广拉格朗日乘子法(Augmented Lagrange Multipliers, ALM) [6]、加速近端梯度算法法[7]、迭代阈值算法[8]等。运用以上算法时，需要求解核范数最小化问题且进行奇异值分解(Singular Value Decomposition, SVD) [9]。

随着对该问题的研究发展，人们发现加权核范数相较于核范数来说，考虑到了矩阵中每个奇异值所代表的数据信息具有不同的重要程度，因此加权核范数的应用给不同的奇异值分配不一样的阈值，更能体现图像数据中的差异，基于此问题，Gu等人[10]将式(2)中的核范数替换为加权核范数，构建了加权核范数优化模型，具体模型如下：

$\underset{A,E}{\min }{\Vert A\Vert }_{w,\ast }+\lambda {\Vert E\Vert }_1,\text{s}\text{.t}\text{.}D=A+E$ ，(3)

其中，${\Vert •\Vert }_{w,\ast }$ 为矩阵的加权核范数。该模型对矩阵中的每个奇异值调配各自的权值，自适应调整矩阵奇异值的目的，弥补了核范数的不足，使得通过模型求解的矩阵更具低秩性。

除了基于低秩先验的方法外，基于深度学习的方法在图像恢复问题中也引起了广泛的关注。在文献[11]中，设计了一种深度卷积神经网络(Convolutional Neural Network, CNN)来从噪声观测中恢复多通道图像。它能够在不破坏图像高维结构的情况下学习多通道滤波器。Xu等人[12]采用张量核范数(TNN)来表征这种张量图像数据集的全局结构，提出了一个隐式正则化器来插入卷积神经网络去噪器，该方法能够很好地恢复图像的整体结构和细节。然而，图像结构表示的有效性主要取决于训练数据的数量和质量。在一些实际应用中，如高光谱、遥感和医学图像恢复，训练数据可能是有限的，甚至无法收集。因此Ulyanov等人[13]提出了一种无监督深度学习方法，称为深度图像先验(deep image prior, DIP)用于图像恢复。该项模型的最大优点是不需要大量的样本，只用一张带噪声的图像利用卷积神经网络的自适应的学习能力实现了一个可以生成图片的滤波器组，该方法通常比基于低秩先验的方法更能代表图像细节。然而，在被异常值和缺失条目污染的挑战性场景下，由于网络对图像观测中被污染的分量过度拟合，其性能会在过度迭代下下降。虽然单独使用低秩先验可以表示图像对噪声和离群值的全局相关性，但必须在噪声和离群值的鲁棒性以及图像细节的保存之间进行权衡。因此，文献[14]将深度图像先验与低秩先验相互插入并应用到图像恢复中，深度先验信息可以通过预定于的卷积神经网络隐式捕获，其网络参数通过拟合退化图像进行迭代优化，而不是从训练数据中学习，提出了基于深度先验的重加权低秩矩阵分解模型(Reweighted low-rank Matrix Factorization with Deep prior, RMFD)。

虽然RMFD模型结合了图像低秩先验和深度先验，继承了二者的优势，从而获得较好的恢复精度，但是其中的DIP性能任有提升空间，且在求解RMFD模型时，作者采用了相同的正则化参数$\mu$ ，影响了模型求解的恢复精度，针对以上问题，本文提出了一个基于加权核范数的优化模型，引入一个显式变分先验项，为图像处理提供更多信息，提高DIP的性能，并设置不同的正则化参数${\mu }_1,{\mu }_2,{\mu }_3$ 。实验结果表明提出的新模型取得较好的效果。

2. 本文的新模型和算法

2.1. 基础理论

定理1 [14]：对于任意秩$\left(X\right)\le r$ 的矩阵$X\in {ℝ}^{n_1\times n_2}$ ，且可以分解为$X=UV$ 且$U\in {ℝ}^{n_1\times r}$ ，$V\in {ℝ}^{r\times n_2}$ ，有

${\Vert X\Vert }_{w,\ast }=\underset{U,V;X=UV}{\min }\frac{1}{2}\left({\Vert U\Vert }_{w,F}^2+{\Vert V\Vert }_{w,F}^2\right)$ ，(4)

其中${\Vert U\Vert }_{w,F}\triangleq {\left({\displaystyle {\sum }_{i=1}^{\min \left\{n_1,r\right\}}{w}_i}{\sigma }_i^2\left(U\right)\right)}^{1/2}$ ，${\Vert V\Vert }_{w,F}\triangleq {\left({\displaystyle {\sum }_{i=1}^{\min \left\{n_1,r\right\}}{w}_i}{\sigma }_i^2\left(V\right)\right)}^{1/2}$ 。对于权值w的选择，对${\Vert U\Vert }_{w,F}^2$ ，${\Vert V\Vert }_{w,F}^2$ 采用下式：

$w_i=c{\left({\sigma }_i\left(U^k\right){\sigma }_i\left(V^k\right)+\epsilon \right)}^{p-1}$ ，(5)

而对于${\Vert X\Vert }_{w,\ast }$ 的权值w选择来说，采用下式：

$w_i=c{\left({\sigma }_i\left(X\right)+\epsilon \right)}^{p-1}$ ，(6)

在式(5)和式(6)中$c>0$ ，$0<p<1$ 均为一个常数。

定义1 [15]：设矩阵$X\in {ℝ}^{n_1\times n_2}$ 的秩为r，其奇异值分解为

$X=U_r{\Lambda }_r{V}_r^{\text{T}}$ ，(7)

其中$U_r\in {ℝ}^{m\times r}$ ，$V_r\in {ℝ}^{n\times r}$ 均为正交矩阵；${\Lambda }_r=diag\left({\sigma }_1,{\sigma }_2,\cdots ,{\sigma }_r\right)$ ，${\sigma }_i$ 为矩阵X的奇异值且满足$0<{\sigma }_r\le \cdots \le {\sigma }_2\le {\sigma }_1$ 。对于$\forall \tau >0$ ，定义

$D_{\tau }\left(X\right)=U_{r}diag\left(\max \left(0,{\sigma }_i-\tau \right)\right)V_r$ ，(8)

称$D_{\tau }$ 为奇异值阈值收缩算子。

定理2 [15]：对$\forall \tau >0$ ，矩阵$Y\in {ℝ}^{m\times n}$ ，奇异值阈值收缩算子满足

$D_{\tau }\left(Y\right)=\arg \underset{X}{\min }\tau {\Vert X\Vert }_{\ast }+\frac{1}{2}{\Vert X-Y\Vert }_F^2$ 。(9)

2.2. 提出的新模型

Ulyanov等人[13]将深度图像先验引入到图像处理模型中，构建了最小化问题的组合模型，模型如下：

$\underset{\theta }{\arg \min }\frac{1}{2}{\Vert H{f}_{\theta }\left(z\right)-g\Vert }_2^2$ (10)

在上式中$f_{\theta }(·)$ 表示一个CNN生成器，$g\in {ℝ}^n$ 表示一个自然图像，z为一个随机输入的向量。

在文献[16]中，作者基于式(10)，在该模型中增加了全变分先验项来提高深度图像先验的性能，具体模型如下：

$\underset{\theta }{\arg \min }\frac{1}{2}{\Vert H{f}_{\theta }\left(z\right)-g\Vert }_2^2+{\displaystyle \sum _{i=1}^N{\mu }_i}{\Vert {\left(D{f}_{\theta }\left(z\right)\right)}_i\Vert }_2$ (11)

同时，作者采用交替方向乘子法(Alternating direction multiplier method, ADMM)代替标准的次梯度方法。由于ADMM的模块化结构允许通过简单地修改正则相关的子步骤来嵌入任何先验(显式或隐式)信息，所以ADMM框架更加灵活。同时，带有显示先验项的数学模型在数字图像处理中具有多重优势。首先，它有助于减少图像中的噪声和模糊，通过约束恢复过程，使结果更接近真实场景。其次，显示先验项提高了图像恢复的质量，突出边缘和细节，从而增强了图像的可视化效果。此外，引入先验信息可以改善图像分割的准确性和稳定性，加速算法的收敛速度，并节省计算时间。

随着深度图像先验的发展，相比于传统图像先验，该技术能为计算机提供更加丰富图像信息，使得模型回复效果更佳，由此文献[14]深度图像先验与低秩先验相互插入并应用到图像恢复中，提出了基于深度先验的重加权低秩矩阵分解模型，具体模型如下：

$\underset{\theta }{\min }\lambda {\Vert f_{\theta }\left(z_0\right)\Vert }_{w,\ast }+{\Vert f_{\theta }\left(z_0\right)-Y\Vert }_1$ ，(12)

在上式中，$f_{\theta }(·)$ 表示一个CNN生成器，其具有单个输出通道。$\theta$ 为网络参数，$\lambda >0$ 是一个正则化参数$z_0\in {ℝ}^{n_1\times n_2}$ 为随机网络输入，$Y\in {ℝ}^{n_1\times n_2}$ 表示一个自然图像。

为了保护图像边缘，受到文献[16]的启发，本文假设新的去噪模型如下：

$\underset{\theta }{\min }\lambda {\Vert f_{\theta }\left(z_0\right)\Vert }_{w\ast }+{\Vert f_{\theta }\left(z_0\right)-Y\Vert }_1+\alpha {\Vert D{f}_{\theta }\left(z_0\right)\Vert }_1$ ，(13)

其中，$f_{\theta }(·)$ 表示一个CNN生成器，$\theta$ 为网络参数，$z_0\in {ℝ}^{n_1\times n_2}$ 为随机网络输入，$D{f}_{\theta }{\left(z_0\right)}_i=\left({\left(D_h{f}_{\theta }\left(z_0\right),D_v{f}_{\theta }\left(z_0\right)\right)}_i\right)$ ，$i=1,\cdots ,n$ 为$f_{\theta }\left(z_0\right)$ 在像素i处计算的离散梯度，$D_h{f}_{\theta }\left(z_0\right)$ ，$D_v{f}_{\theta }\left(z_0\right)$ 分别为沿水平和竖直方向的一阶有限差分离散算子，$Y\in {ℝ}^{n_1\times n_2}$ 表示一个自然图像，$\lambda ,\alpha >0$ 表示正则化参数。相较于模型(12)，该模型增加了显示变分先验项，该先验能够保护图像的边缘和细节，新模型对噪声图像的处理更加优秀，在视觉上使恢复的图像更加的自然平滑。在数值上，处理椒盐噪声图像时，该模型恢复图像的PSNR值较原模型中的恢复图像的PSNR值更高。总的来说，该模型继承了原模型采用深度图像先验的优势，同时，在显式先验项的帮助下，该模型恢复图像的效果更优。

2.3. 模型的算法

对于式(13)，令$X=f_{\theta }\left(z_0\right)=UV$ ，利用定理1，可得到下式：

$\underset{U,V,\theta }{\min }\frac{\lambda }{2}\left({\Vert U\Vert }_{w,F}^2+{\Vert V\Vert }_{w,F}^2\right)+{\Vert f_{\theta }\left(z_0\right)-Y\Vert }_1+\alpha {\Vert D{f}_{\theta }\left(z_0\right)\Vert }_1$ .(14)

对于上式，令$U=\widehat{U}$ ，$V=\widehat{V}$ ，$UV=f_{\theta }\left(z_0\right)$ ，有增广拉格朗日方法得：

$\begin{array}{l}\underset{\widehat{U},U,\widehat{V},V,\theta }{\min }\frac{\lambda }{2}\left({\Vert \widehat{U}\Vert }_{w,F}^2+{\Vert \widehat{V}\Vert }_{w,F}^2\right)+{\Vert f_{\theta }\left(z_0\right)-Y\Vert }_1+\alpha {\Vert D{f}_{\theta }\left(z_0\right)\Vert }_1+\frac{{\mu }_1}{2}{\Vert \widehat{U}-U+\frac{Z_1}{{\mu }_1}\Vert }_F^2\\ +\frac{{\mu }_2}{2}{\Vert \widehat{V}-V+\frac{Z_2}{{\mu }_2}\Vert }_F^2+\frac{{\mu }_3}{2}{\Vert UV-f_{\theta }\left(z_0\right)+\frac{Z_3}{{\mu }_3}\Vert }_F^2\end{array}$ (15)

其中，$Z_1,Z_2,Z_3$ 均为拉格朗日参数，${\mu }_1,{\mu }_2,{\mu }_3$ 均为正标量。

对式(15)采用交替方法可得：

$U^{k+1}=\underset{U}{\arg \min }\frac{{\mu }_1}{2}{\Vert {\widehat{U}}^k-U+\frac{Z_1^k}{{\mu }_1}\Vert }_F^2+\frac{{\mu }_3}{2}{\Vert U{V}^k-f_{{\theta }^k}\left(z_0\right)+\frac{Z_3^k}{{\mu }_3}\Vert }_F^2$ (16)

$V^{k+1}=\underset{V}{\arg \min }\frac{{\mu }_2}{2}{\Vert {\widehat{V}}^k-V+\frac{Z_2^k}{{\mu }_2}\Vert }_F^2+\frac{{\mu }_3}{2}{\Vert U^{k+1}V-f_{{\theta }^k}\left(z_0\right)+\frac{Z_3^k}{{\mu }_3}\Vert }_F^2$ (17)

${\widehat{U}}^{k+1}=\underset{\widehat{U}}{\arg \min }\frac{\lambda }{2}{\Vert \widehat{U}\Vert }_{w,F}^2+\frac{{\mu }_1}{2}{\Vert \widehat{U}-U^{k+1}+\frac{Z_1^k}{{\mu }_1}\Vert }_F^2$ (18)

${\widehat{V}}^{k+1}=\underset{\widehat{V}}{\arg \min }\frac{\lambda }{2}{\Vert \widehat{V}\Vert }_{w,F}^2+\frac{{\mu }_2}{2}{\Vert \widehat{V}-V^{k+1}+\frac{Z_2^k}{{\mu }_2}\Vert }_F^2$ (19)

${\theta }^{k+1}=\underset{\theta }{\arg \min }{\Vert f_{\theta }\left(z_0\right)-Y\Vert }_1+\alpha {\Vert D{f}_{\theta }\left(z_0\right)\Vert }_1+\frac{{\mu }_3}{2}{\Vert U^{k+1}{V}^{k+1}-f_{\theta }\left(z_0\right)+\frac{Z_3^k}{{\mu }_3}\Vert }_F^2$ (20)

$Z_1^{k+1}=Z_1^k+{\mu }_1\left({\widehat{U}}^{k+1}-U^{k+1}\right)$ (21)

$Z_2^{k+1}=Z_2^k+{\mu }_2\left({\widehat{V}}^{k+1}-V^{k+1}\right)$ (22)

$Z_3^{k+1}=Z_3^k+{\mu }_3\left(U^{k+1}{V}^{k+1}-f_{{\theta }^{k+1}}\left(z_0\right)\right)$ (23)

对于上述讨论，详细的算法如下：

算法1 交替方向法去除椒盐噪声

输入：输入参数$\lambda ,{\mu }_1,{\mu }_2,{\mu }_3$ ，误差$\epsilon$ ，$0<p<1$ ，$c=1$ 1. 初始化：$Z_1^0,Z_2^0,Z_3^0,t,U^0={\widehat{U}}^0,V^0={\widehat{V}}^0$ ； 2. 通过式(16)和式(17)更新$U^{k+1}$ 和$V^{k+1}$ ； 3. 通过式(5)更新$w_i=c{\left({\sigma }_i\left({\widehat{U}}^k\right){\sigma }_i\left({\widehat{V}}^k\right)+\epsilon \right)}^{p-1}$ ，$\forall i=1,\cdots ,r$ ； 4. 通过式(18)更新${\widehat{U}}^{k+1}$ ； 5. 通过式(5)更新$w_i=c{\left({\sigma }_i\left({\widehat{U}}^{k+1}\right){\sigma }_i\left({\widehat{V}}^k\right)+\epsilon \right)}^{p-1}$ ，$\forall i=1,\cdots ,r$ 6. 通过式(19)更新${\widehat{V}}^{k+1}$ ； 7. 通过式(20)更新${\theta }^{k+1}$ ； 8. 分别通过(21)、(22)、(23)式更新$Z_1^{k+1},Z_2^{k+1},Z_3^{k+1}$ 9. 达到终止条件输出$f_{{\theta }^{k+1}}\left(z_0\right)$ ，否者重复上边步骤进入循环

3. 数值实验

在本节中，给出了一些数值实验的结果，旨在评估所提出的方法在图像去噪问题上的有效性。采用10DB的椒盐噪声图对应的噪声进行测试，评价指标采用峰值信噪比(PSNR)。分析对比RMFD模型[11]以及本文的模型。在实验过程中所有的模型通过调整算法中的参数以达到较好的去噪效果。

本节实验使用的图像数据集为Miscellaneous volume of the USC-SIPI dataset [17]，数据集中每张图像的尺寸均为256 × 256。下图为四幅示例图片的去噪示例图，从左至右图像依次为Green pepper、Forest、Women、Snow mountain。第一行中的四幅图像均为RMFD模型去噪结果图，第二行中的四幅图像均为本文模型去噪结果图。从图1中可以看出，在Women示例图中RMFD模型去噪效果不是很理想，图像较暗，以及较为模糊的效果，对图像高光部分的回复效果不如本文模型。在Forest示例图中可以看出，RMFD模型对于树干中的明暗关系过渡效果较差，不如本文模型对于树叶以及树干的回复效果，这说明新模型可以更好的保留树干图像的细节信息。从总体上看，本文使用的新模型在去除图像的椒盐噪声时，可以更好地保护图像中的边缘以及高光效果。同时从表1中可以看出本文模型的PSNR高于RMFD模型，且实验结果良好，说明了本文所使用的新模型对于图像去噪的有效性。

为了进一步说明本文模型在图像去噪方面的优势，以Women图像为例，给出PSNR随迭代次数的变化曲线图。其中迭代次数为横坐标，PSNR值为纵坐标见图2。总体上看，图像PSNR值总体呈上升趋势，在迭代次数的前50次中，恢复图像的PSNR值有较大的增长速度，说明本文模型具有较快的图像恢复速度，并且在迭代次数达到100次时所恢复图像的PSNR值已经超过25.0，具有较好的恢复效果。在400次到1000次迭代过程中，PSNR值在30.0上下浮动，且浮动变化较小，说明该模型在恢复去噪图像中具有较好的稳定性。

Table 1. PSNR under different models of grayscale plots

表1. 灰度图在不同模型下的PSNR

测试图像	Green pepper	Forest	Women	Snow mountain
RMFD模型	28.5962	24.5575	29.6548	24.6758
本文模型	30.6482	26.1869	30.2984	25.7169

(a)

(b)

Figure 1. Denoising effects of different algorithms. (a) RMFD denoising results; (b) Denoising results of the algorithm in this paper

图1. 不同算法去噪效果。(a) RMFD去噪结果；(b) 本文算法去噪结果

Figure 2. The updated PSNR value for the noisy image (Woman)

图2. 噪声图片(妇女)迭代更新的PSNR值

从上面的实验可以看出，相较于RMFD模型，本文方法在去除噪声的同时，也将图像的细节纹理及其边缘保护得更好，并且由实验数据可得本文的图像结果PSNR值更优，从折线图中看出本文模型具有较好的稳定性，更好地证明了本文模型的改进的成功性。

4. 结论

在本文中提出了一种基于加权核范数的优化模型，在模型中引入了深度图像先验与低秩先验，利用双线性分解，采用交替方向法将原问题分解成几个优化的子问题，对每个子问题给出相应的优化算法，并且添加了一个显示变分先验项提高DIP的性能，从而相对于原模型更灵活，对图像细节部分回复效果更优。数值实验表明，相比原模型的算法，新模型取得更有效的去噪效果以及较好的稳定性。

基金项目

本课题由河南省科技攻关计划项目(编号：232102210111)；河南科技大学大学生训练计划项目资助(编号：2023221)。

NOTES

^*通讯作者。