1. 引言
图像在获取、传输过程中经常受到噪声干扰,特别在天文、医学、雷达等成像系统中会不可避免地产生噪声。同时,随着成像设备的迅速发展,彩色图像越来越普遍地出现在各个领域,彩色图像比灰度图像包含更多的信息,如何有效地去除彩色图像中的噪声,并突出感兴趣的区域和边缘纹理等重要特征信息,一直是图像处理中具有挑战的课题之一。近年来,研究者们提出了大量的彩色图像去噪方法 [1] - [6] 。其中,基于全变差(TotalVariation, TV)的方法因其较好的保边缘特性而备受关注,2008年,Bresson和Chan [7] 基于不同通道的局部耦合,提出了VROF (Vectorial Rudin-Osher-Fatemi)彩色图像去噪模型,该模型在噪声影响下可以较好地确定图像边缘位置,但是图像去噪后的平滑区域会出现阶梯效应 [8] 。2014年Bredies等 [8] 将广义全变差(Total Generalized Variation, TGV)模型从单通道拓展到多通道,提出了多通道广义全变差(Multichannel Total Generalized Variation, MTGV)彩色图像去噪模型,该模型能显著减少阶梯效应,恢复出的图像有良好的视觉效果 [8] 。VROF与MTGV模型能有效去除高斯噪声,但是两者均简单地将彩色图像视为矢量或单色图像的组合,忽略图像本身固有的颜色结构,在图像复原过程中容易出现彩色偏移点 [3] 。为了得到更好的恢复结果,2014年,Ono等 [9] 使用标准正交颜色变换重新组合彩色图像的R、G、B三通道,提出了DVTV (Decorrelated Vectorial Total Variation)彩色图像去噪模型,该模型显著减少了恢复过程中颜色不均匀的现象。2016年,Duran等 [10] 将彩色图像的梯度视为三维张量,利用不同维度的不同范数测量张量的平滑性,有效减少了颜色伪影。2019年,Jia等 [11] 将彩色图像从RGB颜色空间转换到HSV (Hue色相,Saturation饱和度,Value明度)颜色空间,提出了SV-TV (Saturation-Value Total Variation)模型,它利用颜色空间转换以及图像通道间的耦合,避免了恢复过程中颜色交叉的现象,获得了较好的恢复结果,但同其它基于全变差方法的彩色图像去噪模型一样,SV-TV模型在求解过程中也存在正则化参数选取的问题。能否选取合适的正则化参数会影响模型的去噪结果,特别是在真实的带噪声的彩色图像中,噪声水平未知,如何有效地选取正则化参数是一个值得关注的问题。
目前,自适应形态学滤波器 [12] 、最小均方误差 [13] 、广义交叉验证 [14] [15] [16] (Generalized Cross-Validation, GCV)等方法在图像处理中的运用有效解决了参数选取的问题。其中GCV方法因其可以自动选择和更新参数,受到了广泛运用。例如:2009年,Liao等 [17] 开发了一种自动选择正则化参数的快速全变差图像复原算法,该方法利用GCV确定每个复原步骤中的正则化参数,降低了计算成本,获得了较好的去噪结果。2020年,Zhou等 [18] 结合GCV提出了一种混合全变差正则化的彩色图像去噪算法,该算法可以自动选择正则化参数,同时可以减少去噪时的阶梯效应。2021年,Reiche等 [19] 将最小化问题投影到Krylov子空间中,利用GCV自动选取正则化参数,以较低的计算成本有效去除了图像中的噪声。
本文提出一种基于SV-TV模型的自适应饱和度–明度全变差彩色图像去噪算法,与文献 [11] 求解方法不同,本文通过给出SV-TV模型的逼近问题,利用交替极小化方法结合GCV方法求解。论文主要贡献如下:(1) 本文自适应算法在迭代过程中可以自动更新正则化参数,恢复出的图像在纹理、结构上得到了更好地保留。(2) 本文自适应算法可以自动选择正则化参数,在处理真实带噪声的彩色图像时更加便捷、有效。
文章后续安排如下:第2部分,回顾SV-TV彩色图像去噪模型及原始算法。第3部分,结合GCV和交替极小化算法,提出新的SV-TV模型自适应去噪算法。第4部分通过数值实验验证本文自适应算法的有效性和可行性。最后,第5部分对所做工作进行总结。
2. SV-TV彩色图像去噪模型
本文中,
,其中
为RGB颜色空间下观测到的带噪声的彩色图像,
为RGB颜色空间下原始清晰的彩色图像,
为加性高斯噪声,
表示具有Lipschitz边界的有界图像域。
2019年,Jia等 [11] 将彩色图像从RGB颜色空间转换到HSV颜色空间,提出了SV-TV彩色图像去噪模型:
, (2.1)
其中:
为明度通道权重,
为正则化参数。
、
可以通过四元数进行计算 [20] :
, (2.2)
这里
。SV-TV模型最小化彩色图像饱和度通道梯度与明度通道梯度,在恢复过程
中能有效减少颜色交叉现象,取得了较好的恢复效果。
为了求解模型(2.1),Jia等对矩阵
进行奇异值分解,得到了(2.1)的如下等价形式:
,(2.3)
其中:
,
。文献 [11] 引入辅助变量
将(2.3)转化为带约束的最小化问题,通过引入增广拉格朗日函数,利用交替方向乘子法求解(以下简称Jia算法)。
SV-TV模型在去噪的同时能较好地恢复原图像中的色彩信息并且保留图像的边缘结构等信息。然而,Jia算法在迭代求解SV-TV模型的过程中正则化参数固定不变,恢复出的图像可能会丢失原彩色图像中部分纹理细节。例如,图1中,(a)为纹理较丰富的干净图像,在其中加入均值为0、标准差0.08的高斯噪声得到噪声图像(b)。在Jia算法中,设置SV-TV模型中正则化参数
,使得该算法在图像(b)去噪时取得最大的PSNR值,其去噪后的图像如(c)所示。观察(c)左下角放大区域可以看到,Jia算法恢复出的图像中,“裤子”上的纹理变得模糊,且对比度不明显。
![](//html.hanspub.org/file/7-2623578x26_hanspub.png?20240105085007560)
(a) (b)![](//html.hanspub.org/file/7-2623578x28_hanspub.png?20240105085007560)
(c) PSNR = 27.3594 (d) PSNR = 28.7350SSIM = 0.8800 SSIM = 0.9138
Figure 1. Comparison of results of different algorithms for solving SV-TV Model
图1. 不同算法求解SV-TV模型的结果比较
3. 本文算法
为了改进Jia算法的不足之处,本文利用交替极小化方法和算子分裂技巧 [21] 数值求解最小化问题(2.3)。
首先,引入辅助变量
和
,其中
,
,
,模型(2.3)等价于如下带约束的最小化问题:
, (3.1)
引入惩罚参数
、
,考虑(3.1)的逼近问题:
(3.2)
由经典的罚函数法 [22] 可知,当
、
足够大时,式(3.2)的解充分接近式(3.1)的解。因此,在迭代过程中,设置
、
初始值后,每迭代三次增加
、
的值,以这种方式让惩罚参数
、
在迭代过程中充分大,确保(3.2)的极小值点可逼近(3.1)的最优解。
下面,通过交替迭代极小化方法,将逼近问题(3.2)分解为如下几个子问题交替求解:
(1) 求解关于
的子问题:
给定
、
,求解如下优化问题:
, (3.3)
易得:
, (3.4)
(2) 求解关于
的子问题:
给定
,在求解变量
的优化问题时,更新正则化参数
:
, (3.5)
利用GCV计算如下优化问题:
, (3.6)
其中:
,
,
。通过GCV计算此优化问题可得到
步的最优正则化参数。由于
,
为周期边界条件下带圆块的块循环矩阵,故可通过傅里叶对角化,即
,
,这里
、
为对角矩阵,那么有:
, (3.7)
由于
,则
,同时可以得到:
, (3.8)
其中:
, (3.9)
据此,有:
, (3.10)
式(3.2)中的正则化参数
可通过下面方式更新:
, (3.11)
(3) 给定
、
,求解关于
的子问题:
, (3.12)
通过计算得到:
, (3.13)
(4) 给定
,求解关于
的子问题:
, (3.14)
, (3.15)
通过计算,可得
、
、
有如下显式解:
, (3.16)
, (3.17)
, (3.18)
综上,本文交替最小化算法的具体步骤为:
相比于Jia算法,本文自适应算法在求解SV-TV模型的过程中,利用GCV自动选择正则化参数并且在迭代过程中不断更新,使得本文算法恢复出的图像在纹理等细节上得到了更好地保留。继续观察图1,(d)为本文自适应算法恢复出的图像,可以发现本文算法所得结果在“长裤”处保留了更多纹理细节和对比度。从数值结果也可以看出,本文自适应算法恢复出的图像其PSNR值与SSIM值相比于Jia算法分别提升了1.3756和0.0338。这些均表明,本文自适应算法在去除高斯噪声的过程中利用GCV自动选取且不断更新正则化参数,可以得到较好的恢复结果。
4. 数值实验
本节分别针对带高斯噪声的纹理图像、结构图像以及真实图像,将本文提出的自适应算法与VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 的去噪结果进行比较,检验本文自适应算法的有效性。对于纹理图像、结构图像用峰值信噪比(PSNR)和结构相似度(SSIM)指标定量分析不同模型与算法的去噪效果。对于带噪声的真实彩色图像,由于缺少干净图像,无法计算相应的PSNR值与SSIM值,为此,本文引入平均梯度(Average Gradient, AG)作为另一种评价指标 [23] ,其定义如下:
, (4.1)
其中:
为图像水平方向与垂直方向的像素个数,
为图像在
位置处的像素值。AG为图像边缘两侧的灰度差异值,较高的AG值意味着图像中的边缘与细节信息越丰富。
本文三组实验在Windows10系统、12th Gen Intel(R) Core(TM) i7-12700H2.30 GHz处理器、16.0GB RAM,使用MATLAB 2020a完成。
文中测试的纹理图像与结构图像来自数据集Kodak241、Val202。对所有的测试图像,本文设置SV-TV模型中的参数如下:正则化参数
通过自适应算法更新得到。为了说明明度通道权重
的取值对模型去噪结果的影响,以图3中的图像Ⅰ的去噪结果为例,图2给出
取不同值与所得去噪结果PSNR值的关系曲线图。观察图2,不难发现:明度通道权重
取值位于[0.05,0.08]区间时,对去噪结果的PSNR值影响较小,即在此区间内
的取值对本文算法的去噪结果影响不大。因此,文中数值实验部分均固定
,对于不同的测试图片,本文自适应算法均可得到较好的去噪效果。在本文算法中,停止准则
,惩罚参数
、
初始值为2,随后每3次迭代
增加为1.15
,
增加为1.15
,以这种方式保证参数
、
在算法迭代过程取值充分大直到算法收敛。
![](//html.hanspub.org/file/7-2623578x119_hanspub.png?20240105085007560)
Figure 2. PSNR values with different selections of
图2. 不同
对应的PSNR值
4.1. 纹理图像去噪
本小节展示不同模型与算法对彩色纹理图像的去噪性能,选取四幅干净的纹理图像,如图3第一列所示,添加均值为0,标准差0.06的高斯噪声得到噪声图像,如第二列所示。利用VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 以及本文自适应算法对这些噪声图像进行去噪,得到的结果分别展示在第三至七列。为了更清晰地说明本文自适应算法在保护图像纹理细节等方面的优势,图4给出了图3部分区域的放大图像,这些区域在图3中已用绿色方框标出。
为了定量评估本文自适应算法的有效性,我们也计算了不同模型与算法去噪结果的PSNR值和SSIM值,结果见表1。
![](//html.hanspub.org/file/7-2623578x122_hanspub.png?20240105085007560)
Figure3. The denoising results of texture images using different models and algorithms
图3. 不同模型与算法对纹理图像的去噪结果
![](//html.hanspub.org/file/7-2623578x123_hanspub.png?20240105085007560)
Figure 4. Partial amplification of texture image denoising results
图4. 纹理图像去噪结果的部分放大
![](Images/Table_Tmp.jpg)
Table 1. PSNR and SSIM values of texture image denoising results
表1. 纹理图像去噪结果的PSNR和SSIM值
从图3可以看出,本文算法在处理纹理较丰富的图像时,在有效去除高斯噪声的同时能很好地保留图像纹理细节。VROF模型仅仅将彩色图像RGB三通道耦合,去噪能力有限,观察图4可以发现,残留的噪声使得模型恢复出的图像中纹理变得模糊。MTGV模型基于广义全变差可以有效平滑图像内部,但是其单纯将彩色图像视为矢量,忽略图像本身固有的颜色结构,恢复出的图像中纹理依旧模糊。DVTV模型通过正交变换重新组合彩色图像的RGB三通道,得到了较好的恢复效果,但是观察图像Ⅰ的放大区域可以发现,DVTV模型恢复出的图像中棕色纹理与黄色背景间的对比度不够高。SV-TV模型将彩色图像从RGB颜色空间转换到HSV颜色空间,减少了噪声对图像边缘的影响,但是其正则化参数在迭代过程中固定不变,这可能会影响SV-TV模型的去噪效果。观察图4可以发现SV-TV模型恢复出的图像纹理得到了较好的保留,但是纹理与背景间的对比度依旧不高,图像视觉效果欠佳。本文自适应算法在求解SV-TV模型过程中利用广义交叉验证自动选择正则化参数并且在迭代过程中不断更新,很好地保留了图像的纹理和边缘信息。观察表1,可以看到在均值为0、标准差0.06的噪声情况下,本文算法均取得了最高的PSNR值和SSIM值。
为了进一步说明本文自适应算法在处理纹理图像上的有效性,在图3四幅干净的纹理图像上重新加入均值为0、标准差0.02和均值为0,标准差0.1的高斯噪声,利用VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 以及本文自适应算法对这些噪声图像进行去噪,得到相应结果的PSNR值和SSIM值也记录在表1。可以看到,对于不同水平的高斯噪声,本文自适应算法依旧能得到最高的PSNR值和SSIM值。
本组实验说明,本文自适应算法能有效去除纹理图像中的噪声,并且很好地保留图像内部的纹理细节。
4.2. 结构图像去噪
本小节展示不同模型与算法对彩色结构图像的去噪性能。选取四幅干净的结构图像,如图5第一列所示,添加均值为0,标准差0.06的高斯噪声得到噪声图像,如图5第二例如所示。利用VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 以及本文自适应算法对这些噪声图像进行去噪,得到的结果分别展示在第三至七列。为了更清晰地说明本文自适应算法在保护图像结构等方面的优势,图6给出了图5部分区域的放大图像,这些区域在图5中已用绿色方框标出。
为了定量评估本文自适应算法的有效性,我们同样也计算了不同模型与算法对彩色结构图像去噪结果的PSNR值和SSIM值,结果见表2。
观察图6可以发现,本文算法在去除高斯噪声的同时能很好地保留图像内部的结构信息。例如,在处理图像Ⅴ时,VROF模型恢复的图像中“云朵”的四周有噪声残留。MTGV模型有效去除了图像中高斯噪声,但图像内部过于平滑。DVTV模型与SV-TV模型同样未能很好地保留“云朵”的内部结构,“云朵”与“云朵”间的层次感不够明显,且云朵的边缘模糊。本文自适应算法在有效去除高斯噪声的同时,很好地保留了“云朵”的边缘以及内部结构,获得了较好的恢复效果。从表2可以看到在0.06噪声情况下,本文算法均取得了最高的PSNR值和SSIM值。
![](//html.hanspub.org/file/7-2623578x124_hanspub.png?20240105085007560)
Figure 5. The denoising results of structural images using different models and algorithms
图5. 不同模型与算法对结构图像的去噪结果
![](//html.hanspub.org/file/7-2623578x125_hanspub.png?20240105085007560)
Figure 6. Partial amplification of denoising results for structural images
图6. 结构图像去噪结果的部分放大
![](Images/Table_Tmp.jpg)
Table 2. PSNR and SSIM values of structural image denoising results
表2. 结构图像去噪结果的PSNR和SSIM值
为了进一步说明本文自适应算法在处理结构图像上的有效性,在图5四幅干净的结构图像上重新加入均值为0、标准差0.02和均值为0,标准差0.1的高斯噪声,利用VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 以及本文自适应算法对这些噪声图像进行去噪处理,得到相应结果的PSNR值与SSIM值记录在表2。可以看到,在绝大多数情况下,对于不同水平的高斯噪声,本文自适应算法依旧能得到最高的PSNR值和SSIM值。
本组实验说明,本文自适算法能有效去除结构图像中的高斯噪声,并且很好地保留图像内部的边缘、结构。
4.3. 真实图像去噪
为了验证本文算法处理真实图像的有效性,本文选取四幅真实的带高斯噪声的彩色图像,如图7第一列所示,其噪声水平未知。将本文自适应算法与VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 的去噪结果行比较,得到的结果如图7第二至六列所示。为了定量分析不同模型与算法的去噪结果,表3给出了不同模型与算法去噪结果的AG值。
观察表3可以发现,在真实噪声情况下,本文算法均取得了最高的AG值,这说明本文自适应算法在处理真实噪声图像时,可以更好地保留图像边缘信息与细节信息。
为了更加直观地比较不同模型与算法的去噪效果,图8给出了图7部分区域的放大图像,这些区域在图7中已用绿色方框标出。从图8可以看出,本文算法在处理真实彩色噪声图像时,由于采用广义交叉验证自动选择最优的正则化参数并且在迭代过程中不断更新,得到了较好的恢复效果。观察图像Ⅸ的去噪结果可以看到,VROF模型恢复出的图像有噪声残留,MTGV、DVTV、SV-TV模型恢复出的图像中“衬衫”上的“褶皱”变得模糊甚至消失。本文自适应算法恢复出的图像很好地保留了“衬衫”上的“褶皱”。图像Ⅹ为纹理和结构并存的真实噪声图像,观察图8可以发现,本文算法所得结果很好地保留了“紫峰大厦”上的纹理。
本组实验说明,本文自适算法能有效去除真实图像中的高斯噪声,同时很好地恢复真实图像中的纹理细节。
![](//html.hanspub.org/file/7-2623578x126_hanspub.png?20240105085007560)
Figure 7. The denoising results of different models and algorithms on real images
图7. 不同模型与算法对真实图像的去噪结果
![](//html.hanspub.org/file/7-2623578x127_hanspub.png?20240105085007560)
Figure 8. Partial amplification of real image denoising results
图8. 真实图像去噪结果的部分放大
![](Images/Table_Tmp.jpg)
Table 3. AG values of the enlarged area for real image denoising results (×10−4)
表3. 真实图像去噪结果放大区域的AG值(×10−4)
4.4. 本文算法的收敛性分析
为了说明本文自适应算法的收敛性,图9给出本文算法在处理图3、图5、图7共十二张噪声图像时迭代步数与停止准则tol值的关系曲线图。观察图9不难发现:本文所提自适应算法在实验中,当迭代次数超过15次以后,tol值趋于稳定,算法趋收敛。
![](//html.hanspub.org/file/7-2623578x128_hanspub.png?20240105085007560)
Figure 9. The relationship curve between the number of iteration steps and the stopping criterion of the algorithm in this article
图9. 本文算法迭代步数与停止准则的关系曲线
5. 总结
本文提出了一种基于SV-TV模型的自适应彩色图像去噪算法,该算法在迭代过程中利用广义交叉验证技术使得SV-TV模型的正则化参数不断更新。相较于正则化参数固定不变的Jia算法 [11] ,本文算法可更好地保留原彩色图像中部分纹理信息。将本文自适应算法与VROF模型 [7] 、MTGV模型 [8] 、DVTV模型 [9] 、SV-TV模型 [11] 的去噪结果比较,可以发现,本文算法在处理不同类型的高斯噪声图像时均能得到最高的PSNR、SSIM与AG [23] 平均值,并且可以很好地保留图像内部的纹理、结构等细节信息。综上所述,本文自适应算法利用广义交叉验证在迭代过程中不断更新SV-TV模型的正则化参数,能有效去除彩色图像中的高斯噪声,同时还能保护图像纹理、结构等细节信息,获得了较好的图像复原结果。
致谢
感谢南京邮电大学理学院金正猛老师、闵莉花老师、郭小亚老师对我耐心、细致的指导。
感谢《应用数学进展》编辑部编委在百忙之中抽出时间检阅此文。
基金项目
南京邮电大学自然科学基金(No.NY221097)。
参考文献
NOTES
*通讯作者。
1http://www.r0k.us/graphics/kodak/.
2https://data.vision.ee.ethz.ch/cvl/DIV2K/.