融合改进的张量相关全变分的鲁棒张量修补用于图像修复

Robust Tensor Completion Fusing Improved Tensor Correlated Total Variation for Image Restoration

摘要: 图像在采集和捕捉过程中，往往存在噪声污染和缺失等退化情况，而鲁棒补全对此发挥着重要作用。目前这些方法大多利用图像的全局低秩和局部平滑先验来对其进行建模，包括独立编码方法和融合编码方法。然而，这些方法要么需要对两个以上参数进行繁琐的调整，要么平等地对待梯度矩阵/张量的每个奇异值，从而限制了处理实际问题的灵活性。在本文中，我们提出了改进的张量相关全变分(ITCTV)范数，以充分利用梯度张量的内在结构特性。所提出的ITCTV正则化器不需要权衡参数来平衡两个先验，并且进一步有效地利用了梯度张量奇异值的先验分布信息。我们将提出的方法应用在多种类型的视觉张量数据上，实验结果证明了所提出方法在图像修复上的有效性。

Abstract: In the process of image acquisition and capture, there is often degradation such as noise pollution and missing, and robust completion plays an important role in this. Most current methods for image restoration exploit global low-rankness and local smoothness priors to model them, including independent coding methods and fusion coding methods. However, these methods either require tedious tuning of more than two parameters or treat each singular value of the gradient matrices/tensors equally, thus limiting the flexibility to deal with practical problems. In this paper, we propose an improved tensor correlated total variation (ITCTV) norm to take full advantage of the intrinsic structural properties of the gradient tensors. The proposed ITCTV regularizer does not need to trade-off parameters to balance the two priors, and further effectively utilizes the prior distribution information of the singular values of the gradient tensors. We apply the proposed method to various types of visual tensor data, and the experimental results prove the effectiveness of the proposed method in image restoration.

1. 引言

随着当前人工智能、大数据、云计算等现代信息技术的快速发展，在计算机视觉、生物医学等诸多应用领域中产生了多种多样的张量数据。其中图像因其在信息传达上具有直观、形象的特点，在信息传播中该数据存在形式占据了大部分。然而，这些图像在采集和捕捉过程中，由于受到传输物质、成像设备等自身的局限，甚至被外部环境干扰，导致图像总是会存在明显的退化，比如受到不同程度的各种噪声的污染或者缺失等。这些退化会严重降低图像的质量，进而影响后续处理的准确性。因此，如何修复这些图像成为了改善后续任务(如目标检测 [1] 、图像分类 [2] 和图像分割 [3] 等)性能的关键预处理步骤。

上述退化问题实际上产生了张量恢复研究中的两个经典逆问题，即张量鲁棒主成分分析(TRPCA) [4] 和张量修补(TC) [5] 。解决这两个问题的关键在于如何表征张量的内部先验结构，并将其编码为相应的正则化项，然后基于该正则化项进行相关建模。近年来，以低秩假设为前提的低秩张量恢复(LRTR) [6] 为上述问题提供了有效的解决办法。然而，LRTR的研究也是面临着巨大的挑战。一方面，张量秩的定义并不像矩阵那样唯一，其定义依赖于张量分解的方式，目前张量分解中CP、Tucker、HOSVD最具代表性。另一方面，张量秩函数的凸替代和非凸替代的选择或者构造对于恢复底层图像数据的效果也起到了至关重要的作用。这种低秩先验实际上代表了图像全局范围内的信息相关性，即图像处于低维子空间中。除了低秩先验之外，以全变分(TV) [7] 为代表的局部平滑先验也普遍应用于图像修复。局部平滑先验反映了图像中相邻像素之间像素值的连续变化，它对于恢复图像的局部细节十分重要。因此，大多数工作集中于对全局低秩和局部平滑这两个先验进行联合建模，并将这两个先验编码为恢复模型中两个独立正则化项的和，然后调整相应的正则化参数以提升模型的性能。

然而，由于这两个先验在现实世界中通常是相互耦合的，即它们并不像传统模型中所暗示的那样独立发生，而且在实际场景中构建微调这两个独立正则化项对应的权衡参数的一般准则具有挑战性。鉴于上述情况，最近的工作 [8] [9] 基于梯度域将全局低秩和局部平滑这两个先验融合为一个独特的正则化项，该正则化项不仅使全局低秩和局部平滑先验更加紧密地联系在一起，更符合这两个先验本质上相互耦合的事实，而且还减少了传统模型中需要调整的权衡参数。不幸的是，这两项工作都使用核范数来描述梯度图的结构特性，即平等地对待梯度矩阵/张量的每个奇异值，因此其模型的性能仍有进一步改进的空间。因为在实际应用中，图像的各个奇异值由于其特定的物理意义而存在明显的差异。

为了解决上述问题，我们引入了改进的张量相关全变分(ITCTV)范数，其中使用的改进策略有助于进一步表征梯度张量的低秩性和固有稀疏性。我们的主要动机是梯度张量中那些较大的奇异值应该受到较少的惩罚，这是相当合理的。因此，我们对梯度张量采用重加权策略，以利用上述存在的先验信息。对于重加权策略的选择，我们采用了相关文献 [10] [11] 中使用的重加权策略，它近似地还原了 $0\le p<1$ 的Schatten-p范数最小化问题。正确地说，不同于矩阵 $X$ 的传统加权核范数中所使用的加权策略 $w_i=c{\left({\sigma }_i\left(X\right)+\epsilon \right)}^{-1}$ ，由重加权核范数指定的重加权策略 $w_i=c{\left({\sigma }_i\left(X\right)+\epsilon \right)}^{p-1}$ 可以更全面地表征真实图像中奇异值的先验分布信息。我们基于所提出的ITCTV正则化器构建了相应的鲁棒张量修补模型，并将其应用到不同类型的视觉张量数据中，结果表明我们的方法较于其他方法在数值和视觉上都有优越的竞争力。

2. 基于改进的张量相关全变分的鲁棒张量修补算法

2.1. ITCTV正则化器

为了充分利用梯度域下梯度张量的奇异值的先验分布信息，以此提高TCTV范数 [9] 的灵活性，我们提出了改进的张量相关全变分(ITCTV)范数，并将其定义如下：

${\Vert \mathcal{X}\Vert }_{ITCTV}:=\frac{1}{3}{\displaystyle \underset{k=1}{\overset{3}{\sum }}{\Vert {\mathcal{G}}_k\Vert }_{w,⊛,\mathfrak{L}}}$ (1)

其中 $\mathfrak{L}$ 代表可逆线性变换，它可以是离散傅里叶变换(DFT)或离散余弦变换(DCT)，或其他一些可逆线性变换，只要可逆线性变换所对应的变换矩阵满足 $U_{n_3}\times U_{n_3}^{\ast }=U_{n_3}^{\ast }\times U_{n_3}=n_3{I}_{n_3}$ 。

为了方便起见，我们忽略下标，将上面梯度张量的重加权核范数定义为：

${\Vert \mathcal{G}\Vert }_{w,⊛,\mathfrak{L}}=\frac{1}{n_3}{\displaystyle \underset{i=1}{\overset{n_3}{\sum }}{\Vert {\mathcal{G}}_{\mathfrak{L}}^{\left(i\right)}\Vert }_{w,⊛}}=\frac{1}{n_3}{\displaystyle \underset{i=1}{\overset{n_3}{\sum }}{\displaystyle \underset{j=1}{\overset{\min \left\{n_1,n_2\right\}}{\sum }}{w}_{ij}}}{\sigma }_j\left({\mathcal{G}}_{\mathfrak{L}}^{\left(i\right)}\right)$ (2)

其中 $w_{ij}=c/{\left({\sigma }_j\left({\mathcal{G}}_{\mathfrak{L}}^{\left(i\right)}\right)+\epsilon \right)}^{1-p}$ 且 $0<p\le 1$ ，本文统一设 $1-p=q$ ；c为常数，本文实验中默认设置 $c=1$ ； $\epsilon$ 是一个足够小的正数，以避免在对应的奇异值为零时被零除，在本文的实验中设置为 $\epsilon ={10}^{-8}$ 。已经证明，当给矩阵的重加权核范数赋予这样的权重时，它可以逼近其对应的Schatten-p范数 [11] 。请注意，上述权重满足小阈值以收缩大奇异值和大阈值以收缩小奇异值的功能。

2.2. t-WSVT阈值算子

本小节我们给出矩阵加权奇异值阈值算子的相关引理，并基于此给出张量加权奇异值阈值算子的相关定理及其证明。

引理(WSVT) [12] ：对于给定的矩阵 $Y\in {ℝ}^{n_1\times n_2}$ ，将其SVD分解表示为 $Y=US{V}^{\text{T}}$ ，那么对于任何 $\tau >0$ 和满足 $0\le w_1\le w_2\le \cdots \le w_m$ 和 $m=\min \left\{n_1,n_2\right\}$ 的权重向量 $w={\left[w_1,w_2,\cdots ,w_m\right]}^{\text{T}}$ ，对于每个 $\tau >0$ ，矩阵加权奇异值阈值(WSVT)算子定义如下：

${\mathcal{D}}_{w,\tau }\left(Y\right)=U{S}_{w,\tau }{V}^{\text{T}}$ (3)

其中 $S_{w,\tau }=Diag\left\{{\left({\sigma }_i\left(X\right)-\tau w_i\right)}_{+},i=1,2,\cdots ,m\right\}$ 。对于任意 $\tau >0$ 且 $Y\in {ℝ}^{n_1\times n_2}$ ，WSVT算子满足：

${\mathcal{D}}_{w,\tau }\left(Y\right)=\underset{X}{\arg \min }\tau {\Vert X\Vert }_{w,\ast }+\frac{1}{2}{\Vert X-Y\Vert }_F^2$ (4)

定理(t-WSVT)：对于给定的张量 $\mathcal{Y}\in {ℝ}^{n_1\times n_2\times n_3}$ ，将其t-SVD表示为 $\mathcal{Y}=\mathcal{U}{\ast }_{\mathfrak{L}}\mathcal{S}{\ast }_{\mathfrak{L}}{\mathcal{V}}^{\text{T}}$ 。然后，对于任何 $\tau >0$ 且具有非降序权重 $0\le w_{1i}\le w_{2i}\le \cdots \le w_{di}\left(d=\min \left\{n_1,n_2\right\},i=1,2,\cdots ,n_3\right)$ ，对于每个 $\tau >0$ ，我们定义张量加权奇异值阈值(t-WSVT)算子如下：

${\mathcal{D}}_{\mathcal{W},\tau }\left(\mathcal{Y}\right)=\mathcal{U}{\ast }_{\mathfrak{L}}{\mathcal{S}}_{\mathcal{W},\tau }{\ast }_{\mathfrak{L}}{\mathcal{V}}^{\text{T}}$ (5)

其中 ${\mathcal{S}}_{\mathcal{W},\tau }={\mathfrak{L}}^{-1}\left({\left({\mathcal{S}}_{\mathfrak{L}}-\tau \mathcal{W}\right)}_{+}\right)$ 。注意 $t_{+}$ 表示t的正数部分，即 $t_{+}=\max \left(t,0\right)$ ；而 $\mathcal{W}\in {ℝ}^{n_1\times n_2\times n_3}$ 是f-对角张量，其第i个正面切片的对角线元素等于权重矩阵 $W={\left(w_{ji}\right)}_{d\times n_3}$ 的第i列。特别地，当可逆线性变换 $\mathfrak{L}$ 为DFT时， ${\mathcal{S}}_{\mathcal{W},\tau }=ifft\left({\left(\bar{\mathcal{S}}-\tau \mathcal{W}\right)}_{+},\left[\right],3\right)$ 。对于任意 $\tau >0$ 且 $\mathcal{Y}\in {ℝ}^{n_1\times n_2\times n_3}$ ，t-WSVT算子满足：

${\mathcal{D}}_{\mathcal{W},\tau }\left(\mathcal{Y}\right)=\underset{\mathcal{X}}{\arg \min }\tau {\Vert \mathcal{X}\Vert }_{w,\ast ,\mathfrak{L}}+\frac{1}{2}{\Vert \mathcal{X}-\mathcal{Y}\Vert }_F^2$ (6)

证明：式(6)等价于

$\begin{array}{l}\underset{\mathcal{X}}{\min }\tau \frac{1}{n_3}{\displaystyle \underset{i=1}{\overset{n_3}{\sum }}{\displaystyle \underset{j=1}{\overset{\min \left\{n_1,n_2\right\}}{\sum }}{w}_{ij}}}{\sigma }_j\left({\mathcal{X}}_{\mathfrak{L}}^{\left(i\right)}\right)+\frac{1}{2n_3}{\Vert bdiag\left({\mathcal{X}}_{\mathfrak{L}}\right)-bdiag\left({\mathcal{Y}}_{\mathfrak{L}}\right)\Vert }_F^2\\ =\underset{\mathcal{X}}{\min }\frac{1}{n_3}{\displaystyle \underset{i=1}{\overset{n_3}{\sum }}\left(\tau {\displaystyle \underset{j=1}{\overset{\min \left\{n_1,n_2\right\}}{\sum }}{w}_{ij}}{\sigma }_j\left({\mathcal{X}}_{\mathfrak{L}}^{\left(i\right)}\right)+\frac{1}{2}{\Vert {\mathcal{X}}_{\mathfrak{L}}^{\left(i\right)}-{\mathcal{Y}}_{\mathfrak{L}}^{\left(i\right)}\Vert }_F^2\right)}\end{array}$ (7)

注意变量 ${\mathcal{X}}_{\mathfrak{L}}^{\left(i\right)}$ 是独立的。那么，上述问题可以分解为 $n_3$ 个独立的子问题。该定理表明t-WSVT算子 ${\mathcal{D}}_{\mathcal{W},\tau }\left(\mathcal{Y}\right)$ 给出了具有特定线性变换的张量重加权核范数的阈值收缩解。

3. 基于ADMM框架的优化求解算法

基于所提出的ITCTV正则化器，我们构建如下的鲁棒张量修补模型：

$\begin{array}{l}\min \frac{1}{3}{\displaystyle \underset{k=1}{\overset{3}{\sum }}{\Vert {\mathcal{G}}_k\Vert }_{w,⊛,\mathfrak{L}}}+\lambda {\Vert \mathcal{E}\Vert }_1\\ \text{s}\text{.t}\text{.}{\mathcal{P}}_{\Omega }\left(\mathcal{X}+\mathcal{E}\right)={\mathcal{P}}_{\Omega }\left(\mathcal{M}\right),{\mathcal{G}}_k={\nabla }_k\left(\mathcal{X}\right)\end{array}$ (8)

通过引入辅助变量 $\mathcal{K}$ ，使得 $\mathcal{X}+\mathcal{E}=\mathcal{M}+\mathcal{K}$ ，那么上述模型(8)可以重新表述为：

$\begin{array}{l}\min \frac{1}{3}{\displaystyle \underset{k=1}{\overset{3}{\sum }}{\Vert {\mathcal{G}}_k\Vert }_{w,⊛,\mathfrak{L}}}+\lambda {\Vert \mathcal{E}\Vert }_1\\ \text{s}\text{.t}\text{.}\mathcal{X}+\mathcal{E}=\mathcal{M}+\mathcal{K},{\mathcal{P}}_{\Omega }\left(\mathcal{K}\right)=0,{\mathcal{G}}_k={\nabla }_k\left(\mathcal{X}\right)\end{array}$ (9)

根据ADMM框架 [13] 对上述模型(9)进行求解，我们写出它的增广拉格朗日函数如下：

$\begin{array}{l}\mathcal{L}\left(\mathcal{X},\left\{{\mathcal{G}}_k,k=1,2,3\right\},\mathcal{E},\mathcal{K},\left\{{\Lambda }_k,k=1,2,3\right\},\Upsilon \right)\\ ={\displaystyle \underset{k=1}{\overset{3}{\sum }}\left(\frac{1}{3}{\displaystyle \underset{k=1}{\overset{3}{\sum }}{\Vert {\mathcal{G}}_k\Vert }_{w,⊛,\mathfrak{L}}}+\langle {\Lambda }_k,{\nabla }_k\left(\mathcal{X}\right)-{\mathcal{G}}_k\rangle +\frac{\mu }{2}{\Vert {\nabla }_k\left(\mathcal{X}\right)-{\mathcal{G}}_k\Vert }_F^2\right)}\\ +\langle \Upsilon ,\mathcal{M}+\mathcal{K}-\mathcal{X}-\mathcal{E}\rangle +\frac{\mu }{2}{\Vert \mathcal{M}+\mathcal{K}-\mathcal{X}-\mathcal{E}\Vert }_F^2+\lambda {\Vert \mathcal{E}\Vert }_1\end{array}$ (10)

其中 $\left\{{\Lambda }_k,k=1,2,3\right\}$ 和 $\Upsilon$ 是拉格朗日乘子， $\mu$ 是惩罚参数。那么基于ADMM的框架，第(t + 1)次迭代中模型(9)中所涉及变量的更新方式具体如下：

更新 ${\mathcal{X}}^{t+1}$ ：通过增广拉格朗日函数(10)式，可以得到关于 $\mathcal{X}$ 的优化子问题：

$\begin{array}{c}{\mathcal{X}}^{t+1}=\underset{\mathcal{X}}{\arg \min }{\displaystyle \underset{k=1}{\overset{3}{\sum }}\left(\langle {\Lambda }_k^t,{\nabla }_k\left(\mathcal{X}\right)-{\mathcal{G}}_k^t\rangle +\frac{{\mu }_t}{2}{\Vert {\nabla }_k\left(\mathcal{X}\right)-{\mathcal{G}}_k^t\Vert }_F^2\right)}\\ +\langle {\Upsilon }^t,\mathcal{M}+{\mathcal{K}}^t-\mathcal{X}-{\mathcal{E}}^t\rangle +\frac{{\mu }_t}{2}{\Vert \mathcal{M}+{\mathcal{K}}^t-\mathcal{X}-{\mathcal{E}}^t\Vert }_F^2\\ =\underset{\mathcal{X}}{\arg \min }{\displaystyle \underset{k=1}{\overset{3}{\sum }}\frac{{\mu }_t}{2}{\Vert {\nabla }_k\left(\mathcal{X}\right)-{\mathcal{G}}_k^t+\frac{{\Lambda }_k^t}{{\mu }_t}\Vert }_F^2}+\frac{{\mu }_t}{2}{\Vert \mathcal{M}+{\mathcal{K}}^t-\mathcal{X}-{\mathcal{E}}^t+\frac{{\Upsilon }^t}{{\mu }_t}\Vert }_F^2\end{array}$ (11)

对(11)中的 $\mathcal{X}$ 求导，我们可以得到更新 $\mathcal{X}$ 的方程为：

$\left(\mathcal{I}+{\displaystyle \underset{k=1}{\overset{3}{\sum }}{\nabla }_k^{\text{T}}{\nabla }_k}\right)\left(\mathcal{X}\right)=\mathcal{M}+{\mathcal{K}}^t-{\mathcal{E}}^t+\frac{{\Upsilon }^t}{{\mu }_t}+{\displaystyle \underset{k=1}{\overset{3}{\sum }}{\nabla }_k^{\text{T}}\left({\mathcal{G}}_k^t-\frac{{\Lambda }_k^t}{{\mu }_t}\right)}$ (12)

其中 ${\nabla }_k^{\text{T}}(·)$ 表示 ${\nabla }_k(·)$ 的转置结果运算符。那么我们可以在傅里叶域中，考虑将 ${\nabla }_k(·)$ 对应的差分张量 ${\mathcal{D}}_k$ 对角化，并利用卷积定理得到式(12)的最优解来更新 $\mathcal{X}$ ：

${\mathcal{X}}^{t+1}={\mathcal{F}}^{-1}\left(\frac{\mathcal{F}\left(\mathcal{M}+{\mathcal{K}}^t-{\mathcal{E}}^t+{\Upsilon }^t/{\mu }_t\right)+\mathcal{H}}{1+{\displaystyle \underset{k=1}{\overset{3}{\sum }}\mathcal{F}{\left({\mathcal{D}}_k\right)}^{*}\odot \mathcal{F}\left({\mathcal{D}}_k\right)}}\right)$ (13)

其中 $\mathcal{H}={\displaystyle \underset{k=1}{\overset{3}{\sum }}\mathcal{F}{\left({\mathcal{D}}_k\right)}^{*}\odot \mathcal{F}\left({\mathcal{G}}_k^t-{\Lambda }_k^t/{\mu }_t\right)}$ ， $1$ 为所有元素均为1的张量， $\odot$ 是逐元素乘法。

更新 ${\mathcal{G}}_k^{t+1}$ ：通过增广拉格朗日函数(10)式，可以得到关于 ${\mathcal{G}}_k$ 的优化子问题：

$\begin{array}{c}{\mathcal{G}}_k^{t+1}=\underset{{\mathcal{G}}_k}{\arg \min }\frac{1}{3}{\Vert {\mathcal{G}}_k\Vert }_{w,⊛,\mathfrak{L}}+\langle {\Lambda }_k^t,{\nabla }_k\left({\mathcal{X}}^{t+1}\right)-{\mathcal{G}}_k\rangle +\frac{{\mu }_t}{2}{\Vert {\nabla }_k\left({\mathcal{X}}^{t+1}\right)-{\mathcal{G}}_k\Vert }_F^2\\ =\underset{{\mathcal{G}}_k}{\arg \min }\frac{1}{3}{\Vert {\mathcal{G}}_k\Vert }_{w,⊛,\mathfrak{L}}+\frac{{\mu }_t}{2}{\Vert {\nabla }_k\left({\mathcal{X}}^{t+1}\right)-{\mathcal{G}}_k+\frac{{\Lambda }_k^t}{{\mu }_t}\Vert }_F^2\end{array}$ (14)

因此，我们可以通过之前定义的t-WSVT阈值算子来更新 ${\mathcal{G}}_k^{t+1}$ ，即

${\mathcal{G}}_k^{t+1}=t-WSV{T}_{1/3{\mu }_t}\left({\nabla }_k\left({\mathcal{X}}^{t+1}\right)+\frac{{\Lambda }_k^t}{{\mu }_t}\right)$ (15)

更新 ${\mathcal{E}}^{t+1}$ ：通过增广拉格朗日函数(10)式，可以得到关于 ${\mathcal{E}}^{t+1}$ 的优化子问题：

$\begin{array}{c}{\mathcal{E}}^{t+1}=\underset{\mathcal{E}}{\arg \min }\lambda {\Vert \mathcal{E}\Vert }_1+\langle {\Upsilon }^t,\mathcal{M}+{\mathcal{K}}^t-{\mathcal{X}}^{t+1}-\mathcal{E}\rangle +\frac{{\mu }_t}{2}{\Vert \mathcal{M}+{\mathcal{K}}^t-{\mathcal{X}}^{t+1}-\mathcal{E}\Vert }_F^2\\ =\underset{\mathcal{E}}{\arg \min }\lambda {\Vert \mathcal{E}\Vert }_1+\frac{{\mu }_t}{2}{\Vert \mathcal{M}+{\mathcal{K}}^t-{\mathcal{X}}^{t+1}-\mathcal{E}+\frac{{\Upsilon }^t}{{\mu }_t}\Vert }_F^2\end{array}$ (16)

通过使用下面定义的张量软阈值算子，我们可以得到以下阈值收缩等式来更新 ${\mathcal{E}}^{t+1}$ ，即

${\mathcal{E}}^{t+1}={\mathcal{S}}_{\lambda /{\mu }_t}\left(\mathcal{M}+{\mathcal{K}}^t-{\mathcal{X}}^{t+1}+\frac{{\Upsilon }^t}{{\mu }_t}\right)$ (17)

其中 ${\mathcal{S}}_{\zeta }(·)$ 是关于阈值为 $\zeta$ 的张量软阈值算子，满足：

${\left[{\mathcal{S}}_{\xi }\left(\mathcal{X}\right)\right]}_{ijk}=\mathrm{sgn}\left(x_{ijk}\right)\max \left(\left|x_{ijk}\right|-\xi ,0\right)$ (18)

更新 ${\mathcal{K}}^{t+1}$ ：

${\mathcal{K}}^{t+1}={\mathcal{X}}^{t+1}+{\mathcal{E}}^{t+1}-\mathcal{M}-\frac{{\Upsilon }^t}{{\mu }_t},{\mathcal{P}}_{\Omega }\left({\mathcal{K}}^{t+1}\right)=0$ (19)

更新乘子 ${\Lambda }_k^{t+1}$ 和 ${\Upsilon }^{t+1}$ ：

$\{\begin{array}{l}{\Lambda }_k^{t+1}={\Lambda }_k^t+{\mu }_t\left({\nabla }_k\left({\mathcal{X}}^{t+1}\right)-{\mathcal{G}}_k^{t+1}\right)\hfill \\ {\Upsilon }^{t+1}={\Upsilon }^t+{\mu }_t\left(\mathcal{M}+{\mathcal{K}}^{t+1}-{\mathcal{X}}^{t+1}-{\mathcal{E}}^{t+1}\right)\hfill \end{array}$ (20)

我们将上述基于ITCTV的鲁棒张量修补算法总结在算法1中。

4. 实验及讨论分析

在本节中，为了证明所提出的ITCTV方法在图像修复方面的有效性，我们将其应用到彩色图像、HSI以及灰度视频中。我们选择几种流行的鲁棒补全方法与我们的方法进行比较，即SNN [14] 、TNN [4] 、TTNN [15] 、TNTV [16] 、TCTV [9] 。至于对比方法的参数设置，我们的设置基于作者的代码或者他们文章中的建议。我们使用峰值信噪比(PSNR)或者峰值信噪比平均值(MPSNR)指标来衡量所有方法的恢复性能。对于实验数据，彩色图像是从Berkeley分割数据集中随机选取了10张图片，HSI选取了广泛使用的Pavia，Pavia university (Pavia U)，KSC，DCMall，Urban以及Moffettfield，灰度视频则是从YUV数据集中挑选了10个。

4.1. 实验与模型参数设置

在进行模拟实验中，我们主要考虑不同采样率 $sr=\left\{0.1,0.2,0.6,0.8\right\}$ 与噪声比例 $\sigma =0.1$ 组合的几种图像的退化情况。对于所提出的鲁棒张量修补模型中的参数，我们将其中的 $\lambda$ 默认设置为 $\lambda =1/\sqrt{n_3\max \left(n_1,n_2\right)}$ ，而用于控制梯度张量 ${\mathcal{G}}_k$ 的奇异值收缩的权重参数q，可以从一定范围内进行选择，如 $\left\{\text{0}\text{.1,}\text{0}\text{.2,}\text{0}\text{.3,}\text{0}\text{.4,}\text{0}\text{.5,}\text{0}\text{.6,}\text{0}\text{.7,}\text{0}\text{.8,}\text{0}\text{.9,}\text{1}\right\}$ ，我们根据经验在实验中默认设置 $q=0.1$ ，针对不同的视觉张量数据，也可以进行微调。

4.2. 视觉张量数据修复

本节我们将所提出的方法应用于彩色图像、HSI以及灰度视频的恢复中，其中每个彩色图片的大小为 $\text{481}\times \text{321}\times \text{3}$ ，HSI裁剪过后的大小为 $\text{200}\times \text{200}\times \text{50}$ ，灰度视频的大小为 $\text{144}\times \text{176}\times \text{100}$ 。我们将所提出的方法与上述提到的5种方法进行比较，PSNR或MPSNR数值结果如表1~3所示，其中的数值是各类型所有挑选图像实验指标的平均值，最优结果通过粗体突出显示。可以看出，在不同采样率和噪声水平下，我们所提出的方法均达到了最优的恢复效果。同TCTV方法相比，由于进一步充分利用了梯度张量的奇异值的先验分布信息，因此恢复效果也有了显著提升。除此之外，HSI相比彩色图片等图像低秩性更强，我们的方法在梯度域下利用梯度张量的先验信息也更加充分，因此在HSI这种波段更多、低秩性更强的视觉张量数据上更有竞争力。

Table 1. Performance evaluation of color images under different degradation conditions by different methods

表1. 不同退化情况下彩色图片在不同方法上的性能评估

Table 2. Performance evaluation of HSI under different degradation conditions by different methods

表2. 不同退化情况下HSI在不同方法上的性能评估

Table 3. Performance evaluation of grayscale videos under different degradation conditions by different methods

表3. 不同退化情况下灰度视频在不同方法上的性能评估

为了从视觉上展示更加直观的恢复效果，我们展示了所有竞争方法在部分图像上的视觉恢复结果。图1~3分别展示了彩色图片、HSI和灰度视频在不同采样率下的恢复结果。可以看出，我们的方法同TCTV一样，在梯度域下进行建模不仅刻画了低秩性，同时编码了局部平滑先验，因此在局部细节以及边缘上的恢复更好。综上所述，我们所提出的方法在数值和视觉上都具有更加优越的恢复性能。

(a) Original (b) Noisy (c) SNN (d) TNN(e) TTNN (f) TNTV (g) TCTV (h) ITCTV

Figure 1. The restoration effect of each method under sampling rate 0.2 and noise ratio 0.1 of color image

图1. 彩色图片在0.2采样率，0.1噪声比例下各方法的恢复效果

(a) Original (b) Noisy (c) SNN (d) TNN(e) TTNN (f) TNTV (g) TCTV (h) ITCTV

Figure 2. The restoration effect of each method under sampling rate 0.6 and noise ratio 0.1 of HSI

图2. HSI在0.6采样率，0.1噪声比例下各方法的恢复效果

(a) Original (b) Noisy (c) SNN (d) TNN(e) TTNN (f) TNTV (g) TCTV (h) ITCTV

Figure 3. The restoration effect of each method under sampling rate 0.8 and noise ratio 0.1 of grayscale video

图3. 灰度视频在0.8采样率，0.1噪声比例下各方法的恢复效果

4.3. 可逆线性变换分析

考虑到t-SVD框架依赖于方向和特定变换(例如DFT、DCT、酉变换和小波变换等)，我们探讨了所提出的模型使用的ITCTV范数在不同变换下的恢复结果。表4显示了TCTV方法和我们提出的ITCTV方法在基于DFT的t-SVD框架、基于DCT的t-SVD框架和基于酉变换的t-SVD框架下不同视觉张量数据恢复的定量比较。结果表明，与DFT相比，基于DCT的t-SVD框架下的恢复性能可以进一步提高。通过将可逆线性变换改为基于数据的酉变换，还可以进一步提高恢复性能。这与 [17] 中的结果一致，特别是对于彩色图像，这表明对于不同的数据类型，仍然需要考虑使用哪种可逆线性变换来达到最佳的恢复结果。

Table 4. Performance comparison of TCTV and ITCTV methods under different invertible linear transforms

表4. TCTV和ITCTV方法在不同可逆线性变换下的性能比较

5. 总结与展望

在本文中，我们通过重加权策略引入了一种改进的张量相关全变分(ITCTV)范数，并将其应用于图像修复。所提出的ITCTV范数不仅同时表征了全局低秩和局部平滑两个先验，减少了两个先验正则化项对应的参数，而且还进一步提高了区分控制梯度张量不同奇异值的灵活性。所提出的方法在不同类型的视觉张量数据上的实验结果证明了该方法在图像修复上的有效性。在未来的工作中，我们将考虑双线性分解对模型算法进行加速，以及将ITCTV正则化器推广至更一般的非线性变换框架。