一类带MCP函数正则化问题的稳定性研究

Study on the Strong Metric Subregularity for a Class of Regularization Problems with the MCP Penalty Functions

摘要: 本文研究一类带极大极小凹惩罚(MCP)函数正则化问题，该模型由二次可微的损失函数和MCP函数组成。首先我们研究了MCP函数的邻近次微分和极限次微分，然后利用该次微分表达式和图像导数的运算法则，得到带MCP正则化问题目标函数次微分图像导数。最后，利用该图像导数表达式分别建立了该正则化问题次微分强度量次正则的充分条件和充要条件。

Abstract: In this paper, we study a class of regularization problems with the minimax concave penalty (MCP) function, which consists of a twice differentiable loss function and the MCP penalty function. First, we study the prox-regular subdifferential and limiting subdifferential of the MCP penalty function. Next, we obtain the graphical derivative of regularization problems with the MCP penalty function by using the subdifferential expression. Finally, we use the graphical derivative to establish a sufficient condition, a sufficient and necessary condition for the strong metric subregularity of subdifferential of the regularization problems, respectively.

1. 引言

考虑如下无约束优化问题：

(1)

其中 $f:{ℝ}^n\to ℝ$ 是二次可微函数， $g:{ℝ}^n\to ℝ$ 是一个可分离变量的非凸函数。

MCP函数是一种重要的可分离变量的函数，它有两个标量 $a>2$ 和 $\lambda >0$ ，并以原点为唯一的零点：

$g\left(x\right)={\displaystyle \underset{i=1}{\overset{n}{\sum }}{g}_{a,\lambda }\left(x_i\right)}$ (2)

其中

$g_{a,\lambda }\left(x_i\right):=\{\begin{array}{ll}2\lambda \left|x_i\right|-\frac{x_i^2}{a},\hfill & \left|x_i\right|\le a\lambda ,\hfill \\ a{\lambda }^2,\hfill & \left|x_i\right|\ge a\lambda .\hfill \end{array}$ (3)

在机器学习和统计学中，为了防止模型过拟合和提高模型的泛化能力，需要通过引入凹惩罚函数来对模型进行正则化。变量选择在高维数据分析中起着非常重要的作用，在对模型正则化过程中可以通过对参数的惩罚来实现变量选择的效果，从而在一定程度上实现变量选择的功能，然而许多方法容易忽略在变量选择过程中的随机误差。2001年，Fan和Li [1] 为了解决这个问题，提出了一种新的非凸惩罚函数，即光滑裁剪绝对偏差(smoothly clipped absolute deviation, SCAD)罚函数。伴随着SCAD罚函数的出现，oracle性质成为了评价变量选择方法的标准。2010年，Zhang [2] 提出了新的非凸MCP函数来进行变量选择，并证明了MCP函数具有oracle性质。

在正则化模型中，通过引入MCP函数可以对模型的复杂度进行控制，防止模型过拟合，提高模型的泛化能力。在高维数据的情况下，MCP函数可以帮助减少模型的自由度，提高模型的稳定性和可解释性。MCP函数的参数 $\lambda$ 和a可以根据具体问题进行调节，以满足不同的需求，这使得MCP函数可以适用于各种不同的优化问题。

目前为止，由于MCP函数良好的oracle性质和它可以同时实现变量选择与参数估计，带MCP函数正则化问题被广泛应用于机器学习、统计学习、信号处理、图像处理等领域，详见参考文献 [3] [4] [5] [6] [7] 。为了计算带MCP函数正则化问题，Zhang [2] 采用了惩罚线性无偏选择(PLUS)算法，在此之后Shi等 [8] 开发了一种有效的交替方向乘子法(ADMM)求解带MCP函数的正则化问题。

为了研究模型(1)相关算法的收敛速度，我们需要研究该模型的稳定性，如强度量次正和二阶增长条件，他们已经被用来建立优化算法的收敛速度，详见文献 [9] [10] [11] 。为了刻画强度量次正则 [12] [13] [14] 和二阶增长条件 [13] [15] ，许多学者研究了图像导数，它是变分分析中的一类重要工具。Chieu等人 [13] 利用次微分的图形导数研究了有限维中二阶增长条件和次微分的强度量次正则之间的关系，Dontchev等人 [12] 给出了集值映射强度量次正则的图像导数准则，Bello-Cruz等人 [15] 利用图像导数刻画了 ${\mathcal{l}}_1$ -正则化优化问题的二阶增长条件。到目前为止，大多数文献都是对带MCP函数正则化问题的应用与相关算法的研究，还没有文献对模型(1)次微分的强度量次正则进行研究，而强度量次正则在模型相关算法的收敛性分析中起着非常重要的作用。

受文献 [12] [13] [15] 的启发，本文研究了模型(1)次微分的强度量次正则。本文的结构如下：第二节，我们介绍了一些基本的定义和引理，并利用次微分的定义得到了MCP函数次微分的表达式。第三节，利用次微分的运算法则和集值映射的图像导数工具得到了MCP函数次微分的图像导数表达式，最后利用该表达式分别建立了模型(1)次微分强度量次正则的充分条件和充要条件。

2. 预备知识

本文中， $ℝ$ 表示实数集， ${ℝ}^n$ 是n维欧氏空间， $\Vert \cdot \Vert$ 和 $\langle \cdot ,\cdot \rangle$ 分别表示 ${ℝ}^n$ 中的范数和内积。 $sign:ℝ\to ℝ$ 表示符号函数。函数 $h:{ℝ}^n\to ℝ$ 的定义域记作dom $h:=\left\{x\in {ℝ}^n:h(x)\ne \varnothing \right\}$ 。 $f:{ℝ}^n\to ℝ$ 是一个二次连续可微函数， ${\nabla }^{2}f$ 表示函数f的Hessian矩阵， ${\left({\nabla }^{2}f(\cdot )\right)}_{i,j}$ 表示Hessian矩阵的第i行第j列元素， ${\left({\nabla }^{2}f(\cdot )\right)}_{i,\cdot }$ 表

示Hessian矩阵的第i行所有元素。对于矩阵 $A\in {ℝ}^{m\times n}$ ，定义 $\ker A:=\left\{w\in {ℝ}^n|Aw=0\right\}$ 。对集值映 $F:{ℝ}^n\rightrightarrows {ℝ}^m$ ，定义F的图为 $gphF=\left\{\left(x,y\right)\in {ℝ}^n\times {ℝ}^m|y\in F\left(x\right)\right\}$ ；定义集值映射F的逆映射 $F^{-1}:{ℝ}^m\rightrightarrows {ℝ}^n$ 为： $F^{-1}\left(y\right)=\left\{x|y\in F\left(x\right)\right\}$ 。

2.1. 基础知识

定义1 [16] 设 $x\in {ℝ}^n$ 。对于函数 $h:{ℝ}^n\to ℝ$ 和向量 $v\in {ℝ}^n$ ，如果存在 $\rho >0$ 和x的一个邻域V，使得

$h\left(y\right)\ge h\left(x\right)+\langle v,y-x\rangle -\rho {\Vert y-x\Vert }^2\forall y\in V,$

则称v是函数h在x处的邻近次梯度。所有这样的v构成的集合称为h在x处的邻近次微分，记作 ${\partial }_{p}h\left(x\right)$ 。

定义2 [16] 函数 $h:{ℝ}^n\to ℝ$ 在 $x\in {ℝ}^n$ 处的极限次微分定义如下：

$\partial h\left(x\right):=\left\{v\in {ℝ}^n:x_k\stackrel{h}{\to }x,v_k\to v,v_k\in {\partial }_{p}h\left(x_k\right)\right\},$

其中 $x_k\stackrel{h}{\to }x$ 意味着 $x_k\to x$ ， $h\left(x_k\right)\to h\left(x\right)$ 。显然 ${\partial }_{p}h\left(x\right)\subseteq \partial h\left(x\right)$ 。

在本文中我们使用的都是极限次微分，简称为次微分。

定义3 [12] 设 $\Omega$ 是 ${ℝ}^n$ 中的非空子集， $\bar{x}\in \Omega$ 。集合 $\Omega$ 在 $\bar{x}$ 处的切锥定义为：

$T_{\Omega }\left(\bar{x}\right):=\left\{v\in {ℝ}^n|\exists t_k\downarrow 0,v_k\to v满足\bar{x}+t_k{v}_k\in \Omega ,\forall k\in \mathbb{N}\right\}.$

定义4 [12] 对于集值映射 $H:{ℝ}^n\rightrightarrows {ℝ}^m$ 和点 $\left(x,y\right)\in gphH$ 。H在 $\left(x,y\right)$ 处的图像导数是集值映射 $DH\left(x|y\right):{ℝ}^n\rightrightarrows {ℝ}^m$ ，其图像是 $gphH$ 在 $\left(x,y\right)$ 处的切锥 $T_{gphH}$ ：

$v\in DH\left(x|y\right)\left(u\right)\iff \left(u,v\right)\in T_{gphH}\left(x,y\right).$

或者说， $v\in DH\left(x|y\right)\left(u\right)$ 当且仅当存在序列 $u_k\to u$ ， $v_k\to v$ 和 $t_k\to 0$ 使得对于所有k，

$y+t_k{v}_k\in H\left(x+t_k{u}_k\right).$

定义5 [12] 映射 $F:{ℝ}^n\rightrightarrows {ℝ}^m$ 。对于点 $\left(\bar{x},\bar{y}\right)\in gphF$ ，如果存在 $k>0$ 和 $\bar{x}$ 的一个邻域V，使得

$d\left(x;F^{-1}\left(\bar{y}\right)\right)\le kd\left(\bar{y};F\left(x\right)\cap V\right)\forall x\in V,$

则称映射F在 $\bar{x}$ 处对于 $\bar{y}$ 是度量次正则的。如果 $\bar{x}$ 是 $H^{-1}\left(\bar{y}\right)$ 的孤立点，则称F在 $\bar{x}$ 处对于 $\bar{y}$ 是强度量次正则的。

引理1 [12] 集值映射 $H:{ℝ}^n\rightrightarrows {ℝ}^m$ 在 $\left(\bar{x},\bar{y}\right)$ 是局部闭的，H在 $\left(\bar{x},\bar{y}\right)$ 是强度量次正则的当且仅当

$DH{\left(\bar{x}|\bar{y}\right)}^{-1}\left(0\right)=\left\{0\right\}.$ (4)

引理2 [12] 对于函数 $f:{ℝ}^n\to {ℝ}^m$ 在x处可微，集值映射 $F:{ℝ}^n\rightrightarrows {ℝ}^m$ 和任意的 $y\in F\left(x\right)$ ，有

$D\left(f+F\right)\left(x|f\left(x\right)+y\right)=\nabla f\left(x\right)+DF\left(x|y\right).$

2.2. MCP函数的次微分表达式

命题1 MCP函数的次微分表达式：

$\partial g\left(x\right)=\left\{s\in {ℝ}^n|\begin{array}{ll}{s}_j\in \left[-2\lambda ,2\lambda \right],\hfill & x_j=0\hfill \\ s_j=2\lambda sign\left(x_j\right)-\frac{2x_j}{a},\hfill & 0<\left|x_j\right|\le a\lambda \hfill \\ s_j=0,\hfill & \left|x_j\right|\ge a\lambda \hfill \end{array}\right\}.$ (5)

证明 因为函数 $g\left(x\right)$ 是连续的可分离变量的函数，因此对于任意的 $\bar{x}\in \text{dom}g$ ，有

$\partial g\left(\bar{x}\right)=\partial g_{a,\lambda }\left({\bar{x}}_1\right)\times \cdots \times \partial g_{a,\lambda }\left({\bar{x}}_n\right).$

因为单变量函数 $g_{a,\lambda }\left(x_j\right)$ 除在原点外是连续可微的，因此，当 $x_j\ne 0$ 时，

$\nabla g_{a,\lambda }\left(x_j\right)=\left\{s_j\in ℝ|\begin{array}{ll}{s}_j=2\lambda sign\left(x_j\right)-\frac{2x_j}{a},\hfill & 0<\left|x_j\right|\le a\lambda \hfill \\ s_j=0,\hfill & \left|x_j\right|\ge a\lambda \hfill \end{array}\right\}.$

当 $x_j=0$ 时，我们需要先求得 $x_j=0$ 时的邻近次微分。设 $y\in \left(-a\lambda ,a\lambda \right)$ ，则 $g_{a,\lambda }\left(y\right)=2\lambda \left|y\right|-\frac{y^2}{a}$ 。设 $\rho \ge \frac{1}{a}$ ，则

$2\lambda \left|y\right|-\frac{y^2}{a}+\rho y^2\ge \langle s_j,y\rangle =s_{j}y.$

如果 $y>0$ ，我们有 $s_j\le 2\lambda +\rho y-\frac{y}{a}$ 。因此 $s_j\le 2\lambda$ ，即 $\forall y\in \left(0,a\lambda \right)$ 和 $\rho \ge \frac{1}{a}$

$g_{a,\lambda }\left(y\right)\ge g_{a,\lambda }\left(0\right)+\langle s_j,y\rangle -\rho y^2.$

如果 $y=0$ ，那么对于任意的 $s_j\in {ℝ}^n$ 都成立。

如果 $y<0$ ，我们有 $s_j\ge -2\lambda +\rho y-\frac{y}{a}$ 。因此 $s_j\ge 2\lambda$ ，即 $\forall y\in \left(-a\lambda ,0\right)$ 和 $\rho \ge \frac{1}{a}$

$g_{a,\lambda }\left(y\right)\ge g_{a,\lambda }\left(0\right)+\langle s_j,y\rangle -\rho y^2.$

综合上述三种情况，我们可以得到当 $x_j=0$ 时， ${\partial }_p{g}_{a,\lambda }\left(x_j\right)=\left\{s_j\in ℝ|s_j\in \left[-2\lambda ,2\lambda \right]\right\}$ 。再根据极限次微分的定义，我们可以得到 $\partial g_{a,\lambda }\left(x_j\right)=\left\{s_j\in ℝ|s_j\in \left[-2\lambda ,2\lambda \right],x_j=0\right\}$ 。因此，MCP函数的次微分表达式为：

$\partial g\left(x\right)=\left\{s\in {ℝ}^n|\begin{array}{ll}{s}_j\in \left[-2\lambda ,2\lambda \right],\hfill & x_j=0\hfill \\ s_j=2\lambda sign\left(x_j\right)-\frac{2x_j}{a},\hfill & 0<\left|x_j\right|\le a\lambda \hfill \\ s_j=0,\hfill & \left|x_j\right|\ge a\lambda \hfill \end{array}\right\}.$

3. 带MCP函数正则化问题次微分的强度量次正则

在本节中，我们研究问题(1)次微分的强度量次正则性。为了使用引理1来刻画 $\partial F$ 的强度量次正则性，我们需要先计算 $\partial g$ 的图像导数。

3.1. $\partial g$ 的图像导数

为了研究 $\partial g$ 的图像导数，设 $x^{*}\in \text{dom}g$ ， $\bar{s}\in \partial g\left(x^{*}\right)$ ，定义：

$\begin{array}{l}I:=\left\{j\in \left\{1,\cdots ,n\right\}|x_j^{*}=0\right\},\\ J:=\left\{j\in I|\left|{\bar{s}}_j\right|<2\lambda \right\},\\ K:=\left\{j\in I|\left|{\bar{s}}_j\right|=2\lambda \right\},\\ M:=\left\{j\in \left\{1,\cdots ,n\right\}|0<\left|x_j^{*}\right|<a\lambda \right\},\end{array}$

$\begin{array}{l}O:=\left\{j\in \left\{1,\cdots ,n\right\}|x_j^{*}=a\lambda \right\},\\ P:=\left\{j\in \left\{1,\cdots ,n\right\}|x_j^{*}=-a\lambda \right\},\\ H\left(x^{*}\right):=\left\{u\in {ℝ}^n\left|\right\{u_j=0,j\in J或u_j{\bar{s}}_j\ge 0,j\in K\right\}\end{array}$

命题2 $D\left(\partial g\right)\left(x^{*}|\bar{s}\right)\left(u\right)$ 是非空的当且仅当 $u\in H\left(x^{*}\right)$ 。此外，对任意的 $u\in H\left(x^{*}\right)$ 有

$D\left(\partial g\right)\left(x^{*}|\bar{s}\right)\left(u\right)=\left\{v\in {ℝ}^n|\begin{array}{ll}{\bar{s}}_j{v}_j\le 0,u_j=0或v_j=\frac{-2u_j}{a},\hfill & j\in K\hfill \\ v_j=-\frac{2u_j}{a},\hfill & j\in M\hfill \\ v_j=0,\hfill & j\in N\hfill \\ u_j\le 0,v_j=-\frac{2u_j}{a}或u_j\ge 0,v_j=0,\hfill & j\in O\hfill \\ u_j\le 0,v_j=0或u_j\ge 0,v_j=-\frac{2u_j}{a},\hfill & j\in P\hfill \end{array}\right\}.$ (6)

证明 取 $v\in D\left(\partial g\right)\left(x^{*}|\bar{s}\right)\left(u\right)$ ，根据图像导数的定义，存在序列 $t^k\downarrow 0$ 和 $\left(u^k,v^k\right)\to \left(u,v\right)$ 使得 $\bar{s}+t^k{v}^k\in \partial g\left(x^{*}+t^k{u}^k\right)$ 。下面考虑j的六种情形。

情形1.1 $j\in J$ ，即 $x_j^{*}=0$ 且 $\left|{\bar{s}}_j\right|<2\lambda$ 。

若 ${\bar{s}}_j=0$ 且 $u_j^k\ne 0$ ，则 ${\left(x^{*}+t^k{u}^k\right)}_j\ne 0$ ， ${\left(\bar{s}+t^k{v}^k\right)}_j=2\lambda sign{\left(x^{*}+t^k{u}^k\right)}_j-\frac{2{\left(x^{*}+t^k{u}^k\right)}_j}{a}$ 。此时存在足够大的常数L和 $\epsilon >0$ ，使得当 $k>L$ 时， ${\left(\bar{s}+t^k{v}^k\right)}_j\cap B_{\epsilon }\left(2\lambda \right)=\varnothing$ ，因此这种情况是不满足的。若 ${\bar{s}}_j=0$ 且 $u_j^k=0$ ，则 ${\left(x^{*}+t^k{u}^k\right)}_j=0$ ， ${\left(\bar{s}+t^k{v}^k\right)}_j\in \left[-a\lambda ,a\lambda \right]$ 。当 $k\to \infty$ ， $u_j=0$ ， $v_j\in ℝ$ 。

若 ${\bar{s}}_j\ne 0$ 且 $u_j^k\ne 0$ ，则 ${\left(x^{*}+t^k{u}^k\right)}_j\ne 0$ ， ${\left(\bar{s}+t^k{v}^k\right)}_j=2\lambda sign{\left(x^{*}+t^k{u}^k\right)}_j-\frac{2{\left(x^{*}+t^k{u}^k\right)}_j}{a}$ 。当 $k\to \infty$ 时， ${\left(\bar{s}+t^k{v}^k\right)}_j\in \left[-a\lambda ,a\lambda \right]\ne 2\lambda sign{\left(x^{*}+t^k{u}^k\right)}_j-\frac{2{\left(x^{*}+t^k{u}^k\right)}_j}{a}$ ，因此这种情况是不满足。若 ${\bar{s}}_j=0$ 且 $u_j^k=0$ ，则 ${\left(x^{*}+t^k{u}^k\right)}_j=0$ ， ${\left(\bar{s}+t^k{v}^k\right)}_j\in \left[-a\lambda ,a\lambda \right]$ 。当 $k\to \infty$ ， $u_j=0$ ， $v_j\in ℝ$ 。

情形1.2 $j\in K$ 即 $x_j^{*}=0$ 且 $\left|{\bar{s}}_j\right|=2\lambda$ 。

如果有一个序列 ${\left(x^{*},\bar{s}\right)}_j+t^k{\left(u^k,v^k\right)}_j$ ，使得 $\left|{\left(\bar{s}+t^k{v}^k\right)}_j\right|<2\lambda =\left|{\bar{s}}_j\right|$ ，我们可以得到 ${\bar{s}}_j{v}_j^k<0$ ，当 $k\to \infty$ ，有 ${\bar{s}}_j{v}_j\le 0$ 。对于 $u_j\ne 0$ ，有 $\left|{\left(x^{*}+t^k{u}^k\right)}_j\right|>0$ 。因为 $x_j^{*}=0$ ，当 $k\to \infty$ ，有

$sign\left(x_j^{*}+t^k{u}_j^k\right)=sign\left(u_j^k\right)=sign\left({\bar{s}}_j+t^k{v}_j^k\right)=sign\left({\bar{s}}_j\right),$

即 ${\bar{s}}_j{u}_j\ge 0$ 。

若 $u_j>0$ ，有 ${\left(x^{*}+t^k{u}^k\right)}_j>0$ ，则 ${\left(\bar{s}+t^k{v}^k\right)}_j=2\lambda -\frac{2t^k{u}_j^k}{a}$ ，此时， $v_j^k=-\frac{2u_j^k}{a}$ ，这意味着 $v_j=-\frac{2u_j}{a}$ 。若 $u_j<0$ ，有 ${\left(x^{*}+t^k{u}^k\right)}_j<0$ ，则 ${\left(\bar{s}+t^k{v}^k\right)}_j=-2\lambda -\frac{2t^k{u}_j^k}{a}$ ，此时， $v_j^k=-\frac{2u_j^k}{a}$ ，这意味着 $v_j=-\frac{2u_j}{a}$ 。

因此，当 $u_j\ne 0$ 时，有 ${\bar{s}}_j{v}_j\le 0$ ， ${\bar{s}}_j{u}_j\ge 0$ 和 $v_j=-\frac{2u_j}{a}$ 。

对于 $u_j=0$ ，我们可以分为三类情况讨论：

1) ${\left(x^{*}+t^k{u}^k\right)}_j>0$ ，此时 $v_j=-\frac{2u_j}{a}=0$ 。

2) ${\left(x^{*}+t^k{u}^k\right)}_j<0$ ，此时 $v_j=-\frac{2u_j}{a}=0$ 。

3) ${\left(x^{*}+t^k{u}^k\right)}_j=0$ ，此时 $\left|{\left(\bar{s}+t^k{v}^k\right)}_j\right|\le 2\lambda$ 。那么有 ${\bar{s}}_j{v}_j^k\le 0$ ，当 $k\to \infty$ ，有 ${\bar{s}}_j{v}_j\le 0$ 。

因此，当 $u_j=0$ 时，有 ${\bar{s}}_j{v}_j\le 0$ 和 ${\bar{s}}_j{u}_j=0$ 。

情形1.3 $j\in M$ ，即 $0<\left|x_j^{*}\right|<a\lambda$ 。

此时 $\left|{\bar{s}}_j\right|=2\lambda sign\left(x_j^{*}\right)-\frac{2x_j}{a}$ 。对于足够大的k， $0<\left|{\left(x^{*}+t^k{u}^k\right)}_j\right|<a\lambda$ ，由(5)我们可以得到

${\left(\bar{s}+t^k{v}^k\right)}_j=2\lambda sign{\left(x^{*}+t^k{u}^k\right)}_j-\frac{2{\left(x^{*}+t^k{u}^k\right)}_j}{a}.$

当 $0<x_j^{*}<a\lambda$ 时，有 $v_j^k=-\frac{2u_j^k}{a}$ ；当 $-a\lambda <x_j^{*}<0$ 时，有 $v_j^k=-\frac{2u_j^k}{a}$ 。这意味着 $v_j=-\frac{2u_j}{a}$ 。

因此对任意的 $j\in M$ ， $v_j=-\frac{2u_j}{a}$ 。

情形1.4 $j\in N$ ，即 $\left|x_j^{*}\right|>a\lambda$ 。

对于足够大的k， ${\left(x^{*}+t^k{u}^k\right)}_j>a\lambda$ ，由(5)知此时

$\left|{\bar{s}}_j\right|=0=\left|{\left(\bar{s}+t^k{v}^k\right)}_j\right|.$

因此 $v_j^k=0$ ，这意味着 $v_j=0$ 。

情形1.5 $j\in O$ ，即 $x_j^{*}=a\lambda$ 。

由(5)知此时 ${\bar{s}}_j=2\lambda -\frac{2a\lambda }{a}=0$ 。若 $u_j^k\le 0$ ，此时 ${\left(x^{*}+t^k{u}^k\right)}_j\in \left(0,a\lambda \right]$ ，由 可得 ${\left(\bar{s}+t^k{v}^k\right)}_j=-\frac{2{\left(t^k{u}^k\right)}_j}{a}$ ，因此 $v_j^k=-\frac{2u_j^k}{a}$ ，这意味着 $v_j=-\frac{2u_j}{a}$ ；若 $u_j^k\ge 0$ ，此时 ${\left(x^{*}+t^k{u}^k\right)}_j\in \left[a\lambda ,\infty \right)$ ，由(5)可得 ${\left(\bar{s}+t^k{v}^k\right)}_j=0$ ，因此 $v_j^k=0$ ，这意味着 $v_j=0$ 。

情形1.6 $j\in P$ ，即 $x_j^{*}=-a\lambda$ 。

由(5)式知此时 ${\bar{s}}_j=-2\lambda -\frac{-2a\lambda }{a}=0$ 。若 $u_j^k\ge 0$ ，此时 ${\left(x^{*}+t^k{u}^k\right)}_j\in \left[-a\lambda ,0\right)$ ，由(5)可得 ${\left(\bar{s}+t^k{v}^k\right)}_j=-\frac{2{\left(t^k{u}^k\right)}_j}{a}$ ，因此 $v_j^k=-\frac{2u_j^k}{a}$ ，这意味着 $v_j=-\frac{2u_j}{a}$ ；若 $u_j^k\le 0$ ，此时 ${\left(x^{*}+t^k{u}^k\right)}_j\in \left(\infty ,-a\lambda \right]$ ，由(5)可得 ${\left(\bar{s}+t^k{v}^k\right)}_j=0$ ，因此 $v_j^k=0$ ，这意味着 $v_j=0$ 。

综合以上六个情形，我们得出 $u\in H\left(x^{*}\right)$ ，同时也验证了(6)中的包含“ $\subseteq$ ”。为了证明逆向包“ $\supseteq$ ”，取 $u\in H\left(x^{*}\right)$ 和任意的v属于(6)的右半部分，对于任意的 $t^k\downarrow 0$ 。我们证明了 $\bar{s}+t^{k}v\in \partial g\left(x^{*}+t^{k}u\right)$ ，从而验证了 $v\in D\left(\partial g\right)\left(x^{*}|\bar{s}\right)\left(u\right)$ 。对于任意的 $t\in ℝ$ ，我们定义集值映射：

$\partial g_{a,\lambda }\left(t\right)=\{\begin{array}{ll}0,\hfill & \left|t\right|\ge a\lambda \hfill \\ 2\lambda sign\left(t\right)-\frac{2t}{a},\hfill & 0<\left|t\right|\le a\lambda \hfill \\ \left[-\lambda ,\lambda \right],\hfill & t=0\hfill \end{array}.$

与证明“ $\subseteq$ ”一样，我们考虑j的六种情形。

情形2.1 $j\in J$ ，即 $x_j^{*}=0$ 且 $\left|{\bar{s}}_j\right|<2\lambda$ 。

因为 $u\in H\left(x^{*}\right)$ ，所以有 ${\left(x^{*}+t^{k}u\right)}_j=0$ ，当k足够大时 ${\left(\bar{s}+t^{k}v\right)}_j\in \left[-2\lambda ,2\lambda \right]$ 。因此

${\left(\bar{s}+t^{k}v\right)}_j\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j.$

情形2.2 $j\in K$ ，即 $x_j^{*}=0$ 且 $\left|{\bar{s}}_j\right|=2\lambda$ 。

若 $u_j=0$ ，我们有 ${\left(x^{*}+t^{k}u\right)}_j=0$ ；并且对于足够大的k，因为 ${\bar{s}}_j{v}_j\le 0$ ，所以 $\left|{\left(\bar{s}+t^{k}v\right)}_j\right|\le \left|{\bar{s}}_j\right|=2\lambda$ 。若 $u_j\ne 0$ ，我们有 $v_j=-\frac{2u_j}{a}$ 。当k足够大时，因为 ${\bar{s}}_j{u}_j\ge 0$ ，所以有

$\begin{array}{l}{\left(\bar{s}+t^{k}v\right)}_j=2\lambda -\frac{2u_j}{a}\in \left[-2\lambda ,2\lambda \right],u_j>0\\ 或{\left(\bar{s}+t^{k}v\right)}_j=-2\lambda -\frac{2u_j}{a}\in \left[-2\lambda ,2\lambda \right],u_j<0.\end{array}$

综合上述两种情况，我们有 ${\left(\bar{s}+t^{k}v\right)}_j\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j$ 。

情形2.3 $j\in M$ ，即 $0<\left|x_j^{*}\right|<a\lambda$ 。

如果 $0<x_j^{*}<a\lambda$ ，由(5)知 ${\bar{s}}_j=2\lambda -\frac{2x_j^{*}}{a}$ 。对于足够大的k，我们有 ${\left(x^{*}+t^{k}u\right)}_j\in \left(0,a\lambda \right)$ ，因为 $v_j=-\frac{2u_j}{a}$ ，所以

${\left(\bar{s}+t^{k}v\right)}_j=2\lambda -\frac{2{\left(x^{*}+t^{k}u\right)}_j}{a}\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j.$

如果 $-a\lambda <x_j^{*}<0$ ，由(5)知 ${\bar{s}}_j=-2\lambda -\frac{2x_j^{*}}{a}$ 。对于足够大的k，我们有 ${\left(x^{*}+t^{k}u\right)}_j\in \left(-a\lambda ,0\right)$ ，因为 $v_j=-\frac{2u_j}{a}$ ，所以

${\left(\bar{s}+t^{k}v\right)}_j=-2\lambda -\frac{2{\left(x^{*}+t^{k}u\right)}_j}{a}\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j.$

情形2.4 $j\in N$ ，即 $\left|x_j^{*}\right|>a\lambda$ 。

对于足够大的k，我们有 $\left|{\left(x^{*}+t^{k}u\right)}_j\right|\in \left(a\lambda ,\infty \right)$ 。因为 $v_j=0$ ，所以

${\bar{s}}_j={\left(\bar{s}+t^{k}v\right)}_j=0\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j.$

情形2.5 $j\in O$ ，即 $x_j^{*}=a\lambda$ 。

由(4)式知此时 ${\bar{s}}_j=2\lambda -\frac{2a\lambda }{a}=0$ 。若 $u_j\le 0$ ，当k足够大时， $0<{\left(x^{*}+t^{k}u\right)}_j\le a\lambda$ ， $v_j=-\frac{2u_j}{a}$ ，因此

${\left(\bar{s}+t^{k}v\right)}_j=0-\frac{2t^k{u}_j}{a}=2\lambda -\frac{2\left(a\lambda +t^k{u}_j\right)}{a}.$

若 $u_j\ge 0$ ，当k足够大时， ${\left(x^{*}+t^{k}u\right)}_j\ge a\lambda$ ，此时 $v_j=0$ ，因此

${\left(\bar{s}+t^{k}v\right)}_j={\bar{s}}_j=0.$

综合上述两种情况，我们有 ${\left(\bar{s}+t^{k}v\right)}_j\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j$ 。

情形2.6 $j\in P$ ，即 $x_j^{*}=-a\lambda$ 。

由(5)式知此时 ${\bar{s}}_j=-2\lambda -\frac{2\left(-a\lambda \right)}{a}=0$ 。若 $u_j\ge 0$ ，当k足够大时， $-a\lambda \le {\left(x^{*}+t^{k}u\right)}_j<0$ ， $v_j=-\frac{2u_j}{a}$ ，因此

${\left(\bar{s}+t^{k}v\right)}_j=0-\frac{2t^k{u}_j}{a}=-2\lambda -\frac{2\left(-a\lambda +t^k{u}_j\right)}{a}.$

若 $u_j\le 0$ ，当k足够大时， ${\left(x^{*}+t^{k}u\right)}_j\le a\lambda$ ，此时 $v_j=0$ ，因此

${\left(\bar{s}+t^{k}v\right)}_j={\bar{s}}_j=0.$

综合上述两种情况，我们有 ${\left(\bar{s}+t^{k}v\right)}_j\in \partial g_{a,\lambda }{\left(x^{*}+t^{k}u\right)}_j$ 。

综上所述，当 $j\in J\cup K\cup M\cup N\cup O\cup P$ 时，总有 ${\left(\bar{s}+t^{k}v\right)}_j\in \partial g{\left(x^{*}+t^{k}u\right)}_j$ ，故

$v\in D\left(\partial g\right)\left(x^{*}|\bar{s}\right)\left(u\right).$

3.2. $\partial F$ 的强度量次正则

为了研究 $\partial F$ 的强度量次正则，设 $x^{*}\in domF$ ， $0\in \partial F\left(x^{*}\right)$ ，f在 $x^{*}$ 处是二次可微的。定义：

$\begin{array}{l}{K}_1:=\left\{j\in \left\{1,\cdots ,n\right\}|x_j^{*}=0,\left|{\left(\nabla f\left(x^{*}\right)\right)}_j\right|=2\lambda \right\},\\ M_1:=\{j\in \left\{1,\cdots ,n\right\}|0<\left|x_j^{*}\right|<a\lambda \},\\ N_1:=\left\{j\in \left\{1,\cdots ,n\right\}|\left|x_j^{*}\right|>a\lambda \right\},\\ P_1:=\left\{j\in \left\{1,\cdots ,n\right\}|\left|x_j^{*}\right|=a\lambda \right\},\\ U:=\left\{u\in R^{\text{E}}|u_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,j\in K_1\right\},\end{array}$

$\begin{array}{l}{H}_{\text{E}}^1\left(x^{*}\right):=\{\begin{array}{ll}{\left({\nabla }^{2}f\left(x^{*}\right)\right)}_{i,j},\hfill & i\in K_1\cup N_1\cup P_1,j\in \text{E}\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)}_{i,j},\hfill & i\in M_1,j\in \text{E}\hfill \end{array},\\ H_{\text{E}}^2\left(x^{*}\right):=\{\begin{array}{ll}{\left({\nabla }^{2}f\left(x^{*}\right)\right)}_{i,j},\hfill & i\in N_1,j\in \text{E}\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)}_{i,j},\hfill & i\in K_1\cup M_1\cup P_1,j\in \text{E}\hfill \end{array},\end{array}$

其中 $\text{E}=\left\{j|j\in K_1\cup M_1\cup N_1\cup P_1\right\}$ 。

定理1 如果 $\left\{\ker H_{\text{E}}^1\left(x^{*}\right)\cup \ker H_{\text{E}}^2\left(x^{*}\right)\right\}\cap U=\left\{0\right\}$ ，则 $\partial F$ 在 $\left(x^{*},0\right)$ 处是强度量次正则的。

证明因为 $F=f+g$ ，f在 $x^{*}$ 处是可微的，所以有 $\partial F\left(x^{*}\right)=\nabla f\left(x^{*}\right)+\partial g\left(x^{*}\right)$ 。由引理2可知：

$D\left(\partial F\right)\left(x^{*}|0\right)\left(u\right)={\nabla }^{2}f\left(x^{*}\right)u+D\left(\partial g\right)\left(x^{*}|-\nabla f\left(x^{*}\right)\right)\left(u\right).$

设 $\left\{\ker H_{\text{E}}^1\left(x^{*}\right)\cup \ker H_{\text{E}}^2\left(x^{*}\right)\right\}\cap U=\left\{0\right\}$ ， $0\in D\left(\partial F\right)\left(x^{*}|0\right)\left(u\right)$ ，有

$-{\nabla }^{2}f\left(x^{*}\right)u\in D\left(\partial g\right)\left(x^{*}|-\nabla f\left(x^{*}\right)\right)\left(u\right).$

由命题2，当 $j\notin \text{E}$ 时， $u_j=0$ ；当 $j\in K_1$ 时，有

${\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0,u_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,{\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,$

或者

$u_j=0,u_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,{\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0.$

当 $j\in M_1$ 时，有 ${\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0$ ；当 $j\in N_1$ 时，有 ${\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j=0$ ；当 $j\in N_1$ 时，有

${\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j=0或{\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)\cdot u\right)}_j=0.$

因为 $\left\{\ker H_{\epsilon }^1\left(x^{*}\right)\cup \ker H_{\epsilon }^2\left(x^{*}\right)\right\}\cap U=\left\{0\right\}$ ，所以有 $u=0$ ，这意味着

$D\left(\partial F\right){\left(x^{*}|0\right)}^{-1}\left(0\right)=\left\{0\right\}.$

再由引理1知 $\partial F$ 在 $\left(x^{*},0\right)$ 处是强度量次正则的。

为了建立 $\partial F$ 强度量次正则的充要条件，我们引出如下记号：

$\begin{array}{l}{J}_1:=\left\{j\in \left\{1,\cdots ,n\right\}|x_j^{*}=0和{\left(\nabla f\left(x^{*}\right)\right)}_j\in \left(-2\lambda ,2\lambda \right)\right\},\\ \mathcal{U}:=\left\{u\in {ℝ}^n|u_j=0,j\in J_1和u_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,j\in K_1\right\},\\ H_{\text{E}}^3\left(x^{*}\right):=\{\begin{array}{ll}{\left({\nabla }^{2}f\left(x^{*}\right)\right)}_{j,\cdot },\hfill & j\in K_1\cup N_1\cup P_1\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)}_{j,\cdot },\hfill & j\in M_1\hfill \end{array},\\ H_{\text{E}}^4\left(x^{*}\right):=\{\begin{array}{ll}{\left({\nabla }^{2}f\left(x^{*}\right)\right)}_{j,\cdot },\hfill & j\in N_1\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)}_{j,\cdot },\hfill & j\in K_1\cup M_1\cup P_1\hfill \end{array}.\end{array}$

定理2 $\partial F$ 在 $\left(x^{*},0\right)$ 处是强度量次正则的当且仅当

$\{\begin{array}{ll}\left\{\ker H_{\text{E}}^3\left(x^{*}\right)\cup \ker H_{\text{E}}^4\left(x^{*}\right)\right\}\cap \mathcal{U}=\left\{0\right\}\hfill & \hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,\hfill & j\in K_1\hfill \end{array}.$

证明 因为 $F=f+g$ ，f在 $x^{*}$ 处是可微的，所以有 $\partial F\left(x^{*}\right)=\nabla f\left(x^{*}\right)+\partial g\left(x^{*}\right)$ 。由引理2可知：

$D\left(\partial F\right)\left(x^{*}|0\right)\left(u\right)={\nabla }^{2}f\left(x^{*}\right)u+D\left(\partial g\right)\left(x^{*}|-\nabla f\left(x^{*}\right)\right)\left(u\right).$ (7)

由引理1知 $\partial F$ 在 $\left(x^{*},0\right)$ 是强度量次正则的当且仅当 $D\left(\partial F\right){\left(x^{*}|0\right)}^{-1}\left(0\right)=\left\{0\right\}$ ，即

$0\in D\left(\partial F\right)\left(x^{*}|0\right)\left(u\right)\Rightarrow u=0.$ (8)

由命题2和(7)，我们有(8)成立当且仅当

$\{\begin{array}{ll}{u}_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,{\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,{\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0或u_j=0,\hfill & j\in K_1\hfill \\ {\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0,\hfill & j\in M_1\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j=0,\hfill & j\in N_1\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j=0或{\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0,\hfill & j\in P_1\hfill \\ u_j=0,\hfill & \text{if}j\in J_1\hfill \end{array}$

$\Rightarrow u=0$

注意到

$\{\begin{array}{ll}{u}_j{\left(\nabla f\left(x^{*}\right)\right)}_j\le 0,{\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0或u_j=0,\hfill & j\in K_1\hfill \\ {\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0,\hfill & j\in M_1\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j=0,\hfill & j\in N_1\hfill \\ {\left({\nabla }^{2}f\left(x^{*}\right)u\right)}_j=0或{\left(\left({\nabla }^{2}f\left(x^{*}\right)-\frac{2}{a}I\right)u\right)}_j=0,\hfill & j\in P_1\hfill \\ u_j=0,\hfill & j\in J_1\hfill \end{array}\Rightarrow u=0.$

当且仅当 $\left\{\ker H_{\text{E}}^3\left(x^{*}\right)\cup \ker H_{\text{E}}^4\left(x^{*}\right)\right\}\cap \mathcal{U}=\left\{0\right\}$ 。

4. 结束语

在本文中，我们分别建立了带MCP函数正则化问题次微分强度量次正则的充分条件和充要条件。首先，我们根据次微分的定义得到了MCP函数的次微分的表达式，并在此基础上求得了MCP函数次微分的图像导数。最后，通过求和准则将MCP函数次微分的图像导数与正则化问题(1)次微分的图像导数建立联系，得到了正则化问题(1)次微分强度量次正则的充分条件和充要条件。后续我们将研究正则化问题(1)的二阶增长条件，并用强度量次正则或二阶增长条件研究该模型相关算法的收敛性。

基金项目

本文在重庆市自然科学基金(CSTB2022NSCQ-MSX0409, CSTB2022NSCQMSX0406, CQ-NCAM-2021-02)和重庆市教育委员会科技项目(KJZD-M202201303, KJQN202201349)资助下完成。