基于独立但不同分布样本的系数正则化回归算法的研究

Analysis of Coefficient Regularized Regression with Non-Identically and Independently Sampling

摘要: 本文分析了基于独立但不同分布样本的系数正则化回归学习算法。全文的框架不同于以往的经典核学习方法，核函数不再要求满足半正定性；对于样本输出，令其满足弱化的矩假设条件。文章使用积分算子的方法得到了满意的与容量无关的误差界，最后通过选取合适的正则化参数得到较为满意的学习率。

Abstract: This paper considers the error analysis of coefficient regularization with non-identically and independently sampling. The framework under investigation is different from classical kernel learning. The kernel function no longer satisfies the positive semidefiniteness; we carry out the error analysis with output sample values satisfying a generalized moment hypothesis. Satisfactory capacity independently error bounds are derived by the techniques of integral operator for this learning algorithm, finally, a satisfactory learning rate is obtained by selecting appropriate regularization parameters.

1. 引言

统计学习理论中的最小二乘回归问题陈述如下：

设X为一个紧子集， $Y=R$。 $\rho$ 为 $Z:X\times Y$ 上未知的概率测度， $z={\left\{\left(x_i,y_i\right)\right\}}_{i=1}^m\in Z^m$ 为服从 $\rho$ 的一组独立同分布的取样。在回归学习中定义关于函数 $f:X\to Y$ 的期望风险泛函，

$\epsilon \left(f\right)=E{\left(f\left(x\right)-y\right)}^2={\displaystyle \underset{Z}{\int }{\left(f\left(x\right)-y\right)}^2\text{d}\rho }$

回归函数定义为

$f_{\rho }\left(x\right)=E\left(y|x\right)={\displaystyle {\int }_{Y}y\text{d}\rho }\left(y|x\right),x\in X$

记 $\rho \left(y|x\right)$ 为 $\rho$ 在 $X=x$ 时的条件分布，回归函数刻画了输出值y与输入值x之间的依赖关系。实际上，由于 $\rho$ 是未知的，所以 $f_{\rho }$ 无法直接求得，于是我们的目标是利用样本z产生关于 $f_{\rho }$ 的一个最佳逼近。

在这篇文章里，我们学习 $l^2$ 系数正则化算法：

$f_{Z,\lambda }=f_{{\alpha }_Z}$ 其中 ${\alpha }_Z=\arg \underset{\alpha \in R^T}{\min }\left\{\frac{1}{T}{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\left(f_{\alpha }\left(x_t\right)-y_t\right)}^2}+\lambda T{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\alpha }_t^2}\right\},\lambda >0$ (1.1)

有关该算法的研究可以参看文献 [1] [2]。

2. 相关定义

在本章中，考虑基于Z上的概率分布 ${\rho }_t$，对任意的 $t\ge 1$， ${\rho }_t$ 在x处的条件分布为 $\rho \left(\cdot |x\right)$。第t个样本 $z_t=\left(x_t,y_t\right)$ 的选取依赖于 ${\rho }_t$。我们选取样本序列 $z_t=\left(x_t,y_t\right)$ 来自于强平稳过程。令 ${\rho }_X$ 和 ${\rho }_X^t$ 分别为 $\rho$ 和 ${\rho }_t$ 在X上的边缘测度。接下来的假设和文献 [3] 中一样，边缘分布 ${\rho }_X^t$ 收敛到Holder空间 $C^s\left(X\right)$ 的对偶空间 ${\left(C^s\left(X\right)\right)}^{\ast }$ 中的 ${\rho }_X$。

Holder空间 $C^s\left(X\right)\left(0\le s\le 1\right)$ 包含X上所有的连续函数，并且具有以下的有界范数：

${\Vert f\Vert }_{C^s\left(x\right)}={\Vert f\Vert }_{\infty }+{\left|f\right|}_{C^s(\; x\; )}$

其中

${\left|f\right|}_{C^s\left(x\right)}:=\underset{x\ne y\in X}{\sup }\frac{\left|f\left(x\right)-f\left(y\right)\right|}{{\left(d\left(x,y\right)\right)}^s}.$

接下来给出的定义是对序列 ${\rho }_X^t$ 的处理。

定义2.1令 $0\le s\le 1$，则序列 ${\rho }_X^t$ 以指数形式收敛到 ${\left(C^s\left(X\right)\right)}^{\ast }$ 中的 ${\rho }_X$，如果存在 $C_1>0$， $0<\alpha <1$ 使下列式子成立：

${\Vert {\rho }_X^{\left(t\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\le C_1{\alpha }^t,\forall t\in N$ (2.1)

根据对偶空间 ${\left(C^s\left(X\right)\right)}^{\ast }$ 的定义，上式也可以表示为：

$\left|{\displaystyle {\int }_{X}f\left(x\right)\text{d}{\rho }_X^{\left(i\right)}}-{\displaystyle {\int }_{X}f\left(x\right)\text{d}{\rho }_X}\right|\le C_1{\alpha }^i{\Vert f\Vert }_{C^s\left(x\right)},\forall f\in C^s\left(X\right),i\in N.$

根据积分算子的定义，有

$L_{K,{\rho }_X}f\left(x\right)={\displaystyle {\int }_{X}K\left(x,u\right)f\left(u\right)\text{d}{\rho }_X}\left(u\right),L_{K,{\rho }_X^t}f\left(x\right)={\displaystyle {\int }_{X}K\left(x,u\right)f}\left(u\right)\text{d}{\rho }_X^{\left(t\right)}\left(u\right),$

为了进行误差分析，假设核函数 $\tilde{K}$ 满足序数 $s\left(0\le s\le 1\right)$ 的核条件：

定义2.2若对一些常数 $k_s>0$，且 $\tilde{K}\in C^s\left(X\times X\right)$，满足对所有的 $u,v\in X$，有

${\Vert {\tilde{K}}_u-{\tilde{K}}_v\Vert }_{\tilde{K}}\le k_s{\left(d\left(u,v\right)\right)}^s.$ (2.2)

称Mercer核 $\tilde{K}$ 满足序数 $s\left(0\le s\le 1\right)$ 的核条件。

满足序数 $s\left(0\le s\le 1\right)$ 的核条件称称Mercer核 $\tilde{K}$ 使得对任意的 $f\in H_{\tilde{K}}$，且 $u,v\in X$，有

$\left|f\left(u\right)-f\left(v\right)\right|=\left|{\langle f,{\tilde{K}}_u-{\tilde{K}}_v\rangle }_{\tilde{K}}\right|\le {\Vert f\Vert }_{\tilde{K}}{\Vert {\tilde{K}}_u-{\tilde{K}}_v\Vert }_{\tilde{K}}\le k_s{\Vert f\Vert }_{\tilde{K}}{\left(d\left(u,v\right)\right)}^s$

所以， $f\in C^s\left(X\right)$ 并且 ${\Vert f\Vert }_{C^s\left(x\right)}\le \left(k+k_s\right){\Vert f\Vert }_{\tilde{K}}$。

对于样本Z，假设其满足弱化的矩假设条件：存在两个常数 $\tilde{M}>0$，及 $p\ge 2$，使得

${\displaystyle {\int }_Z{\left|y\right|}^p}\le {\tilde{M}}^2$ (2.3)

文献 [4]，文献 [5]，文献 [6] 中对样本输出的要求均是满足弱化的矩假设条件。

本文的目标是估计 $f_{Z,\lambda }$ 与 $f_{\rho }$ 之间的误差，用RKHS $H_{\tilde{K}}$ 逼近 $f_{\rho }$，定义：

$f_{\lambda ,{\rho }_X}=\arg \underset{f\in {{\rm H}}_{\tilde{K}}}{\min }\left\{{\displaystyle {\int }_Z{\left(f\left(x\right)-f_{\rho }\left(x\right)\right)}^2\text{d}\rho \left(x,y\right)}+\lambda {\Vert f\Vert }_{\tilde{K}}^2\right\}.$ (2.4)

但由于样本Z是不同分布的，引入

$f_{\lambda ,{\bar{\rho }}_X^{\left(m\right)}}={\left(\lambda I+L_{\tilde{K},{\bar{\rho }}_X^{\left(m\right)}}\right)}^{-1}{L}_{\tilde{K},{\bar{\rho }}_X^{\left(m\right)}}{f}_{\rho }$ (2.5)

其中 ${\bar{\rho }}_X^{\left(m\right)}=\frac{1}{m}{\displaystyle {\sum }_{i=1}^m{\rho }_X^{\left(i\right)}}$。

然后整体的误差就可以分解成三部分：

${\Vert f_{Z,\lambda }-f_{\rho }\Vert }_{\rho }={\Vert f_{Z,\lambda }-f_{\lambda ,{\bar{\rho }}_X^{\left(m\right)}}\Vert }_{\rho }+{\Vert f_{\lambda ,{\bar{\rho }}_X^{\left(m\right)}}-f_{\lambda ,{\rho }_X}\Vert }_{\rho }+{\Vert f_{\lambda ,{\rho }_X}-f_{\rho }\Vert }_{\rho }$

不等式右侧的三部分分别称为样本误差、测量误差和正则化误差。

对于算法的学习，最重要的步骤就是进行误差分析。接下来，首先会给出本文最重要的一个定理，然后对其进行证明。下面将分几步对误差进行分析。第一，对于样本误差，主要的困难是样本是不同分布且输出是无界的，本文通过引入一个中间积分算子的方法来解决.第二，本文用一个新的方法得到了较小的测量误差，从而使算法整体的误差界变小。

3. 主要定理及其证明

3.1. 主要定理

下面给出本文的主要结论：

定理3.1假设弱化的矩有界假设条件(2.3)成立； ${\rho }_X^t$ 满足条件(2.1)，并且 $\tilde{K}$ 满足条件(2.2)； $L_{\tilde{K},{\rho }_X}^{-r}{f}_{\rho }\in L_{{\rho }_X}^2$，对于 $1/2<r\le 3/2$，令 $\lambda =T^{-\theta }\left(0<\theta <1/3\right)$，则有

$E{\Vert f_{Z,\lambda }-f_{\rho }\Vert }_{\rho }\le {C^{″}}_k{T}^{-\min \left\{1/2-\left(3/2\right)\theta ,\left(r-1/2\right)\theta \right\}},$

这里的 ${C^{″}}_k$ 跟 $k,s,\alpha$ 有关，和T无关的常数。其具体的表达式会在3.2部分给出。

该定理的证明会在下面的误差分析中给出。

3.2. 误差分析

首先，分析正则误差 ${\Vert f_{\lambda ,{\rho }_X}-f_{\rho }\Vert }_{\rho }$。

关于正则误差的分析，已经在很多关于学习理论的文献中分析过，本文将省略它的证明过程并直接给出结果。

命题3.1假设 $L_{\tilde{K},{\rho }_X}^{-r}{f}_{\rho }\in L_{{\rho }_X}^2$，并且对 $r>0$，下列正则误差的界成立：

${\Vert f_{\lambda ,{\rho }_X}-f_{\rho }\Vert }_{\rho }\le C_q{\lambda }^q$

其中， $C_q=\left(1+k^{2r-2}\right){\Vert L_{\tilde{K},{\rho }_X}^{-r}{f}_{\rho }\Vert }_{\rho },q=\min \left\{r,1\right\}$，并且，当 $1/2<r\le 3/2$，有

${\Vert f_{\lambda ,{\rho }_X}-f_{\rho }\Vert }_{\tilde{K}}\le C_r{\lambda }^{r-1/2},$

这里， $C_r={\Vert L_{\tilde{K},{\rho }_X}^{-r}{f}_{\rho }\Vert }_{\rho }$。

接下来分析 ${\Vert f_{\lambda ,{\bar{\rho }}_X^{\left(I\right)}}-f_{\lambda ,{\rho }_X}\Vert }_{\tilde{K}}$，它是由不同的测量引起的，所以我们称其为侧量误差，可以参看文献 [7]。在给出结果之前，我们需要以下2个引理。

引理3.1对任意的 $f,g\in C^s\left(X\right)$，有

${\Vert fg\Vert }_{C^s\left(X\right)}\le {\Vert f\Vert }_{C^s\left(X\right)}\times {\Vert g\Vert }_{\infty }+{\Vert f\Vert }_{\infty }\times {\left|g\right|}_{C^s(\; X\; )}$

引理3.2假设 $\tilde{K}$ 满足核条件(2.2)，则有

$\Vert L_{\tilde{K},{\bar{\rho }}_X^{\left(I\right)}}-L_{\tilde{K},{\rho }_X}\Vert \le k\left(k+2k_s\right){\Vert {\bar{\rho }}_X^{\left(I\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}$

证明：对任意的 $h\in C^s\left(X\right)$，则有

$\begin{array}{l}{\Vert \left(L_{\tilde{K},{\bar{\rho }}_X^{\left(I\right)}}-L_{\tilde{K},{\rho }_X}\right)h\Vert }_{\tilde{K}}^2\\ ={\displaystyle {\int }_{X}h\left(x\right)}\left\{{\displaystyle {\int }_{X}h\left(t\right)\tilde{K}\left(x,t\right)\text{d}}\left({\bar{\rho }}_X^{\left(I\right)}-{\rho }_X\right)\left(t\right)\right\}\times \text{d}\left({\bar{\rho }}_X^{\left(I\right)}-{\rho }_X\right)\left(x\right)\\ \le {\Vert h\left(u\right){\displaystyle {\int }_{X}h\left(v\right)\tilde{K}}\left(u,v\right)\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\\ \le \{{\Vert h\Vert }_{C^s\left(X\right)}\times {\Vert {\displaystyle {\int }_{X}h\left(v\right)\tilde{K}\left(u,v\right)\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\Vert }_{\infty }\stackrel{}{}\\ +{\Vert h\Vert }_{\infty }\times {\left|{\displaystyle {\int }_{X}h\left(v\right)\tilde{K}\left(u,v\right)\times \text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\right|}_{C^s\left(X\right)}\}\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\end{array}$ (3.1)

记

$I={\Vert {\displaystyle {\int }_{X}h\left(v\right)\tilde{K}\left(u,v\right)\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\Vert }_{\infty },$

$II={\left|{\displaystyle {\int }_{X}h\left(v\right)\tilde{K}\left(u,v\right)\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\right|}_{C^s(\; X\; )}$

现在我们需要分别估计I和II。对于I，很容易有

$\begin{array}{c}I=\underset{x\in X}{\max }\left|{\displaystyle {\int }_{X}h\left(v\right)\tilde{K}\left(u,v\right)\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\right|\\ \le \underset{x\in X}{\max }{\Vert h(\cdot )\tilde{K}\left(u,\cdot \right)\Vert }_{C^s\left(X\right)}\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\\ \le \underset{x\in X}{\max }\left[{\Vert h\Vert }_{C^s\left(X\right)}\times k^2+{\Vert h\Vert }_{\infty }\times {\left|\tilde{K}\left(u,\cdot \right)\right|}_{C^s\left(X\right)}\right]\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\\ \le \left[k^2{\Vert h\Vert }_{C^s\left(X\right)}+k{k}_s{\Vert h\Vert }_{\infty }\right]\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\end{array}$ (3.2)

要分析II，考虑

$\begin{array}{l}\left|{\displaystyle \underset{X}{\int }h\left(v\right)\left[\tilde{K}\left(u_2,v\right)-\tilde{K}\left(u_1,v\right)\right]\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\right|\\ \le {\Vert h\left(v\right)\left[\tilde{K}\left(u_2,v\right)-\tilde{K}\left(u_1,v\right)\right]\Vert }_{C^s\left(X\right)}\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\\ \le \left[{\Vert h\Vert }_{C^s\left(X\right)}\times {\Vert \tilde{K}\left(u_2,v\right)-\tilde{K}\left(u_1,v\right)\Vert }_{\infty }+{\Vert h\Vert }_{\infty }{\left|\tilde{K}\left(u_2,v\right)-\tilde{K}\left(u_1,v\right)\right|}_{C^s\left(X\right)}\right]\times {\Vert {\bar{\rho }}_X^{(T)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\end{array}$ (3.3)

因为

$\left|\left[\tilde{K}\left(u_2,v_2\right)-\tilde{K}\left(u_1,v_1\right)\right]-\left[\tilde{K}\left(u_2,v_1\right)-\tilde{K}\left(u_1,v_1\right)\right]\right|\le k_s^2{d}^s\left(u_1,u_2\right)d^s\left(v_1,v_2\right)$

则有

${\left|\tilde{K}\left(u_2,v\right)-\tilde{K}\left(u_1,v\right)\right|}_{C^s\left(X\right)}\le k_s^2{d}^s\left(u_1,u_2\right),$

$\left|\tilde{K}\left(u_2,v\right)-\tilde{K}\left(u_1,v\right)\right|\le k\cdot k_s{d}^s\left(u_1,u_2\right)$ (3.4)

得

$\begin{array}{c}II={\left|{\displaystyle {\int }_{X}h\left(v\right)\tilde{K}\left(u,v\right)\text{d}\left({\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\right)}\right|}_{C^s\left(X\right)}\\ \le \left(k{k}_s{\Vert h\Vert }_{C^s\left(X\right)}+k_s^2{\Vert h\Vert }_{\infty }\right){\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}\end{array}$ (3.5)

$\begin{array}{l}{\Vert \left(L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}-L_{\tilde{K},{\rho }_X}\right)h\Vert }_{\tilde{K}}^2\\ \le \left\{{\Vert h\Vert }_{C^s\left(X\right)}\left[k^2{\Vert h\Vert }_{C^s\left(X\right)}+k{k}_s{\Vert h\Vert }_{\infty }\right]+{\Vert h\Vert }_{\infty }\left[k{k}_s{\Vert h\Vert }_{C^s\left(X\right)}+k_s^2{\Vert h\Vert }_{\infty }\right]\right\}\times {\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}^2\\ =\left(k{\Vert h\Vert }_{C^s\left(X\right)}+k_s{\Vert h\Vert }_{\infty }^2\right){\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}^2\end{array}$

当条件(2.2)满足时，在文献 [8] 中已经证明， $H_{\tilde{K}}$ 包含在 $C^s\left(X\right)$ 中，并且有下列式子成立

${\Vert h\Vert }_{C^s\left(X\right)}\le \left(k+k_s\right){\Vert h\Vert }_{\tilde{K}},\forall h\in H_{\tilde{K}}$

然后有

${\Vert \left(L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}-L_{\tilde{K},{\rho }_X}\right)h\Vert }_{\tilde{K}}\le k\left(k+2k_s\right){\Vert h\Vert }_{\tilde{K}}{\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}$

证明结束。

命题3.2假设 $L_{\tilde{K},{\rho }_X}^{-r}{f}_{\rho }\in L_{{\rho }_X}^2\left(1/2<r<2/3\right)$ ； $\tilde{K}$ 满足核条件(2.2)，则测量误差满足

${\Vert f_{\lambda ,{\bar{\rho }}_X^{\left(T\right)}}-f_{\lambda ,{\rho }_X}\Vert }_{\tilde{K}}\le \frac{C_2{\lambda }^{r-3/2}}{T}$ (3.6)

其中 $C_k=k\left(k+2k_s\right),C_2=C_1{C}_k{C}_r\alpha /\left(1-\alpha \right)$

证明：

$\begin{array}{c}{\Vert f_{\lambda ,{\bar{\rho }}_X^{\left(T\right)}}-f_{\lambda ,{\rho }_X}\Vert }_{\tilde{K}}={\Vert {\left(\lambda I+L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}\right)}^{-1}\left\{\left(L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}-L_{\tilde{K},{\rho }_X}\right)f_{\rho }+\left(L_{\tilde{K},{\rho }_X}-L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}\right)f_{\lambda ,{\rho }_X}\right\}\Vert }_{\tilde{K}}\\ ={\Vert {\left(\lambda I+L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}\right)}^{-1}\left(L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}-L_{\tilde{K},{\rho }_X}\right)\left(f_{\rho }-f_{\lambda ,{\rho }_X}\right)\Vert }_{\tilde{K}}\\ \le \frac{1}{\lambda }{\Vert \left(L_{\tilde{K},{\bar{\rho }}_X^{\left(T\right)}}-L_{\tilde{K},{\rho }_X}\right)\left(f_{\rho }-f_{\lambda ,{\rho }_X}\right)\Vert }_{\tilde{K}}\end{array}$

应用引理3.2，令 $h=f_{\rho }-f_{\lambda ,{\rho }_X}$，得

${\Vert f_{\lambda ,{\bar{\rho }}_X^{\left(T\right)}}-f_{\lambda ,{\rho }_X}\Vert }_{\tilde{K}}\le \frac{1}{\lambda }k\left(k+2k_s\right){\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}{\Vert f_{\lambda ,{\rho }_X}-f_{\rho }\Vert }_{\tilde{K}}$

根据 ${\bar{\rho }}_X^{\left(T\right)}$ 的定义和(2.1)式，有

${\Vert {\bar{\rho }}_X^{\left(T\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}=\frac{1}{T}{\displaystyle \underset{t=1}{\overset{T}{\sum }}{\Vert {\rho }_X^{\left(t\right)}-{\rho }_X\Vert }_{{\left(C^s\left(X\right)\right)}^{\ast }}}\le \frac{C_1\alpha }{T\left(1-\alpha \right)}$

最后联立命题，即得结论。

接下来分析样本误差，这里不再给予具体证明，详细证明过程可参考文献 [9]。

命题3.3 $f_{Z,\lambda }$ 由(1.1)给出；假设输出满足矩有界假设条件(2.3)；并且边缘分布序列 ${\rho }_X^{\left(t\right)}\in N$，且满足条件(2.1)，则

$E{\Vert f_{Z,\lambda }-f_{\lambda ,{\bar{\rho }}_X^{\left(T\right)}}\Vert }_{\rho }\le \frac{{C^{\prime }}_k}{{\lambda }^{3/2}{T}^{1/2}}$

其中 ${C^{\prime }}_k=2\sqrt{6}M{k}^2+2\sqrt{10}M{k}^3+C_3/\left(1-\alpha \right),C_3=\alpha C_{1}kM\left(k+2{\left|k\right|}_{C^s\left(X\times Y\right)}\right)\times \left(k+1\right)$

最后，证明定理3.1。

证明：由命题3.3，有

$E{\Vert f_{Z,\lambda }-f_{\lambda ,{\bar{\rho }}_X^{\left(T\right)}}\Vert }_{\rho }\le \frac{{C^{\prime }}_k}{{\lambda }^{3/2}{T}^{1/2}}$

当 $1/2<r<3/2$，由命题3.2，有

${\Vert f_{\lambda ,{\bar{\rho }}_X^{\left(T\right)}}-f_{\lambda ,{\rho }_X}\Vert }_{\tilde{K}}\le \frac{C_2{\lambda }^{r-3/2}}{T}$

并且由命题3.1，有

${\Vert f_{\lambda ,{\rho }_X}-f_{\rho }\Vert }_{\tilde{K}}\le C_r{\lambda }^{r-1/2},$

因为

${\Vert f\Vert }_{\rho }\le {\Vert f\Vert }_{\infty }\le k{\Vert f\Vert }_{\tilde{K}},\forall f\in H_{\tilde{K}}$

联立三个误差界，并令 $\lambda =T^{-\theta }\left(0<\theta <1/3\right)$，即可证明定理3.1，其中 ${C^{″}}_k=\left(C_2+C_r\right)k+{C^{\prime }}_k$。