1. 引言
统计学习理论中的最小二乘回归问题陈述如下:
设X为一个紧子集,
。
为
上未知的概率测度,
为服从
的一组独立同分布的取样。在回归学习中定义关于函数
的期望风险泛函,
回归函数定义为
记
为
在
时的条件分布,回归函数刻画了输出值y与输入值x之间的依赖关系。实际上,由于
是未知的,所以
无法直接求得,于是我们的目标是利用样本z产生关于
的一个最佳逼近。
在这篇文章里,我们学习
系数正则化算法:
其中
(1.1)
有关该算法的研究可以参看文献 [1] [2]。
2. 相关定义
在本章中,考虑基于Z上的概率分布
,对任意的
,
在x处的条件分布为
。第t个样本
的选取依赖于
。我们选取样本序列
来自于强平稳过程。令
和
分别为
和
在X上的边缘测度。接下来的假设和文献 [3] 中一样,边缘分布
收敛到Holder空间
的对偶空间
中的
。
Holder空间
包含X上所有的连续函数,并且具有以下的有界范数:
其中
接下来给出的定义是对序列
的处理。
定义2.1令
,则序列
以指数形式收敛到
中的
,如果存在
,
使下列式子成立:
(2.1)
根据对偶空间
的定义,上式也可以表示为:
根据积分算子的定义,有
为了进行误差分析,假设核函数
满足序数
的核条件:
定义2.2若对一些常数
,且
,满足对所有的
,有
(2.2)
称Mercer核
满足序数
的核条件。
满足序数
的核条件称称Mercer核
使得对任意的
,且
,有
所以,
并且
。
对于样本Z,假设其满足弱化的矩假设条件:存在两个常数
,及
,使得
(2.3)
文献 [4],文献 [5],文献 [6] 中对样本输出的要求均是满足弱化的矩假设条件。
本文的目标是估计
与
之间的误差,用RKHS
逼近
,定义:
(2.4)
但由于样本Z是不同分布的,引入
(2.5)
其中
。
然后整体的误差就可以分解成三部分:
不等式右侧的三部分分别称为样本误差、测量误差和正则化误差。
对于算法的学习,最重要的步骤就是进行误差分析。接下来,首先会给出本文最重要的一个定理,然后对其进行证明。下面将分几步对误差进行分析。第一,对于样本误差,主要的困难是样本是不同分布且输出是无界的,本文通过引入一个中间积分算子的方法来解决.第二,本文用一个新的方法得到了较小的测量误差,从而使算法整体的误差界变小。
3. 主要定理及其证明
3.1. 主要定理
下面给出本文的主要结论:
定理3.1假设弱化的矩有界假设条件(2.3)成立;
满足条件(2.1),并且
满足条件(2.2);
,对于
,令
,则有
这里的
跟
有关,和T无关的常数。其具体的表达式会在3.2部分给出。
该定理的证明会在下面的误差分析中给出。
3.2. 误差分析
首先,分析正则误差
。
关于正则误差的分析,已经在很多关于学习理论的文献中分析过,本文将省略它的证明过程并直接给出结果。
命题3.1假设
,并且对
,下列正则误差的界成立:
其中,
,并且,当
,有
这里,
。
接下来分析
,它是由不同的测量引起的,所以我们称其为侧量误差,可以参看文献 [7]。在给出结果之前,我们需要以下2个引理。
引理3.1对任意的
,有
引理3.2假设
满足核条件(2.2),则有
证明:对任意的
,则有
(3.1)
记
现在我们需要分别估计I和II。对于I,很容易有
(3.2)
要分析II,考虑
(3.3)
因为
则有
(3.4)
得
(3.5)
当条件(2.2)满足时,在文献 [8] 中已经证明,
包含在
中,并且有下列式子成立
然后有
证明结束。
命题3.2假设
;
满足核条件(2.2),则测量误差满足
(3.6)
其中
证明:
应用引理3.2,令
,得
根据
的定义和(2.1)式,有
最后联立命题,即得结论。
接下来分析样本误差,这里不再给予具体证明,详细证明过程可参考文献 [9]。
命题3.3
由(1.1)给出;假设输出满足矩有界假设条件(2.3);并且边缘分布序列
,且满足条件(2.1),则
其中
最后,证明定理3.1。
证明:由命题3.3,有
当
,由命题3.2,有
并且由命题3.1,有
因为
联立三个误差界,并令
,即可证明定理3.1,其中
。