部分线性变系数测量误差模型的约束Liu估计

Restricted Liu Estimatoion in Partially Linear Varying Coefficient Measurement Error Model

摘要: 本文考虑部分线性变系数测量误差模型的估计问题，同时考虑线性部分自变量存在多重共线性和线性部分存在约束条件时两种情形，基于校正的profile最小二乘技术与Liu估计方法，分别构造了未知参数分量的Liu估计和约束Liu估计，并研究了所提估计量的渐进性质。

Abstract: This paper considers estimation of semiparametric partially linear varying coefficient measure-ment error model when the problem of multicollinearity exists and linear restrictions on the pa-rameter components are available. Based on the corrected profile least-squares approach and Liu estimation method, the Liu estimator and the corresponding restricted Liu estimator for the para-metric component are constructed, and their statistical properties are given.

1. 引言

测量误差模型是统计学和计量经济学领域的重点研究内容之一，近二十年来，半参数测量误差模型的研究得到了越来越多的关注。本文研究如下的带有测量误差的半参数部分线性变系数模型

$\{\begin{array}{l}Y=X^{\text{T}}\beta +Z^{\text{T}}\alpha \left(U\right)+\epsilon \\ V=X+\xi \end{array}$ (1)

其中，Y为因变量观测量， $Z,X$ 和U分别为自变量观测值， $\beta ={\left({\beta }_1,{\beta }_2,\cdots ,{\beta }_p\right)}^{\text{T}}$ 为模型中线性部分的未知待估系数， $\alpha (\cdot )={\left({\alpha }_1(\cdot ),{\alpha }_2(\cdot ),\cdots ,{\alpha }_q(\cdot )\right)}^{\text{T}}$ 为模型中变系数部分的未知系数函数。 $\epsilon$ 是均值为零的模型误差，测量误差 $\xi$ 与 $\left(Y,X,Z,U\right)$ 独立，有 $E\xi =0,Cov\left(\xi \right)={\Sigma }_{\xi }$，一般假定协方差矩阵 ${\Sigma }_{\xi }$ 已知。

对于模型(1)，You和Chen (2006) [1] 基于部分线性变系数模型的profile最小二乘估计提出了一种校正估计方法，Wei (2012) [2] 在这个估计方法的基础上对模型(1)考虑了未知参数分量 $\beta$ 的约束估计，并讨论了对应的约束检验问题。

使用多元回归模型分析实际数据时，不同自变量之间往往存在较强的线性关系，我们将这种现象称之为多重共线性。多种共线性会导致模型推断的错误，比如最小二乘估计虽然在理论上还有无偏估计，但方差很大，基于实际数据得到的估计结果表现为回归系数的正负号与实际问题相反，回归系数估计值的绝大致异常大等。为了解决多重共线性问题，一方面可以在变量选择上进行深入分析，采用删除一些自变量的方式。另一方面，构造有偏估计用以降低估计量的均方误差，目前得到研究较多的有偏估计有岭估计、主成分估计和Liu估计。对于测量误差模型，由于自变量不能精确观测，其有偏估计的研究也相对复杂，因为目前研究结果相对较少，有关的结果可参考文 [3] [4] [5]。对于半参数测量误差模型的有偏估计，文 [6] [7] [8] 针对部分线性测量误差模型分别研究了岭估计和Liu估计。对于模型(1)，文 [9] 构造了模型(1)的岭估计。基于以上研究，本文主要给出模型(1)的Liu估计和对应的约束Liu估计，并给出估计量的渐近性质。

论文第2节将构造参数分量的Liu估计，并给出所提估计量的渐近性质。第3节将构造参数分量的约束Liu估计并研究其性质。定理的证明在第4节给出。结论将在第5节给出。

2. 参数分量的Liu估计

为了构造模型的Liu估计和约束Liu估计，首先介绍You和Chen (2006) [1] 针对模型(1)提出校正Profile 最下二乘法估计，我们要在这个估计方法的基础构造有偏估计。记 ${\left\{Y_i,X_i,Z_i,U_i\right\}}_{i=1}^n$ 为来自模型(1)的样本数据，这里先假设自变量 $X$ 可以被精确观测，则有如下的模型

$Y_i=X_i^{\text{T}}\beta +Z_i^{\text{T}}\alpha \left(U_i\right)+{\epsilon }_i,i=1,2,\cdots ,n.$ (2)

假定参数分量 $\beta$ 已知，则模型(2)可等价写成如下形式的变系数模型

$\left(Y_i-X_i^{\text{T}}\beta \right)={\alpha }_1\left(U_i\right)Z_{i1}+\cdots +{\alpha }_q\left(U_i\right)Z_{iq}+{\epsilon }_i$ (3)

采用局部线性光滑方法对模型(43)进行估计。假设系数函数 $\left\{{\alpha }_j(\cdot ),j=1,2,\cdots ,q\right\}$ 二阶连续可导，对于 $u_0$ 附近的点u，由Taylor展开可得

${\alpha }_j\left(u\right)\approx {\alpha }_j\left(u_0\right)+{{\alpha }^{\prime }}_j\left(u_0\right)\left(u-u_0\right),j=1,2,\cdots ,q$ (4)

其中 ${{\alpha }^{\prime }}_j\left(u\right)=\partial {\alpha }_j\left(u\right)/\partial u$， $\left\{\left({\alpha }_j\left(u_0\right),{{\alpha }^{\prime }}_j\left(u_0\right)\right),j=1,2,\cdots ,q\right\}$ 的局部加权最小二乘估计可通过极小化下式得到

${\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(\left(Y_i-X_i^{\text{T}}\beta \right)-{\displaystyle \underset{j=1}{\overset{q}{\sum }}\left({\alpha }_j\left(u_0\right)+{{\alpha }^{\prime }}_j\left(u_0\right)\left(U_i-u_0\right)\right)Z_{ij}}\right)}^2{K}_h\left(U_i-u_0\right)}$ (5)

其中核函数 $K_h(\cdot )=K\left(\cdot /h\right)/h$，h是窗宽。

为了方便叙述，记

$Y=\left[\begin{array}{c}{Y}_1\\ Y_2\\ ⋮\\ Y_n\end{array}\right],X=\left[\begin{array}{c}{X}_1^{\text{T}}\\ X_2^{\text{T}}\\ ⋮\\ X_n^{\text{T}}\end{array}\right],D_{u_0}=\left[\begin{array}{cc}{Z}_1^{\text{T}}& \text{}\frac{U_1-u_0}{h}{Z}_1^{\text{T}}\\ Z_2^{\text{T}}& \frac{U_2-u_0}{h}{Z}_2^{\text{T}}\\ ⋮& ⋮\\ Z_n^{\text{T}}& \frac{U_n-u_0}{h}{Z}_n^{\text{T}}\end{array}\right];$

以及 $W_{u_0}=diag\left(K_h\left(U_1-u_0\right),K_h\left(U_2-u_0\right),\cdots ,K_h\left(U_n-u_0\right)\right)$，那么可得系数函数 $\alpha \left(u_0\right)$ 的局部线性估计为

$\hat{\alpha }\left(u_0\right)=\left(\begin{array}{cc}{I}_q& 0_q\end{array}\right){\left\{D_{u_0}^{\text{T}}{W}_{u_0}{D}_{u_0}\right\}}^{-1}{D}_{u_0}^{\text{T}}{W}_{u_0}\left(Y-X\beta \right)$ (6)

其中矩阵 $I_q$ 和 $0_q$ 分别为q维的单位阵和元素全为零的矩阵。用得到的 $\hat{\alpha }\left(U_i\right)$ 代替(2)中系数函数 $\alpha \left(U_i\right)$，经过简单整理可得如下的线性模型

${\bar{Y}}_i={\bar{X}}_i^{\text{T}}\beta +{\epsilon }_i,i=1,2,\cdots ,n$ (7)

其中 $\bar{Y}={\left({\bar{Y}}_1,\cdots ,{\bar{Y}}_n\right)}^{\text{T}}=\left({{\rm I}}_n-S\right)Y$， $\bar{X}={\left({\bar{X}}_1,\cdots ,{\bar{X}}_n\right)}^{\text{T}}=\left({{\rm I}}_n-S\right)X$，

$S=\left[\begin{array}{c}\left(\begin{array}{cc}{Z}_1^{\text{T}}& 0\end{array}\right){\left[D_{U_1}^{\text{T}}{W}_{U_1}{D}_{U_1}\right]}^{-1}{D}_{U_1}^{\text{T}}{W}_{U_1}\\ \left(\begin{array}{cc}{Z}_2^{\text{T}}& 0\end{array}\right){\left[D_{U_2}^{\text{T}}{W}_{U_2}{D}_{U_2}\right]}^{-1}{D}_{U_2}^{\text{T}}{W}_{U_2}\\ ⋮\\ \left(\begin{array}{cc}{Z}_n^{\text{T}}& 0\end{array}\right){\left[D_{U_n}^{\text{T}}{W}_{U_n}{D}_{U_n}\right]}^{-1}{D}_{U_n}^{\text{T}}{W}_{U_n}\end{array}\right]$

如果自变量 $X_i$ 能被精确观测，那么对上面得到的模型(7)使用最小二乘法可以直接得到 $\beta$ 的估计。然而，模型(1)中得不到自变量 $X_i$ 的观测值，得到的观测数据实际是 $V_i$，直接用 $V_i$ 来直接代替 $X_i$ 对模型(7)进行估计，由于测量误差的存在，所构造的估计不是相合估计量。对于由于测量误差带来的这一问题，You和Chen (2006) [1] 对Profile最小二乘估计进行校正，得到了如下的校正估计

$\hat{\beta }=\arg \underset{\beta \in R^p}{\min }\left[{\left(\bar{Y}-\bar{V}\beta \right)}^{\text{T}}\left(\bar{Y}-\bar{V}\beta \right)-n{\beta }^{\text{T}}{\Sigma }_{\xi }\beta \right]={\left({\bar{V}}^{\text{T}}\bar{V}-n{\Sigma }_{\xi }\right)}^{-1}{\bar{V}}^{\text{T}}\bar{Y}$ (8)

其中 $V={\left(V_1,\cdots ,V_n\right)}^{\text{T}}$， $\bar{V}=\left(I_n-S\right)V$。

类似于普通线性回归模型中Liu估计量的构造，构造如下的辅助函数

$F_1\left(\beta \right)={\left(\bar{Y}-\bar{V}\beta \right)}^{\text{T}}\left(\bar{Y}-\bar{V}\beta \right)-n{\beta }^{\text{T}}{\sum }_{\xi }\beta +{\left(d\hat{\beta }-\beta \right)}^{\text{T}}\left(d\hat{\beta }-\beta \right)$ (9)

$F_1\left(\beta \right)$ 关于 $\beta$ 求导，并令其偏导数等于0，有

$\frac{\partial F_1\left(\beta \right)}{\partial \beta }=-2{\bar{V}}^{\text{T}}\left(\bar{Y}-\bar{V}\beta \right)-2n{\sum }_{\xi }\beta -2\left(d\hat{\beta }-\beta \right)=0$ (10)

整理可得参数分量 $\beta$ 的Liu估计

${\hat{\beta }}_{Liu}={\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}\left({\bar{V}}^{\text{T}}\bar{Y}+d\hat{\beta }\right)={\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+d{I}_p\right)\hat{\beta }$ (11)

下面给出所提估计量 ${\hat{\beta }}_{Liu}$ 的渐近性质。定义 $\Gamma \left(u\right)=E\left(Z{Z}^{\text{T}}|U=u\right),\Phi \left(u\right)=E\left(Z{X}^{\text{T}}|U=u\right)$， ${\Sigma }_1=E\left\{{\left[X_1-{\Phi }^{\text{T}}\left(U_1\right){\Gamma }^{-1}\left(U_1\right)Z_1\right]}^{{\otimes }^2}\right\}$ 以及 ${\Sigma }_2=E{\left\{\left[X_1-{\Phi }^{\text{T}}\left(U_1\right){\Gamma }^{-1}\left(U_1\right)Z_1+{\xi }_1\right]\left({\epsilon }_1-{\xi }_1^{\text{T}}\beta \right)+{\Sigma }_{\xi }\beta \right\}}^{{\otimes }^2}$， $A^{{\otimes }^2}$ 表示 $A{A}^{\text{T}}$。

定理1. 若第4节中的假设A.1~A.6成立，参数分量 $\beta$ 的Liu估计有如下性质

$\sqrt{n}\left({\hat{\beta }}_{Liu}-\beta \right)\stackrel{D}{\to }N\left(0,{\Sigma }_1^{-1}{\Sigma }_2{\Sigma }_1^{-1}\right).$

该结论表明基于校正Profile最小二乘估计方法的 ${\hat{\beta }}_{Liu}$ 的渐近性质与Profile最小二乘估计 $\hat{\beta }$ 的相同。

3. 参数分量的约束Liu估计

本节考虑考虑如下的线性约束条件

$A\beta =b$ (12)

其中A是 $k\times p$ 维的已知矩阵，且 $rank\left(A\right)=k$，b是 $k\times 1$ 维的已知向量。下面构造部分线性变系数测量误差模型(1)在约束条件(12)下的约束Liu估计。

构造如下的辅助函数

$F_2\left(\beta ,\lambda \right)={\left(\bar{Y}-\bar{V}\beta \right)}^{\text{T}}\left(\bar{Y}-\bar{V}\beta \right)-n{\beta }^{\text{T}}{\sum }_{\xi }\beta +{\left(d\hat{\beta }-\beta \right)}^{\text{T}}\left(d\hat{\beta }-\beta \right)+2{\lambda }^{\text{T}}\left(A\beta -b\right)$ (13)

其中 $\lambda$ 是k维Lagrange乘子。针对函数 $F_2\left(\beta ,\lambda \right)$ 关于 $\beta$， $\lambda$ 分别求导，并令偏导数等于0，有

$\frac{\partial F_2\left(\beta ,\lambda \right)}{\partial \beta }=-2{\bar{V}}^{\text{T}}\left(\bar{Y}-\bar{V}\beta \right)-2n{\sum }_{\xi }\beta -2\left(d\hat{\beta }-\beta \right)+2A^{\text{T}}\lambda =0$ (14)

和

$\frac{\partial F_2\left(\beta ,\lambda \right)}{\partial \lambda }=A\beta -b=0$ (15)

(14)式整理可得

$\beta ={\hat{\beta }}_{Liu}-{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}\lambda$ (16)

将(16)式带入(15)，有下式成立

$b=A{\hat{\beta }}_{Liu}-A{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}\lambda$ (17)

如果 $A{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}$ 可逆，则有 $\lambda$ 的估计为

$\hat{\lambda }={\left[A{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}\right]}^{-1}\left(A{\hat{\beta }}_{Liu}-b\right)$ (18)

将上式代入(16)，可得 $\beta$ 的约束Liu估计为

${\hat{\beta }}_{Liu}^R={\hat{\beta }}_{Liu}-{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}{\left[A{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}\right]}^{-1}\left(A{\hat{\beta }}_{Liu}-b\right)$ (19)

对于 ${\hat{\beta }}_{Liu}^R$，显然有 $A{\hat{\beta }}_{Liu}^R=b$。

下面给出所提估计量 ${\hat{\beta }}_{Liu}^R$ 的渐近性质。

定理2. 若第4节中的假设A.1~A.6成立， ${\hat{\beta }}_{Liu}^R$ 有如下性质

$\sqrt{n}\left({\hat{\beta }}_{Liu}^R-\beta \right)\stackrel{D}{\to }N\left[0,\left({\text{I}}_p-\text{D}\right){\Sigma }_1^{-1}{\Sigma }_2{\Sigma }_1^{-1}{\left({\text{I}}_p-\text{D}\right)}^{\text{T}}\right].$

$\text{D}={\Sigma }_1^{-1}{\text{A}}^{\text{T}}{\left[\text{A}{\Sigma }_1^{-1}{\text{A}}^{\text{T}}\right]}^{-1}\text{A}$

该结论表明基于校正Profile最小二乘估计方法的约束Liu估计 ${\hat{\beta }}_{Liu}^R$ 与Wei (2012) [2] 中提出的约束估计的渐近分布相同。

4. 定理的证明

下面给出定理1和定理2成立需要的条件，这些条件是You和Chen (2006) [1] 采用过的。

(A.1) 随机变量U具有有界支撑 $\Pi$，其密度函数 $f(\cdot )$ 在其支撑上满足Lipschitz连续，且不为0。

(A.2) 对于任一 $U\in \Omega$，矩阵 $E\left(z{z}^{\text{T}}|U\right)$ 为非奇异， $E\left(z{z}^{\text{T}}|U\right)$， $E{\left(z{z}^{\text{T}}|U\right)}^{-1}$ 和 $E\left(z{x}^{\text{T}}|U\right)$ 都是Lipschitz连续的。

(A.3) 存在 $s>2$ 使得 $E{\Vert x\Vert }^{2s}<\infty$ 和 $E{\Vert z\Vert }^{2s}<\infty$，对于 $\epsilon <2-s^{-1}$ 使得 $n^{2\epsilon -1}h\to \infty$。

(A.4) $\left\{{\alpha }_j(\cdot ),j=1,\cdots ,q\right\}$ 二阶连续可导。

(A.5) 函数 $K(\cdot )$ 为对称密度函数，具有紧支撑。

(A.6) $n{h}^8\to 0$ 和 $n{h}^2/{\left(\log n\right)}^2\to \infty$。

引理1 若假设A.1~A.6成立，参数分量 $\beta$ 的校正最小二乘估计有如下性质

$\sqrt{n}\left(\hat{\beta }-\beta \right)\stackrel{D}{\to }N\left(0,{\Sigma }_1^{-1}{\Sigma }_2{\Sigma }_1^{-1}\right).$

该引理是You和Chen (2006) [1] 的定理3.1。

定理1的证明。

由You和Chen (2006) [1] 中的引理A.3和A.4，可得

$\frac{1}{n}\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)\stackrel{p}{\to }{\Sigma }_1,\frac{1}{n}\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+d{I}_p\right)\stackrel{p}{\to }{\Sigma }_1$

再由引理1，利用Slutsky定理，可得

$\sqrt{n}\left({\hat{\beta }}_{Liu}-\beta \right)\stackrel{D}{\to }N\left(0,{\Sigma }_1^{-1}{\Sigma }_2{\Sigma }_1^{-1}\right).$

定理2的证明。

由You和Chen (2006) [1] 中的引理A.3和A.4，可得

$\frac{1}{n}\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)\stackrel{p}{\to }{\Sigma }_1$

从而有

${\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}{\left[A{\left({\bar{V}}^{\text{T}}\bar{V}-n{\sum }_{\xi }+I_p\right)}^{-1}{A}^{\text{T}}\right]}^{-1}A\stackrel{p}{\to }D$

利用Slutsky定理，可得

$\sqrt{n}\left({\hat{\beta }}_{Liu}^R-\beta \right)\stackrel{D}{\to }N\left[0,\left({\text{I}}_p-\text{D}\right){\Sigma }_1^{-1}{\Sigma }_2{\Sigma }_1^{-1}{\left({\text{I}}_p-\text{D}\right)}^{\text{T}}\right].$

5. 总结

本文主要研究了部分线性变系数测量误差模型的Liu估计问题，针对线性部分自变量存在多重共线性这一问题构造了有偏估计方法，同时也考虑了线性约束下的Liu估计。本文只考虑了线性部分的自变量的多重共线性问题，没有考虑变系数部分存在多重共线性的问题，这在实际问题分析中同样重要，将是以后研究的方向。

基金项目

中国劳动关系学院教育教学改革立项项目(JG1406)；2020年度安徽高等学校自然科学项目(KJ2020A1200)。