两线性随机效应模型未知参数函数预测量的等价性研究
Equivalence Study of Unknown Parameter Function Predictors under Two Linear Random Effects Models
摘要: 假设对一般线性随机效应模型添加新的变量项成为过参数线性随机效应模型,这时两模型相同未知参数的统计推断不一定相同。针对这一问题,本文利用带约束限制二次矩阵值函数最优化问题的解,给出过参数线性随机效应模型下未知参数函数的最佳线性无偏预测/最佳线性无偏估计的解析表达式,并利用一些代数与矩阵理论工具,得到了两模型未知参数函数最佳线性无偏预测/最佳线性无偏估计等价的条件。
Abstract: Suppose that adding a new variable term to the general linear random-effect model becomes the overparameter linear random-effect model, then the statistical inference of the some unknown parameter of the two models is not necessarily the same. In order to solve this problem, this paper uses the solution of constrained quadratic matrix-valued function optimization problem to give the analytical expression of the best linear unbiased predictor/best linear unbiased estimator of the unknown parameter function under the overparameter linear random-effect model. The conditions for the equivalence of the best linear unbiased predictor/best linear unbiased estimator of unknown parameter functions of two models are obtained by using some algebra and matrix theory tools.
文章引用:蔡亚, 张筑秋, 叶义琴. 两线性随机效应模型未知参数函数预测量的等价性研究[J]. 应用数学进展, 2019, 8(10): 1602-1610. https://doi.org/10.12677/AAM.2019.810188

1. 引言

在做统计分析时,经常需要去分析两个或多个不同线性模型间的相似性或等价性。例如当回归模型出现过度参数化或过度拟合时,尽管原模型与新模型的响应变量相同,但两模型中相同未知参数的统计推断不一定相同,因此就有兴趣去研究这两个模型间的关系。关于这类问题的已做了的研究有,文献 [1] 研究了一般线性模型下的两个转换模型参数函数最佳线性无偏预测(BLUP)/最佳线性无偏估计(BLUE)间的关系。文献 [2] 考虑原线性模型添加新的回归因子表示了成过参数模型的形式,并研究了这两个模型中所有未知参数函数BLUP/BLUE间的关系。作为一般线性模型与过参数线性模型的更进一步研究,文献 [3] 考虑对一般线性模型添加新的参数或删除已有的参数,给出了具有固定系数和相同参数限制的两个具有竞争关系的线性模型,并研究了两模型未知参数函数BLUP间的关系。无论一般线性模型是否出现过参数或欠参数情况,都可以将这类模型看作是原模型的错误指定模型,文献 [4] 对原模型与错误指定模型间的关系进行研究,并利用一些代数与矩阵理论工具来刻画两模型下未知参数函数BLUP间的关系等。

在线性随机效应模型下做了的研究有,文献 [5] 利用线性代数和矩阵理论中最新的公式,给出两个相关线性随机效应模型下统计分析和推断的一种代数方法,并得出单个模型与联合模型下相同未知参数函数BLUP间等价的条件。作为单个模型与两个联合模型间关系的延伸,文献 [6] 考虑在一组带有随机系数和相关协方差矩阵的线性模型中,建立所有未知参数函数BLUP/BLUE解析表达式,并利用一些矩阵分析工具得到单个模型与和组合模型下相同未知参数函数的BLUP/BLUE等价的充要条件。此外文献 [7] 讨论了两个具有竞争关系的线性随机效应模型下未知参数函数BLUP间的关系等。虽然在线性随机效应模型中分析两个或多个模型间关系这类问题已经做了很多研究,但仍有一些问题有待研究,如对一般线性随机效应模型添加新的变量项成为过参数线性随机效应模型,这时两模型相同未知参数函数预测量间存在什么样的关系?因此本文考虑了一般线性随机效应模型与过参数线性随机效应模型下未知参数函数预测量间的关系。

2. 模型与方法

线性随机效应模型是一类重要的统计模型,常用于生物统计,公共卫生,心理计量学,教育学和社会学等领域纵向数据和相关数据的统计分析。

线性随机效应模型的一般形式如下

M 1 : y = X β + ε , β = Z α + γ (1)

其中 y n × 1 是可观测的响应变量, y n × 1 表示 n × 1 实矩阵构成的集合, X n × p 是已知的任意秩矩阵, β p × 1 是未知参数向量, ε n × 1 是不可观测的随机误差向量, Z p × k 是已知的任意秩矩阵, α k × 1 是固定的未知参数向量, γ p × 1 是不可观测的随机向量。

考虑在模型(1)中添加新的变量项 F ζ ,则得到新的线性随机效应模型

M 2 : y = X β + F ζ + ε , β = Z α + γ (2)

其中 F n × q 是已知的任意秩矩阵, ζ q × 1 是固定的未知参数向量。我们把模型(2)称为相对模型(1)的过参数线性随机效应模型,模型(1)称为一般线性随机效应模型。

同时,我们约定模型(1)和(2)中未知随机参数向量 γ ε 的期望及协方差矩阵满足

E [ γ ε ] = 0 , C o v [ γ ε ] = [ Σ 11 Σ 12 Σ 21 Σ 22 ] = Σ (3)

这里 Σ ( p + n ) × ( p + n ) 是一个已知或未知的任意秩非负定矩阵,其中 Σ 11 p × p Σ 12 = Σ 21 p × n Σ 22 n × n Σ 21 表示 Σ 21 的转置。

对模型(1)和模型(2)中的y, γ ε ,若记 X ˜ = [ X , I n ] S = [ 0 , I n ] ,则 D ( y ) C o v ( X γ , y ) C o v ( ε , y ) 可表示成

D ( y ) = D ( X γ + ε ) = X Σ 11 X + X Σ 12 + Σ 21 X + Σ 22 = X ˜ Σ X ˜ (4)

C o v ( X γ , y ) = C o v ( X γ , X γ + ε ) = X Σ 11 X + Σ 12 = X Σ X ˜ (5)

(6)

模型(2)相对模型(1)多了一个变量项 F ζ ,那么模型(1)和模型(2)关于向量参数 α γ 的统计推断有着怎样的关系呢?受文献 [7] 的启发,我们构造向量参数 α γ ε 的线性函数如下

ϕ = A α + B γ + C ε (7)

以此研究两个模型下向量 φ 的预测量或估计之间的关系。这里 A s × k B s × p C s × n 分别是三个已知的任意秩矩阵。

若记 H = [ B , C ] ,易知 ϕ 的协方差矩阵为 D ( ϕ ) = H Σ H ,则 ϕ 与y协方差矩阵可表示为 C o v ( ϕ , y ) = H Σ X ˜

参照文献 [8],下面我们给出向量函数 ϕ 可预测及 ϕ 的最佳线性无偏预测或最佳线性无偏估计的定义。

定义1:若存在矩阵 L k × n ,满足 E ( L y ϕ ) = 0 ,则称向量函数 ϕ 在模型(1)或模型(2)下可预测。

定义2:假设向量 ϕ 是可预测的,若存在 L o p t K = { L | E ( L y ϕ ) = 0 , L k × n } ,使得对任意的 L K 都有 D ( L o p t y ϕ ) D ( L y ϕ ) 成立,即 D ( L o p t y ϕ ) = min { D ( L y ϕ ) } ,则称 L o p t y 为模型(1)或模型(2)下向量函数 ϕ 的最佳线性无偏预测。当 B = 0 C = 0 时,我们把 L o p t y 称为向量函数 ϕ 的最佳线性无偏估计。

接下来我们给出下文讨论用到的几个引理。

引理1: [9]

f ( L u ) = ( L u C 1 + D 1 ) M ( L u C 1 + D 1 ) s .t L u A 1 = B 1

这里 A 1 p × q , B 1 n × q , C 1 p × m , D 1 n × m M p × p 是半正定的,矩阵方程 L u A 1 = B 1 是相容的,则总是存在 L 0 A 1 = B 1 的解 L 0 使得

f ( L u ) f (L0)

对于 L u A 1 = B 1 的所有解都成立,则满足(8)的矩阵 L 0 也满足下面相容的矩阵方程

L 0 [ A 1 , C 1 M C 1 A 1 ] = [ B 1 , D 1 M C 1 A 1 ]

L 0 的一般表达式及相应地 f ( L 0 ) f ( L u ) f ( L 0 ) 如下

L 0 = arg min L u A 1 = B 1 f ( L u ) = [ B 1 , D 1 M C 1 A 1 ] [ A 1 , C 1 M C 1 A 1 ] + + U [ A 1 , C 1 M C 1 ]

f ( L 0 ) = min L u A 1 = B 1 f ( L u ) = K M K K M C 1 T C 1 M K

f ( L u ) = f ( L 0 ) + ( L u C 1 + D 1 ) M C 1 T C 1 M ( L u C 1 + D 1 ) = f ( L 0 ) + ( L u C 1 M C 1 A 1 + D 1 M C 1 A 1 ) T ( L u C 1 M C 1 A 1 + D 1 M C 1 A 1 )

这里 K = B 1 A 1 + C 1 + D 1 T = ( A 1 C 1 M C 1 A 1 ) + ,且 U n × p 是任意的, A 1 + 表示 A 1 的Moore-Penrose逆, A 1 表示正交投影矩阵。

引理2 [10]:令 A 2 m × n B 2 m × k C 2 l × n ,因此

r [ A 2 , B 2 ] = r ( A 2 ) + r ( E A 2 B 2 ) = r ( B 2 ) + r ( E B 2 A 2 ) (8)

r [ A 2 C 2 ] = r ( A 2 ) + r ( C 2 F A 2 ) = r ( C 2 ) + r ( A 2 F C 2 ) (9)

r [ A 2 B 2 C 2 0 ] = r ( B 2 ) + r ( C 2 ) + r ( E B 2 A 2 F C 2 ) (10)

引理3 [11]:线性矩阵方程 A 0 X 0 = B 0 相容的充要条件是 r [ A 0 , B 0 ] = r ( A 0 ) ,即 A 0 A 0 + B 0 = B 0 则线性矩阵方程的一般解可表示为 X 0 = A 0 + B 0 + ( I A 0 + A 0 ) U ,这里U是任意矩阵,I表示单位矩阵。

3. 过参数线性随机效应模型向量函数 ϕ 的BLUP/BLUE及性质

为了得到两模型未知参数函数 ϕ 的BLUP等价的条件,就需要知道两模型参数函数的BLUP的解析表达式,这里根据 [9] [10] 得到模型(1)下未知参数函数 ϕ 的BLUP表达式及一些性质

引理4:向量 ϕ 在模型(1)下可预测的充要条件

R ( X ^ ) R ( A ) (11)

R ( A ) 表示 A 的列空间,

引理5:向量 ϕ 在模型(1)下可预测,并且定义 C o v ( y ) = X ˜ Σ X ˜ = V C o v { ϕ , y } = H Σ X ˜ = N ,则

E ( L 1 y ϕ ) = 0 D ( L 1 y ϕ ) = min L 1 [ X ^ , V X ^ ] = [ A , N X ^ ] (12)

相应的 B L U P M 1 ( ϕ ) 表达式如下

B L U P M 1 ( ϕ ) = L 1 y = ( [ A , N X ^ ] [ X ^ , V X ^ ] + + U 1 [ X ^ , V X ^ ] ) y (13)

这里 U 1 k × n 是任意的,特别地

B L U E M 1 ( A α ) = ( [ A , 0 ] [ X ^ , V X ^ ] + + U 1 [ X ^ , V X ^ ] ) y (14)

这里 U 1 k × n 是任意的,并且有如下结论成立。

(a) r [ X ^ , V X ^ ] = r [ X ^ , V ] R [ X ^ , V X ^ ] = R [ X ^ , V ] R ( X ^ ) R ( V X ^ ) = { 0 }

(b) L 1 唯一的充要条件是 R [ X ^ , V ] = n

(c) B L U P M 1 ( ϕ ) 以概率1唯一的充要条件是 y R [ X ^ , V ] ,且模型(1)是相容的。

下面为了得到过参数线性随机效应模型下未知参数函数的BLUP解析表达式,这里将向量 ϕ 写成如下行式

ϕ = A * α * + B γ + C ε = [ A , 0 ] [ α ζ ] + B γ + C ε (15)

根据(2)和(17) L 2 y ϕ 可表示为

L 2 y ϕ = L 2 X Z α + L 2 F ζ + L 2 X γ + L 2 ε A * α * B γ C ε = [ L 2 X ^ , L 2 F ] α * + L 2 X γ + L 2 ε A * α * B γ C ε = ( [ L 2 X ^ , L 2 F ] A * ) α * + ( L 2 X B ) γ + ( L 2 C ) ε = ( L 2 W A * ) α * + ( L 2 X B ) γ + ( L 2 C ) ε (16)

这里 W = [ X ^ , F ] A * = [ A , 0 ] α * = [ α ζ ] ,并且 L 2 y ϕ 的期望与协方差矩阵如下

E ( L 2 y ϕ ) = E [ ( L 2 W A * ) α * ] = ( L 2 W A * ) α * (17)

C o v ( L 2 y ϕ ) = D [ ( L 2 X B ) γ + ( L 2 C ) ε ] = [ ( L 2 X B ) , ( L 2 C ) ] Σ [ ( L 2 X B ) , ( L 2 C ) ] = ( L 2 [ X , I n ] [ B , C ] ) Σ ( L 2 [ X , I n ] [ B , C ] ) = ( L 2 X ˜ H ) Σ ( L 2 X ˜ H ) : = f ( L 2 ) (18)

定理1:向量 ϕ 在模型(2)下可预测的充要条件

R ( [ X ^ , F ] ) R ( [ A , 0 ] ) (19)

证明:若向量 ϕ 在模型 M 2 下可预测,则满足

E ( L 2 y ϕ ) = 0 [ L 2 X ^ , L 2 F ] α * [ A , 0 ] α * 对所有的 α * L 2 [ X ^ , F ] = [ A , 0 ]

根据引理3,当(23)成立时,上式方程是相容的。

定理2:向量 ϕ 在模型(2)下可预测,则

E ( L 2 y ϕ ) = 0 D ( L 2 y ϕ ) = min L 2 [ W , V W ] = [ A * , N W ] (20)

相应的 B L U P M 2 ( ϕ ) 表达式如下

B L U P M 2 ( ϕ ) = L 2 y = ( [ A * , N W ] [ W , V W ] + + U 2 [ W , V W ] ) y (21)

这里 U 2 k × n 是任意,特别地

B L U E M 2 ( A * α ) = ( [ A * , 0 ] [ W , V W ] + + U 2 [ W , V W ] ) y (22)

这里 U 2 k × n 是任意。下面结论成立。

(a) B L U P M 2 ( ϕ ) B L U P M 2 ( ϕ ) ϕ 的协方差矩阵如下

D [ B L U P M 2 ( ϕ ) ] = [ A * , N W ] [ W , V W ] + V ( [ A , N W ] [ W , V W ] + ) (23)

C o v ( B L U P M 2 ( ϕ ) , ϕ ) = [ A * , N W ] [ W , V W ] + X ˜ Σ H (24)

D ( ϕ ) D [ B L U P M 2 ( ϕ ) ] = H Σ H [ A * , N W ] [ W , V W ] + V ( [ A * , N W ] [ W , V W ] + ) (25)

D [ ϕ B L U P M 2 ( ϕ ) ] = ( [ A * , N W ] [ W , V W ] + X ˜ H ) Σ ( [ A * , N W ] [ W , V W ] + X ˜ H ) (26)

(b) ϕ B L U P s 能被分解为

B L U P M 2 ( ϕ ) = B L U P M 2 ( A α ) + B L U P M 2 ( B γ ) + B L U P M 2 ( C ε ) (27)

(c) 对所有的 T t × s 满足 B L U P M 2 ( T ϕ ) = T B L U P M 2 ( ϕ )

(d) 特别地

B L U P M 2 ( A α ) = ( [ A * , 0 ] [ W , V W ] + + U 2 [ W , V W ] ) y (28)

D ( B L U P M 2 ( A α ) ) = [ A * , 0 ] [ W , V W ] + V ( [ A * , 0 ] [ W , V W ] + ) (29)

这里 U 2 k × n 是任意的。

4. 两模型下向量函数 ϕ 的BLUP/BLUE的等价条件

根据第三节中得到的两模型未知参数向量函数 ϕ 的BLUP的解析表达式,并通过第二节中矩阵秩方法,我们推导出两模型未知参数向量函数 ϕ 的BLUP相等的各种等价条件。假设(7)中向量 ϕ 在(2)下可预测,因此,由(13)和(21)中的BLUP

B L U P M 1 ( ϕ ) = L 1 y B L U P M 2 ( ϕ ) = L 2 y (30)

其中 L 1 L 2 如下所示

L 1 = [ A , N X ^ ] [ X ^ , V X ^ ] + + U 1 [ X ^ , V X ^ ] (31)

L 2 = [ A * , N W ] [ W , V W ] + + U 2 [ W , V W ] (32)

这里 U 1 , U 2 k × n 是任意的。因为(30)中的 L 1 L 2 分别是方程(13)和(21)的解,这里存在 B L U P M 1 ( ϕ ) B L U P M 2 ( ϕ ) 满足 B L U P M 1 ( ϕ ) = B L U P M 2 ( ϕ ) ,当且仅当两个矩阵方程有共同的解等式成立。

定理2:向量 ϕ 分别在模型(1)和模型(2)下可预测,且(22)成立, B L U P M 1 ( ϕ ) B L U P M 2 ( ϕ ) 分别如(13)、(21)所示,下面结论等价。

(a) B L U P M 1 ( ϕ ) = B L U P M 2 ( ϕ )

(b) r [ V X ^ F X ^ 0 0 N A 0 ] = r [ V X ^ F X ^ 0 0 ]

(c) r [ F V X ^ F X ^ N X ^ A ] = r [ F V X ^ , F X ^ ]

(d) R ( [ N A 0 ] ) R ( [ V X ^ F X ^ 0 0 ] )

(e) R ( [ N X ^ , A ] ) R ( [ F V X ^ , F X ^ ] )

证明:定理2:合并(13)和(21)得到一个新的方程如下

L 0 [ X ^ , V X ^ , W , V W ] = [ A , N X ^ , A * , N W ]

根据引理3,该方程有一个解的 L 0 当且仅当

r [ X ^ V X ^ W V W A N X ^ A * N W ] = r [ X ^ , V X ^ , W , V W ]

r [ X ^ V X ^ W V W A N X ^ A * N W ] = r [ X ^ V X ^ X ^ F V W A N X ^ A 0 N W ] = r [ X ^ V X ^ F A N X ^ 0 ] = r [ V X ^ F X ^ 0 0 N A 0 ] r ( X ^ ) ( by ( 11 ) and X = F X ) = r [ F V X ^ F X ^ N X ^ A ] + r ( F ) ( by (12) )

r [ X ^ , V X ^ , W , V W ] = r [ X ^ , V X ^ , X ^ , 0 , V W ] = r [ V X ^ F X ^ 0 0 ] r ( X ^ ) = r [ F V X ^ , F X ^ ] + r (D)

当向量 ϕ 的表达式不同时,所得到的相关未知参数BLUP的解析表达以也不同,因此我们得到以下相关推论。

推论1:向量 A α 分别在模型(1)和模型(2)下可预测,并且 B L U P M 1 ( A α ) B L U P M 2 ( A α ) 分别如(14),(22)所示,下面结论等价。

(a) B L U E M 1 ( A α ) = B L U E M 2 ( A α )

(b) r [ V X ^ F X ^ 0 0 0 A 0 ] = r [ V X ^ F X ^ 0 0 ]

(c) r [ F V X ^ F X ^ 0 A ] = r [ F V X ^ , F X ^ ]

(d) R ( [ 0 A 0 ] ) R ( [ V X ^ F X ^ 0 0 ] )

(e) R ( [ 0 , A ] ) R ( [ F V X ^ , F X ^ ] )

(f) 特别地,下面结论等价。

(I) 这里存在 B L U E M 1 ( X Z α ) 满足 B L U E M 1 ( X Z α ) = B L U E M 2 ( X Z α )

(II) r [ V X ^ F X ^ 0 0 0 X ^ 0 ] = r [ V X ^ F X ^ 0 0 ]

(III) r [ F V X ^ F X ^ 0 X ^ ] = r [ F V X ^ , F X ^ ]

(IV) R ( [ 0 , X ^ , 0 ] ) R ( [ V X ^ F X ^ 0 0 ] )

(V) R ( [ 0 , X ^ ] ) R ( [ F V X ^ , F X ^ ] )

推论2:向量 X β 分别在模型(1)和模型(2)下可预测,并且 B L U P M 1 ( X β ) B L U P M 2 ( X β ) 分别由(13),(21)所给出,下面结论等价。

(a) B L U P M 1 ( X β ) = B L U P M 2 ( X β )

(b) r [ V X ^ F X ^ 0 0 X Σ X ˜ X ^ 0 ] = r [ V X ^ F X ^ 0 0 ]

(c) r [ F V X ^ F X ^ X Σ X ˜ X ^ X ^ ] = r [ F V X ^ , F X ^ ]

(d) R ( [ X Σ X ˜ , X ^ , 0 ] ) R ( [ V X ^ F X ^ 0 0 ] )

(e) R ( [ X Σ X ˜ X ^ , X ^ ] ) R ( [ F V X ^ , F X ^ ] )

推论3:向量 ε 分别在模型(1)和模型(2)下可预测,并且 B L U P M 1 ( ε ) B L U P M 2 ( ε ) 分别由(13),(21)所给出,下面结论等价。

(a) B L U P M 1 ( ε ) = B L U P M 2 ( ε )

(b) r [ V X ^ F X ^ 0 0 S Σ X ^ 0 0 ] = r [ V X ^ F X ^ 0 0 ]

(c) r [ F V X ^ F X ^ S Σ X ^ X ^ 0 ] = r [ F V X ^ , F X ^ ]

(d) R ( [ S Σ X ^ , 0 , 0 ] ) R ( [ V X ^ F X ^ 0 0 ] )

(e) R ( [ S Σ X ^ X ^ , 0 ] ) R ( [ F V X ^ , F X ^ ] )

参考文献

[1] Dong, B., Guo, W. and Tian, Y. (2014) On Relations between BLUEs under Two Transformed Linear Models. Journal of Multivariate Analysis, 131, 279-292.
https://doi.org/10.1016/j.jmva.2014.07.005
[2] Gan, S., Sun, Y. and Tian, Y. (2017) Equivalence of Predictors under Real and Over-Parameterized Linear Models. Communications in Statistics, 46, 5368-5383.
https://doi.org/10.1080/03610926.2015.1100742
[3] Lu, C., Sun, Y. and Tian, Y. (2018) A Comparison between Two Competing Fixed Parameter Constrained General Linear Models with New Regressors. Statistics, 52, 769-781.
https://doi.org/10.1080/02331888.2018.1469021
[4] Tian, Y. and Jiang, B. (2016) A New Analysis of the Relationships between a General Linear Model and Its Mis-Specified Forms. Journal of the Korean Statistical Society, 46, 182-193.
https://doi.org/10.1016/j.jkss.2016.08.004
[5] Tian, Y. and Jiang, B. (2016) An Algebraic Study of BLUPs under Two Linear Random-Effects Models with Correlated Covariance Matrices. Linear and Multilinear Algebra, 64, 2351-2367.
https://doi.org/10.1080/03081087.2016.1155533
[6] Hou, J. and Jiang, B. (2018) Predictions and Estimations under a Group of Linear Models with Random Coefficients. Communications in Statistics—Simulation and Computation, 47, 510-525.
https://doi.org/10.1080/03610918.2017.1283704
[7] Lu, C., Sun, Y. and Tian, Y. (2018) Two Competing Linear Random-Effects Models and Their Connections. Statistical Papers, 59, 1101-1115.
https://doi.org/10.1007/s00362-016-0806-3
[8] Goldberger, A.S. (1962) Best Linear Unbiased Prediction in the Generalized Linear Regression Model. Journal of the American Statistical Association, 57, 369-375.
https://doi.org/10.1080/01621459.1962.10480665
[9] Tian, Y. (2015) A New Derivation of BLUPs under Random-Effects Model. Metrika, 78, 905-918.
https://doi.org/10.1007/s00184-015-0533-0
[10] Marsaglia, G. and Styan, G.P.H. (1974) Equalities and Inequalities for Ranks of Matrices. Linear and Multilinear Algebra, 2, 269-292.
https://doi.org/10.1080/03081087408817070
[11] Penrose, R. (1955) A Generalized Inverse for Matrices. Proceedings of the Cambridge Philosophical Society, 51, 406-413.
https://doi.org/10.1017/S0305004100030401