第四章 方差分量线性回归模型

第四章 方差分量线性回归模型

本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。我们先从随机效应角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。最后本章介绍关于方差分量模型的两个前沿研究成果，是作者近期在《应用数学学报》与国际数学杂志《Communications in Statistics 》上发表的。

第一节 随机效应与方差分量模型

一、随机效应回归模型

前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。我们从资料对

n

pi i i X X Y 1

1},,{ 出发建立回归模型，过去一直是把Y 看作随机的，X 1，…，X p 看作非随机的。但是实际上，自变量也经常是随机的，而并不是我们可以事先设计好的设计矩阵。我们把自变

量也是随机变量的回归模型称为随机效应回归模型。

究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。比如一般情况下消费函数可写为

)(0T X b C C -+=

（4.1.1）

这里X 是居民收入，T 是税收，C 0是生存基本消费，b 是待估系数。加上随机扰动项，就是一元线性回归模型

ε+-+=)(0T X b C C

（4.1.2）

那么自变量到底是固定效应还是随机效应?那要看你采样情况。如果你是按一定收入的家庭去调查他的消费，那是取设计矩阵，固定效应。如果你是随机抽取一些家庭，不管他收入如何都登记他的收入与消费，那就是随机效应。

对于随机效应的回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。

我们希望通过X 预测Y ，也就是要寻找一个函数),,()(1p X X M X M Y ==，当X 的观察值为x 时，这个预测的误差平均起来应达到最小，即

22)]([min )]([X L Y E X M Y E L

-=-

（4.1.3）

这里min 是对一切X 的可测函数L(X)取极小。由于当

)|()(X Y E X M =

（4.1.4）

时，容易证明

0)]()()][([=--X L X M X M Y E

（4.1.5）

故当)|()(X Y E X M =时，

222)]()([)]([)]([X L X M E X M Y E X L Y E -+-=-

（4.1.6）

要使上式左边极小，只有取)|()()(X Y E X M X L ==。

这个结果告诉我们，预测函数取作条件期望E (Y |X )时，可使预测误差最小。我们还可以证明，此时M (X )=E (Y |X )与Y 具有最大相关，即

))(,( max ))(,(L

X L Y X M Y ρρ=

（4.1.7）

这里ρ表示相关系数。

这是因为当)|()(X Y E X M =时，易证))(),((Cov ))(,(Cov X L X M X L Y =,同时

))(),((Cov ))(,(Cov X M X M X M Y =,于是

))

(,( ))(,())(),(( )]([)]

([)()]([)]([)]([))(),((Cov )]

([)())

(,(Cov )]([)())(,(Cov ))(,(2222222

X M Y X M Y X L X M X M D X M D Y D X M D X L D X M D X L X M X L D Y D X L M X L D Y D X L Y X L Y ρρρρ≤⋅=⋅

⋅==

==

等号当且仅当

1|))(),((|=X L X M ρ

（4.1.8）

时成立，此时L (X )是M (X )的线性函数。

(4.1.3)与(4.1.7)表达了)|()(X Y E X M =的极好性质，我们称

)|()(X Y E X M Y ==

（4.1.9）

为Y 关于X 的回归曲线。

上面的L (X )可取一切函数。如果限定L (X )是X 的线性函数，即要限定

L

2110min ]|)([|=+++-m m X X Y E βββ

（4.1.10）

这里L

min 是对X 的一切线性函数取极小，则称满足上式的线性函数为Y 关于X 的回归直线。

我们可以求出m βββ,,,10 的解。记),(1'=m βββ ，则

]|)([|),(21100m m X X Y E L βββββ+++-=

)(22Y D R R b XY XX +'-'+βββ

（4.1.11）

这里

)()(110m m EX EX Y E b βββ+++-= （4.1.12）

]))([('--=EX X EX X E R XX

⎥⎥⎥⎦

⎤⎢⎢⎢⎣⎡=)(D ),(Cov ),(Cov ),(Cov ),(Cov

211211m m m m X X X X X X X X X DX （4.1.13）

),(Cov ,),,(Cov (1'=m XY X Y X Y R

（4.1.14）

对L (β0，β)求微分(矩阵微商公式

AX AX X X

2)(='∂∂

)得： ⎩⎨

⎧==XY

XX R R b β0

（4.1.15）

解得

⎪⎩⎪⎨⎧='-=-XY

XX R R X E EY 10

ˆ)(ˆˆβββ （4.1.16）

这里当然假定1

-XX R 存在，否则使用广义逆。

此时的预测误差方差是

)

(ˆ2ˆˆ ]|)ˆˆˆ([|)ˆ,ˆ(21100Y D R R X X Y E L XY XY m

m +'-'=+++-=ββββββββ

XY XX XY Y R R R 1

2

-'-=σ

（4.1.17） Y XY XX

XY XY R R

R σρ/)(2

11

-'=

（4.1.18）