第四章 方差分量线性回归模型

第四章 方差分量线性回归模型本章考虑的线性模型不仅有固定效应、随机误差，而且有随机效应。

我们先从随机效应角度理解回归概念，导出方差分量模型，然后研究模型三种主要解法。

最后本章介绍关于方差分量模型的两个前沿研究成果，是作者近期在《应用数学学报》与国际数学杂志《Communications in Statistics 》上发表的。

第一节 随机效应与方差分量模型一、随机效应回归模型前面所介绍的回归模型不仅都是线性的，而且自变量看作是固定效应。

我们从资料对npi i i X X Y 11},,{ 出发建立回归模型，过去一直是把Y 看作随机的，X 1，…，X p 看作非随机的。

但是实际上，自变量也经常是随机的，而并不是我们可以事先设计好的设计矩阵。

我们把自变量也是随机变量的回归模型称为随机效应回归模型。

究竟一个回归模型的自变量是随机的还是非随机的，要视具体情况而定。

比如一般情况下消费函数可写为)(0T X b C C -+=（4.1.1）这里X 是居民收入，T 是税收，C 0是生存基本消费，b 是待估系数。

加上随机扰动项，就是一元线性回归模型ε+-+=)(0T X b C C（4.1.2）那么自变量到底是固定效应还是随机效应?那要看你采样情况。

如果你是按一定收入的家庭去调查他的消费，那是取设计矩阵，固定效应。

如果你是随机抽取一些家庭，不管他收入如何都登记他的收入与消费，那就是随机效应。

对于随机效应的回归模型，我们可以从条件期望的角度推导出与最小二乘法则等价的回归函数。

我们希望通过X 预测Y ，也就是要寻找一个函数),,()(1p X X M X M Y ==，当X 的观察值为x 时，这个预测的误差平均起来应达到最小，即22)]([min )]([X L Y E X M Y E L-=-（4.1.3）这里min 是对一切X 的可测函数L(X)取极小。

由于当)|()(X Y E X M =（4.1.4）时，容易证明0)]()()][([=--X L X M X M Y E（4.1.5）故当)|()(X Y E X M =时，222)]()([)]([)]([X L X M E X M Y E X L Y E -+-=-（4.1.6）要使上式左边极小，只有取)|()()(X Y E X M X L ==。

这个结果告诉我们，预测函数取作条件期望E (Y |X )时，可使预测误差最小。

我们还可以证明，此时M (X )=E (Y |X )与Y 具有最大相关，即))(,( max ))(,(LX L Y X M Y ρρ=（4.1.7）这里ρ表示相关系数。

这是因为当)|()(X Y E X M =时，易证))(),((Cov ))(,(Cov X L X M X L Y =,同时))(),((Cov ))(,(Cov X M X M X M Y =,于是))(,( ))(,())(),(( )]([)]([)()]([)]([)]([))(),((Cov )]([)())(,(Cov )]([)())(,(Cov ))(,(2222222X M Y X M Y X L X M X M D X M D Y D X M D X L D X M D X L X M X L D Y D X L M X L D Y D X L Y X L Y ρρρρ≤⋅=⋅⋅====等号当且仅当1|))(),((|=X L X M ρ（4.1.8）时成立，此时L (X )是M (X )的线性函数。

(4.1.3)与(4.1.7)表达了)|()(X Y E X M =的极好性质，我们称)|()(X Y E X M Y ==（4.1.9）为Y 关于X 的回归曲线。

上面的L (X )可取一切函数。

如果限定L (X )是X 的线性函数，即要限定L2110min ]|)([|=+++-m m X X Y E βββ（4.1.10）这里Lmin 是对X 的一切线性函数取极小，则称满足上式的线性函数为Y 关于X 的回归直线。

我们可以求出m βββ,,,10 的解。

记),(1'=m βββ ，则]|)([|),(21100m m X X Y E L βββββ+++-=)(22Y D R R b XY XX +'-'+βββ（4.1.11）这里)()(110m m EX EX Y E b βββ+++-= （4.1.12）]))([('--=EX X EX X E R XX⎥⎥⎥⎦⎤⎢⎢⎢⎣⎡=)(D ),(Cov ),(Cov ),(Cov ),(Cov211211m m m m X X X X X X X X X DX （4.1.13）),(Cov ,),,(Cov (1'=m XY X Y X Y R（4.1.14）对L (β0，β)求微分(矩阵微商公式AX AX X X2)(='∂∂)得： ⎩⎨⎧==XYXX R R b β0（4.1.15）解得⎪⎩⎪⎨⎧='-=-XYXX R R X E EY 10ˆ)(ˆˆβββ （4.1.16）这里当然假定1-XX R 存在，否则使用广义逆。

此时的预测误差方差是)(ˆ2ˆˆ ]|)ˆˆˆ([|)ˆ,ˆ(21100Y D R R X X Y E L XY XY mm +'-'=+++-=ββββββββXY XX XY Y R R R 12-'-=σ（4.1.17） Y XY XXXY XY R RR σρ/)(211-'=（4.1.18）为复相关系数。

它指出了Y 与多元变量m X X X ,,1 =之间的线性相关程度，是一元相关系数DYY X r XY DX ),(Cov =（4.1.19）的推广。

从条件期望角度我们导出的随机效应回归模型的回归直线表达式，与从最小二乘角度导出的固定效应的回归方程，表达式是等价的，所以从计算角度，我们不怎么区分。

二、方差分量模型概念上段我们建立了随机效应概念，将自变量也视作随机变量，这就可以导出方差分量模型。

方差分量模型研究工作的奠基人是我国最早的统计学家许宝驭马录先生。

还是刚才提到的消费函数回归模型，我们作随机抽样。

考虑居民按职业的分类，如工人、教师、医生、律师、店员等等，记为m i X i ,,1, =，我们从这些职业中随机抽取了n 个样本，则模型可写为m i n j T X b C C ij i i ij ,,1,,,1 ,)(0 ==+-+=ε（4.1.20）这里X i 可看作是第i 种职业对收入的效应。

如果我们事先安排好取哪个职业的，当然X i 是固定效应。

可是我们现在对职业选取是随机的，而且我们还想研究职业效应的方差，这就导入了方差分量模型，因为现在C ij 的方差由两部分组成：22220)(V ar εσσσ+==X ij b C（4.1.21）为了数学符号统一，我们将经济学中的符号改过来，刚才建立的模型是n j m i U Y ij i ij ,,1,,,1 ,11 ==++=εξμ（4.1.22）它有一项固定效应μ，一项随机效应ξ1，一项随机误差ε。

如果还要考虑地区因素对消费的影响，还可以加进第二个随机效应ξ2，于是可得模型εξξμ+++=2211U U Y（4.1.23）这次我们省掉了取值的标记，Y 的方差由三项组成。

一般地，我们建立方差分量模型如下：m m U U X Y ξξβ+++= 11（4.1.24）这里有固定效应向量β，随机效应向量),,,(21'=m ξξξξ（4.1.25）并且将随机误差项ε也并入了随机效应向量去。

设计矩阵X 以及),,,(21m U U U U =（4.1.26）都是已知的。

对于随机效应m i i ,,1, =ξ,合理的假定是⎪⎩⎪⎨⎧==≠==mi D ji E i i j i i ,,1,)(,0),(Cov ,0)(2σξξξξ （4.1.27）当然以后有时还可以考虑ξi 是向量的情况，不过这里假定每个ξi 是一维变量。

记m m i i i V V m i U U V 2121 ,,,1,σσ++=∑='= ，（4.1.28）则方差分量模型可记为∑==)(Var ,)(Y X Y E β（4.1.29）模型的主要任务是要估计固定效应向量β与方差分量22221,,,mσσσ 。

和一般的多元线性回归模型相比，就是待估的方差多了。

通过这些介绍，我们就可以方便地将各种经济方面的普通线性回归模型改造成方差分量模型，当然要根据实际。

第二节 方差分量模型的解法对于方差分量模型⎪⎪⎩⎪⎪⎨⎧∑∆'==+++=∑=⨯⨯⨯⨯⨯⨯⨯i i i m i p m p n m p p n p p n n U U Y X Y E U U X Y m m 21111111)(Var ,)(11σβξξβ （4.2.1）一般都采用二步估计法，首先估计方差分量221,,mσσ ，然后再估计固定效应β。

按照广义最小二乘Y X X X 11ˆ)ˆ(*---∑'∑'=β （4.2.2）其中i i i mi U U '=∑∑=21ˆˆσ（4.2.3）所以方差分量模型解法的关键是估计方差分量。

以下介绍的方法，也都是针对方差分量估计方法而言的。

一、方差分析法先从一个简单的模型结合数据结构形象地说明方法。

考虑模型n j m i Y ij i ij ,,1,,,1 ,0 ==++=εξβ（4.2.4）β为总平均，是固定效应，ξ1,…，ξm是随机效应，j i E j i i ≠==,0),(Cov ,0ξξξ，m i A i ,,1,)(Var 2==σξ。

对于随机误差2)(V ar ,εσεξ=ij ij 。

这个模型如果记作方差分量模型的标准形式是εξβ++=U X Y 0（4.2.5）其中设计阵X =(1,1,…，1)′，随机效应矩阵为mU 1 0 1 1 0 1 00 10 0 1⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡= m k k（4.2.6）我们手中资料只有),,,,,,,(221111m k k k Y Y Y Y Y Y =我们采用(4.2.4)记法方便一些，将资料Y 排成表方差分析主要掌握三点，一是计算组内差、组间差，二是作平方和分解，三是计算各自的自由度。

先计算总平均：ij kj m i Y mk Y ∑∑==⋅⋅=111（4.2.7）总变差(全体资料与总平均的偏差平方和)：211)(⋅⋅==-=∑∑Y Y S ij kj m i T（4.2.8）各组平均(各组资料横向相加并平均)m i Y k Y ij kj i ,,1 ,11==∑=⋅（4.2.9）组间差(各组平均数与总平均数的偏差平方和))(11⋅⋅⋅==-=∑∑Y Y S i mi k j A（4.2.10）组内差(各组数据与本组平均数的偏差平方和)211)(⋅==-=∑∑i ij kj m i Y Y S ε（4.2.11）则必有平方和分解εS S S A T +=（4.2.12）将各平方和除以各自的自由度。