第六章 异方差与序列相关3讲解

第三节广义最小二乘法

Y=Xβ+ε，ε=(ε1,",εn)'，E(ε)=0

ε的方差协方差矩阵为：

⎛E(ε12)E(ε1ε2)"E(ε1εn)⎞⎜⎟E(εε')=⎜##%#⎟=σ2Ω

2⎜E(εnε1)E(εnε2)"E(εn)⎟⎝⎠

其中Ω为n×n的实对称矩阵。

若Ω=In，则E(εε')=σ2In满足古典假定。

若Ω≠In，则不满足古典假定，我们称为非球型扰动。特别的：

⎛σ12 0 " 0⎞⎛ω1 0 " 0⎞⎜⎟⎜⎟200"ω0 "σ0 2⎟=σ2⎜2⎟为异方差的情形。 1）

σ2Ω=⎜⎜# # % #⎟⎜# # % #⎟⎜⎜⎟⎟⎜0 0 " σ2⎟ω"0 0 n⎠⎝n⎠⎝

⎛1⎜2）σ2Ω=σ2⎜#

⎜ρT−1⎝

一、广义最小二乘法

思想：对原模型进行适当的变换（从Ω出发）将扰动项的方差协方差矩阵化成σ2In以满足古典假定。

做法：由于Ω对称且正定，则存在一个非奇异的n×n矩阵P，使得

ρ#ρT−2"ρT−1⎞⎟%#⎟为一阶自回归形式的自相关情形。 "1⎟⎠Ω−1=P'P，于是

Ω=(P'P)−1

对模型进行变换：

Y=Xβ+ε，用P左乘方程两边得：PY=PXβ+Pε

令Y*=PY，X*=PX，ε*=Pε则模型变为：Y*=X*β+ε*；

E(ε*ε*')=E[Pε(Pε)']=PE(εε')P'=σ2(PΩP')

=σP(P'P)P'=σIn2−12

所以变换后模型的扰动项满足古典线性回归模型的假定。用OLS估计新方程得：ˆ=(X*'X*)−1X*'Y*=[(PX)'(PX)]−1(PX)'(PY)=[X'(P'P)X]−1X'(P'P)YβGLS

=[X'Ω−1X]−1X'Ω−1Y

ˆ为广义最小二乘估计量。βGLS

ˆ)=σ2(X*'X*)−1=σ2(X'Ω−1X)−1 Var(βGLS

二、异方差、自相关时模型的GLS估计

ˆ=(X'X)−1X'Y=βˆ 1)Ω=I时，βGLSOLS

⎛ω1 0 " 0⎞⎛ω1 0 " 0⎞⎜⎜⎟⎟000 ω 0 ω ""2222⎟时，E(εε')=σΩ=σ⎜⎟ 2）Ω=⎜⎜# # % #⎟⎜# # % #⎟⎜⎜⎟⎟ωω0 0 0 0 ""n⎠n⎠⎝⎝

1" 0 0 " ⎛0⎞1⎜⎟1 " 00 2 " 0⎟⎜0 ⎜−1，变换矩阵为：P=⎜Ω=⎜⎟## ##%##%

⎜⎜⎟⎜0 0 "

1⎟⎜n⎠⎝⎝0 0 " ⎞⎟⎟⎟ˆ=[X'Ω−1X]−1X'Ω−1Y=[wXX']−1[wXY]，β∑iii∑iiiGLS ii

其中wi=1

ωi，即为WLS估计。

若Ω已知，可以直接进行GLS（即为WLS）估计。

若Ω未知，需要先估计权重wi=

估计。1ωiˆ后，可以做GLS，有了Ω的估计Ω

⎛1⎜3）Ω=σ2⎜#

⎜ρT−1⎝ρ#ρT−2"ρT−1⎞⎟%#⎟时，模型存在一阶自相关，此时 "1⎟⎠

−ρ0⎛1⎜2−ρ1+ρ−ρ⎜1⎜0Ω−1=−ρ1+ρ2

21−ρ⎜""⎜"

⎜000⎝

变换矩阵为： 000#0"00⎞⎟"00⎟"00⎟⎟"""⎟"−ρ1⎟⎠

⎜−ρ

P=⎜0⎜⎜"⎜⎝00⎞⎟0⎟0⎟ −ρ⎟""#"""⎟⎟000"−ρ1⎠010010"0"0"000

1P'P，21−ρ此时，P'P=(1−ρ2)Ω−1,Ω−1=

PY=PXβ+Pε具体化为：

⎛⎞⎛⎞11⎜⎟⎜⎟Y2−ρY1⎟*⎜X2−ρX1⎟，

Y*=⎜,X=⎜⎜⎟⎟##⎜⎟⎜⎟⎜Y−ρY⎟⎜X−ρX⎟T−1⎠T−1⎠⎝T⎝T

从前的广义差分变换相当于忽略了第一项。

ˆ=[X'Ω−1X]−1X'Ω−1Y。 GLS估计：βGLS

若Ω已知，我们可以直接对Y和X进行变换，然后进行OLS估计。若Ω未知，我们则先要对Ω进行估计，估计的方法即为前面关于自相关修正中的说明。

说明：一般地，对于非球型扰动来说，Ω都是未知的。若要进行GLS我

ˆ，再将Ωˆ代入GLS估计中去。我们称这种们先得对Ω进行估计得到Ω

做法为可行的广义最小二乘估计（FGLS估计）：

ˆˆ−1−1ˆ−1βFGLS=[X'ΩX]X'ΩY

广义最小二乘估计量的有效性

ˆ是一个BLUE（best linear unbiased estimator ）估计量. βGLS

ˆ=(X*'X*)−1X*'Y*=[(PX)'(PX)]−1(PX)'(PY)=[X'(P'P)X]−1X'(P'P)YβGLS

=[X'Ω−1X]−1X'Ω−1Y=[X'Ω−1X]−1X'Ω−1(Xβ+ε)=β+[X'Ω−1X]−1X'Ω−1εˆ)=β+[X'Ω−1X]−1X'Ω−1E(ε)=β E(βGLS

ˆ)=σ2(X*'X*)−1=σ2(X'Ω−1X)−1 Var(βGLS

存在非球形扰动时，

βˆOLS=(X'X)−1X'Y，Var(βˆOLS)=σ2(X'X)−1X'ΩX(X'X)−1 可以证明βˆOLS不如βˆGLS有效。

证明：Var(βˆGLS)≤Var(βˆOLS)

σ2[(X'X)−1X'−(X'Ω−1X)−1X'Ω−1]Ω[(X'X)−1X'−(X'Ω−1X)−1X'Ω−1]'=σ2(X'X)−1X'ΩX(X'X)−1−σ2(X'Ω−1X)−1 =Var(βˆOLS)−Var(βˆGLS)

因为，Ω对称且正定，所以Var(βˆOLS)−Var(βˆGLS)≥0