第六章 异方差与序列相关3

第三节 广义最小二乘法

Y X βε=+，1(,,)'n εεε="，()0E ε=

ε的方差协方差矩阵为：

211212212()()()(')()()()n n n n E E E E E E E εεεεεεεσεεεεε⎛⎞⎜⎟

==⎜⎟⎜⎟⎝⎠"##%#"Ω

其中Ω为n 的实对称矩阵。

n ×若n I Ω=，则满足古典假定。

2(')n E εεσ=I 若n I Ω≠，则不满足古典假定，我们称为非球型扰动。特别的：

1）2112222220 0 0 0000 0 0 0 0 0 n n σωωσσσωσ⎛⎞⎛⎞

⎜⎟⎜⎟⎜

⎟⎜⎟Ω==⎜⎟⎜⎟⎜⎟⎜⎟⎟⎜⎠⎝⎠⎝""""####%##%""为异方差的情形。 2）为一阶自回归形式的自相关情形。 12212

11T T T ρ

ρσσρρ−−−⎛⎞

⎜

⎟

Ω=⎜⎜⎟⎝⎠

"#

#

%#"⎟

一、广义最小二乘法

思想：对原模型进行适当的变换（从Ω出发）将扰动项的方差协方差矩阵化成2n I σ以满足古典假定。

做法：由于Ω对称且正定，则存在一个非奇异的n n ×矩阵，使得

，于是P 1'P P −Ω=1(')P P −Ω= 对模型进行变换：

Y X βε=+，用左乘方程两边得：P PY PX P βε=+

令，*Y PY =*X PX =，*P εε=则模型变为：**Y X *βε=+；

**22

1

2

(')[()'](')'(' (')'n

E E P P PE P P P P P P I εεεεεεσσσ−=====)P Ω

所以变换后模型的扰动项满足古典线性回归模型的假定。用OLS 估计新方程得：

**1**11111ˆ(')'[()'()]()'()['(')]'(') [']'GLS X X X Y PX PX PX PY X P P X X P P Y X X X Y

β−−−−−−====ΩΩˆGLS

β为广义最小二乘估计量。 2**121ˆ()(')(')GLS

Var X X X X βσσ−−==Ω1−

二、异方差、自相关时模型的GLS 估计

1)I Ω=时，1ˆˆ(')'GLS OLS

X X X Y ββ−== 2）12 0 000 0 0 n ωωω⎛⎞⎜⎟⎜

⎟Ω=⎜⎟⎜⎟⎠⎝""###%"时，1222 0 000 (') 0 0 n E ωωεεσσω⎛⎞

⎜⎟

⎜⎟=Ω=⎜⎟⎜⎟

⎠⎝

""###%" 1

211

1

1 0 000 0 0 n ωω−⎛⎞⎜⎟⎜⎟Ω=⎜

⎟⎜⎟⎟⎜⎠⎝""###%"

，变换矩阵为： 000 0 0 P ⎞

⎟⎜⎟=⎜⎟⎜⎜⎝""###%" 111'1ˆ[']'[][]GLS

i i i i i i i

i

X X X Y w X X w X Y β−−−−=ΩΩ=∑∑， 其中1

i i

w ω=

，即为WLS 估计。

若Ω已知，可以直接进行GLS （即为WLS ）估计。 若Ω未知，需要先估计权重1

i i

w ω=，有了Ω的估计ˆΩ

后，可以做GLS 估计。

3）时，模型存在一阶自相关，此时 1212

1

1T T T ρ

ρσρρ−−−⎛⎞

⎜

⎟

Ω=⎜⎜⎟⎝

⎠

"#

#

%#"⎟2122

1

00

01001

010010000

1ρρρρρρρρ−−⎛⎞

⎜⎟

−+−⎜⎟⎜⎟Ω=−+−⎜

⎟

⎜⎟⎜⎟−⎝⎠

""""

""#""""000

变换矩阵为：

00001

00000

1

00

00001P ρρρ⎞⎟−⎜⎟⎜⎟=−⎜

⎟

⎜⎟

⎜⎟

−⎝⎠"""

"""#""""00 此时，2112

1

'(1),'1P P P P ρρ

−−=−ΩΩ=

−， PY PX P βε=+具体化为：

11

**212111,T T T

T Y Y X X Y X Y Y X X ρρρρ−−⎛⎞⎛⎜⎟⎜−−⎜⎟⎜==⎜⎟⎜⎜⎟⎜⎜⎟⎜−−⎝⎠⎝##

⎞

⎟⎟

⎟⎟⎟

⎠， 从前的广义差分变换相当于忽略了第一项。

GLS 估计：111ˆ[']'GLS

X X X Y β−−−=ΩΩ。 若Ω已知，我们可以直接对和Y X 进行变换，然后进行OLS 估计。若Ω未知，我们则先要对Ω进行估计，估计的方法即为前面关于自相关修正中的说明。

说明：一般地，对于非球型扰动来说，Ω都是未知的。若要进行GLS 我

们先得对Ω进行估计得到，再将ˆΩ

ˆΩ代入GLS 估计中去。我们称这种做法为可行的广义最小二乘估计（FGLS 估计）：

111ˆˆˆ[']'FGLS X X X Y β−−−=ΩΩ

广义最小二乘估计量的有效性

ˆGLS

β是一个BLUE （best linear unbiased estimator ）估计量. **1**11111111111ˆ(')'[()'()]()'()['(')]'(') [']'[']'()[']'GLS X X X Y PX PX PX PY X P P X X P P Y X X X Y X X X X X X X ββεβ−−−−−−−−−−−−====ΩΩ=ΩΩ+=+ΩΩ111ˆ()[']'()GLS E X X X E ε

ββεβ−−−=+ΩΩ= 2**121ˆ()(')(')GLS

Var X X X X βσσ−−==Ω1−