第一部分4 GLS和MLE(三大检验)

第四章 GLS 和MLE 一、广义最小二乘法（GLS ） 1、回归模型的矩阵表示

总体回归方程可表示为：=+y X βε

也可以写成：[|] =E y X X β。

当(|)E y X 取不同的形式时，也就构成了不同的模型，包括：线性、非线性和非参数等。我们这里主要讨论的是线性模型(一元或多元)：其中：

12(1)N N y y y ⨯⎛⎫

⎪

⎪= ⎪ ⎪

⎝

⎭

y ，1111

1

212211

1()

111j k j k N N j

N k N k x x x x x x x x x ---⨯⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪⎝

⎭

X ，01

1(1)k k βββ-⨯⎛⎫ ⎪ ⎪= ⎪ ⎪ ⎪

⎝⎭ β T

表示样本数量，k 表示解释变量个数（包含了常数项），当2k =时就是一

元线性回归模型。而()1

2

(1)T

N

N εεε⨯=

ε表示的是随机扰动项，包含了除了

解释变量以外的其他影响因素。若遗漏变量，则这个变量也将被扰动项所包含。

2、经典假设满足时的残差项的方差协方差矩阵

在无异方差和无自相关的假定下，残差项的方差协方差矩阵是一个对角阵，并且主对角线的元素都相同。即有：（

2

2

200σσσ⎛⎫

⎪'= ⎪⎝

⎭

E (εε|X)=I

此时OLS 估计量是最优线性无偏估计BLUE ）

问题的提出：若扰动项违背球形假定，结果怎样？

Ω

='=+=2

][,0][,σεεεεβE E X y （1）

其中Ω是一般的正定矩阵，而不是在古典假设的情况下的单位矩阵。

（1）异方差时

212

2

2220

0000

n σσσσσ⎡⎤

⎢⎥

'Ω==⎢

⎥⎢⎥⎣⎦

E (εε|X)=Ω

存在异方差时的后果：OLS 估计量是线性无偏估计，但不是最有效的。 处理方法：

第一条思路：找到最优线性无偏估计。具体方法加权最小二乘法（WLS ），也就是模型变换法；

第二条思路：存在异方差时OLS 估计量是线性无偏，但是原OLS 方法得到的方差计算公式有误。对于系数估计仍采用OLS 估计，对于系数的方差估计进行修正。得到稳健估计量。

具体参见本科课程

（2）自相关时

2

111221

22

1

1

2

1

11n n n n n n ρρσσρρσσ

σσρρ----⎡⎤⎛⎫

⎢⎥ ⎪'=Ω=⎢⎥ ⎪⎝⎭⎢⎥⎣⎦

E (εε|X)=

存在自相关时的后果：OLS 估计量是线性无偏估计，但不是最有效的。 处理方法：

第一条思路：找到最优线性无偏估计。具体方法广义差分方法； 第二条思路：存在自相关时OLS 估计量是线性无偏，但是原OLS 方法得到的方差计算公式有误。对于系数估计仍采用OLS 估计，对于系数的方差估计进行修正。得到稳健估计量。

具体参见本科课程（利用广义差分方法处理，具体参见本科课程）

（3）同时存在异方差和自相关时

2

1111

12

2

2

11

n n n nn n n σσωωσσωωσσ⎛⎫

⎛⎫

⎪' ⎪== ⎪ ⎪⎝⎭

⎝⎭

E (εε|X)=Ω

存在异方差、自相关时的后果：OLS 估计量是线性无偏估计，但不是最有效的。

处理方法：

第一条思路：找到最优线性无偏估计。具体方法广义最小二乘（GLS ）； 第二条思路：存在异方差、自相关时OLS 估计量是线性无偏，但是原OLS 方法得到的方差计算公式有误。对于系数估计仍采用OLS 估计，对于系数的方差估计进行修正。得到稳健估计量。

3．GLS

GLS的思想十分简单，就是通过对总体方差协方差矩阵的分解，将回归的残差转变成满足古典假定的残差，然后使用OLS估计。

由于Ω是一个正定的对称矩阵，由矩阵代数的知识，我们知道存在一个满秩矩阵P，使得'

PP

Ω=。

在古典回归方程y=Xβ+u两边同乘1

P-，得到：

-1-1-1

P y=P Xβ+P u

或者写成：

***

y=Xβ+u

（其中-1-1-1

***

y=P y,X=Pβ,u=P u）

可以看出

，

'-1'-1'

**

-1'-1'

-12-1'

2-1'-1'

2

E(u u)=E(P uu(P))

=P E(uu)(P)

=P(σΩ)(P)

=σP(P P)(P)

=σI

显然变换后的模型满足古典假定，因此可以用OLS对该式进行估计。得到如下结果：

ˆ''

-1-1-1-1

****

β=(X X)(X y)=(XΩX)XΩY

4、FGLS（可行的GLS）

FGLS是GLS在实际问题中的应用。

显然，如果方差协方差矩阵是Ω已知的，那么GLS就是最优的估计方法。但是，在实际的问题中，Ω往往是未知的。这就要求我们必须先对矩阵Ω进行估计，得到ˆΩ，然后再按照上述GLS的方法对回归模型进行估计。