Chapter3 广义最小二乘法

第1章 广义最小二乘法

在经典假定条件下，OLS 估计量具有BLUE 性质。解释变量与误差项不相关保证了OLS 估计量的无偏性，误差项的同方差、无序列相关保证了OLS 估计量的有效性。但实践中，这些假定很可能被违背。因此，模型估计之后需要检验这些假定是否得到满足；如果某些假定被违背的的话，则需要对其进行修正。本章介绍异方差、自相关情况下的模型修正。

1.1 异方差和自相关的概念

在随机误差项u 满足同方差和没有序列自相关的假定下，u 的方差协方差矩阵Var(u ) 是一个对角矩阵。即Var(u )主对角线上的元素都是相同的常数；非主对角线上的元素为零。当这两个假定不成立时，V ar(u ) 不再是一个纯量对角矩阵。

Var(u ) = Ω = ⎪⎪

⎪⎪

⎪

⎭

⎫

⎝⎛TT T T T T σσσ

σσσ

σσσ (2)

122221

11211≠σ 2 I 1.1 当Var(u )主对角线上的元素不相等时，表示误差项存在异方差。如果非主对角线上的元

素不为0，表示误差项存在序列相关。当模型存在异方差或自相关时，

1ˆE(|)E[(')'|]-=+=β

X βX X X u X 0 111

1

2

1

ˆˆˆVar(|)E[()()'|]E[(')''(')|](')'(')(')

σ-----=--= =≠β

X ββββX X X X uu X X X X X X X ΩX X X X X

因此，异方差和自相关不会影响OLS 估计量的无偏性，但会导致非有效性。存在异方

差或自相关时，参数估计量的方差估计量σ 2 (X 'X )-1是真实方差的有偏估计量，可能会低估或高估真实的方差。t 统计量不再服从t 分布，即使是在大样本的情况下也是如此。F 统计量也不再是F 分布。由此导致错误的推断或预测。比如，σ 2 (X 'X )-1低估了真实方差，那么t 统计量就高估了，就容易将不显著的变量错误地判断为显著。

1.2 广义最小二乘法

要解决异方差和自相关的问题，需要对模型的进行适当的转换，使得转换后模型的误差性满足同方差、无序列相关的假定条件。这即是广义最小二乘法（GLS ）。

假设var()=u Ω，那么对于正定矩阵可以找到矩阵M ，使得

1''-=⇒=M ΩM I M M Ω

在方程两边同时乘以M ，得到转换后的新模型： =+⇒=+y X βu My MX βMu

令***,,= = =y My X MX u Mu ，即***=+y X βu 。

新的随机误差项的协方差矩阵为*var()E('')'===u Muu M M ΩM I ，显然是同方差、无序列相关的。目标函数，即残差平方和，为：

**1ˆˆˆˆˆˆ()'()'''Q -===Mu

Mu u M Mu u Ωu 即，目标函数是u 的加权平方和，而权数矩阵则是u 的协方差矩阵的逆矩阵。根据一阶条

件，新模型的OLS 估计量即是原模型的GLS 估计量。

**1**1111ˆ(')'('')''(')'GLS

-----===βX X X y X M MX X M My X ΩX X Ωy 具有BLUE 性质，而转换后模型的参数估计量与最初模型的参数是完全相同的。 如果模型存在异方差，则协方差矩阵Ω和转换矩阵M 分别为：

21

12

2221/001/01/0n n σσσσσσ⎛⎫⎛⎫ ⎪ ⎪

⎪ ⎪=⇒= ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝

⎭ΩM 即对每个观测值赋予不同的权数，权数即标准差的倒数。因此，异方差情况下的GLS

也称作加权LS 方法。

对于自相关问题，协方差矩阵Ω取决于自相关的形式。自相关的一般表达式为：

11t t k t k t u u u v φφ--=+++ 。

对于AR(1)过程11t t t u u v φ-=+，

11E[]E[]E[]t t k t t k t k t u u u u u v φ----=+

可得到不同期误差项的协方差，

222

0110111011

0:/(1)

0:v v k k k k γφγσγσφγφγγφγ-⎫= =+⎪⇒=-⎬> = ⎪⎭ =

协方差矩阵Ω和转换矩阵M 分别为：

2110123

1 (101)

...1..

.

..1...101T T T T T na

na ρ

ρρρρ

ρ

ργρ

ρρρ-----⎡⎤

⎡⎤⎢⎥-⎢⎥⎢⎥⎢

⎥

⎢⎥=⇒=⎢⎥⎢

⎥⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥-⎣⎦

ΩM 由于差分缺少了第一个观测值。转换后的变量即是原来变量的广义差分变量，差分系数

即是自回归系数。因此，自相关情况下的GLS 方法也称作广义差分LS 方法。

对于AR(p)过程，差分过程中损失掉前p 个观测值。转换后的变量即是原来变量的p 阶广义差分变量，差分系数即是p 阶自回归系数。

实践中，Ω一般是未知的。因此，要修正异方差或自相关问题，必须首先估计协方差矩阵Ω。即，首先得到Ω的一致估计量，然后再进行GLS 估计。这即是可行的GLS 估计（FGLS ）

或两步GLS 估计。本章1.3节和1.4节介绍如何在异方差或自相关模型中估计Ω。

在进行GLS 估计之前，首先要对异方差和自相关进行检验。如果模型中存在显著的异方差或自相关问题，再进行GLS 估计。接下来，我们介绍异方差和自相关检验的常用方法。

1.3 异方差的检验与估计

异方差的基本假定形式

H 0: E(u i 2|x 1, x 2, …, x k ) = E(u i 2|x 1, x 2, …, x k ) = σ2

即，u i 的条件方差是相同的，或者说当u i 与x 1, x 2, …, x k 不相关时，u i 的方差是相同的。如果u i 存在异方差，那么说明u i 与x 1, x 2, …, x k 存在相关性。因此，检验异方差的基本思路是考察u i 与x 1, x 2, …, x k 是否存在相关性，以及什么形式的相关性。 1.3.1

Breusch and Pagan /Cook-Weisberg 检验

根据异方差检验的基本思路，Breusch and Pagan （1979）和Cook and Weisberg （1983）假设异方差形式为

Var()=+u X γv 在同方差条件下，上式中每个解释变量的回归系数都不应该具有显著性，即γ=0。实践际检验用OLS 估计的残差的平方代替Var(u)。步骤如下。

Step1：估计方程=+y X βu ，提取残差平方2ˆu

。 Step2：估计方程22ˆˆ/σ=+u

X γv ，利用F 、LM=T*R2或得分统计量Score=RSS/2检验整个方程的显著性。

在第2步中，也可以用被解释变量的拟合值作为解释变量，即201ˆˆγγ=++u

y v 。 1.3.2 White 检验

White （1980）是通过更一般的形式检验异方差，它对异方差的形式没有要求。基本检

验步骤如下。

Step1：估计方程：=+y X βu ，提取残差平方2ˆu

。 Step2：估计方程：2212ˆ=++u

X γX γv ，2X 表示所有变量的二次项。利用F 、LM=TR 2统计量检验整个方程的显著性。

在第2步中，检验方程也可以采取形式：22123

ˆ=+++u X γX γX γv 。其中，X 表示所有变量的两两交叉积。