广义最小二乘法 连玉君

第四章
4.1 简介
GLS—广义最小二乘法
我们在第三章中介绍经典 OLS 回归过程中需要五大假设，但多数情况下这些假设往往难 以满足。在后续的章节中，我们将陆续介绍当这些经典假设得不到满足时，如何进性分析和估 计。本章中我们重点介绍当经典 OLS 中的均齐方差假设无法满足时的估计方法—广义最小二乘 估计。 广义线性回归模型（generalized linear regression model）设定如下： y = Xβ + ε 相对于经典的 OLS 回归模型，以下两个假设有所不同： 1. V ar (ε) ∼ (0, σ 2 ) ，其中
5.5
FGLS 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.5.1 5.5.2 5.5.3 5.5.4 AR(1)过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . AR(2)过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . AR(4)过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . MA(1)过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1 X 2. limn →∞ n
(4.1)
是一个正定对角矩阵；
X = Q∗ ，其中， Q∗ 正定、有限。
假设 1 是我们本章考虑的重点，我们将干扰项的方差-协方差矩阵从经典 OLS 回归模型中 的 σ 2 I 一般化为非均齐方差 σ 2 。这是一般化线性回归模型的根本特点。利用该假设，我们可
以捕捉单个干扰项的方差，即， V ar (ε) 对角线上的元素的差异（这就是我们后面将要提到的异 方差问题）；同时也可以捕捉两个干扰项之间的同期相关性，即， V ar (ε) 非对角线上的元素不 为零（如后面提到的自相关和 SURE 模型）。处理一般化模型的基本思路是通过一些变换，使 其满足经典 OLS 回归模型中的基本假设，然后采用 OLS 进行估计即可。 假设 2 也是一个新加的假设条件。它限制了样本矩阵 X 和方差-协方差矩阵 σ 2 的关系，
5.7
STATA 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
附录1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 附录2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
4.2
OLS估计
首先，我们需要看看一般化线性回归模型的 OLS 估计量的性质：
4
4.3. GLS估计—
已知
5
1. 小样本性质1 (1) 无偏性： E (b) = β (2) 方差： V ar (b) = σ 2 (X X)−1 X (3) 分布： b ∼ N (β, σ 2 (X X)−1 X 2. 大样本性质 给定如下假设 1 X X = Q0 n →∞ n lim 和 1 X n →∞ n lim X = Q1 (4.2) X(X X)−1 = σ 2 (X X)−1 X(X X)−1 )
目录
5.3.5 5.4 STATA 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
3 38 43 43 45 47 47 48 48 49 50 50 51 53 53 54 59 59
GLS 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.4.1 5.4.2 5.4.3 5.4.4 AR(1) 过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . AR(2) 过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . AR(4) 过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . MA(1) 过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
FGLS估计—
异方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4.5.1 4.5.2 4.5.3 产生原因 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 异方差的检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
Estimation with STATA
金禾论坛笔记系列
连玉君
西安交通大学金禾经济研究中心
arlionn@sohu.com
ቤተ መጻሕፍቲ ባይዱ
[致谢]
A 这两章是我用L TEX写的第一份笔记，历时近一个月。完成笔记的过程中承蒙金禾
A 中心博士生程建的关照，在L TEX的技术处理细节上給予了很大的帮助，特此致谢。同时我也感
GLS估计的统计性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 拟合优度—R2 分析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . GLS的另一种解释—WLS估计 . . . . . . . . . . . . . . . . . . . . . . . . . . OLS和GLS估计的有效性比较 . . . . . . . . . . . . . . . . . . . . . . . . . . 未知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5.6
异方差和序列相关形式未知时的 OLS 稳健性估计 . . . . . . . . . . . . . . . . . . . 5.6.1 5.6.2 Newey-West 估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Wooldridge 估计方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
自相关的检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.1 5.3.2 5.3.3 5.3.4 基于大样本的一般性检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 解释变量严格外生时的 AR(1) 自相关检验 . . . . . . . . . . . . . . . . . . . 解释变量非严格外生时的 AR(1) 自相关检验 . . . . . . . . . . . . . . . . . . 高阶自相关检验 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
4.6
小结 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
附录1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 附录2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 第五章 自相关 5.1 5.2 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . OLS 估计的性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.1 5.2.2 5.2.3 5.3 OLS 估计的有效性 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 统计推断— OLS 估计的方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . 拟合优度 R 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
使其不会随着样本数量的增加而变得无限大。我们在后面的分析中将用到各假设条件。 本章的结构安排如下：第 2 节介绍 OLS 估计无偏、一致但非有效性；第 3 节和第 4 节分别 介绍 GLS 和 FGLS 估计方法，前者适用于 已知的情况，后者适用于 未知的情况；第 5 节
介绍 GLS 的一个应用—异方差问题；第 6 节介绍 SURE 模型的估计，这也是一个 GLS 估计方 法的一个典型的应用．此外，在讲述相关理论的过程中，我们还将介绍如何利用 STATA8.0 软 件包实现这些估计方法。
谢所有耐心读完这份笔记的同学，希望你们把发现的错误和不妥之处E-mail 给我以便于我做进 一步的修改。
[版权声明]
未经作者本人同意，任何人不得以商业目的翻印、复制本文。
目录
第四章 GLS—广义最小二乘法 4.1 4.2 4.3 简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . OLS估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . GLS估计— 4.3.1 4.3.2 4.3.3 4.3.4 4.4 4.5 已知 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4 4 5 7 7 8 8 9 9 10 10 15 23 27 27 30 30 31 31 32 33 33 33 34 36 37