第四章-广义线性回归

1．Goldfeld-Quandt 检验
假定所有的观测值可以按照某种条件分成两组数据进行分析，两组数据扰动项的方差分
别为 和 。
检验的零假设为
。
假定扰动项的异方差与某个变量 Z 有关，检验过程如下：
Step-1：根据变量 Z 对所有的样本重新排序；
Step-2：省去中间的 c 期样本；
Step-3：两段样本分别使用 LS 回归。
则 LS 估计的渐近方差为
(4-32)
定义
，White（1980）证明了在如下条件下有
成立。
假定 a：随机向量 矩。
对不同的 i 相互独立，满足
，且存在有限 4 阶
假定 b：存在有限正数 和 ，使得
和
成立。
不妨考虑 K=1 的情形。
又根据假设 b，由 Markov 强大数定律有
12 / 26
第四章 广义线性回归
(4-20)
其中，
，
，
。
显然，V 并不一定等于 ，因此在扰动项非正态时，上述修正的 LM 检验比式（4-18）
的 LM 检验具有更好的检验效果。
5．Glesjer 检验
Glesjer 建议对如下几种异方差的形式进行检验：
Case-1：
；
Case-2：
；
Case-3：
。
基于 LS 估计的残差，对应的检验方程分别如下：
(4-21)
(4-22)
(4-23)
检验的零假设为
。
对应的 Wald 统计量计算如下：
(4-24)
注意，式（4-21）至（4-23）中的误差项 中 协方差阵应使用稳健一致估计。
可能也具有非球形的性质，因此式（4-24）
6．小结
对比 White 广义检验、LM 检验、修正的 LM 检验和 Glesjer 检验的结论，我们可以看 到，这几种异方差检验构造统计量的思想基本上是一致的：先假定某种可能的异方差函数形 式，再将它转换为线性回归方程，最后对回归方程检验除常数项外的所有变量对应的系数为
检验统计量计算如下：
(4-14)
其中， 和 通常取
分别为两段样本 LS 回归的残差， 和 ，则上式可简化为：
为对应的样本长度。
(4-15)
注意，计算上式 F 统计量时，必须把较大者放在分子。 Goldfeld-Quandt 检验是 LS 估计框架下最简单的方差检验，它与普通的方差结构变化检
验非常接近，比较容易计算。但它也具有一定的局限性：首先，扰动项假定服从正态分布；
计 K 维的矩阵
。来自百度文库
4.3 自相关
4.3.1 自相关形式
在时间序列分析中，经常会使用到如下几个定义：
期望：
；
方差：
；
自协方差：
；
自相关系数：
。
如果时间序列
满足条件：
，
；则称序列
为协方差平稳过程，
或弱平稳过程，简称为平稳过程。如果平稳序列满足条件：
且对所有的
有
；则称序列为白噪声过程（White Noise）。
第四章 广义线性回归
第四章 广义线性回归
1 / 26
第四章 广义线性回归
4.1 广义线性设定
4.1.1 模型设定
线性模型设定如下：
其中， 为被解释变量， 为 K 维的解释变量。 广义线性回归模型是经典线性回归模型的推广，它放弃了经典线性回归模型关于扰动项 的球形假定，而代之以如下非球形假定：
假定 4-3（非球形假定）：
9 / 26
第四章 广义线性回归
0 的 F 检验。
注意到，线性回归模型的整体显著性检验
，则
有
。在同方差的零假设下，回归模型的 R2 趋于 0，所以有
(4-25)
因此，所有的异方差检验最后都可以转化为计算辅助回归的 R2 的 n 倍，并使用 的临界值进行比较，从而做出判断。
4.2.2 异方差估计
1．一般异方差估计
不妨考虑线性约束
，则有
在广义线性回归模型中，由于
，
归的 R2 不再一定介于[0，1]之间。
容易证明，此时有
，其中
，方程回
因此，也有学者认为此时的回归 R2 不能反映方程的拟合程度。
4．FGLS 估计
如果协方差阵 未知，由于 中含有
个未知参数，根据 n 期样本
无法得到 的一致估计。此时可考察将数据扩展为 Panel 数据，利用
如果 变换如下：
已知，则可取
对回归模型进行 (4-26)
可知，此时的 GLS 估计事实上是一种加权最小二乘估计（WLS）。
(4-27)
例如，当
时，
，则 WLS 估计为
如果 未知，则我们在使用 WLS 估计前必须先找到 的一致估计。
例如异方差形式为
，其中 Z 可能包含 X 的某些变量。
对应如下方差的回归模型：
p 维向量
。
；其中
此时，对应的检验假说为
。
在 下有
。
假定扰动项服从正态分布，则无约束下的对数似然函数为：
，参数 为
参数 对应的一阶导和二阶导为：
则在 下有
其中， 由于信息矩阵 可构造如下：
，
。
为分块对角阵，则约束
即 LM 统计量的值等于 g 对 Z 回归的回归平方和的一半。 又因为在正态分布设定条件下有
和 ）下，上述的两
5 / 26
第四章 广义线性回归
其中，
。
需要注意的是，当我们假定
时，事实上是假定了一种特殊的非球形扰动形
式，这种假定很有可能是不准确的，因此，基于这种特定形式下的估计结果必须建立在相应
的诊断性检验上。
4.2 异方差
4.2.1 异方差检验
异方差设定具体有两种形式：一般的异方差形式设定各期扰动项的方差都不同，此时通 常会假定这种异方差与某些变量有关；另一种特殊的形式则是设定不同组间存在异方差，即 把数据划分为若干组，并假定各组扰动项的方差不同，但在同一组内方差相同。
一阶条件为：
可解得如下的 ML 估计：
在
处的二阶导为：
4 / 26
(4-10)
(4-11) (4-12)
第四章 广义线性回归
所以，式（4-11）和（4-12）对应的 ML 估计是最大似然函数的最优解。 由于对广义线性回归模型通过简单的 P 变换可以转化为线性回归模型，在线性回归框
架下建立的所有检验基本都可以扩展到广义线性回归。
线性模型
两边同时右乘矩阵 P，可得
其中，
，
，
。
。 (4-6)
可见，通过对广义线性回归模型进行 P 变换，我们将其转换为经典线性回归模型，此 时，式（4-6）的 LS 估计具有 BLUE 的性质。
为了区别普通的 LS 估计，不妨将式（4-6）的 LS 估计称为 GLS 估计。
对应的协方差阵为 所以有 注意到，
8 / 26
对应的 LM 统计量 (4-18)
第四章 广义线性回归
式（4-19）可等价表示为
(4-19)
其中，R2 为 g 对 Z 回归的拟合优度。
4．修正的 LM 检验
Breusch-Pagan / Godfrey 的 LM 检验对其中的正态假定非常敏感，Koenker (1981)， Koenker 和 Bassett (1984)提出了一种修正的 LM 检验。
另一种常见的异方差形式是组间异方差，模型设定如下：
其中，第 g 组的观测值个数为 ，且有
。
已知对第 g 组有，
，
，
为
。
有约束模型（同方差）的对数似然函数为：
(4-28) ；对应的检验假说
对参数 进行中心化，则中心化对数似然函数为： 无约束模型（异方差）的对数似然函数为：
(4-29)
对应的中心化对数似然函数为：
其中， ，
(4-16)
定义向量 ，其元素由对称矩阵
。 中非常数的元素构成，则有
在某些设定条件下，使用中心极限定理，我们期待有 记其渐近方差为 ；则对于 的任意一致估计 ，我们有
收敛于正态分布，不妨
其中，p-1 为 中元素的个数。
不妨取
，则有
7 / 26
第四章 广义线性回归
(4-17)
其中，R2 为 对
一般的自相关分析通常假定扰动项
为平稳过程（因此不同时期同方差）。
以下简单介绍自相关的两种特殊形式：AR(1)和 MA(1)。
AR(1)过程：
(4-34)
其中，
， 为白噪声过程，且有
。
此时有
13 / 26
第四章 广义线性回归
则其协方差矩阵为：
MA(1)过程：
其中， 则有
为白噪声过程。
(4-35) (4-36)
(4-7) (4-8) (4-9)
3 / 26
第四章 广义线性回归
其中，
。
可知，此时 GLS 估计比 LS 估计更有效。
更一般的，可证明：对于广义线性回归模型，GLS 估计是 BLUE。
3．ML 估计
在正态假定下，我们还可以使用 ML 估计来估计参数。
注意到此时有
，所以有
则有
其中，由定义有
。
对应的对数似然函数可计算如下：
(4-30)
构造 LR 统计量如下：
(4-31)
其中，
和
；e 和 分别为总样本或第 g 组样本的 LS 回归
残差。 如果协方差阵已知，则 WLS 估计可计算如下：
11 / 26
第四章 广义线性回归
这意味着，对于组间异方差的情形，总样本的 WLS 估计恰好等价于对各组 LS 估计系 数使用其方差为权重的一个加权组合。
期样本来估
计 ；或者是，将协方差阵 进行降维，设定为
，即协方差阵 是有限维参
数 的函数，再通过估计 来获得 的一致估计，这种方法称为可行的 GLS 估计，简
称 FGLS 估计。
FGLS 估计量计算如下：
(4-13)
其中，
。
如果
，且
为 的连续函数，则由 Slutsky 定理有
，又因为 正
定，所以有
。
同样的，FGLS 估计也是一致估计，并且是渐近有效的。但是，由于 FGLS 估计依赖于
如果协方差阵未知，则 FGLS 估计如下：
此时，对 WLS 估计的两步估计可以使用迭代的方法。
3．协方差一致稳健估计
除了使用上述的 WLS 估计外，我们也可以使用协方差一致稳健估计，即对 LS 估计使 用合适的协方差估计来保证其估计系数的可检验性。
假定
和
都是有限正定矩阵。
如果 的方差不存在某一项相对于其他项大得多的情况，则通常可以对如下变量使用 Lindberg-Feller 中心极限定理。
此时 WLS 估计可分解为如下两步：
Step-1：对原始方程使用 LS 估计获得残差序列 ；再使用 对
到估计系数 。
Step-2：使用 WLS 估计，其中第 i 期观测值的权重为
。
同样的处理也适用于其他形式的异方差设定。
2．组间异方差的检验与估计
进行 LS 回归得
10 / 26
第四章 广义线性回归
其次，样本长度
必须要远大于未知参数个数 K，如果比较接近 K，则检验 Power
会比较低；另外，中间省去的数据也会影响检验的 Power，太少则无法突出两组之间的差异
6 / 26
第四章 广义线性回归
性，太大则导致数据的浪费。通常简单的取
2．White 广义检验
此时，检验的零假设为
定义
，则在
下有
。 。
(4-3)
第四章 广义线性回归
可见，LS 估计的回归标准误不再是标准误的无偏估计。 由 LS 估计的正态性，可知有
记
为
的一致估计，则有
因此，此时基于 LS 估计的 t 统计量不再服从 t 分布或标准正态分布：
(4-4) (4-5)
2．GLS 估计
如果协方差阵 已知，则必有存在某个可逆矩阵 P，使得
回归的拟合优度。
这意味着 White 广义检验等价于使用变量 对
回归得到的 R2 的 n 倍。直
观上看，White 广义检验考察了与解释变量 X 的一次和二次乘积相关的所有异方差形式，这
也是其被称为广义检验的原因。
3．Breusch-Pagan / Godfrey 的 LM 检验
设定待检验的异方差形式为：
其协方差矩阵为：
(4-37)
自相关的基本形式主要有 AR 和 MA 两种情形，也可能同时存在。由于 AR 和 MA 之间 可以相互转换，在回归分析中，一般只考虑 AR 的问题。
4.3.2 自相关检验
1．Durbin-Watson（DW）检验
。
为了便于表示，有时会对 进行标准化，
，其中
。
实际应用中，协方差阵 主要设定为异方差或自相关（空间相关）两种形式。 Case-1：异方差
(4-1)
Case-2：自相关
(4-2)
4.1.2 估计
1．LS 估计
对广义线性模型，LS 估计仍然可行，并且具有无偏性与正态性，但不再是有效估计。
所以有
记
，则有
2 / 26
的一致性，它不再具有普通的有限样本性质，因此它并不是无偏或有效估计。
设定
，Oberhofer 和 Kmenka（1974）建议使用如下两步迭代估计：
Step-1：给定 的取值，估计 和 ；
Step-2：给定 和 的估计值，估计 。 Oberhofer 和 Kmenka 证明了在非常弱的设定条件（ 中不含 步迭代估计将收敛到 ML 估计。 注意到，此时 ML 估计的信息矩阵为分块对角矩阵：
所以有，
。
至此，White 的协方差一致稳健估计计算如下：
(4-33)
Davidson 和 Mackinnon（1993）通过 Monte-Carlo 模拟表明，在实际使用 White 协方差
一致稳健估计时将 乘以
可以改进其小样本表现。
White 协方差一致稳健估计的核心思想在于它避开了直接估计 n 维的矩阵 ，而直接估