第四章-广义线性回归

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

1.Goldfeld-Quandt 检验
假定所有的观测值可以按照某种条件分成两组数据进行分析,两组数据扰动项的方差分
别为 和 。
检验的零假设为

假定扰动项的异方差与某个变量 Z 有关,检验过程如下:
Step-1:根据变量 Z 对所有的样本重新排序;
Step-2:省去中间的 c 期样本;
Step-3:两段样本分别使用 LS 回归。
则 LS 估计的渐近方差为
(4-32)
定义
,White(1980)证明了在如下条件下有
成立。
假定 a:随机向量 矩。
对不同的 i 相互独立,满足
,且存在有限 4 阶
假定 b:存在有限正数 和 ,使得

成立。
不妨考虑 K=1 的情形。
又根据假设 b,由 Markov 强大数定律有
12 / 26
第四章 广义线性回归
(4-20)
其中,



显然,V 并不一定等于 ,因此在扰动项非正态时,上述修正的 LM 检验比式(4-18)
的 LM 检验具有更好的检验效果。
5.Glesjer 检验
Glesjer 建议对如下几种异方差的形式进行检验:
Case-1:

Case-2:

Case-3:

基于 LS 估计的残差,对应的检验方程分别如下:
(4-21)
(4-22)
(4-23)
检验的零假设为

对应的 Wald 统计量计算如下:
(4-24)
注意,式(4-21)至(4-23)中的误差项 中 协方差阵应使用稳健一致估计。
可能也具有非球形的性质,因此式(4-24)
6.小结
对比 White 广义检验、LM 检验、修正的 LM 检验和 Glesjer 检验的结论,我们可以看 到,这几种异方差检验构造统计量的思想基本上是一致的:先假定某种可能的异方差函数形 式,再将它转换为线性回归方程,最后对回归方程检验除常数项外的所有变量对应的系数为
检验统计量计算如下:
(4-14)
其中, 和 通常取
分别为两段样本 LS 回归的残差, 和 ,则上式可简化为:
为对应的样本长度。
(4-15)
注意,计算上式 F 统计量时,必须把较大者放在分子。 Goldfeld-Quandt 检验是 LS 估计框架下最简单的方差检验,它与普通的方差结构变化检
验非常接近,比较容易计算。但它也具有一定的局限性:首先,扰动项假定服从正态分布;
计 K 维的矩阵
。来自百度文库
4.3 自相关
4.3.1 自相关形式
在时间序列分析中,经常会使用到如下几个定义:
期望:

方差:

自协方差:

自相关系数:

如果时间序列
满足条件:

;则称序列
为协方差平稳过程,
或弱平稳过程,简称为平稳过程。如果平稳序列满足条件:
且对所有的

;则称序列为白噪声过程(White Noise)。
第四章 广义线性回归
第四章 广义线性回归
1 / 26
第四章 广义线性回归
4.1 广义线性设定
4.1.1 模型设定
线性模型设定如下:
其中, 为被解释变量, 为 K 维的解释变量。 广义线性回归模型是经典线性回归模型的推广,它放弃了经典线性回归模型关于扰动项 的球形假定,而代之以如下非球形假定:
假定 4-3(非球形假定):
9 / 26
第四章 广义线性回归
0 的 F 检验。
注意到,线性回归模型的整体显著性检验
,则

。在同方差的零假设下,回归模型的 R2 趋于 0,所以有
(4-25)
因此,所有的异方差检验最后都可以转化为计算辅助回归的 R2 的 n 倍,并使用 的临界值进行比较,从而做出判断。
4.2.2 异方差估计
1.一般异方差估计
不妨考虑线性约束
,则有
在广义线性回归模型中,由于

归的 R2 不再一定介于[0,1]之间。
容易证明,此时有
,其中
,方程回
因此,也有学者认为此时的回归 R2 不能反映方程的拟合程度。
4.FGLS 估计
如果协方差阵 未知,由于 中含有
个未知参数,根据 n 期样本
无法得到 的一致估计。此时可考察将数据扩展为 Panel 数据,利用
如果 变换如下:
已知,则可取
对回归模型进行 (4-26)
可知,此时的 GLS 估计事实上是一种加权最小二乘估计(WLS)。
(4-27)
例如,当
时,
,则 WLS 估计为
如果 未知,则我们在使用 WLS 估计前必须先找到 的一致估计。
例如异方差形式为
,其中 Z 可能包含 X 的某些变量。
对应如下方差的回归模型:
p 维向量

;其中
此时,对应的检验假说为

在 下有

假定扰动项服从正态分布,则无约束下的对数似然函数为:
,参数 为
参数 对应的一阶导和二阶导为:
则在 下有
其中, 由于信息矩阵 可构造如下:


为分块对角阵,则约束
即 LM 统计量的值等于 g 对 Z 回归的回归平方和的一半。 又因为在正态分布设定条件下有
和 )下,上述的两
5 / 26
第四章 广义线性回归
其中,

需要注意的是,当我们假定
时,事实上是假定了一种特殊的非球形扰动形
式,这种假定很有可能是不准确的,因此,基于这种特定形式下的估计结果必须建立在相应
的诊断性检验上。
4.2 异方差
4.2.1 异方差检验
异方差设定具体有两种形式:一般的异方差形式设定各期扰动项的方差都不同,此时通 常会假定这种异方差与某些变量有关;另一种特殊的形式则是设定不同组间存在异方差,即 把数据划分为若干组,并假定各组扰动项的方差不同,但在同一组内方差相同。
一阶条件为:
可解得如下的 ML 估计:

处的二阶导为:
4 / 26
(4-10)
(4-11) (4-12)
第四章 广义线性回归
所以,式(4-11)和(4-12)对应的 ML 估计是最大似然函数的最优解。 由于对广义线性回归模型通过简单的 P 变换可以转化为线性回归模型,在线性回归框
架下建立的所有检验基本都可以扩展到广义线性回归。
线性模型
两边同时右乘矩阵 P,可得
其中,



。 (4-6)
可见,通过对广义线性回归模型进行 P 变换,我们将其转换为经典线性回归模型,此 时,式(4-6)的 LS 估计具有 BLUE 的性质。
为了区别普通的 LS 估计,不妨将式(4-6)的 LS 估计称为 GLS 估计。
对应的协方差阵为 所以有 注意到,
8 / 26
对应的 LM 统计量 (4-18)
第四章 广义线性回归
式(4-19)可等价表示为
(4-19)
其中,R2 为 g 对 Z 回归的拟合优度。
4.修正的 LM 检验
Breusch-Pagan / Godfrey 的 LM 检验对其中的正态假定非常敏感,Koenker (1981), Koenker 和 Bassett (1984)提出了一种修正的 LM 检验。
另一种常见的异方差形式是组间异方差,模型设定如下:
其中,第 g 组的观测值个数为 ,且有

已知对第 g 组有,




有约束模型(同方差)的对数似然函数为:
(4-28) ;对应的检验假说
对参数 进行中心化,则中心化对数似然函数为: 无约束模型(异方差)的对数似然函数为:
(4-29)
对应的中心化对数似然函数为:
其中, ,
(4-16)
定义向量 ,其元素由对称矩阵
。 中非常数的元素构成,则有
在某些设定条件下,使用中心极限定理,我们期待有 记其渐近方差为 ;则对于 的任意一致估计 ,我们有
收敛于正态分布,不妨
其中,p-1 为 中元素的个数。
不妨取
,则有
7 / 26
第四章 广义线性回归
(4-17)
其中,R2 为 对
一般的自相关分析通常假定扰动项
为平稳过程(因此不同时期同方差)。
以下简单介绍自相关的两种特殊形式:AR(1)和 MA(1)。
AR(1)过程:
(4-34)
其中,
, 为白噪声过程,且有

此时有
13 / 26
第四章 广义线性回归
则其协方差矩阵为:
MA(1)过程:
其中, 则有
为白噪声过程。
(4-35) (4-36)
(4-7) (4-8) (4-9)
3 / 26
第四章 广义线性回归
其中,

可知,此时 GLS 估计比 LS 估计更有效。
更一般的,可证明:对于广义线性回归模型,GLS 估计是 BLUE。
3.ML 估计
在正态假定下,我们还可以使用 ML 估计来估计参数。
注意到此时有
,所以有
则有
其中,由定义有

对应的对数似然函数可计算如下:
(4-30)
构造 LR 统计量如下:
(4-31)
其中,

;e 和 分别为总样本或第 g 组样本的 LS 回归
残差。 如果协方差阵已知,则 WLS 估计可计算如下:
11 / 26
第四章 广义线性回归
这意味着,对于组间异方差的情形,总样本的 WLS 估计恰好等价于对各组 LS 估计系 数使用其方差为权重的一个加权组合。
期样本来估
计 ;或者是,将协方差阵 进行降维,设定为
,即协方差阵 是有限维参
数 的函数,再通过估计 来获得 的一致估计,这种方法称为可行的 GLS 估计,简
称 FGLS 估计。
FGLS 估计量计算如下:
(4-13)
其中,

如果
,且
为 的连续函数,则由 Slutsky 定理有
,又因为 正
定,所以有

同样的,FGLS 估计也是一致估计,并且是渐近有效的。但是,由于 FGLS 估计依赖于
如果协方差阵未知,则 FGLS 估计如下:
此时,对 WLS 估计的两步估计可以使用迭代的方法。
3.协方差一致稳健估计
除了使用上述的 WLS 估计外,我们也可以使用协方差一致稳健估计,即对 LS 估计使 用合适的协方差估计来保证其估计系数的可检验性。
假定

都是有限正定矩阵。
如果 的方差不存在某一项相对于其他项大得多的情况,则通常可以对如下变量使用 Lindberg-Feller 中心极限定理。
此时 WLS 估计可分解为如下两步:
Step-1:对原始方程使用 LS 估计获得残差序列 ;再使用 对
到估计系数 。
Step-2:使用 WLS 估计,其中第 i 期观测值的权重为

同样的处理也适用于其他形式的异方差设定。
2.组间异方差的检验与估计
进行 LS 回归得
10 / 26
第四章 广义线性回归
其次,样本长度
必须要远大于未知参数个数 K,如果比较接近 K,则检验 Power
会比较低;另外,中间省去的数据也会影响检验的 Power,太少则无法突出两组之间的差异
6 / 26
第四章 广义线性回归
性,太大则导致数据的浪费。通常简单的取
2.White 广义检验
此时,检验的零假设为
定义
,则在
下有
。 。
(4-3)
第四章 广义线性回归
可见,LS 估计的回归标准误不再是标准误的无偏估计。 由 LS 估计的正态性,可知有


的一致估计,则有
因此,此时基于 LS 估计的 t 统计量不再服从 t 分布或标准正态分布:
(4-4) (4-5)
2.GLS 估计
如果协方差阵 已知,则必有存在某个可逆矩阵 P,使得
回归的拟合优度。
这意味着 White 广义检验等价于使用变量 对
回归得到的 R2 的 n 倍。直
观上看,White 广义检验考察了与解释变量 X 的一次和二次乘积相关的所有异方差形式,这
也是其被称为广义检验的原因。
3.Breusch-Pagan / Godfrey 的 LM 检验
设定待检验的异方差形式为:
其协方差矩阵为:
(4-37)
自相关的基本形式主要有 AR 和 MA 两种情形,也可能同时存在。由于 AR 和 MA 之间 可以相互转换,在回归分析中,一般只考虑 AR 的问题。
4.3.2 自相关检验
1.Durbin-Watson(DW)检验

为了便于表示,有时会对 进行标准化,
,其中

实际应用中,协方差阵 主要设定为异方差或自相关(空间相关)两种形式。 Case-1:异方差
(4-1)
Case-2:自相关
(4-2)
4.1.2 估计
1.LS 估计
对广义线性模型,LS 估计仍然可行,并且具有无偏性与正态性,但不再是有效估计。
所以有

,则有
2 / 26
的一致性,它不再具有普通的有限样本性质,因此它并不是无偏或有效估计。
设定
,Oberhofer 和 Kmenka(1974)建议使用如下两步迭代估计:
Step-1:给定 的取值,估计 和 ;
Step-2:给定 和 的估计值,估计 。 Oberhofer 和 Kmenka 证明了在非常弱的设定条件( 中不含 步迭代估计将收敛到 ML 估计。 注意到,此时 ML 估计的信息矩阵为分块对角矩阵:
所以有,

至此,White 的协方差一致稳健估计计算如下:
(4-33)
Davidson 和 Mackinnon(1993)通过 Monte-Carlo 模拟表明,在实际使用 White 协方差
一致稳健估计时将 乘以
可以改进其小样本表现。
White 协方差一致稳健估计的核心思想在于它避开了直接估计 n 维的矩阵 ,而直接估
相关文档
最新文档