数理统计10

xi 2 为前2期 投资。本期投资额往往可能受上一期投资影响。这样 xi 2 大 ，可能 xi 1就会小，而 xi 1 小，可能 xi 就大。这时，三个
x是相关的。 (3)横截面数据：ｙ=ｆ(Ｋ,Ｌ,Ｓ,E)K增大，L可能减少。
原
因
1 有 X'X 的方差
1 由于存在多重共线性时，X ' X 0 ,而 ( X ' X )与
2
=3.182
检验异方差的方法
用等级相关系数法判断是否存在异方差 用此法检验 x 与ε之间是否相关。这时ε值无
法得到。故先进行方程回归，以求得ei，并
对ei的绝对值与xi分别分级；然后确定rs，给
定并进行检验。
检验异方差的方法
•戈德菲尔德——夸特(Goldfield-Quant)法 具体步骤如下： 1. 将样本值按从小到大的顺序排列。 2. 略去中间c个样本，在大样本情况下(n＞30)约为样本容量的
(1)
( 2)
（n c） （2） （n c） 其中 f m 1；f e m 1， 2 2 如果检验显著，存在异方差。
（1） e
Se(1) F (2) ~ F ( f e(1) , fe( 2) ) Se
检验异方差的方法
•戈里瑟(Glesjer)检验法。
(1)对数据进行线性回归，求出残差ei，并取绝对值|ei| 。
高度的负共线性同样 对回归有影响
产生多重共线性的原因
(1)模型中几个变量都受大趋势的影响，如储著，消费，出口
贸易额。经济繁荣时，这些量就会同时增加，经济衰退时，
这些量会同时减少。因此向量间具有相关关系。 (2) 滞后变量的使用：如投资模型 yi f xi , xi 1, xi 2 i 其中 yi 为投资收益，xi 为本期投资， xi 1 为前1期投资 ,
12 0 0 2 0 2 2 3 ，其中 0 2 0 0 n
i2i =1…n）至少有两个不 （
相等。注意，当异方差性出现时，我们假定cov(ε i , εj )=0及 其他各项假设依然成立。
异方差问题的解决方法
•广义最小二乘法(General Least Square，简称GLS)
1. 广义最小二乘法的一般介绍：
广义最小二乘法用于解决一切当回归模型y=Xb+ε的随机干扰 向量ε的方差矩阵为Dε=σ2Ω，(其中Ω不为单位阵I)的情况。
设Dε=σ2Ω ，对回归模型进行线性变换，即存在一个n阶非奇
6 di2 0.6 5 2 rs 1 t =0.6， =1.299038, 当=0.05， 2 5(52 1) 1 0.6
t
1
∴x、y之间没有相关关系。 注：如果有2个或更多样本级别相同，那么它们的等级应为平 均等级。例如，B、C都是中学毕业，这时两人的学历等级分 别为1.5。另外，变量的等级排列规则必须一致。
出现异方差性的原因：
• 经济现象之间的错综复杂的关系 • ε中的因素与解释变量之间存在某种相互影
响的关系
• 建模时采用横截面数据
• 用时间序列建模
异方差带来的后果：
1 ˆ (X •b X) X Y 不再具有最有效性
• 显著性检验失效
以t检验为例。在多元线性回模中，进行的假设检验，采用 的是如下统计量
x2 b0 b1x1 b3 x3 bk xk

xk b0 b2 x2 b3 x3 bk 1xk 1
每一个方程均会有一个R2，记为R2j
多重共线性的检验
对每一个方程进行Ｆ检验，即
R2 j Fj
1 R
2 j
异阵 A ，回归模型左乘 A ，则会获得一个新的多元回归模型 ：Ay=AXb+Aε，在新的模型中，我们令 ；此模型又可表示为 ， y* Ay X * AX
u* A
y* X *b u
异方差问题的解决方法
在新模型中，u为随机干扰，它的方差矩阵为：
Du=D(Aε)=A DεA’=σ2AΩA’。只要矩阵A选择得当，就能使
1 1

2
不存在相关关系。
2
例 . 某单位对与5名干部，A、B、 C、 D、 E进行考察，研究 学历与干部的决策能力之间是否有相关关系，学历按从低到 高分为5级，1级最低，5级最高；决策能力亦按从低到高分为 5级，1级最低，5级最高，5名干部分级情况如下： A B C D E 学历xi ： 3 2 1 5 4 决策能力yi： 4 1 2 3 5 di： -1 1 -1 2 -1
X ' X 0 ，对模型还会有严重影
响．这种X中两个或多个向量相关的情况被称为多重共线性 。
多重共线性
x2 x1 x2 x1
正交的 X 变量 从独 立来源提供信息。 无多重共线性
x2 x1
完全共线性的X 变量 提供相同的信息内容 无法回归.
x2
x1
某种程度的共线性对 回归的影响取决于共 线性的程度
|e|
|e|
0
i2
0
0 10 20 0 30 40 50
x
i2
0
10
20 0
30
40
50
x
图a
|e| |e|
图b
0
i2
0
0 10 20 0 30 40 50
x
i2
0
10
20 0
30
40
50
x
图c
图d
检验异方差的方法
•等级相关系数法
斯皮尔曼(Spearman)等级相关系数记为rs，定义如下：
ˆ 关，这时 ( X ' X )1 对角线上的值会很大。由于 b
OLS
1 1 对角线上的值表示 ˆ 2 X ' X 。 矩阵为 Db (X ' X ) OLS
ˆ 中的分量的方差，这个值大，意味着 Db ˆ 会很大，也 b OLS j
ˆ 是不稳定的估计，或称敏感的估计。说明用不同的 就是 b j
1 VIFj 1 R2 j
VIF越偏离于1,相应的Xj与其他解释变量之间的相关性就 越强。当VIFj10时，我们认为存在高度多重共线性
VIF100
50
0
0.0 0.5 1.0
Rj2
多重共线性的解决方法
• 剔除不重要的变量
• 增大样本容量
• 改变变量的形式 x1为国民收入， x2为通胀率， x1与x2存在相关，这时构 x1 x 造新的 1 (实际收入)建立模型 yi b0 b1xi1 i 1 x2 • 岭回归
tj
Se ˆ n m 1
2
ˆ b j ˆ 2c j 1, j 1
和cj+1，j+1均要求同方差才能求出
• 预测精度会降低
检验异方差的方法
• 图示法
把ei做为εi的估计值，然后，建立一个坐标系，横轴表示 x，纵轴表示|e|，描出(xi , |ei| )各点,根据e与x的散布图判 断 e是否有随x变化而变化的趋势。
2 i 2 i
值在-1到+1之间，当rs=0时，x，y之间等级不相关。若rs为其他的值，则需 要通过统计检验判断x、y之间是否具有相关关系。
检验异方差的方法
假设检验表述为：
H0：x、y之间具有相关关系。
H1：x、y之间不具有相关关系。 rs n 2 所采用的统计量及分布为：t ～t(n-2) 2 1 rs 给定，当 t t ，存在相关关系， 当 t t
多重共线性的检验
• 用简单相关系数进行检验（适于二元线性回归）
在二元情况下， yi b0 b1xi1 b2 xi 2 i
只需用x1与x2的简单相关系数据即可检验。
r12
x
x
i1
x1
2
xi 2 x2
i1 x1
百度文库
x
i2
x2
1 2 2
4.1
1. 什么是多重共线性
2. 多重共线性的后果
多重共线性
3. 多重共线性的检验
4. 多重共线性问题的解决方法
什么是多重共线性：
线性模型基本假设要求rank X=m+1，若这一条被违背,即rank X<m+1,即X中某一个向量可被其他几个向量线性表出，这时 1 有〡X’X〡=0 .而 b的最小二乘估计 中的 不存在。 X'X 这时，我们称模型y=xb+ε 中的X具有完全共线性。 当 X ' X 0 的情况，是由于X中的向量存在高度相关，虽然 rank X 仍为m+1,但是由于
(2)建立与xi之间的一元线性回归方程|ei| =a+bxil+ui，ui为随机 干扰，其中 l 可取不同的值，如 l=1,1/2,-1 可以通过 t ， F 检验，
确定|ei|与xi之间最优的回归模型。
(3)如果在所选的 l 值中进行检验，有显著的结果，即存在异 方差。 在多元线性回归模型中，如果ε可能与多个解释变量有关，则 可以类似的方法进行多元线性回归。
样本构造的估计相差可能很大，即对样本敏感。
多重共线性的后果
• • • •
回归方程系数的方差增大
• 回归系数的大小与所期望的不同
回归系数的符号与所期望的不同 增加或减少变量引起回归方程系数较大的变化 增加或减少数据点引起回归方程系数估计值甚或符号 的较大的变化
• 有些情况下，t检验无效而F统计量显著。
m 1 nm
~ F m 1, n m
给定，若
Fj F1 说明相应的xj与其余的x有线性关系。（只要有一
个方程显著，就有多重共线性）
Fj F1 说明相应的与其余的Ｘ没有线性关系
实际操作中，可选择R2j的最大值先做检验
多重共线性的检验
•方差扩大因子（Variance inflation factor ——VIF）
1 ， y* B y
X * B 1 X
y* X *b u (3)，在方程
(3)中，随机干扰u的方差阵
Du=D(B-1ε)= B-1(Dε)B-1’= σ2B-1(BB’)B-1’=σ2I
异方差问题的解决方法
2. 用广义最小二乘法解决异方差问题： 在有异方差的情况下，
12 0 0 k1 0 0 2 0 k 0 2 2 2 2 k 3 3 0 0 0 0 k 2 0 0 n n
1/3～1/4，在小样本时，c也可为0。
3. 剩下的n-c个样本分为两个段，将两段数据分别回归，这样 会获得两个回归方程，记为方程(1)，方程(2)；
) ( 2) 4. 记方程(1)的残差平方和为 S e(1，方程 (2)的残差平方和记为 Se
检验异方差的方法
5. 用 S e ， Se 的均方和构造统计量

t12 r12
n2 ~ t (n 2) 2 1 r12
1
若 t12 t

2
(n 2)无相关关系，t12 t1 (n 2) 有相关关系
2
多重共线性的检验
•多重决定系数
分别将x1…xk作为被解释变量，其余k-1个作为解释变量作
k次多元线性回归，即：
x1 b0 b2 x2 b3 x3 bk xk
将 X ’ X 加一个对角阵 ，使对角线无素增大 ，从而使
ˆ ( x' x D) x' y (X’X+D) 成为一个非奇异阵。而b
4.2
1. 什么是异方差
2. 异方差带来的后果 3. 检验异方差的方法 4. 异方差问题的解决方法
异方差
什么是异方差：
我们在基本假设中对ε的假设之一是要求Dε=σ2I。当同方差性 的要求不满足，即Dεi =σ2i ≠ 常数，我们称这种情况为异方差 性。当数据存在异方差性的时候，模型y=Xb+ε的随机干扰向 量ε的方差矩阵为 Dε=
AΩA’=I。 由于Ω为一个对称正定阵，必存在一个非奇异阵B，使 Ω=BB’，所以，当A=B-1时，AΩA’= B-1（BB’）B-1’=I。 所以，如果对线性回归模型y=Xb+ε(1)，进行左乘B-1的线性 变换，得：B-1y= B-1Xb+ B-1ε(2)，令
u* B1 ；方程(2)又可表示为
设对变量x,y进行了n次观测，并按某个相同的准则排列出 x的等级为x1，x2
，…xn，y的等级为y1，y2，…yn，则x与y的等级相关系数
6 di2 rs 1 n(n2 1)
其中di= xi-yi i =1…n。xi与yi,之差越大， di2越大，当等级完全相反时，
d 达到最大值，此时rs=-1，我们认为x、y之间等级完全负相关。当等级 完全相同时，xi-yi =0， d =0，rs=+1，x与y之间等级完全正相关，一般rs