异方差问题
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如果散点图表现出可识别的系统模式，那 么该回归模型的残差就有存在异方差性的 嫌疑。
uˆ 2对Yˆ（或某个解释变量）的 散点图
varui Eui Eui 2 E ui2
同方差
1、怀特异方差检验（正式方法之一）
假定有如下模型：
Y 1 2 X2 3 X3 u 1、用OLS法估计该回归方程，获得残差uˆ 序列。
Y
X1
X2
X3
Yi 1 2 Xi ui
X
异方差产生的几个根源
1、异方差现象普遍存在于截面数据中。
截面数据是发生在同一时点上不同单位（地区、企业、 个人、区域等等）中关于某个或某些经济变量的数据。 截面数据中，不同的样本点可能来自规模差别很大的不 同单位。不同规模的单位，其经济行为的范围和能力也 不同，从而由其产生的经济变量的波动程度往往不同。
? ?
xiui xi 2
?
)=
xi2Var(ui ) (? xi 2 )2
?
=
(?
xi2
2 i
xi 2 )2
在同方差时，
该形式具有最小方差
Var( ?2 )= 2
? xi2
11
异方差的后果
一、回归系数的OLS估计量仍然满足：
1、线性
2、无偏
二、回归系数的OLS估计量不再满足有效性，也即： 在回归系数的所有线性无偏估计量中，OLS估计 量的方差不再是最小的。甚至在大样本下，也不 具备渐进有效性。
Yi
三、通常方法计算的OLS估计量的样本方差和标准 误都是有偏的和不一致的。（偏大偏小没有定 论）。因此利用通常方法计算的t值、F值或卡方 值进行假设检验都会失效。
四、模型的预测功能失效。
异方差的诊断
一、图示法（非正式的诊断方法） 1、做残差对各个解释变量的散点图。 2、做残差平方对各个解释变量的散点图。 3、做残差平方对Y的拟合值的散点图。
异方差举例
• 个人消费与个人可支配收入的关系。 • 大学生每月生活开支与每月可支配收入的
关系。 • 小区盗窃率与小区警察数量的关系。 • 商品房价格与房屋总面积。 • 等等
人均家庭交通及通讯支出和可支配收入的关系
• 数据：中国1998年各地区城镇居民平均每 人家庭可支配收入及交通和通讯支出。 （单位：元）
2、时间序列也存在异方差性，只是程度上普遍不及 截面数据。
3、边错边改学习模型。
人们在学习过程中，行为误差往往随时间的推移而逐步 减少。比如：在给定的一段时间内，打字出错个数与用 于练习打字的小时数的关系。
4、模型设定偏误。
模型遗漏关键变量将会导致回归残差呈现一定的系统特 征。如果消除设定偏误，异方差现象可能由此消失。
OLS估计仍是线性无偏，但不具最小方差
1、线性性
?2
? xi yi ? xi 2
= 2
? ?xiui xi 2源自2、无偏性一元线性回归模型为例
E( ?2 )=E( 2
? ?
xiui xi 2
)= 2
?
xi E(ui ) = 2 ? xi 2
3、方差
该形式不具有最小方差
Var( ?2
)=Var( 2
2、做如下辅助回归：为了节省自由度，可去掉交叉项
uˆ 2
1
2
X2
3
X3
4
X
2 2
5
X
2 3
6
X2
X3
v
3、求出辅助回归的判定系数R2。怀特证明了：
如果原假设为“u不存在异方差”，那么有：
n
R2
~
2 k 1
k 1为辅助回归解释变量个数
４、如果获得上述 2值的Ｐ值低于给定的显著性水平，
那么拒绝原假设，认为u存在异方差。
• cum：人均家庭交通及通讯支出 • in:人均家庭可支配收入
cum：人均家庭交通及通讯支出 in:人均家庭可支配收入
800
CUM
600
400
200
0
IN
3000 4000 5000 6000 7000 8000 9000
RESID是cum对in的回归残差
200
RESID
100
0
-100
IN
3000 4000 5000 6000 7000 8000 9000
Var( ui
Xi
)
2 i
Var( ui
X２i , X 3i ,..., X ki
)
2 i
同方差 : 随机干扰项的条件方差恒定！
Var( ui X i ) E ui E( ui X i ) 2 E( ui2 X i ) 2
Y
X1
X2
X3
Yi 1 2 Xi ui
X
异方差
Var(ui Xi ) i2
异方差问题
1. 异方差的性质？ 2. 异方差的后果？ 3. 诊断异方差 4. 补救异方差
什么是异方差？
• 回顾经典线性回归模型基本假定
• 同方差假定：随机干扰项的条件方差恒定。
Var( ui Xi ) 2
Var( ui X２i , X 3i ,..., X ki ) 2
• 异方差：随机干扰项的条件方差随解释变 量取值的变化而变化。
varui
2 i
变换上述模型得到：
Yi
i
1
1
i
2
X 2i
i
... k
Xki
i
ui
1
i
新模型的随机干扰项为：vi ui
varvi
1
i
2
varui
varui
2 i
1
i
2 i
2 i
1
同方差
Yi 1 2 X2i 3X3i ... k Xki ui
以1 i 为权数乘以因变量和解释变量（包括常变量），得到：
从一视同仁转变到区别对待。
加权最小二乘法 （weighted least squares，WLS ）
对原模型的所有变量乘上一个权数，使 之满足同方差性，然后对加权变换后的 模型采用普通最小二乘法（OLS）估计 其参数。
情形一： i2已知。
Yi 1 2 X 2i 3 X 3i ... k X ki ui
ei B1 B2 X i i
ei B1 B2 X i i
ei
B1 B2
1 Xi
i
步骤：
1）做OLS估计 2）对ei求绝对值 3）做辅助回归方程
4) 检验零假设B2＝0
17
异方差的修正 （异方差的补救措施）
异方差的修正 （异方差的补救措施）
补救思路：最小化残差平方和的时候对残差平方
2、帕克检验 (Park Test)
• 假定误差方差与解释变量相关形式：
ln
2 i
B1
B2
ln
Xi
i
步骤：
1）做OLS估计
2）对ei求平方，取对数
3) 做辅助回归
ln ei2 B1 B2 ln X i i
4) 检验零假设B2＝0
16
3、格莱泽检验(Glejser Test)
• 假定误差方差与解释变量相关形式：
uˆ 2对Yˆ（或某个解释变量）的 散点图
varui Eui Eui 2 E ui2
同方差
1、怀特异方差检验（正式方法之一）
假定有如下模型：
Y 1 2 X2 3 X3 u 1、用OLS法估计该回归方程，获得残差uˆ 序列。
Y
X1
X2
X3
Yi 1 2 Xi ui
X
异方差产生的几个根源
1、异方差现象普遍存在于截面数据中。
截面数据是发生在同一时点上不同单位（地区、企业、 个人、区域等等）中关于某个或某些经济变量的数据。 截面数据中，不同的样本点可能来自规模差别很大的不 同单位。不同规模的单位，其经济行为的范围和能力也 不同，从而由其产生的经济变量的波动程度往往不同。
? ?
xiui xi 2
?
)=
xi2Var(ui ) (? xi 2 )2
?
=
(?
xi2
2 i
xi 2 )2
在同方差时，
该形式具有最小方差
Var( ?2 )= 2
? xi2
11
异方差的后果
一、回归系数的OLS估计量仍然满足：
1、线性
2、无偏
二、回归系数的OLS估计量不再满足有效性，也即： 在回归系数的所有线性无偏估计量中，OLS估计 量的方差不再是最小的。甚至在大样本下，也不 具备渐进有效性。
Yi
三、通常方法计算的OLS估计量的样本方差和标准 误都是有偏的和不一致的。（偏大偏小没有定 论）。因此利用通常方法计算的t值、F值或卡方 值进行假设检验都会失效。
四、模型的预测功能失效。
异方差的诊断
一、图示法（非正式的诊断方法） 1、做残差对各个解释变量的散点图。 2、做残差平方对各个解释变量的散点图。 3、做残差平方对Y的拟合值的散点图。
异方差举例
• 个人消费与个人可支配收入的关系。 • 大学生每月生活开支与每月可支配收入的
关系。 • 小区盗窃率与小区警察数量的关系。 • 商品房价格与房屋总面积。 • 等等
人均家庭交通及通讯支出和可支配收入的关系
• 数据：中国1998年各地区城镇居民平均每 人家庭可支配收入及交通和通讯支出。 （单位：元）
2、时间序列也存在异方差性，只是程度上普遍不及 截面数据。
3、边错边改学习模型。
人们在学习过程中，行为误差往往随时间的推移而逐步 减少。比如：在给定的一段时间内，打字出错个数与用 于练习打字的小时数的关系。
4、模型设定偏误。
模型遗漏关键变量将会导致回归残差呈现一定的系统特 征。如果消除设定偏误，异方差现象可能由此消失。
OLS估计仍是线性无偏，但不具最小方差
1、线性性
?2
? xi yi ? xi 2
= 2
? ?xiui xi 2源自2、无偏性一元线性回归模型为例
E( ?2 )=E( 2
? ?
xiui xi 2
)= 2
?
xi E(ui ) = 2 ? xi 2
3、方差
该形式不具有最小方差
Var( ?2
)=Var( 2
2、做如下辅助回归：为了节省自由度，可去掉交叉项
uˆ 2
1
2
X2
3
X3
4
X
2 2
5
X
2 3
6
X2
X3
v
3、求出辅助回归的判定系数R2。怀特证明了：
如果原假设为“u不存在异方差”，那么有：
n
R2
~
2 k 1
k 1为辅助回归解释变量个数
４、如果获得上述 2值的Ｐ值低于给定的显著性水平，
那么拒绝原假设，认为u存在异方差。
• cum：人均家庭交通及通讯支出 • in:人均家庭可支配收入
cum：人均家庭交通及通讯支出 in:人均家庭可支配收入
800
CUM
600
400
200
0
IN
3000 4000 5000 6000 7000 8000 9000
RESID是cum对in的回归残差
200
RESID
100
0
-100
IN
3000 4000 5000 6000 7000 8000 9000
Var( ui
Xi
)
2 i
Var( ui
X２i , X 3i ,..., X ki
)
2 i
同方差 : 随机干扰项的条件方差恒定！
Var( ui X i ) E ui E( ui X i ) 2 E( ui2 X i ) 2
Y
X1
X2
X3
Yi 1 2 Xi ui
X
异方差
Var(ui Xi ) i2
异方差问题
1. 异方差的性质？ 2. 异方差的后果？ 3. 诊断异方差 4. 补救异方差
什么是异方差？
• 回顾经典线性回归模型基本假定
• 同方差假定：随机干扰项的条件方差恒定。
Var( ui Xi ) 2
Var( ui X２i , X 3i ,..., X ki ) 2
• 异方差：随机干扰项的条件方差随解释变 量取值的变化而变化。
varui
2 i
变换上述模型得到：
Yi
i
1
1
i
2
X 2i
i
... k
Xki
i
ui
1
i
新模型的随机干扰项为：vi ui
varvi
1
i
2
varui
varui
2 i
1
i
2 i
2 i
1
同方差
Yi 1 2 X2i 3X3i ... k Xki ui
以1 i 为权数乘以因变量和解释变量（包括常变量），得到：
从一视同仁转变到区别对待。
加权最小二乘法 （weighted least squares，WLS ）
对原模型的所有变量乘上一个权数，使 之满足同方差性，然后对加权变换后的 模型采用普通最小二乘法（OLS）估计 其参数。
情形一： i2已知。
Yi 1 2 X 2i 3 X 3i ... k X ki ui
ei B1 B2 X i i
ei B1 B2 X i i
ei
B1 B2
1 Xi
i
步骤：
1）做OLS估计 2）对ei求绝对值 3）做辅助回归方程
4) 检验零假设B2＝0
17
异方差的修正 （异方差的补救措施）
异方差的修正 （异方差的补救措施）
补救思路：最小化残差平方和的时候对残差平方
2、帕克检验 (Park Test)
• 假定误差方差与解释变量相关形式：
ln
2 i
B1
B2
ln
Xi
i
步骤：
1）做OLS估计
2）对ei求平方，取对数
3) 做辅助回归
ln ei2 B1 B2 ln X i i
4) 检验零假设B2＝0
16
3、格莱泽检验(Glejser Test)
• 假定误差方差与解释变量相关形式：