多重共线性与随机解释变量课件
合集下载
第四章 多重共线性
5
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形： 1.经济变量之间具有相同的变化趋势。 2.模型中包含滞后变量。 3.利用截面数据建立模型也可能出现多重共线性。 4.样本数据的原因。
6
第二节 多重共线性的后果
一、完全多重共线性产生的后果
1.参数的估计值不确定 2.参数估计值的方差无限大
Cov( ˆ2 ,
ˆ3 )
(1
r223 )
r23 2
x22i
x32i
随着共线性增加，r23趋于1，方差将增大。同样 协方差的绝对值也增大，它们增大的速度决定于
方差扩大（膨胀）因子(variance inflation factor, VIF)
VIF
1
1 r223
这时
Var(ˆ2 )
4.多重共线性严重时，甚至可能使估计的回归系数 符号相反，得出完全错误的结论。（如引例）
18
第三节 多重共线性的检验
本节基本内容： 简单相关系数检验法 方差扩大因子法 直观判断法 病态指数检验法 逐步回归法
19
一、简单相关系数检验法 简单相关系数检验法是利用解释变量之间的线性 相关程度去判断是否存在严重多重共线性的一种 简便方法。适用于只有两个变量的情形。
2
x32i 0
同理
ˆ3
这说明完全多重共线性时，参数估计量的方差将 变成无穷大。
9
关于方差的推导
Var(ˆ2 )
x32i (x22i ) (x32i )
(x2i x3i )2
2
1 X21 X 1 X22
1 X2n
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形： 1.经济变量之间具有相同的变化趋势。 2.模型中包含滞后变量。 3.利用截面数据建立模型也可能出现多重共线性。 4.样本数据的原因。
6
第二节 多重共线性的后果
一、完全多重共线性产生的后果
1.参数的估计值不确定 2.参数估计值的方差无限大
Cov( ˆ2 ,
ˆ3 )
(1
r223 )
r23 2
x22i
x32i
随着共线性增加，r23趋于1，方差将增大。同样 协方差的绝对值也增大，它们增大的速度决定于
方差扩大（膨胀）因子(variance inflation factor, VIF)
VIF
1
1 r223
这时
Var(ˆ2 )
4.多重共线性严重时，甚至可能使估计的回归系数 符号相反，得出完全错误的结论。（如引例）
18
第三节 多重共线性的检验
本节基本内容： 简单相关系数检验法 方差扩大因子法 直观判断法 病态指数检验法 逐步回归法
19
一、简单相关系数检验法 简单相关系数检验法是利用解释变量之间的线性 相关程度去判断是否存在严重多重共线性的一种 简便方法。适用于只有两个变量的情形。
2
x32i 0
同理
ˆ3
这说明完全多重共线性时，参数估计量的方差将 变成无穷大。
9
关于方差的推导
Var(ˆ2 )
x32i (x22i ) (x32i )
(x2i x3i )2
2
1 X21 X 1 X22
1 X2n
多重共线性PPT课件
协方差同理。
方差膨胀因子(variance-inflating factor, VIF)
1 VIF 1 r223
所以 var b2
2
x22i VIF
2-21
8.5 多重共线性的诊断
在任一给定的情况下，特别是在涉及多于两 个解释变量的模型中，我们怎么知道有没有 共线性？
2-22
1.多重共线性是一个程度问题而不是有无问 题。有意义的区分不在于有无之间，而在于 程度大小。
因为 数。
b2 b3 是一个方程，却有两个未知
对给定的alpha和lamda值，有无穷多个解。
2-15
出现“高度”但“不完全”多重共线性 时的估计问题
仍以上述三变量回归模型为例。 假定 X3i X 2i vi ，其中 vi x2i 0
回归系数估计：
b2
yi x2i 2 x22i vi2
yi x2i
第8章 多重共线性：解释变量
相关会有什么后果？
McGraw-Hill/Irwin
Copyright © 2006 The McGraw-Hill Companies, Inc. All rights reserved.
问题
多重共线性的性质是什么？ 多重共线性是否是一个严重的问题？ 多重共线性的理论后果是什么？ 多重共线性的实际后果是什么？ 实践中如何诊断多重共线性？ 消除多重共线性的补救措施有哪些？
但在应用计量经济学中，我们的宗旨就是区 分每个变量的单独影响。
2-13
把 X3i yi
X 2i 代入回归方程： b2 x2i b3 x2i ei b2 b3 x2i ei
x2i ei
利用OLS公式得：
b2 b3
x2i yi x22i
多重共线性PPT课件
2-2
多重共线性的性质
多重共线性(multicollinearity)原先的含义指一 个回归模型中的一些或全部解释变量之间存 在一种“完全”或者准确的线性关系。 l 1 X1 + l 2 X 2 + L + l k X k = 0 现在共线性更为广义，既包括上述完全共线 性，也包括非完全（高度）共线性的形式。
2-18
8.4 多重共线性的实际后果
OLS估计量的方差和标准误较大。 置信区间变宽。 t值不显著 。 R 2值较高，但t值并不都是统计显著的。 OLS估计量及其标准误对数据的微小变化非常敏感， 即它们很不稳定。 回归系数符号有误。 难以评估各个解释变量对回归平方和（ESS）或者 R 2 的贡献。
2-15
出现“高度”但“不完全”多重共线性 时的估计问题
仍以上述三变量回归模型为例。 假定 X 3i = l X 2i + vi ，其中 å vi x2i = 0
回归系数估计：
b2 =
(邋yi x2i )(l
2
2 2 x2 + v i i )- (l 2 2i 2 2 2i
邋yi x2i +
l 1 X1 + l 2 X 2 + L + l k X k + ui = 0
2-3
为什么CLRM假定无多重共线性？
如果多重共线性是完全的，则X变量的回归 系数将是不确定的，并且它们的标准误为无 穷大。 如果多重共线性是不完全的，则虽然回归系 数可以确定，却有较大的标准误（相对于系 数本身来说），也即系数不能以很高的精度 或准确度加以估计。
2-26
8.7 扩展一例：1960-1982年期间美国的鸡肉需求
第四章 多重共线性
2 X2 3 X3 k Xk 0；或秩（XX）=k,得XX可逆
6.正态性，即 ui ~ N (0,。2 )
Yi 1 2 Xi ui E(Yi ) 1 2 Xi E(ui ) 1 2 Xi c (1 c) 2 Xi
不完全多重共线性的矩阵描述：
设矩阵
1 X 21
X 1 X 22
1 X 2n
Xk1
X
k
2
X kn
不完全多重共线性就是：X ' X 0
即 Rank(X ) k
表明在向量矩阵X中，没有一个列 向量可以由其余的列向量精确线性表 出。
2 X 2 3 X3 k X k 0
3. 在模型中采用大量的滞后变量也容易产生多重共 线性。这是因为滞后变量从经济性质上看与原来的变 量无区别，只是时间上有所不同，从经济意义上这些 变量之间的关联度比较紧密。
例如：在研究消费函数时，作为影响消费行为的
因素，我们不仅要考虑在模型中引入当期的可支配收
入，同时还可能引入以往各期的可支配收入。如果记
对于假定(1)的违反，假设一元线性回归方程， 这时会对截距 1 的估计产生影响，而对 2 的估 计没有影响，详细内容可见第八章；
对于假定（6）的违反，即 ui 不服从正态分布， 这时最小二乘估计仍然是最佳线性无偏估计，并 且在大样本的情况下，随机误差 ui 是渐进服从 正态分布的。
对于违反假定2、3、4、5，我们将在第四 章到第六章以及第八章分布讨论。
以上各种情况只是在建模过程中对多重共线性产 生原因的总结。在建模时对于不同的问题，需要运用 经济学的原理和具体的经济状况加以认真分析，以判 断模型中解释变量是否存在共线性。
6.正态性，即 ui ~ N (0,。2 )
Yi 1 2 Xi ui E(Yi ) 1 2 Xi E(ui ) 1 2 Xi c (1 c) 2 Xi
不完全多重共线性的矩阵描述：
设矩阵
1 X 21
X 1 X 22
1 X 2n
Xk1
X
k
2
X kn
不完全多重共线性就是：X ' X 0
即 Rank(X ) k
表明在向量矩阵X中，没有一个列 向量可以由其余的列向量精确线性表 出。
2 X 2 3 X3 k X k 0
3. 在模型中采用大量的滞后变量也容易产生多重共 线性。这是因为滞后变量从经济性质上看与原来的变 量无区别，只是时间上有所不同，从经济意义上这些 变量之间的关联度比较紧密。
例如：在研究消费函数时，作为影响消费行为的
因素，我们不仅要考虑在模型中引入当期的可支配收
入，同时还可能引入以往各期的可支配收入。如果记
对于假定(1)的违反，假设一元线性回归方程， 这时会对截距 1 的估计产生影响，而对 2 的估 计没有影响，详细内容可见第八章；
对于假定（6）的违反，即 ui 不服从正态分布， 这时最小二乘估计仍然是最佳线性无偏估计，并 且在大样本的情况下，随机误差 ui 是渐进服从 正态分布的。
对于违反假定2、3、4、5，我们将在第四 章到第六章以及第八章分布讨论。
以上各种情况只是在建模过程中对多重共线性产 生原因的总结。在建模时对于不同的问题，需要运用 经济学的原理和具体的经济状况加以认真分析，以判 断模型中解释变量是否存在共线性。
第七章多重共线性
第七章多重共线性第七章多重共线性若线性模型不满⾜假定6，就称模型有多重共线性。
§7.1 多重共线性的概念⼀. 基本概念：假定6 ()1k r X k n =+<，是指模型中所有⾃变量12,,,,k x x x 1线性⽆关，也可理解为矩阵X 的列向量线性⽆关。
若不满⾜该假定，即 ()1k r X k <+，则称12,,,,k x x x 1存在完全多重共线性，12,,,,k x x x 1存在严格的线性关系，这是⼀种极端情况；若12,,,,k x x x 1之间的线性关系不是严格的，⽽是⼀种近似的线性关系，则称⾼度相关或存在不完全多重共线性。
如，01122i i i i y x x u βββ=+++ 若12,λλ?不全为零，使11220i i x x λλ+=，完全多重共线性11220i i i x x v λλ++= 不完全多重共线性完全多重共线性和不完全多重共线性统称为多重共线性。
解释变量（⾃变量）之间的线性关系可⽤拟合优度2i R 描述，2i R 表⽰i x 对其它解释变量的拟合优度，21i R = 完全 21i R ≈⾼度 20i R = ⽆⼆. 产⽣的原因：在实际经济问题中主要是不完全多重共线性。
其产⽣的主要原因是：1. 两个解释变量具有相同或相反的变化趋势；（家庭能耗与住房⾯积、⼈⼝）⽣产、需求.......2. 数据收集的范围过窄，造成解释变量之间有相同或相反变化的假象；3. 某些解释变量之间存在某种近似的线性关系；（各解释变量有相同的时间趋势）4. ⼀个变量是另⼀个变量的滞后值；供给5. 解释变量的选择不当也可能引起变量间的多重共线性。
6. 过度决定模型。
(观测值个数少于参数个数)对于正确设置的模型，多重共线性基本上是⼀种样本现象。
§7.2 多重共线性的后果⼀. 完全多重共线性当模型具有完全多重共线性时，⽆法进⾏参数的OLS 估计；设模型 Y XB U =+，若有完全多重共线性，即()1k r X k <+，则()1T r X X k <+ 1()T X X -?不存在1()T TB X X X Y ∧-?=不存在，同样 21()()Tj u jj V X X βσ∧-=也不存在，显著性检验和预测都⽆法进⾏。
《多重共线性》课件
诊断方法比较
检验统计量
检验统计量提供量化指标，可以 明确指出多重共线性的程度，但 其依赖于样本数据，稳定性相对
较差。
图形化诊断
图形化诊断直观易理解，但可能存 在主观性，并且难以量化多重共线 性的程度。
综合运用
在实际应用中，应综合运用多种方 法进行多重共线性的诊断，以确保 诊断结果的准确性和可靠性。
Condition Index
Condition Index是诊断多重共线性的另一种统计量，当某些Condition Index值特别 大时，可能存在多重共线性问题。
图形化诊断
散点图
通过绘制自变量间的散点图，可以直 观地观察到是否存在线性关系，从而 初步判断是否存在多重共线性问题。
相关系数矩阵
通过绘制相关系数矩阵，可以观察到 自变量间的相关系数，当某两个自变 量的相关系数接近1或-1时，可能存 在多重共线性问题。
多重共线性的影响
参数估计值不稳定
01
模型中的参数估计值会随着样本的微小变化而发生较大的变化
，导致模型预测的不稳定性。
模型预测精度降低
02
由于参数估计值的不准确，会导致模型的预测精度降低，预测
结果的可信度下降。
模型解释性差
03
由于解释变量之间的高度相关关系，使得模型难以解释各个解
释变量对因变量的影响程度，降低了模型的解释性。
多重共线性PPT课件
目 录
• 多重共线性的定义 • 多重共线性的成因 • 多重共线性的诊断 • 多重共线性的处理 • 案例分析
01
多重共线性的定义
什么是多重共线性
1
共线性是指解释变量之间存在高度相关性的现象 。
2
在多元线性回归模型中，如果解释变量之间存在 高度相关关系，会导致模型估计的参数不准确， 甚至出现完全错误的结论。
多重线性-PPT课件
• 滞后变量的引入
在计量经济模型中，往往需要引入滞后经济变 量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。
• 一般经验
对于采用时间序列数据作样本、以简单线性形 式建立的计量经济学模型，往往存在多重共线性。
以截面数据作样本时，问题不那么严重，但 多重共线性仍然是存在的。
解 该 线 性 方 程 组 得 ：
xy xy ˆ x xx
1 i i 2 i i 2 1 i 1 2 y x 0 0 xx x x x x x
1 i 2 i 2 2 i 1 i i 2 1 i i 2 1 i 2 1 i 2 1 i 2 1 i 1 i 2 i 2 2 i 2 2 1 i 2 1 i
第六章 多重共线性 (Multi-Collinearity)
• 第一节 多重共线性的定义 • 第二节 多重共线性的检验 • 第三节 多重共线性的消除
第一节 多重共线性的定义
多重量共线性及产生原因 多重共线性的后果
一、多重共线性的概念及其产 生原因
解释变量之间存在较强的线性相关关系,使 得 XT X 的行列式值近似于0(等于0是完全共 线性),逆阵可求得,但不稳定。出现于多元线 性模型。例：生产函数、需求函数.
在矩阵表示的线性回归模型 Y=XB+N 中，完全共线性指：秩(X)<k+1，即矩阵
1 1 X 1 X11 X21 X12 X22 X1n X2n Xk1 Xk2 Xkn
中 ， 至 少 有 一 列 向 量 可 由 其 他 列 向 量 （ 不 包 括 第 一 列 ） 线 性 表 出 。
第四章 多重共线性
建筑业增加值JZZ
总人口TPOP 最终消费CUM 受灾面积SZM
-1.527089
0.151160 0.101514 -0.036836
1.206242
0.033759 0.105329 0.018460
-1.265989
4.477646 0.963783 -1.995382
0.2208
0.0003 0.3473 0.0605
计量经济学
第四章 多重共线性
1
基本假定是否现实?
假定1：零均值假定 或 相关假定
E ( u i ) 0 ( i 1, 2, , n )
E (u) = 0
假定2和假定3：同方差和无自
C ov ( u i , u j ) E[( u i - E u i )( u j - E u j )] E ( u i u j )
632.0999
0.000000 6
模型估计与检验结果分析
●可决系数为0.995，校正的可决系数为0.993，模型 拟合很好。模型对财政收入的解释程度高达99.5%。 ●F统计量为632.10，说明0.05水平下回归方程整体 上显著。 ● t 检验结果表明，除了工业增加值和总人口以外， 其他因素对财政收入的影响均不显著。 ●农业增加值和建筑业增加值的回归系数是负数。 农业和建筑业的发展反而会使财政收入减少吗？! 这样的异常结果显然与理论分析和实践经验不相符。 若模型设定和数据真实性没问题，问题出在哪里呢？
2
（ y x )( x 3i） y i x 3i）（ x 3 i x 3 i ) （ 0 ˆ i 3i 3 2 2 2 2 2 ( x i )( x 3 i ) ( x 3 i x 3 i ) 0
第六章 多重共线性PPT课件
第六章 多重共线性
Economenometrics
EViews软件中可以直接计算(解释)变量的相关系数矩阵： [命令方式] COR 解释变量名 [菜单方式] 将所有解释变量设置成一个数组，并在数组窗口中点击View＼
Correlations。
考察解释变量的样本数据矩阵:
下的临界值，而发现：（1）系数估计值的符号与理论分析结果相违背；；（2）某些变 量对应的回归系数t值偏低或不显著；（3）当一个不太重要的解释变量被删除后，或者 改变一个观测值时，回归结果显著变化，则该模型可能存在多重共线性。
【例6.3.1】分析我国居民家庭电力消耗量与可支配收入及居住面积的 关系，以预测居民家庭对电力的需求量（具体数据见表6.3.1）。
经济变量之间往往存在同方向的变化趋势 经济变量之间往往存在着密切的关联度 在模型中引入滞后变量也容易产生多重共线性
在建模过程中由于解释变量选择不当，引起了变量之间的 多重共线性
第六章 多重共线性
Econometrics
第六章 多重共线性
Econometrics
多元线性回归模型
1．增大最小二乘估计量的方差
潘鸿
孙敬水.计量经济学（第二 版)[M].北京：清华大学出 版社，2009.
应具备的预备知识
◆《经济学》理论：
宏观、微观经济学
◆《概率论与数理统计》基础：
如随机变量、概率分布、期望、方差、协方 差、点估计、区间估计、假设检验、方差分 析、正态分布、t分布、F分布等概念和性质
◆《线性代数》基础：
矩阵及运算、线性方程组等
❖辅助回归模型检验：将住房面积对收入进行回归，住房面积与收入之
间存在显著的线性关系。
住房面积的系数在方程（6.3.7）中是显著的，在方程（6.3.8）中不显著；从F 统计量值可以看出，收入和住房面积对电力消费量的共同影响是显著的。