多重共线性
多重共线性
多重共线性多重共线性（multicollinearity ）的特征● 多重共线性是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系：0...2211=+++k k X X X λλλ其中k λλλ,...,,21为常数，但不同时为零。
● 0...2211≈+++k k X X X λλλ， 近似的多重共线性● 通过巴伦坦图做简单的描述。
共线性部分可用两圆圈的重叠部分来衡量。
重叠部分越大，共线性程度越高。
● 我们定义的多重共线性仅对X 变量之间的线性关系而言，它们之间的非线性关系并不违反无多重共线性的假设i i i i u X X Y +++=2210βββ多重共线性的后果●如果多重共线性是完全的，诸X变量的回归系数将是不正确的，并且它们的标准误差为无穷大●如果多重共线性是不完全的，那末，虽然回归系数可以确定，却有较大的标准误差，意思是，系数不能以很高的精确或准精确加以估计，这会导致：-参数估计不精确，也不稳定-参数估计量的标准差较大，影响系数的显著性检验●多重共线性产生的后果具有一定的不确定性●在近似的多重共线性的情况下，只要模型满足CLRM 假定，回归系数就为ＢＬＵＥ，但特定的样本估计量并不一定等于真值。
多重共线性的来源（1）许多经济变量在时间上由共同变动的趋势，如：收入，投资，消费（2）把一些经济变量的滞后值也作为解释变量在模型中使用，而解释变量和滞后变量通常相关，如：消费和过去的收入多重共线性一般与时间序列有关，但在横截面数据中也经常出现多重共线性的检验● 多重共线性是普遍存在的，造成的后果也比较复杂，对多重共线性的检验缺少统一的准则－ 对有两个解释变量的模型，作散点图，或相 关系数，或拟和优度Ｒ平方。
－ 对有多个解释变量的模型，分别用一个解释 变量对其它解释变量进行线性回归，计算拟 和优度22221,...,,k R R R－ 考察参数估计值的符号，符不符合理论 － 增加或减少解释变量，考察参数估计值的变 化－ 对比拟和优度和ｔ检验值多重共线性的修正方法● 增加样本观测值，如果多重共线性是由样本引起的，可以通过收集更多的观测值增加样本容量。
第四章 多重共线性
2
( x2 i x3 i ) 2 x [1 2 x3 i
2 2i
2
2 2 x2 i (1 r23 )
ˆ Var( 3 ) 同样可得
2
2 2 x3 i (1 r23 )
ˆ ˆ Cov( 2 , 3 )
r23 2
2 2 2 (1 r23 ) x2 i x3 i
1 X X 21 X 31
1 X 22 X 32
1 X 2n X 3n
nX 3 X 2 i X 3 i 2 X 3 i
X 2 i
2 X 2 i X 2 i X 3 i
X 3 i n nX 2 2 X 2 i X 3 i nX 2 X 2 i 2 X 3 i nX 3 X 2 i X 3 i
其中vi为随机变量，则称解释变量X2、X3、 …、 Xk 之间存在着不完全的多重共线性。 注意：解释变量之间不存在线性关系，并非不存在 非线性关系，当解释变量之间存在非线性关 系时，并不违反古典假定。
5
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形：
1.经济变量之间具有相同的变化趋势。
10
n X X nX 2 nX 3 n 0
nX 2 X
2 2i
nX 3 X 2 i X 3 i
2 X 3 i
X 2 i X 3 i nX 2
2 2 X 2 i nX 2
X 2 i x2 i X 2 X 3 i x3 i X 3
nX 3
X 2 i X 3 i nX 2 X 3
这里r23是X2，X3的相关系数。
16
计量经济学第四章多重共线性
R-squared
0.989654
Adjusted R-squared 0.986955 S.E. of regression 1437.448 Sum squared resid 47523916 Log likelihood -256.7013 Durbin-Watson stat 1.654140
4
（二）不完全的多重共线性
实际中，常见的情形是解释变量之间存在不 完全的多重共线性。
对于解释变量 X 2 , X 3, X k，存在不全为0的数
1
,
2
,
，使得
k
1 2X2 3X3 ...k Xk u 0
5
（三）解释变量的关系小节
可能表现为三种情形： r为相关系数 (1) rxixj 0 ，解释变量间毫无线性关系。这时多元
Var(ˆ2 )
9
二、不完全多重共线性产生的后果
1、参数估计值的方差增大
Var( βˆ 2 ) = σ 2
1 x22i (1-
r223 )
=
σ2
1
x22i (1 - r223 )
当 r23增大时,
^
Var( 2)
也增大
10
方差膨胀因子 (Variance Inflation Factor)
17 17
2、交叉相关系数（Cross correlation）
相关系数计算的是两组样本的同期相关程 度，交叉相关则可以表示不同期之间的相关 程度。
Eviews操作： Group窗口的view/cross correlation/输入 滞后期设定/ 输出结果阅读：看是否超出2倍标准差线
18
2倍 标准 差线
1、参数估计值有很大的偶然性。 2、参数显著性检验未通过。 3、经济意义检验未通过。 4、相关系数大。
多重共线性
第二章知多元线性回归模型参数向量的最小二乘估计量为: 1 X X X Y 这一表达式成立的前提条件是解释变量X 1 , X 2 , X k 之间没有多重共线性. 如果矩阵X 不是满秩的,则X X 也不是满秩的.必有: X X 0, 从而 X X 不存在, OLS失效, 此时称该模型存在完全的多重共线性.
解释变量的精确线性组合表示,它们的相关系数的绝对值为1.
X s ,h =
Var X is Var X ih ch cs
n
Cov( X is , X ih )
n
n i 1
( X is X is )( X ih X ih )
2
i1 ( X is X is )
则:
x y x
i1 i 2 i1
, 而1与 2却无法估计.
2 在近似共线性下OLS参数估计量的方差变大
我们前面已论述, 在近似共线性下,虽然可以得到OLS估计量: ) X X 1 2 Var (
由于此时 X X 0, 引起 X X 主对角线元素较大, 即 i的方差较大.
1
对此, 如果我们合并两个(或多个)高度线性相关的变量, 可以使用OLS , 但两个(或多个)变量前的参数将无法估计. 例如,对于回归模型:Yi 0 1 X i1 2 X i 2 i i 1, 2 , n 如果有:X i 2 X i1 , 合并两变量 : Yi 0 1 2 X i1 i , 令 1 2 ,
n
( X ih X ih ) i1
n 2
2
1 X s , h 1 在近似的多重共线性下则得不到这样的精确线性组合, 它们的相关系数的绝对值近似为1.
第8章 多重共线性
2011.11
经济学院计统系SLZ
18
Var(βˆ 2 )
=
σ2 Σx22(1 −
γ
2 23
)
注：
由于：r223 =（ΣΣxx222Σxx3）232
因为 − 1 ≤
r23
≤ 1，
所以 1 1 − r223
≥
1
特别：x2、x3不存在共线性时，r23
=
0，
Var（βˆ 2）=
σ2 Σx22
x2 、x3存在不完全共线性时，
r23
≠
0，
Var（βˆ 2）=
σ2 Σx22
×
1
1 − r223
估计值的方差会随解释 变量共线性的高、低变 化，即随
1 增大而增大而增大。如 1 − r223
r223
=
0.5,0.9,0.99时， 1
1 − r223
= 2,10,100
2011.11
经济学院计统系SLZ
19
多重共线性的实际后果
多重共线性:值得注意的是,即使存在不完全共 线 关 系 ,OLS 估 计6）.但这并不意味着其方差值也较 小.
4.统计资料的原因：样本存在某种程度的 多重共线性时，由于样本信息的匮乏，往 往也采用。
2011.11
经济学院计统系SLZ
9
四、多重共线的理论后果
β^=(X'X)-1X'Y, Var(β^)=σ2(X'X)-1
(一) 完全共线性后果
1.参数估计值不确定
例：二元线性回归模型：
Y = β1 + β2X2 + β3X3 + u
1i
i
2i
第四章多重共线性
2
x2j VIFj
注意：R2j 是多个解释变量辅助回归的多重可决系数，
而相关系数 r223只是说明两个变量的线性关系 。
（一元回归中可决系数的数值等于相关系数的平方）
17
方差扩大因子的作用
由
R2j 越大
VIFJ 1 (1 R2j ) 多重共线性越严重
VIFj越大
VIFj的大小可以反映解释变量之间存在多重共线性的严重
1 x22i (1
r223 )
2
x22i
1 (1 r223)
2
x22i
VIF2
当 r23 增大时，VIF2 增大， Var(ˆ2 ) 也会增大 ，
思考: 当 r23 0 时 Var(ˆ2) 2
x22i
(与一元回归比较)
当 r23 1 时 Var(ˆ2 )
（见前页结论） 8
三、当多重共线性严重时，甚至可能使估计
在总体中部分或全部解释变量可能没有线性关系，但是 在具体获得的样本中仍可能有共线性关系，因此多重共线 性问题本质上是一种样本现象。
正因为如此，我们无法对多重共线性问题进行统计假设 检验，只能设法评价解释变量之间多重共线性的严重程度。
5
第二节 多重共线性产生的后果
从参数估计看，在完全无多重共线性时，各解释变量都独
Kt
Kt
ln Qt ln A ln Lt ln Kt ln u
（ln Lt 与 ln Kt 有多重共线性） ln Qt ln A ln Lt ln u
Kt
Kt 22
三、截面数据与时间序列数据的结合
有时在时间序列数据中多重共线性严重的变量，在截 面数据中不一定有严重的共线性
假定前提：截面数据估计出的参数在时间序列中变化不大
多重共线性
可见，主成分回归分析解决多重共线性问题 是通过降维的处理而克服多元共线性的影响， 正确表征变量间的关系。 然而,由于PCR提取X的主成分是独立于因变 量Y而进行的,没有考虑到X对Y的解释作用, 这就增加了所建模型的不可靠性。
3、偏最小二乘回归
针对多元共线性干扰问题,S.Wold和C.Alban 在1983年提出了偏最小二乘回归(Partia Least Squares Regression,简称PLSR)方法。 PLSR方法吸取了主成分回归分析从自变量中 提取信息的思想,同时还考虑了自变量对因 变量的解释问题。
情况二: 出现强影响观测值
进入20世纪80年代后期,人们开始关注 单个或几个样本点对多重共线性的影响。 研究表明,存在两类这样的数据点或点 群:(1)导致或加剧多重共线性 (2)掩盖 存在着的多重共线性。
(a)中因异常观测值的 出现而掩盖了共线 性,(b)中因异常观测值 的出现而产生了共线性。 这样的异常观测值称为 多元共线性强影响观测 值。显然这种观测值会 对设计矩阵的性态产生 很大影响,从而影响参 数估计。
（2）特征根系统（system of eigenvalues） 主要包括条件指数和方差比。条件指数是最 大特征根与每个特征根之比的平方根。当 h j0.5 10 且对应的方差比大于 时，可认为多元共 线性严重存在。
此外，还有几种方法可以进行共线性诊断： 1、自变量的相关系数诊断法 2、多元决定系数值诊断法 3、行列式判别法 4、回归系数方差分解法（RCVD法）
Walker在1989年发展了一种多元共线影响点 的奇异值分解(SVD)的诊断技术。该法在实 践中很有效,但它依据奇异值分解计算较为 繁琐,更为严重的是对多重共线性影响点诊 断的遗漏。另外，我国学者赵进文曾提出多 重共线性影响点的主成分诊断法。
多重共线性
第四章 多重共线性第一节 什么是多重共线性一、多重共线性的含义所谓多重共线性，不仅包括解释变量之间完全（精确）的线性关系，还包括解释变量之间近似的线性关系。
对于解释变量23,,,k X X X ，如果存在不全为零的数123,,,,k λλλλ ，能使得12233i i k ki X X X λλλλ++++ =0 ，（i =1,2,,n ）——即解释变量的数据矩阵的列向量组线性相关。
则称解释变量23,,,k X X X 之间存在着完全的线性关系。
用数据表示，解释变量的数据矩阵为X =213112232223111k k nnkn X X X XX X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当()r X <k 时，也说明解释变量23,,,k X X X 之间存在着完全的线性关系。
当存在完全共线性时，至少有一个变量（列向量）可以用其余的变量（列向量）线性表出。
在实际问题中，完全的共线性并不多见。
常见的情形是解释变量23,,,k X X X 之间存在不完全的共线性，这是指存在不全为零是数123,,,,k λλλλ ，使得12233λλλλ+++++ i i k ki i X X X v =0（i =1,2,,n ）其中i v 是随机变量。
这表明此时解释变量之间只是一种近似的线性关系。
二、产生多重共线性的背景1.经济变量之间具有共同的变化趋势2.模型中包含滞后变量3.利用截面数据建立模型也可能出现共线性4. 样本数据自身的原因第二节 多重共线性产生的后果完全共线性时，矩阵X X '不可逆，参数估计式ˆβ=1()X X X Y -''不存在，OLS 无法应用。
不完全的共线性时，1()X X -'也存在，可以得到参数的估计值，但是对计量经济分析可能会产生一系列影响。
一、参数估计量的无偏性依然成立不完全共线性时ˆ()E β=1()E X X X Y -''⎡⎤⎣⎦=1()()E X X X X U β-''⎡⎤+⎣⎦=β+()1()X X X E U -''=β二、参数OLS 估计值方差扩大 如二元回归模型i Y =12233i i i X X u βββ+++中的2X 与3X 为不完全的共线性时，2X 与3X 之间的相关系数23r 可由下式给出223r=2232223()x x x x∑∑∑容易证明2ˆ()Var β=222223(1)i x r σ-∑3ˆ()Var β=222323(1)ixr σ-∑随着共线性的程度增加，23r 的绝对值趋于1，两个参数估计量的方差也增大。
第七章 多重共线性
2
X 1i 1 r 2
2
ˆ 同理:Var b2
2
X 2i 1 r 2
2
第二节
多重共线性的影响后果
2
ˆ 当完全不共线时，r=0, Var b1
X
2 1i
当不完全共线时，r越接近1,相关程度越高， bi Var ˆ 越大，参数估计值越不准确。
第四节
多重共线性的解决方法
三、逐步回归法 (1)计算因变量对每一个解释变量的回归方程,并分别 进行统计检验,从中选取最合适的基本回归方程。 (2)逐一引入其他解释变量,重新进行回归，在模型中 每个解释变量均显著,参数符号正确, R 2 值有所提高的前 提下,从中再选取最合适的二元回归方程。 (3)在选取的二元回归方程的基础上以同样的方式引 入第三解释变量;如此引入,直至无法引入新变量为止。
第四节
多重共线性的解决方法
（2）如果历年的平均收入弹性与近期的收入弹性 近似相等，就可以用 a2代替原模型中的 b2 。将原模 ln y a2 ln I b0 b1 ln P 型变为 y1 ln y a2 ln I 令：
p1 ln P 再利用时间序列数据求出价格弹性 b1 以及 b0即可。
第四节
多重共线性的解决方法
二、间接剔除重要的解释变量 1、利用已知信息 所谓已知信息，就是在建立模型之前，根据经 济理论、统计资料或经验分析，已知的解释变量之 间存在某种关系。为了克服模型的多重共线性，可 以将解释变量按已知关系加以处理。
第四节
多重共线性的解决方法
例如：柯布－道格拉斯生产函数
y aL K e
ln y / K ln a ln L / K
多重共线性
我们可以分别作y对x1和y对x2的回归，以便弄清 x1和x2单独对y的影响如何：
yˆi 9.4092 1.6449 x1i (0.0704)
线性。
如果存在不为零的常数 1, 2 ，使得下式成立
1 x1i 2 x2i vi 0 其中vi是随机项，这表示解释变量x1和x2之间存在近 似的线性关系，则说x1和x2之间高度相关，即存在不 完全多重共线性。 完全多重共线性和不完全多重共线性，统称为多重 共线性。因此，所谓多重共线性是指解释变量之间 存在完全的线性关系或近似的线性关系。
§7.2 多重共线性的后果
一般模型
Y X U
(7.2.11)
完全多重共线，即解释变量中存在
0 1 x1i k xki 0 （7.2.12)
其中λi不全为零。于是
rk(X) < k +1
(7.2.13)
便有
| X′X |＝0
(7.2.14)
从而使得参数估计量
ˆ ( X X )1 X Y
i＝1，2，…，k，皆有R2i=0。
多重共线性基本上是一种样本现象。因为人们在制 定模型时，总是尽量避免将理论上具有严格线性关 系的变量作为自变量收集在一起，因此，实际问题 中的多重共线性并不是自变量之间存在理论上或实 际上的线性关系造成的，而是由于所收集的数据(自 变量观察值)之间存在近似的线性关系所致。
例7.2.1 设因变量y和自变量x1、x2具有表7.2.1所示的 观察值，我们用模型
yi 0 1 x1i 2 x2i ui
拟合表7.2.1中的数据。
表7.2.1
y、x1和x2的观察值
yi 30 35 40 45 50 60 68 80 92 104 x1i 10 15 18 22 28 32 38 42 50 55 x2i 9.8 14.9 17.6 21.6 27.6 31 37.2 42.3 50.2 54.6
多重共线性
2.采用综合统计检验法
R2与F值较大，但t检验值较小，说明各解释变量对Y的联合线 性作用显著，但各解释变量间存在共线性而使得它们对Y的独 立作用不能分辨，故t检验不显著。
3.3 多重共线性
3、辅助回归模型检验 通过每个解释变量对其它解释变量的辅助回归模型
xi a0 a1 x1 ai 1 xi 1 ai 1 xi 1 ak xk
3.3多重共线性
• • • • 多重共线性及其产生原因 多重共线性的后果 多重共线性的检验 多重共线性的方法
一、多重共线性及其产生原因
1.多重共线性的概念---解释变量间相关
对于多元线性回归模型 yi=b0+b1x1i+b2x2i+…+bkxki+εi 存在一组不全为零的常数λ1，λ2，…λk，使得 λ1x1i + λ2x2i +…+ λkxki +νi=0 其中νi是一个随机误差项，则称模型存在着多重共线性。 “共线性”：变量间线性相关 “多重”：多种组合 “完全多重共线性”： νi=0
3.3 多重共线性
例5．服装需求函数。根据理论和经验分析，影响居民服 装需求的主要因素有：可支配收入X、流动资产拥有量 K、服装类价格指数P1和总物价指数P0 。教材P124的表 3-4给出了有关统计资料。 设服装需求函数为 ：Y=a+b1x+b2P1+b3P0+b4K+ε (1)相关系数检验 键入：COR Y X K P1 P0 输出的相关系数矩阵为：
3.3 多重共线性
2、间接剔除重要的解释变量 ⑴利用附加信息
例如，著名的Cobb-Dauglas 生产函数中
附加信息： α +β =1 则
多重共线性
比如对于两个解释变量的模型
Yi 1 X 1i 2 X 2i ui
根据我们前面的讨论，参数的最小二乘估计为：
ˆ 1
2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i
R 2 0.8101 ˆ , ˆ ) 0.00868 cov( 1 2
12 0.5523
df 2
ˆ 在单侧t检验的显著水平10%是显著的（1.886）。 1
第二组数据的回归结果
ˆ 1.2108 Y i se (0.7480) t (1.6187) 0.4014 X 1i (0.2721) (1.4752) 0.0270 X 2i (0.1252) (0.2158)
多重共线性
南开大学数学科学学院 白晓棠
多重共线性
在经典的线性回归模型中，我们假定回归模型中诸回归元 之间无多重共线性。
在本节中我们将放松此要求从而来研究： 1、什么是多重共线性？ 2、它会引起什么样的后果？ 3、怎样去发现它？ 4、我们可以采取哪些补救措施来缓解多重共线性的问 题？
第一组数据
Y 1 2 3 4 5
X1 2 0 4 6 8
X2 4 2 12 0 16
第二组数据
Y 1 2 3 4 5
X1 2 0 4 6 8Leabharlann X2 4 2 0 12 16
第一组数据的回归结果
ˆ 1.1939 Y i se (0.7737) t (1.5431) 0.4463 X 1i (0.1848) (2.4151) 0.0030 X 2i (0.0851) (0.0358)
多重共线性
第七章 多重共线性Multi-Collinearity多重共线性 一、多重共线性的概念 二、多重共线性的检验 三、克服多重共线性的方法 四、案例一、多重共线性的概念 对于模型 Yi=β0+β1X1i+β2X2i+…+βkXki+μi i=1,2,…,n 其基本假设之一是解释变量是互相独立的。
如果某两个或多个解释变量之间出现了相 关性，则称为多重共线性。
如果存在 c1X1i+c2X2i+…+ckXki=0 性。
如果存在 c1X1i+c2X2i+…+ckXki+vi=0 性或交互相关。
i=1,2,…,n其中: ci不全为0，则称为解释变量间存在完全共线i=1,2,…,n其中ci不全为0，vi为随机误差项，则称为 近似共线注意： 完全共线性的情况并不多见，一般出现的是 近似共线性。
二、多重共线性的检验(1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说 明两变量存在较强的多重共线性。
(2)对多个解释变量的模型，采用经验检验法 模型特征：R2与F值较大，但t检验值较小，三、克服多重共线性的方法(◆)逐步回归法以Y为被解释变量，逐个引入解释变量，构 成回归模型，进行模型估计。
根据拟合优度的变化决定新引入的变量是否 独立。
如果拟合优度变化显著，则说明新引入的变 量是一个独立解释变量； 如果拟合优度变化很不显著，则说明新引入 的变量与其它变量之间存在共线性关系。
四、案例根据理论和经验分析，影响粮食生产（Y）的 主要因素有： 农业化肥施用量（X1）；粮食播种面积(X2) 成灾面积(X3); 农业机械总动力(X4); 农业劳动力(X5) 已知中国粮食生产的相关数据，建立中国粮食 生产函数： Y=β0+β1 X1 +β2 X2 +β3 X3 +β4 X4 +β4 X5 +μ年份粮食产量表 4.3.3 中国粮食生产与相关投入资料 受灾面积 粮食播种面 农业机械总 农业化肥施 用量 X 1 （万公斤） 1659.8 1739.8 1775.8 1930.6 1999.3 2141.5 2357.1 2590.3 2806.1 2930.2 3151.9 3317.9 3593.7 3827.9 3980.7 4083.7 4124.3 4146.4 积 X2 （千公顷） 114047 112884 108845 110933 111268 110123 112205 113466 112314 110560 110509 109544 110060 112548 112912 113787 113161 108463Y1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 (万吨) 38728 40731 37911 39151 40208 39408 40755 44624 43529 44264 45649 44510 46662 50454 49417 51230 50839 46218X3（公顷） 16209.3 15264.0 22705.3 23656.0 20392.7 23944.7 24448.7 17819.3 27814.0 25894.7 23133.0 31383.0 22267.0 21233.0 30309.0 25181.0 26731.0 34374.0动力 X 4 （万千瓦） 18022 19497 20913 22950 24836 26575 28067 28708 29389 30308 31817 33802 36118 38547 42016 45208 48996 52574农业劳动 力X5 （万人） 31645.1 31685.0 30351.5 30467.0 30870.0 31455.7 32440.5 33330.4 34186.3 34037.0 33258.2 32690.3 32334.5 32260.4 32434.9 32626.4 32911.8 32797.51、用OLS法估计上述模型：ˆ = −12816.44 + 6.213 X + 0.421X − 0.166 X − 0.098 X − 0.028 X Y 1 2 3 4 5(-0.91)(8.39)(3.32)(-2.81)(-1.45)(-0.14)R2接近于1； 给定α=5%，得F临界值 F0.05(5,12)=3.11 F=638.4 > 15.19， 故认上述粮食生产的总体线性关系显著成立。
多重共线性
多重共线性 §1 概述多重共线性的概念 （一）完全的多重共线性 ⒈定义对于k 个解释变量，如果存在一组不全为零的数12,,...k λλλ，使得1122...0k k X X X λλλ+++=则称12,,...,k X X X 之间存在完全的多重共线性 ⒉等价形式rank （X ）< k+1 ，矩阵X 不满秩0X X '=()1X X -'不存在（二）不完全的多重共线性对于k 个解释变量，如果存在一组不全为零的数12,,...k λλλ，使得1122...0k k X X X λλλμ++++=其中μ为随机变量则称12,,...,k X X X 之间存在不完全的多重共线性（三）无多重共线性即没有上述完全和不完全的多重共线性，此时rank （X ）< k+1，()1X X -'存在。
§2 多重共线性的产生原因和后果 一、 多重共线性的产生原因 二、 多重共线性的后果 （一） 完全的多重共线性 1. 参数估计值不确定11ˆ()()1()ˆX X X Y rank X k X X X ββ--''='<+⇒⇒⇒不满秩不存在无法估出2. 参数估计量的方差无穷大 （二） 不完全的多重共线性1. 参数估计值具有较大的不确定性2. OLS 估计仍然是无偏估计，但估计量的方差随着共线性程度的提高而提高 对二元回归，有2212221121212212121ˆ()111iiVar VIFxr xVIF r r r VIF σσβ==∙-=---↑⇒↑⇒↑⇒↑⇒↑∑∑其中方差膨胀因子共线性程度方差3.一个或多个系数的t 值不显著 对二元回归，有21212111111ˆˆˆ()()ˆ()r r VIF Var Se t t Se ββββ↑⇒↑⇒↑⇒↑⇒↑↑⇒↑⇒=↓⇒共线性程度方差更容易不显著§3 多重共线性的判断（检测） 一、 直观判断观测t 、F 和2R（1）F ，2R 很高――解释变量对因变量的联合影响明显 （2）部分或全部t 值不显著――无法分解出各解释变量对因变量的单独影响二、 观测相关系数 1. 简单相关系数矩阵法缺点：考察两个解释变量相关程度时，未排除其余解释变量对它们的影响2．偏相关系数法 三、辅助回归法1. 利用不包括某一解释变量所构成的判定系数2. 利用解释变量之间所构成回归方程的判定系数 四、本征值和条件指数 五、容许度和方差膨胀因子§4 多重共线性的解决方法（修正） 一、 增大样本容量001222212221121211 1ˆ()1ˆ()i i i i ii Y X X Var VIF x r x x Var βββσσββ=++==∙-↑⇒↓⇒∑∑∑对于一定程度抵消VIF>1的影响二、 利用先验信息改变参数的约束形式1ln ln ln ln ln ,ln 1t t tt t t t t tt t t tt tt t tt t t Q AL K Q A L K L K K L Q AL KAL A K K K Q L A K K αβαααααααβαβ-==+++⎛⎫=== ⎪⎝⎭⎛⎫= ⎪⎝⎭高度相关加入约束条件＝，则三、数据的结合时间序列数据⇒时间序列数据与横截面数据相结合01122t 222i21122tu Y u ˆ MPC MPC ˆ u t t t i i tttY X X X Y X Y X X βββαβββββ=+++=++=+++销量价格收入1.找到某一时点的，的数据(截面数据)，估计得出，即该横截面2.假定该不仅适用于该横截面，也适用于一段时间，则22011t011t 01ˆ u ˆˆ u MPC t t t t t Y X X Y X βββββββ*-=++=++估计，可得，局限性：只有当各横截面随时间变化不大时方可使用四、模型的差分变换01122t 10111221t-11111122212t-1 u u u t t t t t t t t t t t t t t Y X X Y X X Y Y X X X X X Y βββββββββ------=+++=+++--∆=（）（）（）（）（1）（2）（1）-（2）=（）+（-）+（-）1122u u t t t t X X β∆+∆+∆∆缺陷：（1）丧失人们所关注的经济关系（2）易出现自相关问题五、逐步回归法 1. 基本思路Y X ⇒⇒⇒对每个经济意义检验选出最优的逐步引入其他作一元回归统计检验基本回归方程解释变量2.对新增变量的判别标准。
第四章 多重共线性
多重共线性的定义 产生多重共线性的背景 多重共线性产生的后果 多重共线性的检验 多重共线性的补救措施
第四章 多重共线性
一、多重共线性的定义：案例1 能源消费 多重共线性的定义：案例1
1、完全多重共线性： 、完全多重共线性： 对于 变 量 X 2 , X 3 ,L, X k ，如 果 存在 不全 为零 的数 λ2，λ3， ，λk ， 使 L
年份 财政收 农业增 工业增 建筑业 总人口/ 最终消 入CS 加值NZ 加值GZ 增加值 万人 费CUM
1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1132.3 1146.4 1159.9 1175.8 1212.3 1367 1642.9 2004.8 2122 2199.4 2357.2 2664.9 2937.1 3149.48 3483.37 1018.4 1258.9 1359.4 1545.6 1761.6 1960.8 2295.5 2541.6 2763.9 3204.3 3831 4228 5017 5288.6 5800 1607 1769.7 1996.5 2048.4 2162.3 2375.6 2789 3448.7 3967 4585.8 5777.2 6484 6858 8087.1 10284 138.2 143.8 195.5 207.1 220.7 270.6 316.7 417.9 525.7 665.8 810 794 859.4 1015.1 1415 96259 97542 98705 100072 101654 103008 104357 105851 107507 109300 111026 112704 114333 115823 117171 2239.1 2619.4 2976.1 3309.1 3637.9 4020.5 4694.5 5773 6542 7451.2 9360.1 10556.5 11365.2 13145.9 15952.1
多重线性-PPT课件
• 滞后变量的引入
在计量经济模型中，往往需要引入滞后经济变 量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。
• 一般经验
对于采用时间序列数据作样本、以简单线性形 式建立的计量经济学模型，往往存在多重共线性。
以截面数据作样本时，问题不那么严重，但 多重共线性仍然是存在的。
解 该 线 性 方 程 组 得 ：
xy xy ˆ x xx
1 i i 2 i i 2 1 i 1 2 y x 0 0 xx x x x x x
1 i 2 i 2 2 i 1 i i 2 1 i i 2 1 i 2 1 i 2 1 i 2 1 i 1 i 2 i 2 2 i 2 2 1 i 2 1 i
第六章 多重共线性 (Multi-Collinearity)
• 第一节 多重共线性的定义 • 第二节 多重共线性的检验 • 第三节 多重共线性的消除
第一节 多重共线性的定义
多重量共线性及产生原因 多重共线性的后果
一、多重共线性的概念及其产 生原因
解释变量之间存在较强的线性相关关系,使 得 XT X 的行列式值近似于0(等于0是完全共 线性),逆阵可求得,但不稳定。出现于多元线 性模型。例：生产函数、需求函数.
在矩阵表示的线性回归模型 Y=XB+N 中，完全共线性指：秩(X)<k+1，即矩阵
1 1 X 1 X11 X21 X12 X22 X1n X2n Xk1 Xk2 Xkn
中 ， 至 少 有 一 列 向 量 可 由 其 他 列 向 量 （ 不 包 括 第 一 列 ） 线 性 表 出 。
多重共线性(Multi-Collinearity)
i 0 1 1i 2 2i
k ki i
（i=1,2,…,n）
其基本假设之一是解释变量
X,
1
X2,,
X
k
互相独立 。
如果某两个或多个解释变量之间出现了相关性， 则称为多重共线性。
如果存在
c1X1i+c2X2i+…+ckXki=0
i=1,2,…,n
其中: ci不全为0，即某一个解释变量可以用其它解释 变量的线性组合表示，则称为解释变量间存在完全
2
1
x12i 1 r 2
2
x12i
所以，多重共线性使参数估计量的方差增大。
方差扩大因子(Variance Inflation Factor)为1/(1-r2)， 其增大趋势见下表：
相关系 0 0.5 0.8 0.9 0.95 0.96 0.97 0.98 0.99 0.999 数平方 方差扩 1 2 5 10 20 25 33 50 100 1000 大因子
多重共线性(Multi-Collinearity)
§2.8 多重共线性
Multi-Collinearity
一、多重共线性的概念 二、多重共线性的后果 三、多重共线性的检验 四、克服多重共线性的方法 五、案例
一、多重共线性的概念
1、多重共线性
• 对于模型
Y X X X
以二元回归模型中的参数估计量ˆ 为例，ˆ 的方差为
1
1
Var(ˆ )
1
ˆ 2
(X X
)1
22
(
ˆ
2
(
x2
2i
)
x2 )( x2 ) ( x
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 多重共线性问题
一、 实验目的
熟练使用EViews 软件进行计量分析，理解多重共线性的检验和估计的基本方法。
二、 基本知识点：
多重共线性的基本概念，多重共线性的后果，检验是否存在的基本方法——样本决定系数检验、参数估计值的经济检验和参数估计值的统计检验，多重共线性的解决办法——逐步回归法。
三、 实验内容及要求：
依据经济学理论，以实际数据（实验数据五）为基础，①建立反映天津市粮食市场需求状况的粮食需求函数。
②检验所建立的粮食需求函数是否存在多重共线性。
③如果存在多重共线性，使用恰当的方法加以解决。
四、 实验指导：
经分析，影响国内旅游市场收入的主要因素，除了国内旅游人数和旅游支出以外，还可能与相关基础设施有关。
为此，考虑的影响因素主要有国内旅游人数X1，城镇居民人居旅游支出X2、农村居民人均旅游支出X3、公路里程X4和铁路里程X5。
为此设定如下的对数形式的计量经济模型：t t t t t t t X X X X X Y μββββββ++++++=54321543210
Y t ——第年全国旅游收入； X1t ——国内旅游人数（万人）； X2t ——城镇居民人均旅游支出（元）； X3t ——农村居民人均旅游支出（元）； X4t ——公路里程（万公里）； X5t ——铁路里程（万公里）。
数据见实验指导数据五，来源于《中国统计年鉴年》
STEP1：参数估计
在Eviews 中点击NEW 项，建立Workfile 输入Y 、X1、X2、X3、X4、X5的数据。
点 击Quick ，选Estimate Equation 项，在OLS 对话框中，键入Y C X1 X2 X3 X4 X5，输出结果。
见图6.4.1。
Dependent Variable: Y Method: Least Squares Date: 12/12/10 Time: 08:35 Sample: 1994 2006 Included observations: 13
Variable
Coefficient Std. Error t-Statistic Prob. C 658.4612 1822.588 0.361278 0.7285 X1 0.046675 0.006842 6.821912 0.0002 X2 6.161783 1.608916 3.829772 0.0065 X3 2.372393 1.083468 2.189629 0.0647 X4 1.134097 1.417467 0.800087 0.4500 X5
-853.5124
426.8085
-1.999755
0.0857
R-squared
0.996586 Mean dependent var 3201.408 Adjusted R-squared 0.994148 S.D. dependent var 1552.189 S.E. of regression 118.7417 Akaike info criterion 12.69582 Sum squared resid 98697.10 Schwarz criterion 12.95656 Log likelihood -76.52280 F-statistic 408.7042 Durbin-Watson stat
1.368523 Prob(F-statistic)
0.000000
图6.4.1 Eviews 输出的回归结果
分析：模型R 2
=0.996586 0.9941482=R 可决系数很高，F 检验值408.7042，显著。
但当α=5%时，t 统计值=2.776，X3、X4和X5系数的t 检验不显著，同时X5的系数否好不符合实际，这表明很可能存在多重共线性。
STEP2：检验
计算各解释变量的相关系数，选择X1、X2、X3、X4、X5数据，点击“quick\group statistics\correlation ”的相关系数矩阵，见表6.4.1。
有相关系数矩阵可以看出：各解释变量相关之间的相关系数较高，证实存在严重多重共线性。
表6.4.1 自变量相关系数矩阵
STEP3：消除多重共线性
采用逐步回归的办法，检验和解决多重共线性问题。
分别作Y 对X1、X2、X3、X4、X5的一元回归，结果如表6.4.2。
表6.4.2 回归结果
以X1为基础，顺次加入其他变量逐步回归。
首先加入X5回归结果为：
t t t
X X Y 5074.134010333.0029.8814ˆ++-= t (4.3736) (3.6639) R 2=0.9752
当α=5%时，365.2)1210()1(025.02/=--=--t k n t α，X5参数的t 检验显著，不予剔除，加入X2回归得：
t t t
t X X X Y 21858.85876.104110503.04331.979ˆ+-+= t (9.7417) (-2.1023) (5.2147) R 2=0.9938
当α=5%时，447.2)1310()1(025.02/=--=--t k n t α，X5参数的t 检验不显著，剔除X5，加入X4回归得：
t t t t
X X X Y 48284.123624.510350.063.3447ˆ+++-= t (4.9483) (7.1915) (0.9468) R 2=0.9916
当α=5%时，447.2)1310()1(025.02/=--=--t k n t α，X4参数的t 检验不显著，剔除X4，加入X3回归得：
t t t t
X X X Y 37640.222690.310431.0845.29955ˆ+++-= t (15.6195) (3.1570) (2.4482) R 2=0.9916
当α=5%时，447.2)1310()1(025.02/=--=--t k n t α，X1、X2、X3参数的t 检验显著，拟合度也好，这即是消除多重共线性结果。
结论：在其他因素不变的情况下，当城镇居民人均旅游支出X2和农民居民旅游支出X3分别增长1%时，国内旅游收入Y 分别增长3.27%与2.76%。
在其他因素不变的情况下，国内旅游人数每增加1万人次，国内旅游收入Y 将增长0.043亿元。
实验数据五。