多重共线性
第四章 多重共线性
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形： 1.经济变量之间具有相同的变化趋势。 2.模型中包含滞后变量。 3.利用截面数据建立模型也可能出现多重共线性。 4.样本数据的原因。
6
第二节 多重共线性的后果
一、完全多重共线性产生的后果
1.参数的估计值不确定 2.参数估计值的方差无限大
Cov( ˆ2 ,
ˆ3 )
(1
r223 )
r23 2
x22i
x32i
随着共线性增加，r23趋于1，方差将增大。同样 协方差的绝对值也增大，它们增大的速度决定于
方差扩大（膨胀）因子(variance inflation factor, VIF)
VIF
1
1 r223
这时
Var(ˆ2 )
4.多重共线性严重时，甚至可能使估计的回归系数 符号相反，得出完全错误的结论。（如引例）
18
第三节 多重共线性的检验
本节基本内容： 简单相关系数检验法 方差扩大因子法 直观判断法 病态指数检验法 逐步回归法
19
一、简单相关系数检验法 简单相关系数检验法是利用解释变量之间的线性 相关程度去判断是否存在严重多重共线性的一种 简便方法。适用于只有两个变量的情形。
2
x32i 0
同理
ˆ3
这说明完全多重共线性时，参数估计量的方差将 变成无穷大。
9
关于方差的推导
Var(ˆ2 )
x32i (x22i ) (x32i )
(x2i x3i )2
2
1 X21 X 1 X22
1 X2n
多重共线性
多重共线性多重共线性（multicollinearity ）的特征● 多重共线性是指一个回归模型中的一些或全部解释变量之间存在有一种“完全”或准确的线性关系：0...2211=+++k k X X X λλλ其中k λλλ,...,,21为常数，但不同时为零。
● 0...2211≈+++k k X X X λλλ， 近似的多重共线性● 通过巴伦坦图做简单的描述。
共线性部分可用两圆圈的重叠部分来衡量。
重叠部分越大，共线性程度越高。
● 我们定义的多重共线性仅对X 变量之间的线性关系而言，它们之间的非线性关系并不违反无多重共线性的假设i i i i u X X Y +++=2210βββ多重共线性的后果●如果多重共线性是完全的，诸X变量的回归系数将是不正确的，并且它们的标准误差为无穷大●如果多重共线性是不完全的，那末，虽然回归系数可以确定，却有较大的标准误差，意思是，系数不能以很高的精确或准精确加以估计，这会导致：-参数估计不精确，也不稳定-参数估计量的标准差较大，影响系数的显著性检验●多重共线性产生的后果具有一定的不确定性●在近似的多重共线性的情况下，只要模型满足CLRM 假定，回归系数就为ＢＬＵＥ，但特定的样本估计量并不一定等于真值。
多重共线性的来源（1）许多经济变量在时间上由共同变动的趋势，如：收入，投资，消费（2）把一些经济变量的滞后值也作为解释变量在模型中使用，而解释变量和滞后变量通常相关，如：消费和过去的收入多重共线性一般与时间序列有关，但在横截面数据中也经常出现多重共线性的检验● 多重共线性是普遍存在的，造成的后果也比较复杂，对多重共线性的检验缺少统一的准则－ 对有两个解释变量的模型，作散点图，或相 关系数，或拟和优度Ｒ平方。
－ 对有多个解释变量的模型，分别用一个解释 变量对其它解释变量进行线性回归，计算拟 和优度22221,...,,k R R R－ 考察参数估计值的符号，符不符合理论 － 增加或减少解释变量，考察参数估计值的变 化－ 对比拟和优度和ｔ检验值多重共线性的修正方法● 增加样本观测值，如果多重共线性是由样本引起的，可以通过收集更多的观测值增加样本容量。
计量经济学：多重共线性
计量经济学：多重共线性多重共线性52=.53085123 第四章专门讨论古典假定中⽆多重共线性假定被违反的情况，主要内容包括多重共线性的实质和产⽣的原因、多重共线性产⽣的后果、多重共线性的检测⽅法及⽆多重共线性假定违反后的处置⽅法。
第⼀节什么是多重共线性⼀、多重共线性的含义第三章讨论多元线性回归模型的估计时，强调了假定⽆多重共线性，即假定各解释变量之间不存在线性关系，或者说各解释变量的观测值之间线性⽆关。
在计量经济学中所谓的多重共线性(Multi-Collinearity)，不仅包括解释变量之间精确的线性关系，还包括解释变量之间近似的线性关系。
从数学意义上去说明多重共线性，就是对于解释变量k X 、、X X 32，如果存在不全为0的数k λλλ,2,1 ，能使得n ,2, ,1i 033221 ==++++ki k i i X X X λλλλ ( 4.1 )则称解释变量k X X X ,,,32 之间存在着完全的多重共线性。
⽤矩阵表⽰，解释变量的数据矩阵为X=213112232223111k k nnkn X X X X X X X X X ??（4.2）当Rank(X )在实际经济问题中，完全的多重共线性并不多见。
常见的情形是解释变量k X X X ,,,32 之间存在不完全的多重共线性。
所谓不完全的多重共线性，是指对于解释变量k X 、、X X 32，存在不全为0的数k λλλ,2,1 ，使得n ,2, ,1i 033221 ==+++++i ki k i i u X X X λλλλ（4.3）其中,i u 为随机变量。
这表明解释变量k X 、、X X 32只是⼀种近似的线性关系。
如果k 个解释变量之间不存在完全或不完全的线性关系，则称⽆多重共线性。
若⽤矩阵4表⽰，这时X 为满秩矩阵，即Rank(X )=k 。
需要强调，解释变量之间不存在线性关系，并⾮不存在⾮线性关系，当解释变量存在⾮线性关系时，并不违反⽆多重共线性假定。
多重共线性
第二章知多元线性回归模型参数向量的最小二乘估计量为: 1 X X X Y 这一表达式成立的前提条件是解释变量X 1 , X 2 , X k 之间没有多重共线性. 如果矩阵X 不是满秩的,则X X 也不是满秩的.必有: X X 0, 从而 X X 不存在, OLS失效, 此时称该模型存在完全的多重共线性.
解释变量的精确线性组合表示,它们的相关系数的绝对值为1.
X s ,h =
Var X is Var X ih ch cs
n
Cov( X is , X ih )
n
n i 1
( X is X is )( X ih X ih )
2
i1 ( X is X is )
则:
x y x
i1 i 2 i1
, 而1与 2却无法估计.
2 在近似共线性下OLS参数估计量的方差变大
我们前面已论述, 在近似共线性下,虽然可以得到OLS估计量: ) X X 1 2 Var (
由于此时 X X 0, 引起 X X 主对角线元素较大, 即 i的方差较大.
1
对此, 如果我们合并两个(或多个)高度线性相关的变量, 可以使用OLS , 但两个(或多个)变量前的参数将无法估计. 例如,对于回归模型:Yi 0 1 X i1 2 X i 2 i i 1, 2 , n 如果有:X i 2 X i1 , 合并两变量 : Yi 0 1 2 X i1 i , 令 1 2 ,
n
( X ih X ih ) i1
n 2
2
1 X s , h 1 在近似的多重共线性下则得不到这样的精确线性组合, 它们的相关系数的绝对值近似为1.
第四章多重共线性
2
x2j VIFj
注意：R2j 是多个解释变量辅助回归的多重可决系数，
而相关系数 r223只是说明两个变量的线性关系 。
（一元回归中可决系数的数值等于相关系数的平方）
17
方差扩大因子的作用
由
R2j 越大
VIFJ 1 (1 R2j ) 多重共线性越严重
VIFj越大
VIFj的大小可以反映解释变量之间存在多重共线性的严重
1 x22i (1
r223 )
2
x22i
1 (1 r223)
2
x22i
VIF2
当 r23 增大时，VIF2 增大， Var(ˆ2 ) 也会增大 ，
思考: 当 r23 0 时 Var(ˆ2) 2
x22i
(与一元回归比较)
当 r23 1 时 Var(ˆ2 )
（见前页结论） 8
三、当多重共线性严重时，甚至可能使估计
在总体中部分或全部解释变量可能没有线性关系，但是 在具体获得的样本中仍可能有共线性关系，因此多重共线 性问题本质上是一种样本现象。
正因为如此，我们无法对多重共线性问题进行统计假设 检验，只能设法评价解释变量之间多重共线性的严重程度。
5
第二节 多重共线性产生的后果
从参数估计看，在完全无多重共线性时，各解释变量都独
Kt
Kt
ln Qt ln A ln Lt ln Kt ln u
（ln Lt 与 ln Kt 有多重共线性） ln Qt ln A ln Lt ln u
Kt
Kt 22
三、截面数据与时间序列数据的结合
有时在时间序列数据中多重共线性严重的变量，在截 面数据中不一定有严重的共线性
假定前提：截面数据估计出的参数在时间序列中变化不大
多重共线性
第四章 多重共线性第一节 什么是多重共线性一、多重共线性的含义所谓多重共线性，不仅包括解释变量之间完全（精确）的线性关系，还包括解释变量之间近似的线性关系。
对于解释变量23,,,k X X X ，如果存在不全为零的数123,,,,k λλλλ ，能使得12233i i k ki X X X λλλλ++++ =0 ，（i =1,2,,n ）——即解释变量的数据矩阵的列向量组线性相关。
则称解释变量23,,,k X X X 之间存在着完全的线性关系。
用数据表示，解释变量的数据矩阵为X =213112232223111k k nnkn X X X XX X X X X ⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦当()r X <k 时，也说明解释变量23,,,k X X X 之间存在着完全的线性关系。
当存在完全共线性时，至少有一个变量（列向量）可以用其余的变量（列向量）线性表出。
在实际问题中，完全的共线性并不多见。
常见的情形是解释变量23,,,k X X X 之间存在不完全的共线性，这是指存在不全为零是数123,,,,k λλλλ ，使得12233λλλλ+++++ i i k ki i X X X v =0（i =1,2,,n ）其中i v 是随机变量。
这表明此时解释变量之间只是一种近似的线性关系。
二、产生多重共线性的背景1.经济变量之间具有共同的变化趋势2.模型中包含滞后变量3.利用截面数据建立模型也可能出现共线性4. 样本数据自身的原因第二节 多重共线性产生的后果完全共线性时，矩阵X X '不可逆，参数估计式ˆβ=1()X X X Y -''不存在，OLS 无法应用。
不完全的共线性时，1()X X -'也存在，可以得到参数的估计值，但是对计量经济分析可能会产生一系列影响。
一、参数估计量的无偏性依然成立不完全共线性时ˆ()E β=1()E X X X Y -''⎡⎤⎣⎦=1()()E X X X X U β-''⎡⎤+⎣⎦=β+()1()X X X E U -''=β二、参数OLS 估计值方差扩大 如二元回归模型i Y =12233i i i X X u βββ+++中的2X 与3X 为不完全的共线性时，2X 与3X 之间的相关系数23r 可由下式给出223r=2232223()x x x x∑∑∑容易证明2ˆ()Var β=222223(1)i x r σ-∑3ˆ()Var β=222323(1)ixr σ-∑随着共线性的程度增加，23r 的绝对值趋于1，两个参数估计量的方差也增大。
第七章 多重共线性
2
X 1i 1 r 2
2
ˆ 同理:Var b2
2
X 2i 1 r 2
2
第二节
多重共线性的影响后果
2
ˆ 当完全不共线时，r=0, Var b1
X
2 1i
当不完全共线时，r越接近1,相关程度越高， bi Var ˆ 越大，参数估计值越不准确。
第四节
多重共线性的解决方法
三、逐步回归法 (1)计算因变量对每一个解释变量的回归方程,并分别 进行统计检验,从中选取最合适的基本回归方程。 (2)逐一引入其他解释变量,重新进行回归，在模型中 每个解释变量均显著,参数符号正确, R 2 值有所提高的前 提下,从中再选取最合适的二元回归方程。 (3)在选取的二元回归方程的基础上以同样的方式引 入第三解释变量;如此引入,直至无法引入新变量为止。
第四节
多重共线性的解决方法
（2）如果历年的平均收入弹性与近期的收入弹性 近似相等，就可以用 a2代替原模型中的 b2 。将原模 ln y a2 ln I b0 b1 ln P 型变为 y1 ln y a2 ln I 令：
p1 ln P 再利用时间序列数据求出价格弹性 b1 以及 b0即可。
第四节
多重共线性的解决方法
二、间接剔除重要的解释变量 1、利用已知信息 所谓已知信息，就是在建立模型之前，根据经 济理论、统计资料或经验分析，已知的解释变量之 间存在某种关系。为了克服模型的多重共线性，可 以将解释变量按已知关系加以处理。
第四节
多重共线性的解决方法
例如：柯布－道格拉斯生产函数
y aL K e
ln y / K ln a ln L / K
计量经济学(第四章多重共线性)
06
总结与展望
研究结论总结
多重共线性现象普遍存在于经济数据中，对计量 经济学模型的估计和解释产生了重要影响。
通过使用多种诊断方法，如相关系数矩阵、方差膨 胀因子（VIF）和条件指数（CI），可以有效地识别 多重共线性问题。
在存在多重共线性的情况下，普通最小二乘法 （OLS）估计量虽然仍然是无偏的，但其方差可能 变得很大，导致估计结果不稳定。
主成分分析法的优点
可以消除多重共线性的影响，同 时降低自变量的维度，简化模型。
岭回归法
岭回归法的基本思想
通过在损失函数中加入L2正则化项（即所有自变量的平方和），使得回归系数的估计更加稳定， 从而消除多重共线性的影响。
岭回归法的步骤
首先确定正则化参数λ的值，然后求解包含L2正则化项的损失函数最小化问题，得到岭回归系数的估 计值。
逐步回归法的优点
可以自动选择重要的自变量，同时消除多重共线性的影响。
主成分分析法
主成分分析法的基本思想
通过正交变换将原始自变量转换 为互不相关的主成分，然后选择 少数几个主成分进行回归分析。
主成分分析法的步骤
首先对原始自变量进行标准化处理， 然后计算相关系数矩阵并进行特征值 分解，得到主成分及其对应的特征向 量。最后，选择少数几个主成分作为 新的自变量进行回归分析。
岭回归法的优点
可以有效地处理多重共线性问题，同时避免过拟合现象的发生。此外，岭回归法还可以提供对所 有自变量的系数进行压缩估计的功能，使得模型更加简洁易懂。
05
实证研究与结果分
析
数据来源及预处理
数据来源
本研究采用的数据集来自于公开的统 计数据库，涵盖了多个经济指标和影 响因素的观测值。
数据预处理
多重共线性讲义
9
3.参数估计量经济含义不合理 如果模型中两个解释变量具有线性相关性，例如 X2= X1 ，这时，X1和
X2前的参数1、2并不反映各自与被解释变量之间的结构关系，而是反映它 们对被解释变量的共同影响。1、2已经失去了应有的经济含义，于是经常 表现出似乎反常的现象：例如1本来应该是正的，结果恰是负的。
如果存在 c1X1i+c2X2i+…+ckXki+vi=0 i=1,2,…,n
其中ci不全为0，vi为随机误差项，则称为 不完全多重共线性或欠完 全多重共线性（approximate multicollinearity）。
4
7.2.产生多重共线性的原因
一般地，产生多重共线性的主要原因有以下四个方面： （1）经济变量相关的共同趋势 时间序列样本：经济繁荣时期，各基本经济变量（收入、消费、 投资、价格）都趋于增长；衰退时期，又同时趋于下降。 横截面数据：生产函数中，资本投入与劳动力投入往往出现高度 相关情况，大企业二者都大，小企业都小。 （2）滞后变量的引入 在经济计量模型中，往往需要引入滞后经济变量来反映真实的经济 关系。 例如，消费=f(当期收入, 前期收入），显然，两期收入间有较强的 线性相关性。
14
15
2、辅助回归法
利用模型中每一个解释变量分别以其余解释变量为解释变量进行回归， 并计算相应的拟合优度。
如果某一种回归 X j c 1X1 2 X 2 ... j1X j1 j1X j1 ... k X k
的判定系数较大，说明Xj与其他X间存在共线性。 判别的标准是回归模型是否通过F检验。
多重共线性
我们可以分别作y对x1和y对x2的回归，以便弄清 x1和x2单独对y的影响如何：
yˆi 9.4092 1.6449 x1i (0.0704)
线性。
如果存在不为零的常数 1, 2 ，使得下式成立
1 x1i 2 x2i vi 0 其中vi是随机项，这表示解释变量x1和x2之间存在近 似的线性关系，则说x1和x2之间高度相关，即存在不 完全多重共线性。 完全多重共线性和不完全多重共线性，统称为多重 共线性。因此，所谓多重共线性是指解释变量之间 存在完全的线性关系或近似的线性关系。
§7.2 多重共线性的后果
一般模型
Y X U
(7.2.11)
完全多重共线，即解释变量中存在
0 1 x1i k xki 0 （7.2.12)
其中λi不全为零。于是
rk(X) < k +1
(7.2.13)
便有
| X′X |＝0
(7.2.14)
从而使得参数估计量
ˆ ( X X )1 X Y
i＝1，2，…，k，皆有R2i=0。
多重共线性基本上是一种样本现象。因为人们在制 定模型时，总是尽量避免将理论上具有严格线性关 系的变量作为自变量收集在一起，因此，实际问题 中的多重共线性并不是自变量之间存在理论上或实 际上的线性关系造成的，而是由于所收集的数据(自 变量观察值)之间存在近似的线性关系所致。
例7.2.1 设因变量y和自变量x1、x2具有表7.2.1所示的 观察值，我们用模型
yi 0 1 x1i 2 x2i ui
拟合表7.2.1中的数据。
表7.2.1
y、x1和x2的观察值
yi 30 35 40 45 50 60 68 80 92 104 x1i 10 15 18 22 28 32 38 42 50 55 x2i 9.8 14.9 17.6 21.6 27.6 31 37.2 42.3 50.2 54.6
第6章多重共线性
浙江财经学院 倪伟才
12
例题
例3.3的多重共线性
注意：消费额前面的系数为负的，者符 合常识吗？
题后语：整个回归方程作为整体高度显 著（通过F检验），但有些回归系数不能 通过显著性检验，甚至出现正负号得不 到合理的解释，此时应考虑是否存在多 重共线性。
浙江财经学院 倪伟才
13
四、多重共线性的诊断
（1）R2高，F检验显著，但t检验不显著。
Variable |
VIF
1/VIF
-------------+----------------------
x1 | 482.13 0.002074
x2 | 482.13 0.002074
-------------+----------------------
Mean VIF | 482.13
浙江财经学院 倪伟才
浙江财经学院 倪伟才
17
例题讲解
例3.3多重共线性的判断。（VIF） 1通过辅助回归计算x1的VIF 练习：计算x2的VIF 2:直接产生VIF 3:考虑x1,x2的偏相关系数:0.9776
浙江财经学院 倪伟才
18
stata
相关命令请参考
数据：消费和收入财富的多重共线性.dta reg y x1 x2 vif
浙江财经学院 倪伟才
11
2.近似完全多重共线性的后果
将xi2 xi1 i 代入ˆ1
ˆ1＝
(yi x i1 )(2
x
2 i1
i2 ) - (
yi xi1
yii )(
xi21( 2 xi21 i2 ) ( xi21)2
x
2 i1
)
①将x2=λx1+v代入^1说明x2,x1共线性程度越 高，即v越趋于0，从而^1 趋于不确定。② var(^1 )会增大；③参数显著性检验的t统计量： t= ^1 / [var(^1 )] (1/2) ,存在共线时，var(^1 ) 会增大，t值会变小。对于给定,当|t|<t(/2) , 接受 原假设（相关系数0）表明x1对y的影响不显著。总 之，实际上x1对y的影响是显著的，但由于共线性， 可导致x1对y的影响不显著的！
计量经济学第四章 多重共线性
x2i
3 2
x3i
x3i
参数的估计值为：
ˆ2
x32i x2i yi x2i x3i x3i yi
(
x22i )(
x32i ) (
x2i
x 3i
)2
x32i
2
x3i yi x32i 2 2
x32i x32i
x2i x3i x22i
x2i x3i
ˆ1 Y ˆ2 X 2 ˆ3 X 3
ˆ2
x32i x2i yi x2i x3i x3i yi ( x22i )( x32i ) ( x2i x3i )2
ˆ3
x22i x3i yi x2i x3i x2i yi •
(
x22i )(
x32i ) (
x2i
x 3i
)
2
x2i yi x3i yi
x2i x3i x32i
4.2多重共线性的后果
如果X1和X2完全线性相关，则存在非0的λ使得：
1 2 X 2i 3 X 3i 0
则有：
1 2 X 2 3 X 3 0
2 X 2i X 2 3 X3i X3 0
X 2i X3i X 2iYi
X
2 3i
X
3iYi
VAR
COV
(βˆ )
2
(XX)1
2
N X 2i
X 3i
X2i
X
2 2i
X 2i X 3i
第七章多重共线性
第七章多重共线性第七章多重共线性若线性模型不满⾜假定6，就称模型有多重共线性。
§7.1 多重共线性的概念⼀. 基本概念：假定6 ()1k r X k n =+<，是指模型中所有⾃变量12,,,,k x x x 1线性⽆关，也可理解为矩阵X 的列向量线性⽆关。
若不满⾜该假定，即 ()1k r X k <+，则称12,,,,k x x x 1存在完全多重共线性，12,,,,k x x x 1存在严格的线性关系，这是⼀种极端情况；若12,,,,k x x x 1之间的线性关系不是严格的，⽽是⼀种近似的线性关系，则称⾼度相关或存在不完全多重共线性。
如，01122i i i i y x x u βββ=+++ 若12,λλ?不全为零，使11220i i x x λλ+=，完全多重共线性11220i i i x x v λλ++= 不完全多重共线性完全多重共线性和不完全多重共线性统称为多重共线性。
解释变量（⾃变量）之间的线性关系可⽤拟合优度2i R 描述，2i R 表⽰i x 对其它解释变量的拟合优度，21i R = 完全 21i R ≈⾼度 20i R = ⽆⼆. 产⽣的原因：在实际经济问题中主要是不完全多重共线性。
其产⽣的主要原因是：1. 两个解释变量具有相同或相反的变化趋势；（家庭能耗与住房⾯积、⼈⼝）⽣产、需求.......2. 数据收集的范围过窄，造成解释变量之间有相同或相反变化的假象；3. 某些解释变量之间存在某种近似的线性关系；（各解释变量有相同的时间趋势）4. ⼀个变量是另⼀个变量的滞后值；供给5. 解释变量的选择不当也可能引起变量间的多重共线性。
6. 过度决定模型。
(观测值个数少于参数个数)对于正确设置的模型，多重共线性基本上是⼀种样本现象。
§7.2 多重共线性的后果⼀. 完全多重共线性当模型具有完全多重共线性时，⽆法进⾏参数的OLS 估计；设模型 Y XB U =+，若有完全多重共线性，即()1k r X k <+，则()1T r X X k <+ 1()T X X -?不存在1()T TB X X X Y ∧-?=不存在，同样 21()()Tj u jj V X X βσ∧-=也不存在，显著性检验和预测都⽆法进⾏。
计量经济第六章多重共线性
• 2、数据采集的范围有限，或采集 的样本量小于模型的自变量个数。
• 如在罕见疾病的研究过程中，由于病 情罕见、病因又相当复杂，而只能在 少数的患者身上采集大量的变量信息。
3、模型中采用滞后变量
在计量经济模型中，往往需要引入 滞后变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相 关性。
up
三、方差膨胀因子法
• 自变量间的共线性程度越大时,VIF值也随之 增大。所以也可利用方差膨胀因子来检验 多重共线性问题。 • 一般来说，当VIF >10时，表明 涉及的两个 变量存在高度线性相关，模型存在不完全 多重共线性。
P111 【经典实例】
• 计算得到的方差膨胀因子值分别为
VIF1 =10000,VIF2 =10000,VIF3 =9.6525,VIF4 =11.5875
2 2 2 1
同理易得
ˆ ) Var( 2
• EVIEWS遇到完全多重共线性时，会 显示 • Near singular matrix，无法进行估 计
2、不完全多重共线性下的后果
（1）估计量的方差增大 2 2 x 2 ˆ) 由于 Var ( 1 2 x12x2 (x1 x2 )2
• 可以看出，除了 VIF3 10 ，其余的方 差膨胀因子值均大于10,表明模型中 存在较严重的多重共线性问题。
up
第三节 多重共线性的修正 一、改变模型的形式 二、删除自变量 三、减少参数估计量的方差 四、其它方法 习题
up
• 一、改变模型的形式
• （一）变换模型的函数形式
• 例如将线性回归模型转化为对数模 型或者多项式模型。 • （二）改变模型的自变量的形式
多重共线性
2.采用综合统计检验法
R2与F值较大，但t检验值较小，说明各解释变量对Y的联合线 性作用显著，但各解释变量间存在共线性而使得它们对Y的独 立作用不能分辨，故t检验不显著。
3.3 多重共线性
3、辅助回归模型检验 通过每个解释变量对其它解释变量的辅助回归模型
xi a0 a1 x1 ai 1 xi 1 ai 1 xi 1 ak xk
3.3多重共线性
• • • • 多重共线性及其产生原因 多重共线性的后果 多重共线性的检验 多重共线性的方法
一、多重共线性及其产生原因
1.多重共线性的概念---解释变量间相关
对于多元线性回归模型 yi=b0+b1x1i+b2x2i+…+bkxki+εi 存在一组不全为零的常数λ1，λ2，…λk，使得 λ1x1i + λ2x2i +…+ λkxki +νi=0 其中νi是一个随机误差项，则称模型存在着多重共线性。 “共线性”：变量间线性相关 “多重”：多种组合 “完全多重共线性”： νi=0
3.3 多重共线性
例5．服装需求函数。根据理论和经验分析，影响居民服 装需求的主要因素有：可支配收入X、流动资产拥有量 K、服装类价格指数P1和总物价指数P0 。教材P124的表 3-4给出了有关统计资料。 设服装需求函数为 ：Y=a+b1x+b2P1+b3P0+b4K+ε (1)相关系数检验 键入：COR Y X K P1 P0 输出的相关系数矩阵为：
3.3 多重共线性
2、间接剔除重要的解释变量 ⑴利用附加信息
例如，著名的Cobb-Dauglas 生产函数中
附加信息： α +β =1 则
第四章 多重共线性
多重共线性的定义 产生多重共线性的背景 多重共线性产生的后果 多重共线性的检验 多重共线性的补救措施
第四章 多重共线性
一、多重共线性的定义：案例1 能源消费 多重共线性的定义：案例1
1、完全多重共线性： 、完全多重共线性： 对于 变 量 X 2 , X 3 ,L, X k ，如 果 存在 不全 为零 的数 λ2，λ3， ，λk ， 使 L
年份 财政收 农业增 工业增 建筑业 总人口/ 最终消 入CS 加值NZ 加值GZ 增加值 万人 费CUM
1978 1979 1980 1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1132.3 1146.4 1159.9 1175.8 1212.3 1367 1642.9 2004.8 2122 2199.4 2357.2 2664.9 2937.1 3149.48 3483.37 1018.4 1258.9 1359.4 1545.6 1761.6 1960.8 2295.5 2541.6 2763.9 3204.3 3831 4228 5017 5288.6 5800 1607 1769.7 1996.5 2048.4 2162.3 2375.6 2789 3448.7 3967 4585.8 5777.2 6484 6858 8087.1 10284 138.2 143.8 195.5 207.1 220.7 270.6 316.7 417.9 525.7 665.8 810 794 859.4 1015.1 1415 96259 97542 98705 100072 101654 103008 104357 105851 107507 109300 111026 112704 114333 115823 117171 2239.1 2619.4 2976.1 3309.1 3637.9 4020.5 4694.5 5773 6542 7451.2 9360.1 10556.5 11365.2 13145.9 15952.1
多重共线性(Multi-Collinearity)
i 0 1 1i 2 2i
k ki i
（i=1,2,…,n）
其基本假设之一是解释变量
X,
1
X2,,
X
k
互相独立 。
如果某两个或多个解释变量之间出现了相关性， 则称为多重共线性。
如果存在
c1X1i+c2X2i+…+ckXki=0
i=1,2,…,n
其中: ci不全为0，即某一个解释变量可以用其它解释 变量的线性组合表示，则称为解释变量间存在完全
2
1
x12i 1 r 2
2
x12i
所以，多重共线性使参数估计量的方差增大。
方差扩大因子(Variance Inflation Factor)为1/(1-r2)， 其增大趋势见下表：
相关系 0 0.5 0.8 0.9 0.95 0.96 0.97 0.98 0.99 0.999 数平方 方差扩 1 2 5 10 20 25 33 50 100 1000 大因子
多重共线性(Multi-Collinearity)
§2.8 多重共线性
Multi-Collinearity
一、多重共线性的概念 二、多重共线性的后果 三、多重共线性的检验 四、克服多重共线性的方法 五、案例
一、多重共线性的概念
1、多重共线性
• 对于模型
Y X X X
以二元回归模型中的参数估计量ˆ 为例，ˆ 的方差为
1
1
Var(ˆ )
1
ˆ 2
(X X
)1
22
(
ˆ
2
(
x2
2i
)
x2 )( x2 ) ( x
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ Y 3382118 0.699X 2 .
ˆ Y 319190 0.380X 4 .
(17.45) (6.68) R2=0.7527 F=48.7 DW=1.11
Y
1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 1997 1998 1999 2000 (万吨) 38728 40731 37911 39151 40208 39408 40755 44624 43529 44264 45649 44510 46662 50454 49417 51230 50839 46218
第四次上机
之一
一、多重共线性
案例——中国粮食生产函数
根据理论和经验分析，影响粮食生产（Y）的 主要因素有： 农业化肥施用量（X1）；粮食播种面积(X2) 成灾面积(X3); 农业机械总动力(X4); 农业劳动力(X5)
已知中国粮食生产的相关数据，建立中国粮食 生产函数： Y=0+1 X1 +2 X2 +3 X3 +4 X4 +4 X5 +
X4 动力 （万千瓦） 18022 19497 20913 22950 24836 26575 28067 28708 29389 30308 31817 33802 36118 38547 42016 45208 48996 52574
农业劳动 力X5 （万人） 31645.1 31685.0 30351.5 30467.0 30870.0 31455.7 32440.5 33330.4 34186.3 34037.0 33258.2 32690.3 32334.5 32260.4 32434.9 32626.4 32911.8 32797.5
年份
粮食产量
表 4.3.3 中国粮食生产与相关投入资料 受灾面积 农业化肥施 粮食播种面 农业机械总 用量 X 1 （万公斤） 1659.8 1739.8 1775.8 1930.6 1999.3 2141.5 2357.1 2590.3 2806.1 2930.2 3151.9 3317.9 3593.7 3827.9 3980.7 4083.7 4124.3 4146.4
X5 0.55 0.18 0.36 0.45 1.00
发现： X1与X4间存在高度相关性。
Open as groop View-correlations-commom sample
3、找出最简单的回归形式
分别作Y与X1，X2，X4，X5间的回归：
ˆ Y 3086764 4.576X 1 .
3551
3738 4001 4834 5064 5503 5704 5820 6238 6765 7589 8956
6.66
7.15 7.89 8.72 8.94 9.28 9.8 10.54 10.8 10.87 11.16 11.5
3277
3514 3770 4107 4495 4973 5452 5848 6212 6775 7539 8395
2、检验简单相关系数
列出X1，X2，X3，X4，X5的相关系数矩阵：
X1 X2 X3 X4 X5
X1 1.00 0.01 0.64 0.96 0.55
X2 0.01 1.00 -0.45 -0.04 0.18
X3 0.64 -0.45 1.00 0.69 0.36
X4 0.96 -0.04 0.69 1.00 0.45
14608
15004.95 15733.39 16074.14
9741
10529.27 10722.5 11511.41
12.4
13.61 13.97 13.73
9281
10070.3 10813.1 11355.53
9355.35
10702.97 12185.79 13838.96
46759.4
58478.1 67884.6 74772.4
X7 1101192208 2497 2716 2670
1982
1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993
10212
10607 11461 12490 13069 13414 13705 13764 13831 14099 14210 14524
R2
0.8852 0.9558
DW 1.56 2.01 1.53 1.80 1.55
0.67 5.16 0.41 3.35 0.42 3.57 0.40 3.02
-0.19 -3.57 -0.17 -3.09 -0.20 -3.47
0.9752 -0.09 -1.55 0.07 0.37 0.9775 0.9798
113495
118784 124074 130709 135635 140653 144948 151489 150681 152893 157627 162663
2920
3072 3372 3693 4058 4386 4689 4859 5153 5638 6697 7716
1994
1995 1996 1997
ˆ Y 2825919 2.240X 5 .
(-1.04) (2.66) R2=0.3064 F=7.07 DW=0.36
可见，应选第1个式子为初始的回归模型。
4、逐步回归
将其他解释变量分别导入上述初始回归模型，寻找 最佳回归方程。
Y=f(X1) t值 Y=f(X1,X2) t值 Y=f(X1,X2,X3) t值 Y=f(X1,X2,X3,X4) t值 Y=f(X1,X3,X4,X5) t值 C 30868 25.58 -43871 -3.02 -11978 0.85 -13056 -0.97 -12690 -0.87 X1 4.23 11.49 4.65 18.47 5.26 19.6 6.17 9.61 5.22 17.85 X2 X3 X4 X5
X1 1978 1979 1980 1981 10405 10615 10595 10122
X2 3479 3673 3802 3417
X3 6.81 6.35 6.2 6.22
X4 2566 2820 3006 3093
X5 668.72 699.36 746.9 638.21
X6 3624.1 4038.2 4517.8 4862.4
805.9
885.26 1052.43 1523.51 1795.32 2101.69 2554.86 2340.52 2534 3139.03 4473.76 6811.35
5294.7
5934.5 7171 8964.4 10202.2 11962.5 14928.3 16909.2 18547.9 21617.8 26638.1 34634.4
1、用OLS法估计上述模型：
ˆ Y 1281644 6.213X1 0.421X 2 0.166X 3 0.098X 4 0.028X 5 .
(-0.91)
(8.39)
(3.32)
(-2.81)
(-1.45)
(-0.14)
R2接近于1； 给定=5%，得F临界值 F0.05(5,12)=3.11 F=137.11> 3.11， 故认上述粮食生产的总体线性关系显著成立。 但X4 、X5 的参数未通过t检验，且符号不正确，故解 释变量间可能存在多重共线性。
作业题：
通过分析我国改革开放以来（1978－1997） 钢材供应量的历史资料，可以建立一个单一方 程模型。 根据理论及对现实情况的认识，影响我国钢材 供应量Y（万吨）的主要因素有：原油产量X1 （万吨），生铁产量X2（万吨），原煤产量 X3（万吨），电力产量X4（亿千瓦小时）， 固定资产投资X5(亿元)，国内生产总值X6(亿 元)，铁路运输量X7（万吨）。
X 积2 （千公顷） 114047 112884 108845 110933 111268 110123 112205 113466 112314 110560 110509 109544 110060 112548 112912 113787 113161 108463
X3
（公顷） 16209.3 15264.0 22705.3 23656.0 20392.7 23944.7 24448.7 17819.3 27814.0 25894.7 23133.0 31383.0 22267.0 21233.0 30309.0 25181.0 26731.0 34374.0
163093
165855 168803 169734
8428
8979 9338 9978
作业题
要求： （1）根据数据资料估计方程； （2）判断有没有多重共线性； （3）采用逐步回归法找出最佳回归方程。 作业提交：写出初始回归方程和最佳回归方程。 注意：方程采用线性形式。