第4章 多重共线性

1 不存在，故 ( X'X ) 在完全多重共线性时，X降秩，
ˆ 无法估计
ˆ ) ( X'X )1 2 var( j jj u
；
也没法计算。
2014年1月16日
ห้องสมุดไป่ตู้
山东财经大学统计学院计量经济教研室
第 8页
机动 目录 上页 下页 返回 结束
（二）近似（但不完全）多重共线性。 一般的，若解释变量之间无准确的或完全的线性相 关关系，但它们之间存在高度的线性相关性，称模型存 在近似（不完全）多重共线性（Near Multicollinearity）。 即若存在存在一组不全为零的常数 0 , 1 ,, k ，使得 0 1 x1 2 x2 k xk v 0 其中 v 是随机项。称自变量之间存在（但不完全）多重 共线性。本章就是在这个意义上使用“多重共线性”一词 的。 值得强调的是，模型存在（近似）多重共线性并不 违反任何古典假定，但会对回归分析带来不利的后果， 所以要尽力避免自变量之间存在过高的共线程度。
理想地，为了分别评价收入和财富对消费支出的影 响，我们需要对财富多而收入低以及财富少而收入高的 人们进行足够多的样本观测。虽然在横截面研究中（通 过增加样本的方法）有可能做到这一点，但考虑到研究 者一般都是被动的采用第二手资料（指由他人收集的数 据或由统计年鉴得来的数据），对样本数据的多少似乎 无能为力。
机动 目录
(4.2)
如果有 x2i 2 x1i ，则（4.2）式可写为：
上页
下页
返回
结束
我们只能估计出系数的线性组合 ( 1 2 2 ) 的样本
估计值，而无法得到1和 2 的具体估计。且可以证明 参数估计量的方差为无穷大。
ˆ) var( 1
2 ( x x ) 1i 1
使得：
2014年1月16日
0 1 x1 2 x2 k xk 0
第 4页
机动 目录 上页 下页
0
山东财经大学统计学院计量经济教研室
返回
结束
则称模型存在完全多重共线性。
用矩阵表示，解释变量的观测值矩阵为
1 x11 1 x 12 X 1 x1n x21 xk1 x22 xk1 x2 n xkn n( k 1)
第四章
多重共线性
多重共线性（Multicollinearity）一词由弗里希 （Ragnar Frisch，1895—1973）于1934年引入。 原意是指回归模型中的部分或全部解释变量 之间存在完全的线性关系，是对假定MLR.3的违 背，后来人们将这个概念扩展到近似的线性关系。 多重共线性是多元回归建模过程中最常遇到 的问题。本章中我们首先分析与界定完全多重共 线性与多重共线性，探讨多重共线性可能引起的 后果，然后介绍多重共线性的诊断与缓解多重共 线性的补救措施。
2 （1）误差方差 u ： 2 从方程（4.5）容易看到， u 越大意味着OLS估计 2 量的方差就越大。由于 u 是总体的一个特征，所以它 与样本容量无关。它是（4.5）中未知因素的一个组成 部分。
2014年1月16日 山东财经大学统计学院计量经济教研室 第15页
机动 目录 上页 下页 返回 结束
三、多重共线性引起的后果
近似多重共线性并不违反回归假定。无偏的、有 效的、一致的参数估计量仍可以得出，其标准误也仍 将被正确估计。理论上，多重共线性的唯一影响是难 以得到标准误较小的系数估计值。由于观测次数过少、 自变量的方差过小时也会产生这种影响。所以，从理 论的高度看，近似多重共线性、过少的观测次数以及 过小的自变量方差，实质上是同一问题。尽管近似多 重共线性不影响OLS估计量的BLUE性质，但在任给 一个样本中，可能会出现如下后果：
2014年1月16日 山东财经大学统计学院计量经济教研室 第 2页
机动 目录 上页 下页 返回 结束
第一节 多重共线性问题及其对建模的影响
一、多重共线性的含义
广义的多重共线性包括完全多重共线性和近似 多重共线性。狭义的的多重共线性指的是近似多 重共线性。如果不特加说明，本章使用的是狭义 的多重共线性。 （一）完全多重共线性 多元线性回归模型的古典假定MLR.3是，模型 中解释变量之间不存在完全的线性相关关系，此
2014年1月16日 山东财经大学统计学院计量经济教研室 第 1页
机动 目录 上页 下页 返回 结束
学习目标： 1、了解多重共线性的概念、能区分完全的多重 共线性与多重共线性； 2、了解多重共线性产生的原因； 3、理解多重共线性引起的后果； 4、理解并掌握多重共线性的诊断； 5、掌握缓解多重共线性问题的处理方法。 重点与难点： 理解多重共线性是一种样本现象； 深刻理解多重共线性的理论后果与实际后果； 掌握多重共线性的诊断及多重共线性问题的 处理方法。
2014年1月16日 山东财经大学统计学院计量经济教研室 第17页
机动 目录
( j 0,1, 2,, k )
上页
下页
返回
结束
ˆ ) ( X'X ) 1 2 var( j jj u
2 2 ( x x ) (1 R ji j j)
u2
( j 0,1, 2,, k )
2014年1月16日 山东财经大学统计学院计量经济教研室 第 9页
机动 目录 上页 下页 返回 结束
二、 多重共线性产生的原因 由于经济现象的变化涉及多个影响因素，而影 响因素之间常常存在一定的相关性。多重共线性产 生的经济背景主要有几种情形： 1.经济变量之间具有共同变化趋势。 例如，对于收入、消费、就业率等变量，都随宏观 经济的繁荣和紧缩呈现大致相同的波动，在经济上升 时期均呈现增长的趋势，当经济收缩期都呈现下降趋 势。当这些变量同时作为解释变量进入模型时就可能 带来多重共线性问题。
（一）估计结果不好解释 存在多重共线性时，尽管可以得到参数的估计值，
2014年1月16日 山东财经大学统计学院计量经济教研室 第16页
机动 目录 上页 下页 返回 结束
但由于相关的自变量对因变量的影响无法分离开来，所
以对参数难以作出精确的估计，估计值大小往往与预期
相去甚远，甚至可能连回归系数的符号都相反，回归结
2 ( x x ) 1 1 2 ˆ 2
(x
1 2
x1 ) 2
2 ˆ 2
ˆ ) 同理，可以证明 var( 2
2014年1月16日 山东财经大学统计学院计量经济教研室 第 7页
机动 目录 上页 下页 返回 结束
用矩阵代数的术语来讲，由于参数的OLSE为
1 ˆ ( X'X ) X'Y
2014年1月16日
山东财经大学统计学院计量经济教研室
第12页
机动 目录 上页 下页 返回 结束
4.样本资料的限制 例如，抽样仅仅限于总体中解释变量取值的一个 有限范围，使得变量变异不大；或由于总体受限， 多个解释变量的样本数据之间存在相关，这时都可 能出现多重共线性。
5.过度决定的模型。 这种情况出现在解释变量个数大于观测次数时。例 如，在医药研究中可能只有少数病人，但却要在他们身 上收集大量的变量信息。
2014年1月16日 山东财经大学统计学院计量经济教研室 第14页
机动 目录 上页 下页 返回 结束
y 0 1 x1 2 x2 u 但可能出现这样的情形，当我们获得收入和财富的数据 时，这两个变量可能高度相关：较富有的人们一般情况 下有较高的收入。因此，虽然理论上收入和财富都是解 释消费支出行为的合理备选变量，但实际上（即在样本 中）分开收入和财富对消费支出的影响，也许是困难的。
2014年1月16日
山东财经大学统计学院计量经济教研室
第13页
机动 目录 上页 下页 返回 结束
需要强调的是，多重共线性本质上是一种样本现 象。意思是说，即使在总体中解释变量之间没有线性 关系，但在具体获得的样本中仍可能存在线性关系： 当我们设想一个理论或总体回归函数时，我们相信， 我们选择的变量x对y都有各自的独立的影响 。但有可 能在任给的一个用以检验总体回归函数的样本中，一 些或全部x变量之间共线性却是如此之高，以致我们无 法区分它们对y的各自影响。尽管理论告诉我们，所有 的x变量都重要，但我们的样本还是没有“富裕”到足以 在分析中容纳全部的变量的境况。 考虑消费函数的例子。经济学家从理论上推知除 收入（x1）外，消费者的财富（x2）也是消费支出（y） 的重要决定因素。于是消费者的消费函数可以写成：
2 2 x ( x x ) R 其中 ji 为变量 j 样本变异（方差），而 j j 则是将 x j 对所有其他解释变量（并包括截距项）进行回 2 ˆ 的方差取决于三 R 归所得到的 。方程（4.5）表明， j 2 个因素：误差方差 u 、变量 x j 样本变异（方差） 2 2 ( x x ) R ji j 和自变量之间的线性关系 j 。
果无法得到合理解释。
（二）参数估计值的方差增大 第三章我们已经推断出，对于多元线性回归模型
yi 0 1 x1i 2 x2i ki xk ui
在古典假设成立条件下，参数的OLSE 的方差 2 u 1 2 ˆ var( j ) ( X'X ) jj u 2 2 ( x x ) (1 R ji j j)
多元线性回归模型中如果存在完全多重共线性， 则参数的最小二乘估计量是不确定的（即无法估计）。 例如二元线性回归模型
yi 0 1 x1i 2 x2i ui
yi 0 ( 1 2 2 ) x1i ui
2014年1月16日 山东财经大学统计学院计量经济教研室 第 6页
2014年1月16日
山东财经大学统计学院计量经济教研室
第11页
机动 目录 上页 下页 返回 结束
3.模型中包含滞后变量。 在经济计量模型中，往往需要引入滞后经济 变量来反映真实的经济关系。 例如，消费= f (当期收入, 前期收入） 由于变量与其滞后期变量常常呈现高度相关 性，于是导致出现多重共线性。
当存在完全共线性时： rank(X)<k+1，即
在数据矩阵X中，至少有一列向量可由其他 列向量线性表示。
2014年1月16日 山东财经大学统计学院计量经济教研室 第 5页
机动 目录 上页 下页 返回 结束
需要强调的是模型中存在完全的多重共线性非 常罕见，一般来讲，通常发生在确定回归变量出错 的时候，即模型中变量选择出现逻辑错误。
(x
2 2 x ) ( x x ) [ ( x1i x1 )( x2i x2 )] 1i 1 2i 2
2 ˆ 2
4 ( x1i x1 ) 2 ( x1i x1 ) 4[ ( x1i x1 )( x1i x1 )] 4[ ( x1i x1 ) 2 ]2 4[ ( x1i x1 ) 2 ]
2014年1月16日 山东财经大学统计学院计量经济教研室 第10页
机动 目录 上页 下页 返回 结束
2.模型或从中取样的总体受到约束。
（1）对于截面数据，许多变量变化与发展规模相关， 会呈现出共同增长的趋势，例如资本、劳动力、科技、能 源等投入与产出的规模相关，这时容易出现多重共线性。 （2）有时如果出现部分因素的变化与另一部分因素 的变化相关程度较高时，也容易出现共线性。如用粮食产 量对化肥用量、水浇地面积、农业投入资金进行回归，发 现回归效果较差，原因是农业资金的影响已经通过化肥用 量、水浇地面积两个因素体现出来。
2014年1月16日 山东财经大学统计学院计量经济教研室 第 3页
机动 目录 上页 下页 返回 结束
时就称解释变量 x j ( j 1, 2,..., k ) 之间不存在
完全的多重共线性。
对于模型
yi=0+1x1i+2x2i++kxki+ui
i=1,2,…,n
如果存在某解释变量是其他解释变量的线 性组合，则称为存在完全多重共线性（Complete Multicollinearity， Exact Multicollinearity） 即：若存在一组不全为零的常数 0 , 1 , 2 ,, k