第6章 多重共线性
最新应用回归分析-第6章课后习题参考答案
第6章多重共线性的情形及其处理思考与练习参考答案6.1 试举一个产生多重共线性的经济实例。
答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。
由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。
再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。
6.2多重共线性对回归参数的估计有何影响？答：1、完全共线性下参数估计量不存在；2、近似共线性下OLS估计量非有效；3、参数估计量经济含义不合理；4、变量的显著性检验失去意义；5、模型的预测功能失效。
6.3 具有严重多重共线性的回归方程能不能用来做经济预测？答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。
但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。
6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。
当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。
6.5 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造设计矩阵X才可能避免多重共线性的出现？答：请参考第三次上机实验题——机场吞吐量的多元线性回归模型，注意利用二手数据很难避免多重共线性的出现，所以一般利用逐步回归和主成分回归消除多重共线性。
如果进行自己进行试验设计如正交试验设计，并收集数据，选择向量使设计矩阵X 的列向量（即X 1，X 2， X p ）不相关。
6.6对第5章习题9财政收入的数据分析多重共线性，并根据多重共线性剔除变量。
第六讲 多重共线性.
第6章 多重共线性6.1 多重共线性及其产生的原因6.1.1 多重共线性(Multicollinearity)的定义从数学意义上去解释变量之间存在共线性，就是对于变量k x x x ,,21，如果存在不全为零的常数k λλλ ,,21，使得下式成立02211=+++k k x x x λλλ （6.1.1）则称变量k x x x ,,21之间存在完全共线性。
在计量经济学中，一个具有两个以上解释变量的线性回归模型里，如果解释变量之间存在式（6.1.1）那样的关系，则称这些解释变量之间存在完全的多重共线性。
完全多重共线性还可以用矩阵形式加以描述。
设解释变量矩阵X 为X = ⎪⎪⎪⎪⎪⎭⎫⎝⎛kn k k n n x x x x x x x x x 212222*********所谓完全的多重共线性，就是0='X X 。
或者rank (X )k 〈+1，表明在矩阵X 中，至少有一个列向量可以由其余的列向量线性表示。
所谓近似共线性或不完全多重共线性是指对于k 个解释变量t x (t =1,2,3,…k)，如果存在不全为零的数k λλλ ,,21使得02211=++++u x x x k k λλλ （6.1.2）成立，其中u 为随机误差项。
如果k 个解释变量之间不存在上述完全或不完全的线性关系式，则称无多重共线性。
如果用矩阵表示，这时X 为满秩矩阵，即rank (X )=k +1。
6.1.2 多重共线性产生的原因根据经验，多重共线性产生的经济背景和原因有以下几个方面：1．经济变量之间往往存在同方向的变化趋势 2．经济变量之间往往存在着密切的关联度 3．在模型中引入滞后变量也容易产生多重共线性4．在建模过程中由于解释变量选择不当，引起了变量之间的多重共线性6.2 多重共线性造成的影响6.2.1 完全共线性下参数估计量不存在多元线性回归模型U XB Y +=的普通最小二乘估计量为Y X X X B ''=-1)(ˆ如果解释变量之间存在完全多重共线性，由于X 矩阵的系数行列式0='X X ，逆矩阵1)(-'X X 不存在，无法得到参数估计式Bˆ。
回归分析中的多重共线性问题及解决方法(六)
回归分析中的多重共线性问题及解决方法回归分析是统计学中常用的一种分析方法，用于研究自变量与因变量之间的关系。
然而，在进行回归分析时，常常会遇到多重共线性的问题。
多重共线性指的是自变量之间存在高度相关性，这会导致回归系数估计不准确，模型预测能力下降，甚至使得结果产生误导。
本文将探讨回归分析中的多重共线性问题及解决方法。
多重共线性问题的产生多重共线性问题通常是由于自变量之间存在高度相关性所导致的。
当自变量之间存在线性相关关系时，回归模型的系数估计变得不稳定，可能会产生较大的标准误差，从而影响对因变量的预测能力。
多重共线性问题的影响多重共线性问题会使得回归系数的估计产生偏离，导致模型的稳定性下降。
此外，多重共线性还会对回归模型的解释能力产生影响，使得模型的可信度下降。
解决多重共线性的方法为了解决多重共线性问题，可以采取以下几种方法：1. 增加样本量增加样本量可以减少参数估计的方差，从而提高估计的精确度。
通过增加样本量，可以减轻多重共线性对参数估计的影响。
2. 删除相关自变量当自变量之间存在高度相关性时，可以考虑删除其中一个或多个相关自变量，以减轻多重共线性的影响。
通过删除相关自变量，可以减少模型的复杂性，提高模型的解释能力。
3. 合并相关自变量另一种解决多重共线性问题的方法是合并相关自变量。
通过将相关自变量进行合并或者构建新的自变量，可以降低自变量之间的相关性，从而减轻多重共线性的影响。
4. 使用主成分分析主成分分析是一种常用的多重共线性处理方法。
通过主成分分析，可以将相关自变量进行线性组合，从而得到一组新的无关自变量，使得回归模型的稳定性得到提高。
5. 使用正则化方法正则化方法是另一种处理多重共线性问题的有效手段。
通过对回归系数进行惩罚，可以有效地控制多重共线性对参数估计的影响，从而提高模型的稳定性。
结语多重共线性是回归分析中常见的问题，对回归模型的稳定性和预测能力都会产生负面影响。
因此，处理多重共线性问题是非常重要的。
多重共线性(统计累赘)的概念、特征及其测量方式和处理方式
试述多重共线性（统计累赘）的概念、特征及其测量方式和处理方式。
1、概念多重共线性是指自变量之间存在线性相关关。
倘若其中两个自变项的关系特别强，则在相互控制后就会使每者的效果减弱，而其他的变相的效果就会因此而增大。
2、特征3、产生原因产生多重相关性的原因主要包括四方面。
一是没有足够多的样本数据; 二是选取的自变量之间客观上就有共线性的关系; 还可能由其它因素导致, 如数据采集所用的方法, 模型设定, 一个过度决定的模型等。
但多数研究者认为共线性本质上是由于样本数据不足引起的。
4、测量方式（1）经验式的诊断方法通过观察,得到一些多重相关性严重存在的迹象。
①在自变量的简单相关系数矩阵中,有某些自变量的相关系数值较大。
②回归系数的代数符号与专业知识或一般经验相反;或者该自变量与因变量的简单相关系数符号相反。
③对重要自变量的回归系数进行t 检验,其结果不显著。
特别是当F 检验能在高精度下通过,测定系数R 2的值也很大,但自变量的t 检验却全都不显著,这时多重相关性的可能将会很大。
④如果增加或删除一个变量,或者增加或删除一个观测值,回归系数发生了明显的变化。
⑤重要自变量的回归系数置信区别明显过大。
⑥在自变量中,某一个自变量是另一部分自变量的完全或近似完全的线性组合。
⑦对于一般的观测数据,如果样本点的个数过少,比如接近于变量的个数或者少于变量的个数,样本数据中的多重相关性就会经常存在。
（2）统计检验方法共线性的诊断方法是基于对自变量的观测数据构成的矩阵X ’X 进行分析,使用各种反映自变量间相关性的指标。
共线性诊断常用的统计量有方差膨胀因子VIF 或容限TOL 、条件指数和方差比例等。
方差膨胀因子VIF 是指回归系数的估计量由于自变量的共线性使其方差增加的一个相对度量。
对于第i 个回归系数,它的方差膨胀因子定义为：VIF=1/1-R 2=1/TOL i 其中R2i 是自变量Xi 对模型中其余自变量线性回归模型的R 平方。
第五讲-多重共线性、异方差、自相关
表 4.3.3 中国粮食生产与相关投入资料
农业化肥施 粮食播种面 受灾面积 农业机械总
用量 X 1
（万公斤）
积X 2
（千公顷）
X3
（公顷）
动力X 4
（万千瓦）
1659.8
114047 16209.3
18022
1739.8
11288பைடு நூலகம் 15264.0
19497
1775.8
108845 22705.3
20913
0.9752 1.53
t值
0.85
19.6 3.35 -3.57
Y=f(X1,X2,X3,X4) -13056 6.17 0.42 -0.17 -0.09
0.9775 1.80
t值
-0.97 9.61 3.57 -3.09 -1.55
Y=f(X1,X3,X4,X5) -12690 5.22 0.40 -0.20
含义：解释变量的样本向量近似线性相关。
多重共线性来源：
（1）解释变量x受到同一个因素的影响； 例如：政治事件对很多变量都产生影响，这些变量同时上升 或同时下降。
（2）解释变量x自己的当期和滞后期；
（3）错误设定。
二、多重共线性的后果
1、完全共线性下参数估计量不存在
Y X
的OLS估计量为： βˆ (XX) 1 XY
1、检验多重共线性是否存在
(1)对两个解释变量的模型，采用简单相关系数法 求出X1与X2的简单相关系数r，若|r|接近1，则说
明两变量存在较强的多重共线性。
(2)对多个解释变量的模型，采用综合统计检验法
若 在OLS法下：R2与F值较大，但t检验值较小， 说明各解释变量对Y的联合线性作用显著，但各解 释变量间存在共线性而使得它们对Y的独立作用不 能分辨，故t检验不显著。
计量经济学习题第6章多重共线性
计量经济学习题第6章多重共线性第6章多重共线性⼀、单项选择题1、当模型存在严重的多重共线性时，OLS估计量将不具备（）A、线性B、⽆偏性C、有效性D、⼀致性2、经验认为某个解释与其他解释变量间多重共线性严重的情况是这个解释变量的VIF（）A、⼤于B、⼩于C、⼤于5D、⼩于53、模型中引⼊实际上与解释变量有关的变量，会导致参数的OLS估计量⽅差（）A、增⼤B、减⼩C、有偏D、⾮有效4、对于模型y t=b0+b1x1t+b2x2t+u t，与r12=0相⽐，r12＝0.5时，估计量的⽅差将是原来的（）A、1倍B、1.33倍C、1.8倍D、2倍5、如果⽅差膨胀因⼦VIF＝10，则什么问题是严重的（）A、异⽅差问题B、序列相关问题C、多重共线性问题D、解释变量与随机项的相关性6、在多元线性回归模型中，若某个解释变量对其余解释变量的判定系数接近于1，则表明模型中存在( )A 异⽅差B 序列相关C 多重共线性D ⾼拟合优度7、存在严重的多重共线性时，参数估计的标准差（）A、变⼤B、变⼩C、⽆法估计D、⽆穷⼤8、完全多重共线性时，下列判断不正确的是（）A、参数⽆法估计B、只能估计参数的线性组合C、模型的拟合程度不能判断D、可以计算模型的拟合程度⼆、多项选择题1、下列哪些回归分析中很可能出现多重共线性问题（）A、资本投⼊与劳动投⼊两个变量同时作为⽣产函数的解释变量B、消费作被解释变量，收⼊作解释变量的消费函数C、本期收⼊和前期收⼊同时作为消费的解释变量的消费函数D、商品价格、地区、消费风俗同时作为解释变量的需求函数E、每亩施肥量、每亩施肥量的平⽅同时作为⼩麦亩产的解释变量的模型2、当模型中解释变量间存在⾼度的多重共线性时（）A、各个解释变量对被解释变量的影响将难以精确鉴别B、部分解释变量与随机误差项之间将⾼度相关C、估计量的精度将⼤幅度下降D、估计对于样本容量的变动将⼗分敏感E、模型的随机误差项也将序列相关3、下述统计量可以⽤来检验多重共线性的严重性（）A、相关系数B、DW值C、⽅差膨胀因⼦D、特征值E、⾃相关系数4、多重共线性产⽣的原因主要有（）A、经济变量之间往往存在同⽅向的变化趋势B、经济变量之间往往存在着密切的关联C、在模型中采⽤滞后变量也容易产⽣多重共线性D、在建模过程中由于解释变量选择不当，引起了变量之间的多重共线性E、以上都正确5、多重共线性的解决⽅法主要有（）A、保留重要的解释变量，去掉次要的或替代的解释变量B、利⽤先验信息改变参数的约束形式C、变换模型的形式D、综合使⽤时序数据与截⾯数据E、逐步回归法以及增加样本容量6、关于多重共线性，判断错误的有（）A、解释变量两两不相关，则不存在多重共线性B、所有的t检验都不显著，则说明模型总体是不显著的C、有多重共线性的计量经济模型没有应⽤的意义D、存在严重的多重共线性的模型不能⽤于结构分析7、模型存在完全多重共线性时，下列判断正确的是（）A、参数⽆法估计B、只能估计参数的线性组合C、模型的判定系数为0D、模型的判定系数为1三、简述1、什么是多重共线性？产⽣多重共线性的原因是什么？2、什么是完全多重共线性？什么是不完全多重共线性？3、完全多重共线性对OLS估计量的影响有哪些？4、不完全多重共线性对OLS估计量的影响有哪些？5、从哪些症状中可以判断可能存在多重共线性？6、什么是⽅差膨胀因⼦检验法？四、判断（1）如果简单相关系数检测法证明多元回归模型的解释变量两两不相关，则可以判断解释变量间不存在多重共线性。
计量经济第六章多重共线性
4、用截面数据建立模型也可能出现 多重共线性
• 例如建立一个服装需求模型，模型以 消费者收入与服装价格为解释变量。 收入较高的消费者购买的服装价格也 相对较高；反之亦然。说明消费者收 入与服装价格之间存在较强的线性相 关性，模型存在多重共线性问题。
• 一般来讲，多重共线性难以避 免，所以我们关心的不是多重
2 2 2 1
同理易得
ˆ ) Var( 2
• EVIEWS遇到完全多重共线性时，会 显示 • Near singular matrix，无法进行估 计
2、不完全多重共线性下的后果
（1）估计量的方差增大 2 2 x 2 ˆ) 由于 Var ( 1 2 x12x2 (x1 x2 )2
的显著性检验可能失去意义
• P108【相关链接】 • P111【经典实例】
up
习题
up
第二节 多重共线性的检验
一、相关系数检验法 二、综合判断法 三、方差膨胀因子法
up
一、相关系数检验法
含义：相关系数检验法是利用解释变量之 间的线性相关程度去判断是否存在严重多 重共线性的一种简便方法。 判断规则：一般而言，如果每两个解释变 量的简单相关系数(零阶相关系数)比较高， 例如大于0.8，则可认为存在着较严重的多 重共线性。
设：X 2i X 1i X 2i , X 1 , X 2 , X 3各有三个样本值。 X 1i X 2i X 3i
2 12
1， 2， 24； X1 9 2， 25， 48； X 2 25 1， 23， 24； X 3 16
2 13 2 23
则r 0.7825, r 0.3193, r 0.7825 可以发现，它们两两相关系数不大，但 X 1 , X 2 , X 3是严格共线性。所以，用简单相关 系数判断系数是否存在多重共线性，适用于 两个解释变量的情况。
计量经济学：多重共线性
影响比较大的，略去影响较小的。
元线性回归模型并进行OLS估计，拟合优度最大且接近1时，说明
这个变量与其他所有解释变量间存在共线性。
第三节 多重共线性的检验
辅助回归法中的方差膨胀因子：
对 于 多 元 线 性 回 归 模： 型Yi 0 1 X 1i ... k X ki ui 为 判 断 诸 自 变 量 间 是存 否在 多 重 共 线 性 ， 进如 行下 辅 助 回 归 ： X ji 0 1 X 1i ... j 1,i X j 1,i j 1,i X j 1,i ... k X ki v i , j 1,2,...,k 若 上 述 辅 助 回 归 的 可系 决数 为 R2 X j的 方 差 膨 胀 因 子 为 ： j， 则 定 义 自 变 量 1 VIF j 1 R2 j
第一节 多重共线性的概念
若有c0+c1X1i+c2X2i+…+ckXki=0 i=1,2,…,n。其中: ci不全为0，则称
解释变量间存在完全多重共线性
若存在：c0+c1X1i+c2X2i+…+ckXki≈0 i=1,2,…,n。 其中：ci不全为0，
则称为解释变量间存在近似多重共线性。
完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，
第二节 多重共线性的来源与后果
4、参数估计值不稳定，经济含义不合理
样本观测值稍有变动、增加或减少解释变量等都会使参数估计值发生较大变 化，甚至出现符号错误，从而不能正确反映解释变量对被解释变量的影响。
5、模型的预测功能失效
较大的方差容易使预测区间变大，从而使预测失去意义
注意：只要模型满足经典假设，则在近似多重共线性情况下，OLS估计量仍 然满足无偏性、线性性和有效性。但此时，无偏性并不意味着对某一给定样 本，其参数估计值就等于真实值。有效性也不意味着参数估计量的方差一定 很小。
最新应用回归分析-第6章课后习题参考答案
第6章多重共线性的情形及其处理思考与练习参考答案6.1 试举一个产生多重共线性的经济实例。
答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。
由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。
再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。
6.2多重共线性对回归参数的估计有何影响？答：1、完全共线性下参数估计量不存在；2、近似共线性下OLS估计量非有效；3、参数估计量经济含义不合理；4、变量的显著性检验失去意义；5、模型的预测功能失效。
6.3 具有严重多重共线性的回归方程能不能用来做经济预测？答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。
但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。
6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。
当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。
6.5 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造设计矩阵X才可能避免多重共线性的出现？答：请参考第三次上机实验题——机场吞吐量的多元线性回归模型，注意利用二手数据很难避免多重共线性的出现，所以一般利用逐步回归和主成分回归消除多重共线性。
如果进行自己进行试验设计如正交试验设计，并收集数据，选择向量使设计矩阵X 的列向量（即X 1，X 2， X p ）不相关。
6.6对第5章习题9财政收入的数据分析多重共线性，并根据多重共线性剔除变量。
计量教案(6多重共线性)
第六章 多重共线性在多元线性回归分析的经典假设中，假定模型所包含的解释变量之间不存在线性关系，即无多重共线性。
但是由于经济变量本身的固有性质，许多的变量之间总是会存在着一定的相关性。
例如，以企业截面数据为样本估计的生产函数，作为其解释变量的有诸如资本、劳动、能源……等等投入要素，这些投入要素都与企业的生产规模有关，显然，它们之间存在着明显的相关性。
再如，以家庭收入I和商品价格P为解释变量分析家庭生活状况的模型。
由于收入较高的家庭购买商品，普通会选择质地较好、价格较高的；而收入较低的家庭购买商品则会选择较便宜的。
这样两解释变量I与P之间存在着明显的相关性。
本章的目的与要求当解释变量之间存在着线性关系，违背了解释变量之间不存在共线性的经典假定时，如何处理可能浮现的一系列状况，就是本章所要讨论的问题。
通过本章学习，要求重点掌握的内容是：明确多重共线性的概念及其表现形式；充分理解当线性回归模型存在多重共线性情形下，使用普通最小二乘估计模型参数将会引起的各种不良后果；熟练掌握检测多重共线性的各种方法以及在此情形下相应的处理与估计改进方法，从而能够运用这些知识处理经济计量分析实践中的相应问题。
本章内容（计划学时）一、多重共线性的性质1、多重共线性的概念2、解释变量线性关系的表现形式3、多重共线性的产生原因4、多重共线性的性质二、多重共线性的后果与检测1、多重共线性的后果2、多重共线性的检测方法三、多重共线性的补救措施学习重点一、多重共线性的性质二、多重共线性的后果与检测方法三、多重共线性的补救措施学习难点一、多重共线性的性质二、多重共线性的后果与检测方法 三、多重共线性的补救措施第一节 多重共线性的性质一、多重共线性的概念多重共线性就是指线性回归模型中若干解释变量或者全部解释变量的样本观测值之间具有某种线性关系,也就是说，对于有 k 个解释变量的线性回归模型Y = β0 + β1X 1 + β2X 2 + … + βk X k + u （式6－1.1） 即模型中的各解释变量Xi 的样本观测值之间存在一定的线性关系，我们就称模型存在多重共线性。
多重共线性
比如对于两个解释变量的模型
Yi 1 X 1i 2 X 2i ui
根据我们前面的讨论，参数的最小二乘估计为：
ˆ 1
2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i
R 2 0.8101 ˆ , ˆ ) 0.00868 cov( 1 2
12 0.5523
df 2
ˆ 在单侧t检验的显著水平10%是显著的（1.886）。 1
第二组数据的回归结果
ˆ 1.2108 Y i se (0.7480) t (1.6187) 0.4014 X 1i (0.2721) (1.4752) 0.0270 X 2i (0.1252) (0.2158)
多重共线性
南开大学数学科学学院 白晓棠
多重共线性
在经典的线性回归模型中，我们假定回归模型中诸回归元 之间无多重共线性。
在本节中我们将放松此要求从而来研究： 1、什么是多重共线性？ 2、它会引起什么样的后果？ 3、怎样去发现它？ 4、我们可以采取哪些补救措施来缓解多重共线性的问 题？
第一组数据
Y 1 2 3 4 5
X1 2 0 4 6 8
X2 4 2 12 0 16
第二组数据
Y 1 2 3 4 5
X1 2 0 4 6 8Leabharlann X2 4 2 0 12 16
第一组数据的回归结果
ˆ 1.1939 Y i se (0.7737) t (1.5431) 0.4463 X 1i (0.1848) (2.4151) 0.0030 X 2i (0.0851) (0.0358)
《多重共线性》课件
诊断方法比较
检验统计量
检验统计量提供量化指标，可以 明确指出多重共线性的程度，但 其依赖于样本数据，稳定性相对
较差。
图形化诊断
图形化诊断直观易理解，但可能存 在主观性，并且难以量化多重共线 性的程度。
综合运用
在实际应用中，应综合运用多种方 法进行多重共线性的诊断，以确保 诊断结果的准确性和可靠性。
Condition Index
Condition Index是诊断多重共线性的另一种统计量，当某些Condition Index值特别 大时，可能存在多重共线性问题。
图形化诊断
散点图
通过绘制自变量间的散点图，可以直 观地观察到是否存在线性关系，从而 初步判断是否存在多重共线性问题。
相关系数矩阵
通过绘制相关系数矩阵，可以观察到 自变量间的相关系数，当某两个自变 量的相关系数接近1或-1时，可能存 在多重共线性问题。
多重共线性的影响
参数估计值不稳定
01
模型中的参数估计值会随着样本的微小变化而发生较大的变化
，导致模型预测的不稳定性。
模型预测精度降低
02
由于参数估计值的不准确，会导致模型的预测精度降低，预测
结果的可信度下降。
模型解释性差
03
由于解释变量之间的高度相关关系，使得模型难以解释各个解
释变量对因变量的影响程度，降低了模型的解释性。
多重共线性PPT课件
目 录
• 多重共线性的定义 • 多重共线性的成因 • 多重共线性的诊断 • 多重共线性的处理 • 案例分析
01
多重共线性的定义
什么是多重共线性
1
共线性是指解释变量之间存在高度相关性的现象 。
2
在多元线性回归模型中，如果解释变量之间存在 高度相关关系，会导致模型估计的参数不准确， 甚至出现完全错误的结论。
多重共线性问题
多重共线性问题“多重共线性”是指一个实验中同时出现的离子有几种，这些离子或同位素具有相同的质量和不同的能级，也就是说存在着几个原子或分子，它们的能量与动量不能被区别开。
“多重共线性”问题是近年来数值分析领域中最活跃的一个研究课题。
下面介绍其中的一种：多重共线性问题。
一、多重共线性问题的引入在对于线性光学系统处理非线性问题时， [gPARAGRAPH3]er于1977年首先提出了多重共线性问题的思想，给出了解决这类问题的具体步骤。
其解法可以分为两大类：一类是等价变换法；另一类是计算迭代法。
1、等价变换法多重共线性问题最简单的处理方法就是将多个线性光学系统当成一个整体考虑，即进行等价变换。
所谓等价变换，是指每个子系统都保持原有的几何关系，只改变它们的空间位置。
等价变换有两种形式，即迭代法和转置法。
例：如果要使用电子计算机计算各个待求函数，那么可以在算法开始时，把各待求函数分别放在特定的位置上。
例如对于常用的矩阵乘法算法，在执行该算法时，各个乘积被分配到“行”或者“列”位置上，再将计算结果累加起来。
当然，这样做并不能保证各待求函数之间满足相互独立的条件。
在多重共线性问题中，由于各子系统的参数无法得知，因此只有进行等价变换。
用这种方法解决多重共线性问题比较直观，它避免了运用数学中所谓“理想化”数据的困难，但这种方法只适用于二维情况。
2、计算迭代法在处理多重共线性问题时，常采用一种称为“逐次逼近法”的数值算法。
1、寻找函数解析表达式2、研究校正方程3、对结果进行计算4、利用计算机软件对其进行分析5、寻找正确答案当一个光源发射出一束连续波(通常是复数)光照到某一点时，根据一般物理原理，在任意小的范围内，任意点上发射的光波都包含一定强度的平行光。
如图1-1所示。
设A点的振幅为I， B点的振幅为II，则经过A点后又回到B点的路径长度为L(I+II)=I+II。
2、按顺序依次对方程组进行相应的处理，最终便可得到原方程组的解。
多重线性-PPT课件
• 滞后变量的引入
在计量经济模型中，往往需要引入滞后经济变 量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相关性。
• 一般经验
对于采用时间序列数据作样本、以简单线性形 式建立的计量经济学模型，往往存在多重共线性。
以截面数据作样本时，问题不那么严重，但 多重共线性仍然是存在的。
解 该 线 性 方 程 组 得 ：
xy xy ˆ x xx
1 i i 2 i i 2 1 i 1 2 y x 0 0 xx x x x x x
1 i 2 i 2 2 i 1 i i 2 1 i i 2 1 i 2 1 i 2 1 i 2 1 i 1 i 2 i 2 2 i 2 2 1 i 2 1 i
第六章 多重共线性 (Multi-Collinearity)
• 第一节 多重共线性的定义 • 第二节 多重共线性的检验 • 第三节 多重共线性的消除
第一节 多重共线性的定义
多重量共线性及产生原因 多重共线性的后果
一、多重共线性的概念及其产 生原因
解释变量之间存在较强的线性相关关系,使 得 XT X 的行列式值近似于0(等于0是完全共 线性),逆阵可求得,但不稳定。出现于多元线 性模型。例：生产函数、需求函数.
在矩阵表示的线性回归模型 Y=XB+N 中，完全共线性指：秩(X)<k+1，即矩阵
1 1 X 1 X11 X21 X12 X22 X1n X2n Xk1 Xk2 Xkn
中 ， 至 少 有 一 列 向 量 可 由 其 他 列 向 量 （ 不 包 括 第 一 列 ） 线 性 表 出 。
多重共线性
1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996 Y 4901 5489 6076 7164 8792 10133 11784 14704 16466 18320 21280 25864 34501 47111 59405 68498 C(-1) 2976 3309 3638 4021 4694 5773 6542 7451 9360 10556 11362 13146 15952 20182 27216 34529 C(-1)/Y 0.6072 0.6028 0.5996 0.5613 0.5339 0.5697 0.5552 0.5067 0.5684 0.5762 0.5339 0.5083 0.4624 0.4284 0.4581 0.5041
y ( 1 2 ) x1
只能确定综合参数 1 2 的估计值：
ˆ ˆ 1 2 x1i y i x12i
4.2.2 不完全多重共线性下的 后果
（1）参数估计仍是无偏估计，但不稳定；估计量 及其标准差非常敏感，观测值稍微变化，估计 量就会产生较大的变动。 （2）参数估计式的方差随着共线性程度的增大而 增大。 （3）t检验失效，区间估计失去意义；估计量的 方差很大，相应标准差增大，进行t检验时，接 受零假设的可能性增大 （4）严重多重共线性时，甚至参数估计式的符号 与其经济意义相反。得出完全错误的结论。
2i
2i
2 2i
x y x y x x
1i i 1i 2 1i 2 1i
i
x12i 2 x12i
第六章 多重共线性PPT课件
第六章 多重共线性
Economenometrics
EViews软件中可以直接计算(解释)变量的相关系数矩阵： [命令方式] COR 解释变量名 [菜单方式] 将所有解释变量设置成一个数组，并在数组窗口中点击View＼
Correlations。
考察解释变量的样本数据矩阵:
下的临界值，而发现：（1）系数估计值的符号与理论分析结果相违背；；（2）某些变 量对应的回归系数t值偏低或不显著；（3）当一个不太重要的解释变量被删除后，或者 改变一个观测值时，回归结果显著变化，则该模型可能存在多重共线性。
【例6.3.1】分析我国居民家庭电力消耗量与可支配收入及居住面积的 关系，以预测居民家庭对电力的需求量（具体数据见表6.3.1）。
经济变量之间往往存在同方向的变化趋势 经济变量之间往往存在着密切的关联度 在模型中引入滞后变量也容易产生多重共线性
在建模过程中由于解释变量选择不当，引起了变量之间的 多重共线性
第六章 多重共线性
Econometrics
第六章 多重共线性
Econometrics
多元线性回归模型
1．增大最小二乘估计量的方差
潘鸿
孙敬水.计量经济学（第二 版)[M].北京：清华大学出 版社，2009.
应具备的预备知识
◆《经济学》理论：
宏观、微观经济学
◆《概率论与数理统计》基础：
如随机变量、概率分布、期望、方差、协方 差、点估计、区间估计、假设检验、方差分 析、正态分布、t分布、F分布等概念和性质
◆《线性代数》基础：
矩阵及运算、线性方程组等
❖辅助回归模型检验：将住房面积对收入进行回归，住房面积与收入之
间存在显著的线性关系。
住房面积的系数在方程（6.3.7）中是显著的，在方程（6.3.8）中不显著；从F 统计量值可以看出，收入和住房面积对电力消费量的共同影响是显著的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
57494.9
66850.5 73142.7 78017.8
11048.1
11557.4 11806.5 11622.4
302.9
328.0 337.2 334.5
根据表6.4.2中的数据，回归结果如表6.4.3所示。
表6.4.3 回归结果
回归结果表明，在 5% 的显著性水平下，收入和 价格的系数各自均不是统计显著的。模型通过F检验
表6.3.1 我国居民家庭电力消耗量与可支配收入及居住面积统计资料
分析我国居民家庭电力消耗量与可支配收入及居
住面积的关系，以预测居民家庭对电力的需求量（具体数据见表
年度 1985 1986 1987小时） 21.2 23.2 26.4 31.2
人均居住面积 （平方米） 12.45 13.02 13.49 13.94
城镇居民人 均旅游支出 (元) 414.7 464.O 534.1 599.8 607.0 614.8 678.6 708.3 739.7 684.9
农村居民人 公路里 铁路里 均旅游支出 程(万km) 程(万km) (元) 54.9 61.5 70.5 145.7 197.0 249.5 226.6 212.7 209.1 200.0 111.78 115.70 118.58 122.64 127.85 135.17 140.27 169.80 176.52 180.98 5.90 5.97 6.49 6.60 6.64 6.74 6.87 7.01 7.19 7.30
6.3.2 法勒—格劳伯(Farrar—Glauber)检验
6.3.3
方差膨胀因子检验
6.3.4 特征值检验
考察解释变量的样本数据矩阵:
利用特征值还可以构造两个用于检验多重共线性的指标：条件数（或病态 数） CN （ Condition Number ） 和条件指数（ 或病态指数） CI(Condition lndex)。其指标定义为
案例分析——我国旅游市场收入函数
根据理论和经验分析，影响国内旅游市场收入 Y的主要因素，除
了国内旅游人数和旅游支出以外，还可能与相关基础设施有关。为此， 考虑的影响因素主要有国内旅游人数X1，城镇居民人均旅游支出X2，
农村居民入均旅游支出 X3，并以公路里程X4 和铁路里程 X5作为相关
基础设施的代表。统计数据如表6.5.1所示。试估计以下形式的计量经 济模型：
X1、X2、X3、X4、X5之间存在较为严重的多重共线性。
2．修正多重共线性：逐步回归法
采用逐步回归的办法，去检验和解决多重共线性问题。分别
做Y对X1、X2、X3、X4、X5的一元回归，结果如表6.5.4所示。
表6.5.4 一元回归结果(被解释变量为Y，下同)
解释变量 参数估计值 t统计量 R2 调整的R2
CN=最大特征值／最小特征值
这两个指标都反映了特征值的离散程度，数值越大，表明多重共线性 越严重。一般的经验法则是：CI>10即认为存在多重共线性，大于30认为存
在严重的多重共线性。
6.3.5 根据回归结果判断
下的临界值，而发现：（1 ）系数估计值的符号与理论分析结果 相违背；；（ 2 ）某些变量对应的回归系数 t 值偏低或不显著； （3 ）当一个不太重要的解释变量被删除后，或者改变一个观测 值时，回归结果显著变化，则该模型可能存在多重共线性。 例 6.3.1 6.3.1）。
6.3.1 相关系数检验法(Klein判别法)
EViews软件中可以直接计算(解释)变量的相关 系数矩阵： [命令方式] COR 解释变量名 [菜单方式] 将所有解释变量设置成一个数组， 并 在 数 组 窗 口 中 点 击 View ＼ Covariance Analysis…\Correlations 。
273.49
281.33 289.71 307.66 321.07 339.33 356.58 383.95 399.85
首先，作家庭电力消耗量电量与家庭可支配收入的回归模型，结果如下：
可见，收入对用电量有很好的解释作用。
然后，作用电量与住房面积的的回归方程，结果如下：
同样，住房面积对电力也有很好的解释作用。作二元回归方程，结果如下：
X1 0.084 8.666 0.904 0.892
X2 9.052 13.160 0.956 0.950
X3 11.667 5.197 0.772 0.743
X4 34.332 6.468 0.839 O.820
X5 2014.146 8.749 0.905 0.894
从以上辅助回归模型中的R2、F统计量的数值可以看出，
解释变量 X1 、 X2 、 X3 、X4 、 X5 之间存在较为严重的多重共 线性。
(3)方差膨胀因子检验
从以上辅助回归模型可知， VIF1 =17.9 ； VIF2 =19.2 ； VIF3 =4.4；VIF4 =10.9；VIF5 =20。明显大于10，解释变量
或可替代的解释变量
根据经济理论或其他信息，找出参数间的某 种关系，并将这种关系作为约束条件与样本信息 结合起来，进行有约束的最小二乘估计。例如，
著名的Cobb-Douglas生产函数中:
6.4.3
变换模型的形式
对原设定的模型进行适当的变换，也可以消除或 削弱原模型中解释变量之间的相关关系。具体有三种 变换方式，一是变换模型的函数形式；二是变换模型
具体步骤为
(1) 利用相关系数从所有解释变量中选取相关性最强的变量
建立一元回归模型。 (2)在一元回归模型中分别引入第二个变量，共建立k-1个二 元回归模型(设共有k个解释变量)，从这些模型中再选取一个较 优的模型。选择时要求模型中每个解释变量影响显著，参数符 号正确，调整的R2值有所提高。 (3) 在选取的二元回归模型中以同样方式引入第三个变量； 如此下去，直至无法引入新的变量时为止。
1989
1990 1991 1992 1993 1994
16917.8
18598.4 21662.5 26651.9 34560.5 46670.0
2199.9
2574.3 3398.7 4443.3 5986.2 9960.1
160.2
165.2 170.8 181.7 208.4 258.6
1995
440
400
360
X2
320 280 240 12 13 14 15 X1 16 17 18 19
图6.3.1 住房面积与收入之间的关系图 (2)辅助回归模型检验：将住房面积对收入进行回归，住房面积与收入之
间存在显著的线性关系。
(3)方差膨胀因子检验：
6.4 多重共线性的解决方法
6.4.1 6.4.2 保留重要的解释变量，去掉次要的 利用先验信息改变参数的约束形式
量之间的多重共线性
6.2 多重共线性造成的影响
以二元线性回归模型为例：
由此可知，参数估计量经济含义不合理。当解
释变量存在多重共线性时，虽然可以得到参数的最
小二乘估计值，但估计值很不稳定，即使样本观测 数据发生微小变化，都会造成模型参数估计值的很 大变化。
6.3
多重共线性的检验
6.4.6 增加样本容量
6.4.7
主成分回归
其基本原理是：利用主成分分析将解释变量转换成若
干个主成分，这些主成分从不同侧面反映了解释变量的综
合影响，并且互不相关。因此，可以将被解释变量关于这 些主成分进行回归，再根据主成分与解释变量之间的对应
关系，求得原回归模型的估计方程。
主成分回归的具体步骤为
6.5
。我们可以断定方程(6.4.5)中存在严重的多重共线
性。为解决这个问题，我们可以用实际进口额对实
际收入进行回归，得到如下结果：
表6.4.4 回归结果
这表明，实际进口额与实际收入显著正相关。这样，通过将名义变量
转换为实际变量，显然削弱了原模型中的多重共线性。
6.4.4
综合使用时序数据与截面数据
在模型的参数估计中，如果模型利用的是时间序列数据，这时模型又 存在多重共线性，可考虑用时间序列数据与截面数据相结合的办法来修正 多重共线性对模型的影响。
其中，Y为全国旅游收入(亿元)；X1为国内旅游人数(万人／次)； X2为城镇居民人均旅游支出(元)；X3为农村居民人均旅游支出(元)； X4为公路里程(万km)；X5为铁路里程(万km)。 表6.5.1 1994～2003年中国旅游收入及相关数据
年 份 1994 1995 1996 1997 1998 1999 2000 2001 2002 2003
利用EViews软件，输入Y、X1、X2、X3、X4、X5等数据，采用
这些数据对模型进行OLS回归，结果如表6.5.2所示。 表6.5.2 回归结果
由此可见，该模型可决系数很高，F检验值173．353，明显显著。 但是X1、X5系数的t检验不显著，而且X5系数的符号与预期的相反，
这表明很可能存在严重的多重共线性。
第6章 多重共线性
6.1 多重共线性及其产生的原因
6.1.1 多重共线性(Multicollinearity)的定义
6.1.2 多重共线性产生的原因
根据经验，多重共线性产生的经济背景和原因有以下
几个方面： 1．经济变量之间往往存在同方向的变化趋势
2．经济变量之间往往存在着密切的关联度
3．在模型中引入滞后变量也容易产生多重共线性 4 ．在建模过程中由于解释变量选择不当，引起了变
表6.3.2
回归结果
住房面积的系数在方程（6.3.7）中是显著的，在方程（6.3.8）中不 显著；从F统计量值可以看出，收入和住房面积对电力消费量的共同影响 是显著的。
(1)相关系数检验：数组窗口中点击View＼Correlations，结果如表
6.3.3所示： 表6.3.3 相关系数