多重共线性的发现和检验
第四章 多重共线性
2
( x2 i x3 i ) 2 x [1 2 x3 i
2 2i
2
2 2 x2 i (1 r23 )
ˆ Var( 3 ) 同样可得
2
2 2 x3 i (1 r23 )
ˆ ˆ Cov( 2 , 3 )
r23 2
2 2 2 (1 r23 ) x2 i x3 i
1 X X 21 X 31
1 X 22 X 32
1 X 2n X 3n
nX 3 X 2 i X 3 i 2 X 3 i
X 2 i
2 X 2 i X 2 i X 3 i
X 3 i n nX 2 2 X 2 i X 3 i nX 2 X 2 i 2 X 3 i nX 3 X 2 i X 3 i
其中vi为随机变量，则称解释变量X2、X3、 …、 Xk 之间存在着不完全的多重共线性。 注意：解释变量之间不存在线性关系，并非不存在 非线性关系，当解释变量之间存在非线性关 系时，并不违反古典假定。
5
二、产生多重共线性的背景
多重共线性产生的经济背景主要有几种情形：
1.经济变量之间具有相同的变化趋势。
10
n X X nX 2 nX 3 n 0
nX 2 X
2 2i
nX 3 X 2 i X 3 i
2 X 3 i
X 2 i X 3 i nX 2
2 2 X 2 i nX 2
X 2 i x2 i X 2 X 3 i x3 i X 3
nX 3
X 2 i X 3 i nX 2 X 3
这里r23是X2，X3的相关系数。
16
多重共线性的四种检验方法
多重共线性的四种检验方法1. 协方差矩阵检验协方差矩阵检验是通过计算变量之间的协方差来检测变量之间是否存在多重共线性的一种方法。
当变量之间的协方差较大时，可以推断出变量之间存在多重共线性的可能。
另外，协方差矩阵检验还可以用来检测变量之间的相关性，以及变量之间的线性关系。
2. 因子分析检验因子分析检验是一种检验多重共线性的方法，它检验变量之间是否存在共同的共线性因子。
它通过对变量之间的相关性进行分析，以及对变量的因子负载度进行检验，来确定变量之间是否存在多重共线性。
因子分析检验可以帮助研究者识别变量之间的共同共线性因子，从而更好地理解数据的结构。
3. 相关系数检验相关系数检验是一种检验多重共线性的方法，它可以检测自变量之间的相关性。
它通过计算自变量之间的相关系数来检验，如果相关系数的绝对值较大，则可以认为存在多重共线性。
此外，相关系数检验还可以检测自变量与因变量之间的相关性，如果自变量与因变量之间的相关系数较大，则可以认为存在多重共线性。
方差分析检验：方差分析检验是一种检验多重共线性的有效方法，它可以用来检测自变量之间的关系。
它的思想是，如果自变量之间存在多重共线性，那么它们的方差应该会受到影响，而且这种影响会反映在回归系数上。
因此，方差分析检验的基本思想是，如果自变量之间存在多重共线性，那么它们的方差应该会受到影响，而且这种影响会反映在回归系数上。
为了检验这一点，可以使用方差分析检验，它可以用来检测自变量之间是否存在多重共线性。
5. 回归分析检验回归分析检验是一种用于检测多重共线性的方法，它可以用来确定变量之间是否存在多重共线性。
回归分析检验是通过比较模型的R-平方值和调整后的R-平方值来确定多重共线性存在的程度。
如果调整后的R-平方值明显低于R-平方值，则表明多重共线性存在。
另外，可以通过观察模型的拟合度来检测多重共线性。
如果拟合度较低，则可能存在多重共线性。
多重共线性检验方法
多重共线性检验方法多重共线性是多元回归分析中常见的问题，指的是自变量之间存在高度相关性，导致回归系数估计不准确甚至失真。
在实际应用中，多重共线性可能会对模型的解释能力和预测能力造成严重影响，因此需要采取相应的检验方法来识别和应对多重共线性问题。
一、多重共线性的影响。
多重共线性会导致回归系数估计不准确，增大回归系数的标准误，降低统计推断的准确性。
此外，多重共线性还会使得模型的解释能力下降，使得模型对自变量的解释变得模糊不清，降低模型的预测能力。
因此，识别和解决多重共线性问题对于保证模型的准确性和稳定性至关重要。
二、多重共线性的检验方法。
1. 方差膨胀因子（VIF）。
方差膨胀因子是一种常用的多重共线性检验方法，它通过计算每个自变量的方差膨胀因子来判断自变量之间是否存在多重共线性。
通常情况下，方差膨胀因子大于10时，就表明存在严重的多重共线性问题。
2. 特征值检验。
特征值检验是通过计算自变量矩阵的特征值来判断自变量之间是否存在多重共线性。
当特征值接近0或者为0时，就表明存在多重共线性问题。
3. 条件数（Condition Number）。
条件数是通过计算自变量矩阵的条件数来判断自变量之间是否存在多重共线性。
通常情况下，条件数大于30就表明存在多重共线性问题。
4. 相关系数和散点图。
通过计算自变量之间的相关系数和绘制散点图来初步判断自变量之间是否存在多重共线性。
当自变量之间存在高度相关性时，就可能存在多重共线性问题。
三、处理多重共线性的方法。
1. 剔除相关性较强的自变量。
当自变量之间存在高度相关性时，可以考虑剔除其中一个或者几个相关性较强的自变量，以减轻多重共线性的影响。
2. 主成分回归分析。
主成分回归分析是一种处理多重共线性的方法，它通过将自变量进行主成分变换，从而降低自变量之间的相关性，减轻多重共线性的影响。
3. 岭回归和套索回归。
岭回归和套索回归是一种通过对回归系数进行惩罚来减轻多重共线性影响的方法，通过引入惩罚项，可以有效地缩小回归系数的估计值，减轻多重共线性的影响。
什么是多重共线性如何进行多重共线性的检验
什么是多重共线性如何进行多重共线性的检验多重共线性是指在统计模型中，独立变量之间存在高度相关性或者线性依赖关系，从而给模型的解释和结果带来不确定性。
在回归分析中，多重共线性可能导致系数估计不准确、标准误差过大、模型的解释变得复杂等问题。
因此，对于多重共线性的检验和处理是非常重要的。
一、多重共线性的检验多重共线性的检验可以通过以下几种方式进行：1. 相关系数矩阵：可以通过计算独立变量之间的相关系数，判断它们之间的关系强度。
当相关系数超过0.8或-0.8时，可以视为存在高度相关性，即可能存在多重共线性问题。
2. 方差扩大因子（VIF）：VIF是用来检验自变量之间是否存在共线性的指标。
计算每一个自变量的VIF值，当VIF值大于10或者更高时，可以视为存在多重共线性。
3. 条件数（Condition index）：条件数也是一种用来检验多重共线性的指标。
它度量了回归矩阵的奇异性或者相对不稳定性。
当条件数超过30时，可以视为存在多重共线性。
4. 特征值（Eigenvalues）：通过计算特征值，可以判断回归矩阵的奇异性。
如果存在特征值接近于零的情况，可能存在多重共线性。
以上是常用的多重共线性检验方法，可以根据实际情况选择合适的方法进行检验。
二、多重共线性的处理在检测到存在多重共线性问题后，可以采取以下几种方式进行处理：1. 去除相关性强的变量：在存在高度相关变量的情况下，可以选择去除其中一个或多个相关性较强的变量。
2. 聚合相关变量：将相关性强的变量进行加权平均，得到一个新的变量来替代原来的变量。
3. 主成分分析（PCA）：主成分分析是一种降维技术，可以将相关性强的多个变量合并成为一个或多个无关的主成分。
4. 岭回归（Ridge Regression）：岭回归是一种缓解多重共线性的方法，通过加入一个正则化项，来使得共线性变量的系数估计更加稳定。
5. Lasso回归（Lasso Regression）：Lasso回归也是一种缓解多重共线性的方法，通过对系数进行稀疏化，来选择重要的变量。
第七章多重共线性精品课件
2i
bk xki ui
进行估计时，将 Xj从模型中排除，并不引起拟合优度 减少许多，那么，这个被排除在模型之外的解释变量 与留在模型中的解释变量多重共线，排除是应当的。
第三节、 多重共线性的的处理
一、剔除引起共线性的解释变量（这是最重要的方法， 保留在模型中变量的经济意义不再仅仅是自身的作用， 也包含了与其共线并被排除变量的作用。）
2
I n）
二、多重共线性的概念
考虑模型中只有两个解释变量的情况，此时 模型可以表示为：
Y b0 b1 X1 b2 X 2 u
若存在不全为0的常数 1 , 2 ，使下列关 系式成立：
1 X1 2 X 2 0
则称自变量 X 1 , X 2 存在完全的线性关系。
此时两者之间的相关系数为1。实际中完全多 重共线的情况并不多见，一般出现不同程度的 近似多重共线，即有以下关系成立：
第七章、多重共线性
本章内容
第一节、 多重共线性的概 念、产生的原因及其后果 第二节 、多重共线性的检 验 第三节、 多重共线性的的 处理 约瑟夫· 斯蒂格利茨 第四节 多重共线性的案例 2001年诺贝尔奖 分析
获得者
第一节、 多重共线性的概念、产生的原因 及其后果 一、单方程计量经济模型回顾 1、模型形式：
ji 0 1
1i
ˆ j 1 x j 1i ˆ j 1 x j 1i ˆ k xki
如果判定系数很大，F检验显著，则Xj可用其他解释变 量的线性组合表出，即 Xj 与其他解释变量多重共线。 应将Xj从解释变量中排除。 （2）或者，在对原模型
y b b x b x
四、多重共线性的影响
1、对于完全共线，由于矩阵逆不存在，所以参数的 OLS估计失效。
多重共线性(统计累赘)的概念、特征及其测量方式和处理方式
试述多重共线性（统计累赘）的概念、特征及其测量方式和处理方式。
1、概念多重共线性是指自变量之间存在线性相关关。
倘若其中两个自变项的关系特别强，则在相互控制后就会使每者的效果减弱，而其他的变相的效果就会因此而增大。
2、特征3、产生原因产生多重相关性的原因主要包括四方面。
一是没有足够多的样本数据; 二是选取的自变量之间客观上就有共线性的关系; 还可能由其它因素导致, 如数据采集所用的方法, 模型设定, 一个过度决定的模型等。
但多数研究者认为共线性本质上是由于样本数据不足引起的。
4、测量方式（1）经验式的诊断方法通过观察,得到一些多重相关性严重存在的迹象。
①在自变量的简单相关系数矩阵中,有某些自变量的相关系数值较大。
②回归系数的代数符号与专业知识或一般经验相反;或者该自变量与因变量的简单相关系数符号相反。
③对重要自变量的回归系数进行t 检验,其结果不显著。
特别是当F 检验能在高精度下通过,测定系数R 2的值也很大,但自变量的t 检验却全都不显著,这时多重相关性的可能将会很大。
④如果增加或删除一个变量,或者增加或删除一个观测值,回归系数发生了明显的变化。
⑤重要自变量的回归系数置信区别明显过大。
⑥在自变量中,某一个自变量是另一部分自变量的完全或近似完全的线性组合。
⑦对于一般的观测数据,如果样本点的个数过少,比如接近于变量的个数或者少于变量的个数,样本数据中的多重相关性就会经常存在。
（2）统计检验方法共线性的诊断方法是基于对自变量的观测数据构成的矩阵X ’X 进行分析,使用各种反映自变量间相关性的指标。
共线性诊断常用的统计量有方差膨胀因子VIF 或容限TOL 、条件指数和方差比例等。
方差膨胀因子VIF 是指回归系数的估计量由于自变量的共线性使其方差增加的一个相对度量。
对于第i 个回归系数,它的方差膨胀因子定义为：VIF=1/1-R 2=1/TOL i 其中R2i 是自变量Xi 对模型中其余自变量线性回归模型的R 平方。
多重共线性检验方法
多重共线性检验方法多重共线性是指自变量之间存在高度相关性的情况，它会导致回归分析结果不稳定，使得模型的解释能力和预测能力大大降低。
因此，对于回归分析中的自变量，需要进行多重共线性检验，以保证回归模型的准确性和可靠性。
本文将介绍几种常用的多重共线性检验方法。
1. 方差膨胀因子（VIF）。
方差膨胀因子是一种常用的多重共线性检验方法，它衡量了自变量之间的相关性程度。
计算每个自变量的VIF值，若VIF值大于10，则说明存在较强的多重共线性。
需要注意的是，VIF值越大，表示自变量之间的相关性越强，需要对相关性较强的自变量进行筛选或者合并。
2. 特征值和条件指数。
特征值和条件指数是通过计算自变量的特征值和条件指数来判断多重共线性的严重程度。
特征值越大，表示共线性越严重；条件指数越大，表示自变量之间的相关性越强。
通过对特征值和条件指数的分析，可以判断自变量之间是否存在多重共线性，并采取相应的处理措施。
3. Tolerance（容忍度）。
容忍度是一种衡量自变量之间相关性的指标，它的计算公式为1-R^2，其中R^2表示自变量之间的相关性。
容忍度越小，表示自变量之间的相关性越强，存在较严重的多重共线性。
一般来说，容忍度小于0.1时，就需要考虑自变量之间的相关性问题。
4. 条件数。
条件数是通过计算自变量矩阵的条件数来判断多重共线性的程度。
条件数越大，表示自变量之间的相关性越强，存在较严重的多重共线性。
一般来说，条件数大于30就需要对自变量进行处理，以减弱多重共线性的影响。
5. 变量膨胀因子（VIF）。
变量膨胀因子是一种通过对自变量进行逐步回归分析来判断多重共线性的方法。
在逐步回归分析中，会计算每个自变量的VIF值，若VIF值大于10，则需要对自变量进行筛选或者合并，以减弱多重共线性的影响。
综上所述，多重共线性检验是回归分析中非常重要的一环，它可以帮助我们发现自变量之间的相关性问题，并采取相应的处理措施，以提高回归模型的准确性和可靠性。
计量经济学第四章 多重共线性
x2i
3 2
x3i
x3i
参数的估计值为：
ˆ2
x32i x2i yi x2i x3i x3i yi
(
x22i )(
x32i ) (
x2i
x 3i
)2
x32i
2
x3i yi x32i 2 2
x32i x32i
x2i x3i x22i
x2i x3i
ˆ1 Y ˆ2 X 2 ˆ3 X 3
ˆ2
x32i x2i yi x2i x3i x3i yi ( x22i )( x32i ) ( x2i x3i )2
ˆ3
x22i x3i yi x2i x3i x2i yi •
(
x22i )(
x32i ) (
x2i
x 3i
)
2
x2i yi x3i yi
x2i x3i x32i
4.2多重共线性的后果
如果X1和X2完全线性相关，则存在非0的λ使得：
1 2 X 2i 3 X 3i 0
则有：
1 2 X 2 3 X 3 0
2 X 2i X 2 3 X3i X3 0
X 2i X3i X 2iYi
X
2 3i
X
3iYi
VAR
COV
(βˆ )
2
(XX)1
2
N X 2i
X 3i
X2i
X
2 2i
X 2i X 3i
【计量经济学 】 多重共线性
（2）滞后变量的引入
在经济计量模型中，往往需要引入滞后经济变量来反 映真实的经济关系。例如消费变动的影响因素不仅有本 期可支配收入，还应考虑以往各期的可支配收入；固定 资产存量变动的影响因素不仅有本期投资，还应考虑以 往若干期的投资。同一变量的前后期之值很可能有较强 的线性相关性，模型中引入了滞后变量，多重共线性就 难以避免。
（3）如果新解释变量能使拟合优度有所改变，R 2提高，但对其它参
数的符号和数值有明显的影响，统计检验也不显著，可以判定新解 释变量引起了共线性。此时需按照前述的检验方法，考察变量间线 性相关的形式和程度，并进行经济意义的判断，在共线性程度最高 的两个变量中，舍去对被解释变量影响较小、经济意义相对次要的 一个，保留影响较大、经济意义相对重要的一个。
年份
1981 1982 1983 1984 1985 1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 1996
Y
4901 5489 6076 7164 8792 10133 11784 14704 16466 18320 21280 25864 34501 47111 59405 68498
△C1
333 329 383 673 1079 769 909 1909 1196 806 1784 2806 4230 7034 7313
(1) 判定系数检验法 使模型中每一个解释变量分别以其余解释变量 为解释变量进行回归，并计算相应的拟合优度。
K个辅助方程：
Xji=1X1i+2X2i+j-1Xj-1i+j+1Xj+1i++ KXKi 在得到的K个判定系数中，若Rj2最大，且接近于1， 可以判定相应的Xj与其他解释变量之间存在共线性。 Xj可以用其他解释变量的线性组合代替。
计量经济第六章多重共线性
• 2、数据采集的范围有限，或采集 的样本量小于模型的自变量个数。
• 如在罕见疾病的研究过程中，由于病 情罕见、病因又相当复杂，而只能在 少数的患者身上采集大量的变量信息。
3、模型中采用滞后变量
在计量经济模型中，往往需要引入 滞后变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相 关性。
up
三、方差膨胀因子法
• 自变量间的共线性程度越大时,VIF值也随之 增大。所以也可利用方差膨胀因子来检验 多重共线性问题。 • 一般来说，当VIF >10时，表明 涉及的两个 变量存在高度线性相关，模型存在不完全 多重共线性。
P111 【经典实例】
• 计算得到的方差膨胀因子值分别为
VIF1 =10000,VIF2 =10000,VIF3 =9.6525,VIF4 =11.5875
2 2 2 1
同理易得
ˆ ) Var( 2
• EVIEWS遇到完全多重共线性时，会 显示 • Near singular matrix，无法进行估 计
2、不完全多重共线性下的后果
（1）估计量的方差增大 2 2 x 2 ˆ) 由于 Var ( 1 2 x12x2 (x1 x2 )2
• 可以看出，除了 VIF3 10 ，其余的方 差膨胀因子值均大于10,表明模型中 存在较严重的多重共线性问题。
up
第三节 多重共线性的修正 一、改变模型的形式 二、删除自变量 三、减少参数估计量的方差 四、其它方法 习题
up
• 一、改变模型的形式
• （一）变换模型的函数形式
• 例如将线性回归模型转化为对数模 型或者多项式模型。 • （二）改变模型的自变量的形式
多重共线性
2.采用综合统计检验法
R2与F值较大，但t检验值较小，说明各解释变量对Y的联合线 性作用显著，但各解释变量间存在共线性而使得它们对Y的独 立作用不能分辨，故t检验不显著。
3.3 多重共线性
3、辅助回归模型检验 通过每个解释变量对其它解释变量的辅助回归模型
xi a0 a1 x1 ai 1 xi 1 ai 1 xi 1 ak xk
3.3多重共线性
• • • • 多重共线性及其产生原因 多重共线性的后果 多重共线性的检验 多重共线性的方法
一、多重共线性及其产生原因
1.多重共线性的概念---解释变量间相关
对于多元线性回归模型 yi=b0+b1x1i+b2x2i+…+bkxki+εi 存在一组不全为零的常数λ1，λ2，…λk，使得 λ1x1i + λ2x2i +…+ λkxki +νi=0 其中νi是一个随机误差项，则称模型存在着多重共线性。 “共线性”：变量间线性相关 “多重”：多种组合 “完全多重共线性”： νi=0
3.3 多重共线性
例5．服装需求函数。根据理论和经验分析，影响居民服 装需求的主要因素有：可支配收入X、流动资产拥有量 K、服装类价格指数P1和总物价指数P0 。教材P124的表 3-4给出了有关统计资料。 设服装需求函数为 ：Y=a+b1x+b2P1+b3P0+b4K+ε (1)相关系数检验 键入：COR Y X K P1 P0 输出的相关系数矩阵为：
3.3 多重共线性
2、间接剔除重要的解释变量 ⑴利用附加信息
例如，著名的Cobb-Dauglas 生产函数中
附加信息： α +β =1 则
计量经济学：多重共线性
影响比较大的，略去影响较小的。
元线性回归模型并进行OLS估计，拟合优度最大且接近1时，说明
这个变量与其他所有解释变量间存在共线性。
第三节 多重共线性的检验
辅助回归法中的方差膨胀因子：
对 于 多 元 线 性 回 归 模： 型Yi 0 1 X 1i ... k X ki ui 为 判 断 诸 自 变 量 间 是存 否在 多 重 共 线 性 ， 进如 行下 辅 助 回 归 ： X ji 0 1 X 1i ... j 1,i X j 1,i j 1,i X j 1,i ... k X ki v i , j 1,2,...,k 若 上 述 辅 助 回 归 的 可系 决数 为 R2 X j的 方 差 膨 胀 因 子 为 ： j， 则 定 义 自 变 量 1 VIF j 1 R2 j
第一节 多重共线性的概念
若有c0+c1X1i+c2X2i+…+ckXki=0 i=1,2,…,n。其中: ci不全为0，则称
解释变量间存在完全多重共线性
若存在：c0+c1X1i+c2X2i+…+ckXki≈0 i=1,2,…,n。 其中：ci不全为0，
则称为解释变量间存在近似多重共线性。
完全共线性的情况并不多见，一般出现的是在一定程度上的共线性，
第二节 多重共线性的来源与后果
4、参数估计值不稳定，经济含义不合理
样本观测值稍有变动、增加或减少解释变量等都会使参数估计值发生较大变 化，甚至出现符号错误，从而不能正确反映解释变量对被解释变量的影响。
5、模型的预测功能失效
较大的方差容易使预测区间变大，从而使预测失去意义
注意：只要模型满足经典假设，则在近似多重共线性情况下，OLS估计量仍 然满足无偏性、线性性和有效性。但此时，无偏性并不意味着对某一给定样 本，其参数估计值就等于真实值。有效性也不意味着参数估计量的方差一定 很小。
多重共线性
比如对于两个解释变量的模型
Yi 1 X 1i 2 X 2i ui
根据我们前面的讨论，参数的最小二乘估计为：
ˆ 1
2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i
R 2 0.8101 ˆ , ˆ ) 0.00868 cov( 1 2
12 0.5523
df 2
ˆ 在单侧t检验的显著水平10%是显著的（1.886）。 1
第二组数据的回归结果
ˆ 1.2108 Y i se (0.7480) t (1.6187) 0.4014 X 1i (0.2721) (1.4752) 0.0270 X 2i (0.1252) (0.2158)
多重共线性
南开大学数学科学学院 白晓棠
多重共线性
在经典的线性回归模型中，我们假定回归模型中诸回归元 之间无多重共线性。
在本节中我们将放松此要求从而来研究： 1、什么是多重共线性？ 2、它会引起什么样的后果？ 3、怎样去发现它？ 4、我们可以采取哪些补救措施来缓解多重共线性的问 题？
第一组数据
Y 1 2 3 4 5
X1 2 0 4 6 8
X2 4 2 12 0 16
第二组数据
Y 1 2 3 4 5
X1 2 0 4 6 8Leabharlann X2 4 2 0 12 16
第一组数据的回归结果
ˆ 1.1939 Y i se (0.7737) t (1.5431) 0.4463 X 1i (0.1848) (2.4151) 0.0030 X 2i (0.0851) (0.0358)
多重共线性诊断及处理
多重共线性诊断及处理⼀、定义多重共线性（Multicollinearity）是指线性回归模型中的解释变量之间由于存在较精确相关关系或⾼度相关关系⽽使模型估计失真或难以估计准确。
完全共线性的情况并不多见，⼀般出现的是在⼀定程度上的共线性，即近似共线性。
⼆. ⽬前常⽤的多重共线性诊断⽅法 1.⾃变量的相关系数矩阵R诊断法：研究变量的两两相关分析，如果⾃变量间的⼆元相关系数值很⼤，则认为存在多重共线性。
但⽆确定的标准判断相关系数的⼤⼩与共线性的关系。
有时，相关系数值不⼤，也不能排除多重共线性的可能。
R实现：画协⽅差矩阵图 2.⽅差膨胀因⼦（the variance inflation factor，VIF)诊断法：⽅差膨胀因⼦表达式为：VIFi=1/（1-R2i)。
其中Ri为⾃变量xi对其余⾃变量作回归分析的复相关系数。
当VIFi很⼤时，表明⾃变量间存在多重共线性。
该诊断⽅法也存在临界值不易确定的问题，在应⽤时须慎重。
判断：VIF j>10时，说明⾃变量x与其余⾃变量之间存在严重的多重共线关系，这种多重共线性可能会过度地影响最⼩⼆乘估计值 3.容忍值（Tolerance，简记为Tol）法：容忍值实际上是VIF的倒数，即Tol＝1/VIF。
其取值在0～1之间，Tol越接近1，说明⾃变量间的共线性越弱。
在应⽤时⼀般先预先指定⼀个Tol值，容忍值⼩于指定值的变量不能进⼊⽅程，从⽽保证进⼊⽅程的变量的相关系数矩阵为⾮奇异阵，计算结果具有稳定性。
但是，有的⾃变量即使通过了容忍性检验进⼊⽅程，仍可导致结果的不稳定。
4.多元决定系数值诊断法：假定多元回归模型p个⾃变量，其多元决定系数为R2y（X1，X2,…，Xp）。
分别构成不含其中某个⾃变量（Xi,i=1,2,…，p）的p个回归模型，并应⽤最⼩⼆乘法准则拟合回归⽅程，求出它们各⾃的决定系数R2i（i=1,2,…，p）。
如果其中较⼤的⼀个R2k与R2y很接近，就表明该⾃变量在模型中对多元决定系数的影响不⼤，说明该变量对Y总变异的解释能⼒可由其他⾃变量代替。
多重共线性的后果四、多重共线性的检验五、克服多重共线
多重共线性
一、多重共线性的概念 二、实际经济问题中的多重共线性 三、多重共线性的后果 四、多重共线性的检验 五、克服多重共线性的方法 六、案例
问题的提出
• 在前述基本假定下OLS估计具有BLUE的优良性。 • 然而实际问题中，这些基本假定往往不能满足， 使OLS方法失效不再具有BLUE特性。 • 估计参数时，必须检验基本假定是否满足，并针 对基本假定不满足的情况，采取相应的补救措施 或者新的方法。 • 检验基本假定是否满足的检验称为计量经济学检 验
在矩阵表示的线性回归模型 Y=X+ 中，完全共线性指：秩(X)<k+1，即
1 1 X 1 X 11 X 12 X 1n X 21 X 22 X 2n X k1 X k2 X kn
中，至少有一列向量可由其他列向量（不包括第 一列）线性表出。 如：X2= X1，则X2对Y的作用可由X1代替。
具体可进一步对上述回归方程作F检验： 构造如下F统计量
Fj R2 j . /( k 2) (1 R ) /(n k 1)
2 j.
~ F (k 2, n k 1)
式中：Rj•2为第j个解释变量对其他解释变量的回 归方程的决定系数，
若存在较强的共线性，则Rj•2较大且接近 于1，这时（1- Rj•2 ）较小，从而Fj的值较大。 因此，给定显著性水平，计算F值，并与 相应的临界值比较，来判定是否存在相关性。
– 时间序列数据经常出现序列相关
• 5、随机扰动项方差不等于常数=>异方差
– 截面数据时，经常出现异方差
解决问题的思路
• • • • 1、定义违反各个基本假定的基本概念 2、违反基本假定的原因、背景 3、诊断基本假定的违反 4、违反基本假定的补救措施（修正）
多重共线性的检验方法
多重共线性的检验方法多重共线性（MultipleCollinearity）是指在统计模型研究中，由于自变量之间的正相关性，导致模型结果混乱的一种情况，有时会影响模型的稳定性和准确性。
多重共线性的检验和衡量是经济学研究中非常重要的话题，实际应用中需要采取一定的措施检测和消除其影响。
二、多重共线性的衡量（1）变量序列内相关系数（Variance inflation factor）method1：VIFVIF是用于直接确定多重共线性强度的指标，定义为自变量i的未定型校正变量相关系数的倒数，即：VIFi=1/(1-ρi2)其中ρi2表示自变量i的未定型校正变量相关系数，可以从它和自己的未定型校正变量的相关系数倒推出，当VIF大于10时，说明存在严重的多重共线性。
（2）变量序列的共线性统计量（Condition index）method2：CICI可以反映多重共线性的程度，定义为自变量i的未定型校正变量方差的比值，即：CIi=σi2/Σ1nσi2CIi可以把各共线性变量进行排序，当CI大于30时，说明存在严重的多重共线性。
三、多重共线性的消除方法（1）变量筛选method3：变量筛选变量筛选是一种常用的多重共线性消除方法，主要利用多元统计分析，从较多的变量中筛选出有重要影响意义的变量，以减少多重共线性的影响，从而使模型运行的更加准确性和稳定性。
（2）主成分分析method4：主成分分析主成分分析是一种从测量变量中提取信息的统计方法，它可以从若干个变量中提取出一些综合变量，来反映不同变量之间的多重共线性，从而可以简化模型，消除影响模型准确性的多重共线性。
四、结论多重共线性的衡量与消除是经济学研究中非常重要的话题，需要采取一定的措施检测和消除其影响。
本文介绍了VIF和CI等多重共线性的衡量方法，以及变量筛选和主成分分析等多重共线性的消除方法，以此来消除多重共线性对经济学研究中模型准确性和稳定性的影响。
多重共线性(Multi-Collinearity)
i 0 1 1i 2 2i
k ki i
（i=1,2,…,n）
其基本假设之一是解释变量
X,
1
X2,,
X
k
互相独立 。
如果某两个或多个解释变量之间出现了相关性， 则称为多重共线性。
如果存在
c1X1i+c2X2i+…+ckXki=0
i=1,2,…,n
其中: ci不全为0，即某一个解释变量可以用其它解释 变量的线性组合表示，则称为解释变量间存在完全
2
1
x12i 1 r 2
2
x12i
所以，多重共线性使参数估计量的方差增大。
方差扩大因子(Variance Inflation Factor)为1/(1-r2)， 其增大趋势见下表：
相关系 0 0.5 0.8 0.9 0.95 0.96 0.97 0.98 0.99 0.999 数平方 方差扩 1 2 5 10 20 25 33 50 100 1000 大因子
多重共线性(Multi-Collinearity)
§2.8 多重共线性
Multi-Collinearity
一、多重共线性的概念 二、多重共线性的后果 三、多重共线性的检验 四、克服多重共线性的方法 五、案例
一、多重共线性的概念
1、多重共线性
• 对于模型
Y X X X
以二元回归模型中的参数估计量ˆ 为例，ˆ 的方差为
1
1
Var(ˆ )
1
ˆ 2
(X X
)1
22
(
ˆ
2
(
x2
2i
)
x2 )( x2 ) ( x
4 多重共线性
2 λ (∑ yx2 )(∑ x2 ) − λ (∑ yx2 )(∑ x2 x2 ) 0 = = 2 2 0 λ (∑ x2 )(∑ x2 2 ) − λ 2 (∑ x2 2 ) 2
2 (∑ yλ x2 )(∑ x2 ) − (∑ yx2 )(∑ x2 λ x2 ) ˆ β3 = 2 (∑ x2 )(∑ (λ x2 ) 2 ) − (∑ x2 λ x2 ) 2
第二节 多重共线性产生的后果
▲完全多重共线性下的后果 ▲不完全多重共线性下的后果 一、完全多重共线性下的后果 1、参数估计值不确定 在完全多重共线性下，解释变量 X i 满足：
λ2 X 2 + λ3 X 3 + " + λk X k = 0
其中 λi 不全为零。则对应解释变量的矩阵 X ，有 X ' X = 0 ，或者
∑ (λ x )
2
2
σ
2
∑x =
0
2 2
σ2 = ∞
表明在解释变量之间存在完全共线性时， 参数估计值的方差会无限变
完全
二、多重共线性的定义
不完全
1、完全的多重共线性（线性相关的方法描述） ： 对于变量 X 2 , X 3 ," , X k ，如果存在不全为零的数 λ2 , λ3 ," , λk ，使得 下式成立：
2
λ2 X 2 + λ3 X 3 + " + λk X k = 0
（4.1）
则称变量
X 2 , X 3 ," , X k 之间存在一种完全的多重共线性。
第四章 多重共线性
在现实经济问题中，古典假定不一定能满足，这就是所谓的古典 假定的违反。 古典假定： 1.零均值，即 E (ui ) = 0 ； 2.同方差，即 Var (ui ) = σ 2 ； 3.无自相关，即 Cov(ui , u j ) = 0, i ≠ j ； 4.解释变量非随机性，即 Cov(ui , X i ) = 0 ; 5. 无 多 重 共 线 性 ， 即 不 存 在 一 组 不 全 为 零 的 数 λ2、λ3 " λk ， 使
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
10
完全多重共线性问题的处理也比较简单， 只需要针对性地修改模型，放弃、调整 相互之间形成线性关系，导致完全多重 共线性的部分解释变量。
注意一般不需要也不应该放弃存在线性 关系的全部变量，否则容易使模型失去 意义。
第八章 多重共线性
1
本章结构
第一节 多重共线性及其影响 第二节 多重共线性的发现和检验 第三节 多重共线性的克服和处理
2
第一节 多重共线形及其影响
一、多重共线形及其分类 二、严格多重共线形及其危害 三、近似多重共线形的原因及其影响
3
一、多重共线性及其分类
多元线性回归模型要求解释变量之间不 存在线性关系，包括严格的线性关系和 高度的近似线性关系。
在模型存在近似多重共线性的情况下，参数的 最小二乘估计不仅仍然是唯一存在的，而且仍 然是最小方差线性无偏估计。
但问题是当存在比较严重的近似多重共线性问 题时，参数估计方差的绝对水平可能并不小， 而且会随着多重共线性程度的提高急剧上升。
13
如果 SSTk用记变量 X k 的离差平方和，SSRk 记变量 X k对其余 K 1个解释变量的回归
。
当第k 个解释变量与其他解释变量之间有相关
性时，0 Rk2 1。
当第k 个解释变量与其他解释变量之间有很强
的相关性，也就是模型存在很强的近似多重共
线性时，Rk2 接近1，此时 bk的方差 Var(bk ) 会变
得非常大。
15
参数估计量方差的增大，必然导致参数估计的 不稳定性提高，容易出现参数符号和数值大小 的异常情况，从而使最小二乘估计的有效性受 到很大影响。
述正规方程组中的第二式可得：
b1 x1(2x1) b2 x2(2x1) y(2x1)
i
i
i
得到：b1 i x12 b2 i x2 x1 i yx1
很显然，这个方程与上述正规方程组的
第一个方程是完全相同的。
8
这意味着我们得到了包含两个未知参数估计量 的两个相同的方程，这时该方程组有无穷组解 而不是有唯一一组解。
18
因为多重共线性是通过对参数估计方差的放大 作用对多元线性回归产生不利影响的，而解释 变量的共线性程度与参数估计量方差的大小有 一致性，因此可以根据参数估计方差被“放大” 的程度，判断模型是否存在多重共线性问题， 以及是由哪些变量引起的共线性问题。
以参V数a估r(b计k )bk 为SσS例T2 k。b1k的1R方k2 差S为σST2：k
正是因为这些原因，近似多重共线性是 我们重点关心的问题，在多数情况下多 重共线性指的就是近似多重共线性。
17
第二节 多重共线性的发现和检验
多重共线性的根源是解释变量之间的相关性， 因此分析解释变量之间的相关性，进行单相关 或多元相关性的分析检验，是发现和判断多重 共线性问题的基本方法。
当然，解释变量之间总是有不同程度相关性的， 因此要认定模型确实存在较严重、必须处理的 共线性问题，必须结合参数估计的符号、大小 和显著性等是否异常，或者参数估计是否表现 出很大不稳定性（可通过改变少量数据检验） 等进行判断。
b1 x12 b2 x1x2 yx1
i
i
i
b1 x1x2 b2 x22 yx2
i
i
i
其中 x1、x2 和 y分别是 X1、X 2和 Y的离差。
设 X1和 X 2两个变量之间有严格的线性关 系 X2 2X1，这个模型当然就存在完全的 多重共线性。
7
此时 x2 2x1也成立。把该关系式代入上
多重共线性正是通过这样的机制，对多元线性 回归模型的最小二乘估计产生不利影响，其后 果常表现为参数估计不稳定，数据的很小变化 会引起参数估计值的较大变化，而且参数估计 的异常值增多，包括显著性水平不符合实际， 或反映解释变量作用方向的符号相反等。
16
近似多重共线性表现形式和原因的多样 性，数据问题导致多重共线性的隐蔽性， 使得近似多重共线性的发现、判断和处 理也比较困难。
这实际上意味着被解释变量究竟受哪些变量的 影响变得很不清楚，变量关系是无法识别的。
有完全多重共线性的多元线性回归模型都无法 顺利进行参数估计，会使多元线性回归模型参 数估计失败，回归分析无法进行。
9
完全多重共线性虽然破坏性很大，却不是最需 要担心的问题。
因为完全多重共线性是由于模型设定问题，把 有严格联系的变量引进同一个模型，或者虚拟 变量设置不当引起的，因此只要在建模时适当 注意就可以避免。5源自二、严格多重共线形及其危害
完全多重共线性不可能由于数据问题引 起，通常是由于模型设定问题，把有严 格联系的变量引进同一个模型，或者虚 拟变量设置不当引起的。
设两个解释变量的线性回归模型为：
Y 0 1X1 2 X 2 回归方程为：Yˆ b0 b1X1 b2 X2
6
求参数最小二乘估计量的正规方程组为：
但事实上由于模型设定和数据等各方面 的问题，模型的解释变量之间很可能存 在某种程度的线性关系。这时候称多元 线性回归模型存在多重共线性问题。
4
多重共线性可以分为两类。 如果多元线性回归模型中，存在两个或
多个解释变量之间存在严格的线性关系， 则称为“完全多重共线性”，也称为 “严格的多重共线性”。 而解释变量之间存在近似的而不是严格 的线性关系，这种情况被称为“近似多 重共线性”。
11
三、近似多重共线形的原因及其影响
近似多重共线性既与变量选择有关，也 与数据有关。
虽然解释变量的选择不当，把内在相关 性较强的变量引进同一个模型，是导致 近似多重共线性的重要原因，但近似多 重共线性更经常的原因是经济数据的共 同趋势。
12
近似多重共线性不会导致参数估计失效，最小 二乘参数估计能够得到唯一解。
平方和，Rk2表示原模型第k 个解释变量对
其余 K 1个解释变量回归的决定系数，
那么bk的方差可以写成：
Var(bk )
σ2 SSTk 1
SSRk SSTk
σ2 SSTk 1
Rk2
14
如果第k个解释变量与其余 K 1个解释变量完
全没有相关性，那么 Rk2
0，Var(bk )
σ2 SSTk