多元线性回归中多重共线性的处理
多元线性回归中多重共线性的处理
假定名称 正态性 对扰动项 的假定 零均值 同方差 互独立 非随机 对自变量 X 的假定 对 X 与 的假定 不相关 不相关
假定条件
N 0, 2 且
Cov i , j 0
i j
解释是确定型变量 解释变量间不存在 线性相关关系
姓 班 学
名： 级： 号：
指导老师：
liuwenying 2011/1/12
中南大学数学院统计系
目录
多元线性回归中多重共线性的处理 ................................................................................................... 3 1. 引言 ........................................................................................................................................... 3 2. 多元线性回归 ........................................................................................................................... 3 2.1 2.2 2.3 多元线性回归分析的基本假定 ........................................................................................ 4 回归参数的最小二乘估计及其性质 ................................................................................ 4 上海市全社会固定投资影响因素分析 ............................................................................ 4
最新应用回归分析-第6章课后习题参考答案
第6章多重共线性的情形及其处理思考与练习参考答案6.1 试举一个产生多重共线性的经济实例。
答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。
由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。
再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。
6.2多重共线性对回归参数的估计有何影响？答：1、完全共线性下参数估计量不存在；2、近似共线性下OLS估计量非有效；3、参数估计量经济含义不合理；4、变量的显著性检验失去意义；5、模型的预测功能失效。
6.3 具有严重多重共线性的回归方程能不能用来做经济预测？答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。
但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。
6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。
当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。
6.5 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造设计矩阵X才可能避免多重共线性的出现？答：请参考第三次上机实验题——机场吞吐量的多元线性回归模型，注意利用二手数据很难避免多重共线性的出现，所以一般利用逐步回归和主成分回归消除多重共线性。
如果进行自己进行试验设计如正交试验设计，并收集数据，选择向量使设计矩阵X 的列向量（即X 1，X 2， X p ）不相关。
6.6对第5章习题9财政收入的数据分析多重共线性，并根据多重共线性剔除变量。
EViews计量经济学实验报告-多重共线性的诊断与修正
时间 地点 实验题目 多重共线性的诊断与修正一、实验目的与要求：要求目的：1、对多元线性回归模型的多重共线性的诊断；2、对多元线性回归模型的多重共线性的修正。
二、实验内容根据书上第四章引子“农业的发展反而会减少财政收入”，1978－2007年的财政收入，农业增加值，工业增加值，建筑业增加值等数据，运用EV 软件，做回归分析，判断是否存在多重共线性，以及修正。
三、实验过程：（实践过程、实践所有参数与指标、理论依据说明等）（一）模型设定及其估计经分析，影响财政收入的主要因素，除了农业增加值，工业增加值，建筑业增加值以外，还可能与总人口等因素有关。
研究“农业的发展反而会减少财政收入”这个问题。
设定如下形式的计量经济模型：i Y =1β+2β2X +3β3X +4β4X +5β5X +6β6X +7β7X +i μ其中，i Y 为财政收入CS/亿元；2X 为农业增加值NZ/亿元；3X 为工业增加值GZ/亿元；4X 为建筑业增加值JZZ/亿元；5X 为总人口TPOP/万人；6X 为最终消费CUM/亿元；7X 为受灾面积SZM/千公顷。
图1： 1978～2007年财政收入及其影响因素数据年份财政收入CS/亿元 农业增加值NZ/亿元 工业增加值GZ/亿元 建筑业增加值JZZ/亿元总人口TPOP/万人最终消费CUM/亿元受灾面积SZM/千公顷 1978 1132.3 1027.5 1607 138.2 96259 2239.1 50790 1979 1146.4 1270.2 1769.7 143.8 97542 2633.7 39370 1980 1159.9 1371.6 1996.5 195.5 98705 3007.9 44526 1981 1175.8 1559.5 2048.4 207.1 100072 3361.5 39790 1982 1212.3 1777.4 2162.3 220.7 101654 3714.8 33130 1983 1367 1978.4 2375.6 270.6 103008 4126.4 34710 1984 1642.9 2316.1 2789 316.7 104357 4846.3 31890 1985 2004.8 2564.4 3448.7 417.9 105851 5986.3 44365 1986 2122 2788.7 3967 525.7 107507 6821.8 47140 1987 2199.4 3233 4585.8 665.8 109300 7804.6 42090 1988 2357.2 3865.4 5777.2 810 111026 9839.5 50870 1989 2664.9 4265.9 6484 794 112704 11164.2 46991 1990 2937.1 5062 6858 859.4 114333 12090.5 38474 1991 3149.48 5342.2 8087.1 1015.1 115823 14091.9 55472 1992 3483.37 5866.6 10284.5 1415 117171 17203.3 51333 1993 4348.95 6963.8 14188 2266.5 118517 21899.9 48829 19945218.1 9572.7 19480.7 2964.7 11985029242.2550431995 6242.2 12135.8 24950.6 3728.8 121121 36748.2 45821 1996 7407.99 14015.4 29447.6 4387.4 122389 43919.5 46989 1997 8651.14 14441.9 32921.4 4621.6 123626 48140.6 53429 1998 9875.95 14817.6 34018.4 4985.8 124761 51588.2 50145 1999 11444.08 14770 35861.5 5172.1 125786 55636.9 49981 2000 13395.23 14944.7 40036 5522.3 126743 61516 54688 2001 16386.04 15781.3 43580.6 5931.7 127627 66878.3 52215 2002 18903.64 16537 47431.3 6465.5 128453 71691.2 47119 2003 21715.25 17381.7 54945.5 7490.8 129227 77449.5 54506 2004 26396.47 21412.7 65210 8694.3 129988 87032.9 37106 2005 31649.29 22420 76912.9 10133.8 130756 96918.1 38818 2006 38760.2 24040 91310.9 11851.1 131448 110595.3 41091 2007 51321.78 28095 107367.2 14014.1 132129 128444.6 48992利用EV 软件，生成i Y 、2X 、3X 、4X 、5X 、6X 、7X 等数据，采用这些数据对模型进行OLS 回归。
多重共线性的解决方法之——岭回归与LASSO
多重共线性的解决⽅法之——岭回归与LASSO 多元线性回归模型的最⼩⼆乘估计结果为如果存在较强的共线性，即中各列向量之间存在较强的相关性，会导致的从⽽引起对⾓线上的值很⼤并且不⼀样的样本也会导致参数估计值变化⾮常⼤。
即参数估计量的⽅差也增⼤，对参数的估计会不准确。
因此，是否可以删除掉⼀些相关性较强的变量呢？如果p个变量之间具有较强的相关性，那么⼜应当删除哪⼏个是⽐较好的呢？本⽂介绍两种⽅法能够判断如何对具有多重共线性的模型进⾏变量剔除。
即岭回归和LASSO(注：LASSO是在岭回归的基础上发展的)思想：既然共线性会导致参数估计值变得⾮常⼤，那么给最⼩⼆乘的⽬标函数加上基础上加上⼀个对的惩罚函数最⼩化新的⽬标函数的时候便也需要同时考虑到值的⼤⼩，不能过⼤。
在惩罚函数上加上系数k随着k增⼤，共线性的影响将越来越⼩。
在不断增⼤惩罚函数系数的过程中，画下估计参数（k）的变化情况，即为岭迹。
通过岭迹的形状来判断我们是否要剔除掉该参数（例如：岭迹波动很⼤，说明该变量参数有共线性）。
步骤：1. 对数据做标准化，从⽽⽅便以后对（k）的岭迹的⽐较，否则不同变量的参数⼤⼩没有⽐较性。
2. 构建惩罚函数，对不同的k，画出岭迹图。
3. 根据岭迹图，选择剔除掉哪些变量。
岭回归的⽬标函数式中，t为的函数。
越⼤，t越⼩（这⾥就是k）如上图中，相切点便是岭回归得出来的解。
是岭回归的⼏何意义。
可以看出，岭回归就是要控制的变化范围，弱化共线性对⼤⼩的影响。
解得的岭回归的估计结果为：岭回归的性质由岭回归的⽬标函数可以看出，惩罚函数的系数 (或者k)越⼤，⽬标函数中惩罚函数所占的重要性越⾼。
从⽽估计参数也就越⼩了。
我们称系数 (或者k)为岭参数。
因为岭参数不是唯⼀的，所以我们得到的岭回归估计实际是回归参数的⼀个估计族。
例如下表中：岭迹图将上表中回归估计参数与岭回归参数k之间的变化关系⽤⼀张图来表⽰，便是岭迹图当不存在奇异性是，岭迹应该是稳定地逐渐趋于0当存在奇异性时，由岭回归的参数估计结果可以看出来，刚开始k不够⼤时，奇异性并没有得到太⼤的改变，所以随着k的变化，回归的估计参数震动很⼤，当k⾜够⼤时，奇异性的影响逐渐减少，从⽽估计参数的值变的逐渐稳定。
多元线性回归模型常见问题及解决方法
上述即为加权最小二乘法，其中权数 为1 。
f ( X ji )
普通最小二乘法只是加权最小二乘法中权数恒 取1的一种特例，加权最小二乘法具有比普通 最小二乘法更普遍的意义。
加权最小二乘法也称为广义最小二乘法 (Generalized Least Squares, GLS)。
加权最小二乘法的关键是寻找适当的权，或者
nR2~χ2
在大样本下，对统计量nR2进行相应的χ2检验。
若存在异方差性，表明 e%i2与解释变量的某种 组合有显著的相关性，这时往往有较大的可决 系数R2，并且某一参数的t检验值较大。
加权最小二乘法(WLS)
加权最小二乘法(Weighted Least Squares, WLS) 是对原模型加权，使之变成一个新的不存在异 方差性的模型，然后采用普通最小二乘法估计 其参数。
2
L k
f
1 (X
ji )
X ki
f
1 (X
ji
)
i
f
1 (X
ji )
X 2i
在新模型中，
2
Var
f
1 (X
ji
)
i
1
f (X ji )
Var(i )
1 f (X ji )
f (X ji ) 2
2
即满足同方差性，可用普通最小二乘法估计其 参数，得到参数β0,β1,…,βk的无偏、有效估计量。
序列相关性产生的原因
经济变量故有的惯性（物价指数，消费） 模型设定的偏误 数据的编造 （由已知数据生成）
(一)经济变量故有的惯性
消费函数模型：
第四章多重共线性
1 2 ˆ Var ( j ) VIFj 2 2 2 x j (1 Rj ) x j
2
注意：R 2 是多个解释变量辅助回归的多重可决系数， j
而相关系数
2 r23只是说明两个变量的线性关系 。
17
（一元回归中可决系数的数值等于相关系数的平方）
方差扩大因子的作用
由
VIFJ 1 (1 R2 ) j
2. 严重多重共线时，假设检验作出错误判断的概率增大 （A）参数的置信区间扩大，使得接受一个本应拒绝的假 设（“以假当真”的第二类错误）的概率增大
ˆ （B）因为 t 2 ˆ Var ( 2 ) ，当方差变大时 会使 t 值减
小，导致使本应否定的“参数为０”的原假设被接受。
（该解释变量本来有显著影响，而检验结果却为无显著影响) 10
x y x ) x y x
3i i 2 2i
2i i 2 2i
对比一元回归时
ˆ 2
x y x
i 2 i
6
i
这种情况下多元回归是否还有必要呢?
一、存在完全多重共线性时 ——OLS估计式变得不确定、不精确
1. 解释变量完全线性相关时 ——OLS 估计式不确定 ▲ 从OLS估计式看：此时 X 3i X 2i 可以证明（见教材108页）
●多重共线性的影响程度与解释变量在方程中的
相对“地位”有关
11
●多重共线性的后果与研究目的有关：如果研究目的 仅在于预测Y，而解释变量X之间的多重共线性关系的性 质在未来将继续保持（前提条件），这时多重共线性可 能并不是严重问题，而应着重于可决系数高，F检验显 著。
（理解:出现高度共线性时，虽然无法精确估计个别回归系 数，但可精确估计这些系数的某些线性组合。）
回归模型中多重共线性的情形及其处理
丫= 1+ 8人-4人+ 3为=1 + 8人-（3X2+ 2）+ 3为=7+ 8人-9%（1.5）在（1.4）中，X2的系数为12,表示丫与为成正比例关系，即正相关；而在（1.5）中,X2的系数为-9,表示丫与X?成负比例关系，即负相关。
如此看来，同一个方程丫= 1+ 4片+ 3X2变换出的两个等价方程，由于不同的因式分解和替换，导致两个方程两种表面上矛盾的结果。
实际上，根据X1 = 3为+ 2式中的X1与为的共线性，X1约相当于3X2, 在（1.4）减少了3人，即需要用9个X2来补偿；而在（1.5）增加了4人, 需要用12个X2来抵消，以便保证两个方程的等价性，这样一来使得（1.5）中为的系数变为了负数。
从上述分析看来，由于X i与勺的共线性，使得同一个方程有不同的表达形式，从而使得丫与为间的关系难以用系数解释。
2•对多重线性关系的初步估计与识别如果在实际应用中产生了如下情况之一，则可能是由于多重共线性的存在而造成的，需作进一步的分析诊断。
①增加（或减去）一个变量或增加（或剔除）一个观察值，回归系数发生了较大变化。
②实际经验中认为重要的自变量的回归系数检验不显著。
③回归系数的正负号与理论研究或经验相反。
④在相关矩阵中，自变量的相关系数较大。
⑤自变量回归系数可信区间范围较广等。
3•对多重共线性本质的认识多重共线性可分为完全多重共线性和近似多重共线性（或称高度相关性），现在我们集中讨论多重共线性的本质问题。
多重共线性普遍被认为是数据问题或者说是一种样本现象。
我们认为，这种普遍认识不够全面，对多重共线性本质的认识，至少可从以下几方面解解。
（3）检验解释变量相互之间的样本相关系数。
假设我们有三个解释变量X i、X2、X3，分别以「12、「13、「23 来表示X i 与X2、X i 与X3、X2与X3之间的两两相关系数。
假设r i2 = 0.90,表明X i与X2之间高度共线性，现在我们来看相关系数「12,3，这样一个系数我们定义为偏相关系数，它是在变量X3为常数的情况下，X i与X2之间的相关系数。
自变量存在多重共线性，如何通过变量筛选来解决？
⾃变量存在多重共线性，如何通过变量筛选来解决？多重线性回归要求各个⾃变量之间相互独⽴，不存在多重共线性。
所谓多重共线性，是指⾃变量之间存在某种相关或者⾼度相关的关系，其中某个⾃变量可以被其他⾃变量组成的线性组合来解释。
医学研究中常见的⽣理资料，如收缩压和舒张压、总胆固醇和低密度脂蛋⽩胆固醇等，这些变量之间本⾝在⼈体中就存在⼀定的关联性。
如果在构建多重线性回归模型时，把具有多重共线性的变量⼀同放在模型中进⾏拟合，就会出现⽅程估计的偏回归系数明显与常识不相符，甚⾄出现符号⽅向相反的情况，对模型的拟合带来严重的影响。
今天我们就来讨论⼀下，如果⾃变量之间存在多重共线性，如何通过有效的变量筛选来加以解决？⼀、多重共线性判断回顾⼀下前期讲解多重线性回归时，介绍的判断⾃变量多重共线性的⽅法。
1. 计算⾃变量两两之间的相关系数及其对应的P值，⼀般认为相关系数>0.7，且P<0.05时可考虑⾃变量之间存在共线性，可以作为初步判断多重共线性的⼀种⽅法。
2. 共线性诊断统计量，即Tolerance（容忍度）和VIF（⽅差膨胀因⼦）。
⼀般认为如果Tolerance<0.2或VIF>5（Tolerance和VIF呈倒数关系）， 则提⽰要考虑⾃变量之间存在多重共线性的问题。
⼆、多重共线性解决⽅法：变量剔除顾名思义，当⾃变量之间存在多重共线性时，最简单的⽅法就是对共线的⾃变量进⾏⼀定的筛选，保留更为重要的变量，删除次要或可替代的变量，从⽽减少变量之间的重复信息，避免在模型拟合时出现多重共线性的问题。
对于如何去把握应该删除哪⼀个变量，保留哪⼀个变量，近期也有⼩伙伴在微信平台中问到这个问题，下⾯举个例⼦进⾏⼀个简单的说明。
表1. ⾃变量相关性如表1所⽰， X3和X4、X5之间相关系数>0.7，变量X4与X1、X3、X5之间相关系数>0.7，X5与X3、X4之间相关系数>0.7，说明X3、X4、X5之间存在⼀定的共线性，由于X4与X1的相关性也较⾼，故此时建议可以先将X4删除再进⾏模型拟合，当然也需要结合容忍度和VIF值及专业知识来进⾏判断。
计量经济第六章多重共线性
• 2、数据采集的范围有限，或采集 的样本量小于模型的自变量个数。
• 如在罕见疾病的研究过程中，由于病 情罕见、病因又相当复杂，而只能在 少数的患者身上采集大量的变量信息。
3、模型中采用滞后变量
在计量经济模型中，往往需要引入 滞后变量来反映真实的经济关系。 例如，消费=f(当期收入, 前期收入） 显然，两期收入间有较强的线性相 关性。
up
三、方差膨胀因子法
• 自变量间的共线性程度越大时,VIF值也随之 增大。所以也可利用方差膨胀因子来检验 多重共线性问题。 • 一般来说，当VIF >10时，表明 涉及的两个 变量存在高度线性相关，模型存在不完全 多重共线性。
P111 【经典实例】
• 计算得到的方差膨胀因子值分别为
VIF1 =10000,VIF2 =10000,VIF3 =9.6525,VIF4 =11.5875
2 2 2 1
同理易得
ˆ ) Var( 2
• EVIEWS遇到完全多重共线性时，会 显示 • Near singular matrix，无法进行估 计
2、不完全多重共线性下的后果
（1）估计量的方差增大 2 2 x 2 ˆ) 由于 Var ( 1 2 x12x2 (x1 x2 )2
• 可以看出，除了 VIF3 10 ，其余的方 差膨胀因子值均大于10,表明模型中 存在较严重的多重共线性问题。
up
第三节 多重共线性的修正 一、改变模型的形式 二、删除自变量 三、减少参数估计量的方差 四、其它方法 习题
up
• 一、改变模型的形式
• （一）变换模型的函数形式
• 例如将线性回归模型转化为对数模 型或者多项式模型。 • （二）改变模型的自变量的形式
多元线性回归模型常见问题及解决方法
特点
03
04
05
适用于多个自变量对因 变量的影响研究；
适用于线性关系假设下 的数据；
可通过参数估计和模型 检验来评估模型的可靠 性和预测能力。
多元线性回归模型的应用场景
经济预测
用于预测股票价格、GDP等经济指标；
市场营销
用于分析消费者行为、预测销售额等；
医学研究
用于分析疾病风险因素、预测疾病发 病率等；
自相关问题
残差序列之间存在相关性，违 反了线性回归模型的独立性假 设。
异常值和离群点问题
异常值和离群点对回归模型的 拟合和预测精度产生影响。
解决方法的总结与评价
01
02
03
04
05
多重共线性的解 决方法
异方差性的解决 方法
自相关问题的解 决方法
解释变量的选择 异常值和离群点
方法
处理方法
如逐步回归、主成分回归 、岭回归和套索回归等。 这些方法在处理多重共线 性问题时各有优缺点，需 要根据具体问题和数据特 点选择合适的方法。
2. 稳健标准误
使用稳健标准误来纠正异方差性 对模型估计的影响。
总结词
异方差性是指模型残差在不同观 测点上的方差不相等，导致模型 估计失真。
3. 模型诊断检验
使用如White检验、BP检验等异 方差性检验方法来诊断异方差性 问题。
自相关问题
01
02
03
04
05
总结词
详细描述
1. 差分法
2. 广义最小二乘 3. 自相关图和偏
详细描述
例如，在时间序列数据中，如果一个观测值的残差 与前一个观测值的残差正相关，则会导致模型的预 测精度降低。
解决方法
浅析多元线性回归中多重共线性问题的三种解决方法
浅析多元线性回归中多重共线性问题的三种解决方法
谢小韦
【期刊名称】《科技信息》
【年(卷),期】2009(000)028
【摘要】为了解决变量之间的多重共线性问题,本文提出了三种方法:岭回归、主成分回归和偏最小二乘回归.首先介绍了其基本思想和主要处理步骤,并通过具体实例验证出利用三种回归方法,可以消除多重共线性所带来的影响.最后,通过对结果的分析总结出三种方法的优劣.
【总页数】2页(P117-118)
【作者】谢小韦
【作者单位】南京铁道职业技术学院
【正文语种】中文
【中图分类】O1
【相关文献】
1.观测数据拟合分析中的多重共线性问题 [J], 杨杰;吴中如
2.改进SVM分类算法中多重共线性问题研究 [J], 冼广铭;齐德昱;方群;柯庆;曾碧卿;肖应旺
3.GDP预测模型中的多重共线性问题 [J], 杨振刚;郑更新
4.多元线性回归模型中处理多重共线性方法对比
——以人口迁移冲击教育资源模型为例 [J], 范圣岗;奚书静
5.局部线性估计中的多重共线性问题 [J], 吴相波;叶阿忠
因版权原因，仅展示原文概要，查看原文内容请购买。
最新应用回归分析-第6章课后习题参考答案
第6章多重共线性的情形及其处理思考与练习参考答案6.1 试举一个产生多重共线性的经济实例。
答：例如有人建立某地区粮食产量回归模型，以粮食产量为因变量Y，化肥用量为X1，水浇地面积为X2，农业投入资金为X3。
由于农业投入资金X3与化肥用量X1，水浇地面积X2有很强的相关性，所以回归方程效果会很差。
再例如根据某行业企业数据资料拟合此行业的生产函数时，资本投入、劳动力投入、资金投入与能源供应都与企业的生产规模有关，往往出现高度相关情况，大企业二者都大，小企业都小。
6.2多重共线性对回归参数的估计有何影响？答：1、完全共线性下参数估计量不存在；2、近似共线性下OLS估计量非有效；3、参数估计量经济含义不合理；4、变量的显著性检验失去意义；5、模型的预测功能失效。
6.3 具有严重多重共线性的回归方程能不能用来做经济预测？答：虽然参数估计值方差的变大容易使区间预测的“区间”变大，使预测失去意义。
但如果利用模型去做经济预测，只要保证自变量的相关类型在未来期中一直保持不变，即使回归模型中包含严重多重共线性的变量，也可以得到较好预测结果；否则会对经济预测产生严重的影响。
6.4多重共线性的产生于样本容量的个数n、自变量的个数p有无关系？答：有关系，增加样本容量不能消除模型中的多重共线性，但能适当消除多重共线性造成的后果。
当自变量的个数p较大时，一般多重共线性容易发生，所以自变量应选择少而精。
6.5 自己找一个经济问题来建立多元线性回归模型，怎样选择变量和构造设计矩阵X才可能避免多重共线性的出现？答：请参考第三次上机实验题——机场吞吐量的多元线性回归模型，注意利用二手数据很难避免多重共线性的出现，所以一般利用逐步回归和主成分回归消除多重共线性。
如果进行自己进行试验设计如正交试验设计，并收集数据，选择向量使设计矩阵X 的列向量（即X 1，X 2， X p ）不相关。
6.6对第5章习题9财政收入的数据分析多重共线性，并根据多重共线性剔除变量。
多重共线性
比如对于两个解释变量的模型
Yi 1 X 1i 2 X 2i ui
根据我们前面的讨论，参数的最小二乘估计为：
ˆ 1
2 ( yi x1i )( x2 i ) ( yi x2 i )( x1i x2 i ) 2 2 ( x12i )( x2 ) ( x x ) 1i 2i i
R 2 0.8101 ˆ , ˆ ) 0.00868 cov( 1 2
12 0.5523
df 2
ˆ 在单侧t检验的显著水平10%是显著的（1.886）。 1
第二组数据的回归结果
ˆ 1.2108 Y i se (0.7480) t (1.6187) 0.4014 X 1i (0.2721) (1.4752) 0.0270 X 2i (0.1252) (0.2158)
多重共线性
南开大学数学科学学院 白晓棠
多重共线性
在经典的线性回归模型中，我们假定回归模型中诸回归元 之间无多重共线性。
在本节中我们将放松此要求从而来研究： 1、什么是多重共线性？ 2、它会引起什么样的后果？ 3、怎样去发现它？ 4、我们可以采取哪些补救措施来缓解多重共线性的问 题？
第一组数据
Y 1 2 3 4 5
X1 2 0 4 6 8
X2 4 2 12 0 16
第二组数据
Y 1 2 3 4 5
X1 2 0 4 6 8Leabharlann X2 4 2 0 12 16
第一组数据的回归结果
ˆ 1.1939 Y i se (0.7737) t (1.5431) 0.4463 X 1i (0.1848) (2.4151) 0.0030 X 2i (0.0851) (0.0358)
多元线性回归模型中处理多重共线性方法对比
"共线性问题的改进与比对 )&$ 手动剔除变量 对两个 CKL值偏大的指标 /G %/0 进行剔除%得到多元回归 方程!
7ylm%J%(Gd%J'()/$ m%J%%'/) d%J%()/( d%J%%(/3 在手动剔除了 CKL值偏大的指标后%剩余四个变量做多元
回归拟 合 后 的 CKL值 均 呈 现 下 降 趋 势! CKL$ l3J0$0% CKL) l Gt3$3% CKL( l'JUU3% CKL3 l$0J)')% 并 且 此 模 型 的 统 计 量 =l %t%%%M) l%J'G' 表明方程有较好的显著性及对模型很好的解释 性$ 根据 /3 的 CKL值% 进 一 步 剔 除 /3 得 多 元 回 归 模 型! 7yl m%t%('d$J%%'/$ d%J%$)/) d%J%((/( %各系数均与正常逻辑相符$
44给出 ;与 7的回归方程 7yl%J%03d%J%$$;%再代入上表中
的载荷系数得 7yl%J%03 d%J%%'1(G/$ d%J%%'1'/) d%J%$%($U/( d %J%$%U)3/3 d%J%$%$G(/G d%J%$%0%3/0 $ 主成分回归虽然保留了 六个指标%但是明显的缺陷是 7y的下限为 %&%03$
L+$, >@T
对
应指
标
/&-
作为最终回归指
标之一%再将 /&-与其他指标两两组合对 7y做二元回归方程%并
记各二元回归方程对应 L值集合 {L$+), %L)+), %4%L+E)m,$ } 的最大
值为 L+>)@,T%若 L+>)@,T0S2+$%-m(, 则停止筛选%选对应的回归方程
多重共线性问题的几种解决方式
多重共线性问题的几种解决方式在多元线性回归模型经典假设中，其重要假定之一是回归模型的解释变量之间不存在线性关系，也就是说，解释变量X1，X2，……，X k中的任何一个都不能是其他解释变量的线性组合。
若是违背这一假定，即线性回归模型中某一个解释变量与其他解释变量间存在线性关系，就称线性回归模型中存在多重共线性。
多重共线性违背了解释变量间不相关的古典假设，将给普通最小二乘法带来严重后果。
这里，咱们总结了8个处置多重共线性问题的可用方式，大家在碰到多重共线性问题时可作参考：1、保留重要解释变量，去掉次要或可替代解释变量2、用相对数变量替代绝对数变量3、差分法4、慢慢回归分析5、主成份分析6、偏最小二乘回归7、岭回归8、增加样本容量这次咱们主要研究慢慢回归分析方式是如何处置多重共线性问题的。
慢慢回归分析方式的大体思想是通过相关系数r、拟合优度R2和标准误差三个方面综合判断一系列回归方程的好坏，从而取得最优回归方程。
具体方式分为两步：第一步，先将被解释变量y对每一个解释变量作简单回归:对每一个回归方程进行统计查验分析（相关系数r、拟合优度R2和标准误差），并结合经济理论分析选出最优回归方程，也称为大体回归方程。
第二步，将其他解释变量一一引入到大体回归方程中，成立一系列回归方程，按照每一个新加的解释变量的标准差和复相关系数来考察其对每一个回归系数的影响，一般按照如下标准进行分类判别：１.若是新引进的解释变量使R2取得提高,而其他参数回归系数在统计上和经济理论上仍然合理，则以为这个新引入的变量对回归模型是有利的，可以作为解释变量予以保留。
２.若是新引进的解释变量对R2改良不明显，对其他回归系数也没有多大影响，则没必要保留在回归模型中。
３.若是新引进的解释变量不仅改变了R2，而且对其他回归系数的数值或符号具有明显影响，则以为该解释变量为不利变量，引进后会使回归模型出现多重共线性问题。
不利变量未必是多余的，若是它可能对被解释变量是不可缺少的，则不能简单舍弃，而是应研究改善模型的形式，寻觅更符合实际的模型，从头进行估量。
第六章多重共线性
第六章多重共线性第六章多重共线性前面两章所讲的异方差性和自相关性都是表现在随机误差项中的，我们下面所讲的多重共线性讨论的是模型中的解释变量违背基本假设的问题。
回忆以下我们在讲多元线性回归模型时，基本假定与简单线性回归模型不同的是哪一点？——就是无多重共线性假定：即假定各解释变量之间不存在线性关系，或者说各解释变量的观测值之间线性无关。
这一章我们讨论的多重共线性就是当解释变量违背了这一条基本假定的情形。
第一节多重共线性概念先看一个实例：我们研究某个地区家庭消费及其影响因素。
我们除了引入收入X1以外，还引入了消费者的家庭财产X2作为第2个解释变量。
根据抽样数据回归得到以下结果：Y^=24.7747+0.9415X1-0.0424X2t=(3.6690) (1.1442) (-0.5261)R2=0.9635 R2——=0.9531 F=92.4020这一回归结果说明什么?1、可决系数和修正可决系数都很理想2、F统计量高度显著，说明X1、X2联合对Y的影响显著3、各变量参数的t检验都不显著，不能否定等于零的假设4、财产变量的系数竟然与预期的符号相反。
为什么会出现这样的结果呢？再看一个例子：分析某地区汽车保养费用支出与汽车的行程数以及汽车拥有的时间建立模型，通过样本数据估计得：Y^=7.29+27.58X1-151.15X2t= (0.06) (0.958) (-7.06)R2——=0.946 F=52.53这个结果修正可决系数理想,F检验也显著,但X的T检验不显著,X2的T检验虽然显著,但系数符号与经济意义不符。
为什么也出现这种结果？一、多重共线性的概念：如果某两个或多个解释变量之间出现了相关性，则称为多重共线性。
完全共线性与不完全共线性表示的是一种线性相关程度。
比如我们在第一个例子中，发现可支配收入与家庭财富之间有明显的共线性关系，他们的相关系数高达0.9989,第二个例子中汽车的行程数与拥有汽车的时间的相关系数也为0.9960,表明两个变量之间存在一种不完全的线性相关关系,我们可以认为他们之间有程度很高的多重共线性.不存在多重共线性只说明解释变量之间没有线性关系,而不排除他们之间存在某种非线性关系。
多重共线性和非线性回归及解决方法
多重共线性和非线性回归的问题（1）多重共线性问题我们都知道在进行多元回归的时候，特别是进行经济上指标回归的时候，很多变量存在共同趋势相关性，让我们得不到希望的回归模型。
这里经常用到的有三种方法，而不同的方法有不同的目的，我们分别来看看：第一个，是最熟悉也是最方便的——逐步回归法。
逐步回归法是根据自变量与因变量相关性的大小，将自变量一个一个选入方法中，并且每选入一个自变量都进行一次检验。
最终留在模型里的自变量是对因变量有最大显著性的，而剔除的自变量是与因变量无显著线性相关性的，以及与其他自变量存在共线性的。
用逐步回归法做的多元回归分析，通常自变量不宜太多，一般十几个以下，而且你的数据量要是变量个数3倍以上才可以，不然做出来的回归模型误差较大。
比如说你有10个变量，数据只有15组，然后做拟合回归，得到9个自变量的系数，虽然可以得到，但是精度不高。
这个方法我们不仅可以找到对因变量影响显著的几个自变量，还可以得到一个精确的预测模型，进行预测，这个非常重要的。
而往往通过逐步回归只能得到几个自变量进入方程中，有时甚至只有一两个，令我们非常失望，这是因为自变量很多都存在共线性，被剔除了，这时可以通过第二个方法来做回归。
第二个，通过因子分析（或主成分分析）再进行回归。
这种方法用的也很多，而且可以很好的解决自变量间的多重共线性。
首先通过因子分析将几个存在共线性的自变量合为一个因子，再用因子分析得到的几个因子和因变量做回归分析，这里的因子之间没有显著的线性相关性，根本谈不上共线性的问题。
通过这种方法可以得到哪个因子对因变量存在显著的相关性，哪个因子没有显著的相关性，再从因子中的变量对因子的载荷来看，得知哪个变量对因变量的影响大小关系。
而这个方法只能得到这些信息，第一它不是得到一个精确的，可以预测的回归模型；第二这种方法不知道有显著影响的因子中每个变量是不是都对因变量有显著的影响，比如说因子分析得到三个因子，用这三个因子和因变量做回归分析，得到第一和第二个因子对因变量有显著的影响，而在第一个因子中有4个变量组成，第二个因子有3个变量组成，这里就不知道这7个变量是否都对因变量存在显著的影响；第三它不能得到每个变量对因变量准确的影响大小关系，而我们可以通过逐步回归法直观的看到自变量前面的系数大小，从而判断自变量对因变量影响的大小。
多重共线性解决方法
多重共线性解决方法
多重共线性是统计学中一个重要的概念，它指的是当一个变量的变化会导致另一个变量的
变化时，两个变量之间存在的相关性。
多重共线性会导致统计模型的准确性受到影响，因此，解决多重共线性问题是统计学家们面临的一个重要挑战。
多重共线性的解决方法有很多，其中最常用的是回归分析。
回归分析可以用来检测多重共
线性，并且可以用来推断出哪些变量是有影响的，哪些变量是没有影响的。
此外，回归分
析还可以用来估计变量之间的关系，以及变量的系数。
另一种常用的解决多重共线性的方法是主成分分析。
主成分分析可以用来检测多重共线性，并且可以用来推断出哪些变量是有影响的，哪些变量是没有影响的。
此外，主成分分析还
可以用来估计变量之间的关系，以及变量的系数。
此外，还有一些其他的解决多重共线性的方法，比如多元线性回归、多重共线性检验、多
重共线性模型等。
这些方法都可以用来检测多重共线性，并且可以用来推断出哪些变量是
有影响的，哪些变量是没有影响的。
总之，多重共线性是一个重要的概念，解决多重共线性问题是统计学家们面临的一个重要
挑战。
有很多解决多重共线性的方法，比如回归分析、主成分分析、多元线性回归、多重
共线性检验、多重共线性模型等，这些方法都可以用来检测多重共线性，并且可以用来推
断出哪些变量是有影响的，哪些变量是没有影响的。
第七章 多重共线性
由前述可知，多重共线性分完全多重共线性和不完全多重共线性两种情况，两种情况都会对模型进行最小二乘估计都会产生严重后果。
（一）完全多重共线性 产生的后果
以二元线性回归模型为例，
EMBED Equation.3 （7-4）
以离差形式表示，假设其中 EMBED Equation.3 ， EMBED Equation.3 ， EMBED Equation.3 ， EMBED Equation.3 ，常数 EMBED Equation.3 ，则， EMBED Equation.3 ， EMBED Equation.3 的最小二乘估计量为
情况3、新引入变量后，方差增大
在多元线性回归模型中新引入一个变量后，发现模型中原有参数估计值的方差明显增大，则说明解释变量间可能存在多重共线性。
二、拟合优度 EMBED Equation.3 检验
对多元线性回归模型中各个解释变量相互建立回归方程，分别求出各回归方程的拟和优度，如果其中最大的一个接近１， EMBED Equation.3 显著大于临界值，该变量可以被其他变量线性解释，则其所对应的解释变量与其余解释变量间存在多重共线性。
多重共线性是较为普通存在的现象，从上节分析可知，较高程度的多重共线性会对最小二乘估计产生严重后果，因此，在运用最小二乘法进行多元线性回归时，不但要检验解释变量间是否存在多重共线性，还要检验多重共线性的严重程度。
一、不显著系数法
情况1、 EMBED Equation.3 很大，t小
EMBED Equation.3
EMBED Equation.3
分别求出上述各个方程的拟合优度 EMBED Equation.3 ，如果其中最大的一个 EMBED Equation.3 接近于１，则它所对应的解释变量 EMBED Equation.3 与其余解释变量间存在多重共线性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2. 多元线性回归 1
在实际的经济活动中，某一现象的变动经常受多种现象变动的影响。影响因变量 的自变量通常不是一个，而是多个，这就产生了测定多因素之间的相关关系的问题。 研究在线性相关条件下，两个和两个以上自变量对一个因变量的数量变化关系， 称为多元线性回归分析，表现这一数量关系的数学公式，称为多元线性回归模型。 假定因变量 y 与 p 个自变量 x1 , x2 , 多元线性回归模型的一般形式如下：
2
中南大学数学院统计系
多元线性回归中多重共线性的处理
摘要： 多元线性回归中，研究一个变量与多个变量之间的线性相关关系，多个变 量之间难免存在多重共线性，故利用普通最小二乘估计所得结果不理想。在消除多重 共线性问题时，本文利用方差扩大因子对多重共线性进行判别。主要使用主成分分析 和岭回归来对多重共线性问题进行了探讨。同时，结合实际经济问题，对上海市全社 会固定资产投资影响因素问题进行了完整的实证分析。 关键词：多元线性回归 最小二乘估计 多重共线性 主成分分析 岭回归
3. 多重共线性 ............................................................................................................................... 6 多重共线性的诊断——方差扩大因子法 ................................................................................... 7 4. 主成分回归 ............................................................................................................................... 7 5. 岭回归 ..................................................................................................................................... 10 5.1 5.2 岭参数选择 ...................................................................................................................... 11 用岭回归选择变量 .......................................................................................................... 11
1. 引言
在生产实践中，人们关心的某些指标往往同时受到多个变量的影响，多元线性回 归研究的就是因变量 y 与 p 个自变量 x1 , x2 , x p 之间的线性回归关系。 多元线性回归与 一元线性回归的基本假设唯一不同之处为要求该 p 个自变量之间不存在线性关系，不 然最小二乘估计结果就会存在很大的问题。 本文参照《上海市统计年鉴 2010》中的数据，提取 x1 国有经济投资，x2 集体经 济投资， 外商投资， x3 股份制经济投资， x4 港澳台、 x5 地区生产总值， x6 社会存量， x7 财政收入，x8 财政支出，以研究影响上海市社会固定资产投资（INV）的因素。首 先使用最小二乘估计得到回归方程，发现结果很不理想，由方差扩大因子法可知变量 之间存在严重的多重共线性。为消除多重共线性，使用主成分回归，得到回归方程。 而近代回归分析针对多重共线性，提出一种改进最小二乘估计的方法——岭回归。本 文亦利用岭回归，对文中实证分析的内容进行研究，最终得到岭回归方程。 在文章最后，比较分析最小二乘估计、主成分分析和岭回归的回归方程，在定性 和定量方面给出分析结果。
4
中南大学数学院统计系
建立回归模型
INV 0 1 x1 2 x2 8 x8
(2)
用 SPSS 软件计算出回归系数见输出结果
表格 2 回归系数表
模型 非标准化系数 B 1(常量) 国有经济 集体经济 股份制经济 港澳台、外商投资 地区生产总值 社会存量 财政收入 财政支出 a. 因变量: 社会固定资产投资 108.828 .838 2.035 1.296 1.372 -.122 -.169 .674 .529 标准 误差 170.655 .204 .967 .330 .272 .097 .160 .402 .328 .365 .080 .385 .239 -.394 -.218 .400 .353 标准系数 试用版 t .638 4.108 2.104 3.928 5.042 -1.263 -1.056 1.676 1.612 Sig. .541 .003 .069 .004 .001 .242 .322 .132 .146 .020 .107 .016 .070 .002 .004 .003 .003 50.075 9.306 61.097 14.289 619.414 271.710 362.377 304.770 共线性统计量 容差 VIF
RSS e2 Y Y 2
根据微积分中求极小值的原理，可知残差平方和 RSS 存在极小值，欲使 RSS 达到 最小， RSS 对回归方程中的回归参数 0 , 1 , p 的偏导数必须等于零。将 RSS 对
0 , 1 ,
p 求偏导，并令其等于零，加以整理后可得到 p 1 个方程（称为正规方程组
表格 1 多元线性回归基本假定
假定名称 正态性 对扰动项 的假定 零均值 同方差 互独立 非随机 对自变量 X 的假定 对 X 与 的假定 不相关 不相关
假定条件
N 0, 2 且
Cov i , j 0
i j
解释是确定型变量 解释变量间不存在 线性相关关系
(3)
表格 4 方差分析表
平方和 方程 1 回归 残差 总计 28217182.117 35546.068 28252728.185 df 8 8 16 均方 3527147.765 4443.259 F 793.820 Sig. .000
分析表 3 和表 4，发现上述回归方程的拟合优度接近于 1，且整体显著性检验的 F 值为 793.820，伴随概率为 0.000，小于显著性水平 0.05。所以总体上来说，INV 对 也就是说 INV 可以由该 8 个变量回归得到。 再分析表 2， 8 个自变量的线性关系成立， 发现 x5 地区生产总值，x6 社会存量的回归系数均小于 0。但是实际上，地区生产总 值越大，社会存量越多，越有利于全社会固定资产投资额的增加，因此这两个自变量 的回归系数没有经济意义。 而且各个回归系数的 t 统计量的伴随概率都较大， 也就是说CSUຫໍສະໝຸດ 多元线性回归中多重共线性的处理
——《回归分析》结课论文
姓 班 学
名： 级： 号：
指导老师：
liuwenying 2011/1/12
中南大学数学院统计系
目录
多元线性回归中多重共线性的处理 ................................................................................................... 3 1. 引言 ........................................................................................................................................... 3 2. 多元线性回归 ........................................................................................................................... 3 2.1 2.2 2.3 多元线性回归分析的基本假定 ........................................................................................ 4 回归参数的最小二乘估计及其性质 ................................................................................ 4 上海市全社会固定投资影响因素分析 ............................................................................ 4
Cov X , 0
符合基本假定的多元回归模型称为标准的多元线性回归模型。这些假定对于回归 模型的估计和检验是很重要的，如果无法满足这些假定，模型参数的普通最小二乘估 计将存在一系列问题。 2.2 回归参数的最小二乘估计及其性质 多元线性回归模型中回归参数的估计可用最小二乘法进行估计，有残差平方和
或标准方程） ，通过求解这一方程组便可以得到 0 , 1 ,
p 。
多元线性回归模型中回归参数的最小二乘估计量是随机变量。数学上可以证明， 在标准假定条件可以得到满足的情况下，多元回归模型中回归参数最小二乘估计量是 最优线性无偏估计量（BLUE）和一致估计量。在标准的多元回归模型中，高斯-马尔可 夫定理成立。 2.3 上海市全社会固定投资影响因素分析 本文从 《上海统计年鉴 2010》 中得到相关数据， 分别为 INV 社会固定资产投资， x1 国有经济投资，x2 集体经济投资，x3 股份制经济投资，x4 港澳台、外商投资，x5 地区生产总值，x6 社会存量，x7 财政收入，x8 财政支出。由于数据年限限制，选取 1993 年~2009 年的数据进行多元线性回归，其中各变量单位均为亿元。