多元线性回归中多重共线问题的解决方法综述

多元线性回归中多重共线问题的解决方法综述摘 要在回归分析中，当自变量之间出现多重共线性现象时，常会严重影响到参数估计，扩大模型误差，并破坏模型的稳健性，因此消除多重共线性成为回归分析中参数估计的一个重要环节。

现在常用的解决多元线性回归中多重共线性的回归模型有岭回归（Ridge Regression ）、主成分回归(Principal Component Regression 简记为PCR)和偏最小二乘回归(Partial Least Square Regression 简记为PLS)。

关键词：多重共线性；岭回归；主成分回归；偏最小二乘回归引言在多元线性回归分析中，变量的多重相关性会严重影响到参数估计，增大模型误差，并破坏模型的稳健性 由于多重共线性问题在实际应用中普遍存在，并且危害严重，因此设法消除多重性的不良影响无疑具有巨大的价值常用的解决多元线性回归中多重共线问题的回归模型主要有主成分回归岭回归以及偏最小二乘回归。

1、 多元线性回归模型1.1 回归模型的建立设Y 是一个可观测的随机变量,它受m 个非随机因素X 1,X 2,…,X p-1和随机因素ε的影响, 若有如下线性关系我们对变量进行了n 次观察，得到n 组观察数据(如下)，对回归系数 进行估计一般要求n>P 。

于是回归关系可写为采用矩阵形式来表示0112211p p Y X X X ββββε--=+++++n i X X X Y p i i i i ,,1,,,,)1(2,1⋅⋅⋅=⋅⋅⋅-1011121211(1)12012122212(1)2011221(1)p p p p n n n p n p n Y X X X Y X X X Y X X X ββββεββββεββββε------=+++++⎧⎪=+++++⎪⎨⎪⎪=+++++⎩11121,(1)121222,(1)212,(1)111, 1 p p n n n n p n n pX X X Y X X X Y Y X Y X X X ---⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦)1(10,,,p -⋅⋅⋅βββY 称为观测向量，X 称为设计矩阵，ε称为误差向量，β称为回归参数。

则误差的平方和求参数β的估计使得用最小二乘法估计得正规方程:由于X 为列满秩,所以 X TX 可逆,由此解得1.2 多重共线性的产生当 时，表明在数据矩阵Ｘ中，至少有一个列向量可以用其余的列向量线性表示，则说明存在完全的多重共线性。

即()10-=X X X X T T ，不存在，而Y X X X T T 1ˆ-=）（β导致β无法估计。

1.3多重共线性的产生的原因（1）经济变量之间往往存在同方向的变化趋势。

当他们被引入同一个模型成为解释变量时，会出现多重共线性。

（2）模型中包含滞后变量，变量各期值之间有可能高度相关。

（3）利用截面数据建立模型也可能出现多重共线性。

（4）经济变量之间往往存在着密切的内在关联度，要素之间互相制约，互相依存。

（5）样本数据自身的原因，数据收集的范围过窄，造成某些解释变量之间似乎有相同或相反变化趋势的假象。

（6）在建模过程中由于解释变量选择不当，引起变量之间的多重共线性。

2 处理多重共线性的方法2. 1处理多重共线性的经验式方法0112111, p n n p βεβεβεβε-⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦βββββββεβX T X T X T Y Y T X T Y T Y X Y T X Y X Y s +--=--=-==)()(2)(2)ˆ,,ˆ,ˆ(ˆ)1(10p -⋅⋅⋅=ββββ)(min )ˆ(ββS S =02)2()2()]()[()(=+-=+-∂∂=+-∂∂=--∂∂=∂∂ββββββββββββββX X X Y X X X Y X X X Y Y Y X Y X Y T T T T T T T T T T sYX X X T T =β)(Y X X X T T 1)(ˆ-=βP X Rank <)(2. 1.1 删除不重要的共线性变量最常见的一种思路是设法去掉不太重要的共线性变量。

有些应用人员认为，可以采用多元回归分析中的向前选择变量、向后删除变量法或逐步回归法来进行变量的筛选。

然而，在理论上，这些变量筛选方法都是针对无共线性的数据而言的。

在多重共线性十分严重的情况下，结论的可靠性都要受到一定的影响。

由于变量间多重共线性的形式十分复杂，而且还缺乏十分可靠的检验方法，所以，删除部分多重共线性变量的做法常导致增大模型的解释误差，将本应保留的系统信息舍弃，使得接受一个错误结论的可能和做出错误决策的风险都不断增大。

另外，在一些模型中，从理论上要求一些重要的解释变量必须被包括在模型中，而这些变量又存在多重共线性。

这时采用删除部分共线性变量的做法就不符合实际工作的要求。

2.1.2 增加样本容量增加样本的容量在某种程度上会减轻多重共线性对模型估计的影响，而且对某些样本数据来说，变量间的多重共线性可能正是由于样本容量过小而造成的。

然而，在实际工作中，由于时间、经费以及客观条件的限制，增大样本容量的方法常常是不可行的。

2.1.3 变量转换的方式在少数情况下，当基于理论背景认为所有的变量都极其重要，但相互之间存在严重的多重共线性时，对方程的变量进行变换有时至少能在一定程度上消除共线性。

两种最常用的变换方法为：(1) 构造一个多重共线性变量的组合。

此方法就是构造一个新的变量，这一新变量是多重共线性变量的函数，进而以这一新变量来替代回归方程中的具有多重共线性的那些旧变量。

但要注意的是，只有当新变量本身有意义时，才可以考虑采用组合变量这一方法。

(2) 把方程的函数形式转换为一阶差分形式。

若把一个方程（或一个方程中的几个变量）从它的常规设定形式转换为一阶差分的设定形式，就很有可能会大大降低多重共线性的程度。

由于一阶差分方法损失了一个观测值（即样本数据少了一个），这在小样本的情况下是极不可取的。

2.2岭回归根据高斯-马尔科夫定理，在线性回归模型的基本假设满足时，用最小二乘法得到的回归系数估计量是无偏的且具有最小方差。

可以证明，即使在高度多重相关的情况下，最小二乘法的回归系数估计量依然是线性无偏的，且具有最小方差。

也就是说，多重共线性并不影响最小二乘估计量的无偏性和最小方差性。

因此在所有的线性无偏估计中，最小二乘估计仍具有比较小的方差，这并不意味着最小二乘估计量的方差一定是最小的，因为，虽然它在所有的线性无偏估计量中是方差较小，但是这个方差却不一定小。

于是就启发我们，是否可以找到某一个有偏估计，这个有偏估计虽然有微小的偏差，但它的精度却能够大大高于无偏的估计量。

在许多情况下，我们更愿意选用这个估计量，因为它接近真实参数值的可能性更大。

岭回归就是一种基于放弃回归系数一般最小二乘估计的无偏估计性要求的方法。

基本思想:当出现多重共线性时，0≈X X T，从而使参数的 Y X X X TT1)(-=β很不稳定，出现不符合含义的估计值，给X X T加上一个正常数矩阵0)>(K I K ，则 I+K X X T等于0的可能性就比X X T 的可能性要小得多，再用Y X X X T T 1ˆ-=）（β来估计, 比用普通最小二乘估计的要稳定得多。

2.3主成分回归基本思想：如果观察了n 个样本点，得到因变量y 和p 个自变量x1,x2, …,xp 为后续分析方便起见，并且不失一般性，可假设它们都是标准化变量(均值为零方差为1)自变量x 0=(x 1,x 2,… ,x p )间的相关数矩阵记为R 。

用主成分回归方法的第1步，是完全撇开因变量y ，单独考虑对自变量集合做主成分提取。

其过程是:(1)求R 的前m 个非零特征值0m 21>>⋅⋅⋅>>λλλ ，以及相应的特征向量u 1,u 2,… ,u m 。

(2)求m 个主成分:F h =X 0u h h=1,2, … ,m 。

可以证明，这m 个主成分有如下性质: ①均值为零:E(F h )=0，h=1,2, … ,m ； ②若方差算子用var(⋅)表示，var(F h )=hλ h=1,2,…,m 所以有) var(F )var(F )var(F m21≥⋅⋅⋅≥≥。

从这个性质可知，F1之所以被称为第1主成分，是由于它携带了原自变量系统中最多的变异信息也就是说，如果要以一个综合变量来概括原来所有的自变量，并希望数据变异信息损失最小，则第1主成分是最好的选择它对原变异信息的反映精度为PX Q P j j111)var(λλ==∑=③第1主成分与所有原变量的相关度可达到最大。

即最优化问题:∑=∈pj jx u x r PRu 12),(max 其中r (⋅ ，⋅)为相关系数算子 它的解是1*u u =，而x 0u 1=F 1。

因此，若要寻找一个综合变量，它能和原来所有的自变量最相关，这个变量就是第1主成分F1。

④主成分F 1,F 2, … ,F m 是彼此无关的变量，即协方差为cov(F j ,F k )=0 j ≠k 。

由于主成分之间不再存在自相关现象，这就对解决多重相关性下的回归建模问题给出了某种希望。

这种成分提取的思路是十分可取的 问题在于，在上述成分提取过程中，完全没有考虑与因变量y 的联系。

这样所得到的第1 (或前几个)主成分可能会对自变量系统有很强的概括能力，而对y 的解释能力却变得十分微弱。

2.4偏最小二乘回归基本思想：(1)若记t 1=X 0w 1，则上述的数学原则可表达成优化问题：∑=⋅∈pj W X W X y r PRu 12)var(),(max (2)分别施行X 0和y 在t 1上的回归:X 0=t 1p 1'+X 1 其中p 1为回归系数，p 1=;'2110t t X X 1是残差矩阵。

而y=r 1t 1+y 1，其中r1=211't t y ；y 1是残差向量 (3)以残差矩阵X 1和y 1替代X 0和y ，采用类似于提取t 1的方法，可以进行第2个综合变量t2的提取，然后施以回归:X 1=t 2p 2'+x 2，y 1=r 2t 2+y 2如此循环往复，直到提取了A 个综合变量t 1,t 2, … ,t A (阶数A 的确定目前流行采用“交差有效性”)。

做y 对成分t 1,t 2, ,t A 的普通多元线性回归，得到*++⋅⋅⋅++=A A A y t t t y ααα2211而由于每一个t h 均为x 1,x 2, ,x p 的线性组合(X 0=x 1,x 2, … ,x p )，因此可以最终写出PLS1回归模型:A P P y X X X y ++⋅⋅⋅++=βββ2211从PLSR 回归的工作过程看，它采取的是一种循环式的信息分解与提取方法它在多变量集合中逐次提取成分t 1,t 2, ,t A ，它们对y 的解释能力最强，同时又最能概括X 0中的信息而同时，对y 没有解释意义的信息则自动地被排除掉了。