多元线性回归中多重共线问题的解决方法综述

多元线性回归中多重共线问题的解决方法综述

摘 要

在回归分析中，当自变量之间出现多重共线性现象时，常会严重影响到参数估计，扩大模型误差，并破坏模型的稳健性，因此消除多重共线性成为回归分析中参数估计的一个重要环节。现在常用的解决多元线性回归中多重共线性的回归模型有岭回归（Ridge Regression ）、主成分回归(Principal Component Regression 简记为PCR)和偏最小二乘回归(Partial Least Square Regression 简记为PLS)。

关键词：多重共线性；岭回归；主成分回归；偏最小二乘回归

引言

在多元线性回归分析中，变量的多重相关性会严重影响到参数估计，增大模型误差，并破坏模型的稳健性 由于多重共线性问题在实际应用中普遍存在，并且危害严重，因此设法消除多重性的不良影响无疑具有巨大的价值常用的解决多元线性回归中多重共线问题的回归模型主要有主成分回归岭回归以及偏最小二乘回归。

1、 多元线性回归模型

1.1 回归模型的建立

设Y 是一个可观测的随机变量,它受m 个非随机因素X 1,X 2,…,X p-1和随机因素ε的影响, 若有如下线性关系

我们对变量进行了n 次观察，得到n 组观察数据(如下)，对回归系数 进行估计

一般要求n>P 。于是回归关系可写为

采用矩阵形式来表示

0112211p p Y X X X ββββε--=+++++n i X X X Y p i i i i ,,1,,,,)1(2,1⋅⋅⋅=⋅⋅⋅-1011121211(1)1

2012122212(1)2

011221(1)p p p p n n n p n p n Y X X X Y X X X Y X X X ββββεββββεββββε------=+++++⎧⎪=+++++⎪⎨

⎪

⎪=+++++⎩11121,(1)121222,(1)212,(1)111, 1 p p n n n n p n n p

X X X Y X X X Y Y X Y X X X ---⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦)1(10,,,p -⋅⋅⋅βββ

Y 称为观测向量，X 称为设计矩阵，ε称为误差向量，β称为回归参数。

则误差的平方和

求参数β的估计

使得

用最小二乘法估计

得正规方程:

由于X 为列满秩,所以 X TX 可逆,由此解得

1.2 多重共线性的产生

当 时，表明在数据矩阵Ｘ中，至少有一个列向量可以用其余的列向量线性表示，则说明存在完全的多重共线性。

即()1

0-=X X X X T T ，不存在，而Y X X X T T 1ˆ-=）（β

导致β无法估计。 1.3多重共线性的产生的原因

（1）经济变量之间往往存在同方向的变化趋势。当他们被引入同一个模型成为解释变量时，会出现多重共线性。

（2）模型中包含滞后变量，变量各期值之间有可能高度相关。 （3）利用截面数据建立模型也可能出现多重共线性。

（4）经济变量之间往往存在着密切的内在关联度，要素之间互相制约，互相依存。

（5）样本数据自身的原因，数据收集的范围过窄，造成某些解释变量之间似乎有相同或相反变化趋势的假象。

（6）在建模过程中由于解释变量选择不当，引起变量之间的多重共线性。

2 处理多重共线性的方法

2. 1处理多重共线性的经验式方法

0112111

, p n n p βεβεβεβε-⨯⨯⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦βββββββεβX T X T X T Y Y T X T Y T Y X Y T X Y X Y s +--=--=-==)()(2)(2)ˆ,,ˆ,ˆ(ˆ)1(10p -⋅⋅⋅=ββββ

)(min )ˆ(ββ

S S =02)2()2()]()[()(=+-=+-∂∂=+-∂∂

=--∂∂=∂∂βββββββββ

βββββX X X Y X X X Y X X X Y Y Y X Y X Y T T T T T T T T T T s

Y

X X X T T =β)(Y X X X T T 1)(ˆ-=βP X Rank <)(

2. 1.1 删除不重要的共线性变量

最常见的一种思路是设法去掉不太重要的共线性变量。有些应用人员认为，可以采用多元回归分析中的向前选择变量、向后删除变量法或逐步回归法来进行变量的筛选。然而，在理论上，这些变量筛选方法都是针对无共线性的数据而言的。在多重共线性十分严重的情况下，结论的可靠性都要受到一定的影响。由于变量间多重共线性的形式十分复杂，而且还缺乏十分可靠的检验方法，所以，删除部分多重共线性变量的做法常导致增大模型的解释误差，将本应保留的系统信息舍弃，使得接受一个错误结论的可能和做出错误决策的风险都不断增大。 另外，在一些模型中，从理论上要求一些重要的解释变量必须被包括在模型中，而这些变量又存在多重共线性。这时采用删除部分共线性变量的做法就不符合实际工作的要求。 2.1.2 增加样本容量

增加样本的容量在某种程度上会减轻多重共线性对模型估计的影响，而且对某些样本数据来说，变量间的多重共线性可能正是由于样本容量过小而造成的。然而，在实际工作中，由于时间、经费以及客观条件的限制，增大样本容量的方法常常是不可行的。 2.1.3 变量转换的方式

在少数情况下，当基于理论背景认为所有的变量都极其重要，但相互之间存在严重的多重共线性时，对方程的变量进行变换有时至少能在一定程度上消除共线性。两种最常用的变换方法为：

(1) 构造一个多重共线性变量的组合。此方法就是构造一个新的变量，这一新变量是多重共线性变量的函数，进而以这一新变量来替代回归方程中的具有多重共线性的那些旧变量。但要注意的是，只有当新变量本身有意义时，才可以考虑采用组合变量这一方法。

(2) 把方程的函数形式转换为一阶差分形式。若把一个方程（或一个方程中的几个变量）从它的常规设定形式转换为一阶差分的设定形式，就很有可能会大大降低多重共线性的程度。由于一阶差分方法损失了一个观测值（即样本数据少了一个），这在小样本的情况下是极不可取的。

2.2岭回归

根据高斯-马尔科夫定理，在线性回归模型的基本假设满足时，用最小二乘法得到的回归系数估计量是无偏的且具有最小方差。可以证明，即使在高度多重相关的情况下，最小二乘法的回归系数估计量依然是线性无偏的，且具有最小方差。也就是说，多重共线性并不影响最小二乘估计量的无偏性和最小方差性。因此在所有的线性无偏估计中，最小二乘估计仍具有比较小的方差，这并不意味着最小二乘估计量的方差一定是最小的，因为，虽然它在所有的线性无偏估计量中是方差较小，但是这个方差却不一定小。

于是就启发我们，是否可以找到某一个有偏估计，这个有偏估计虽然有微小的偏差，但它的精度却能够大大高于无偏的估计量。在许多情况下，我们更愿意选用这个估计量，因为它接近真实参数值的可能性更大。岭回归就是一种基于放弃回归系数一般最小二乘估计的无偏估计性要求的方法。

基本思想:当出现多重共线性时，0≈X X T

，从而使参数的 Y X X X T

T

1

)(-=β很不稳

定，出现不符合含义的估计值，给X X T

加上一个正常数矩阵0)>(K I K ，则 I

+K X X T

等于0的可能性就比X X T 的可能性要小得多，再用Y X X X T T 1ˆ-=）（β

来估计, 比用普通最