第五篇复共线性问题

第四章 复共线性问题

引言

在第二章中，我们在高斯—马尔科夫假定下，讨论了经典线性单方程计量模型的参数估计，假设检验区间估计与预测等问题。并且，我们已证明了：在GM 假定下，回归系数β的LS 估计再线性无偏估计类中具有最小的方差。由此，奠定了LS 估计在经典计量理论中的重要地位。然而，在实际经济问题的研究中，GM 假定往往并不满足。这种假设条件的破坏对经典计量理论的影响是具有挑战性的，将直接引发相关理论的革命。本章介绍的复共线性（multicollinearity ）问题，在经济计量学的理论研究与实际应用中，具有极其重要的价值。在下面的讨论中将会发现，由于复共线性关系的存在，LS 估计的性能将急剧变得很差，不再是可使用的最佳估计。

所谓“复共线性”是指在模型解释变量12,,,k X X X 之间存在一个或多个近似的线性关系：

11220k k XC X C X C X C =++

+=

若上式左边精确地等于0，则称1,

,k X X 间存在精确的或完全的线性关系。当精确线性关系

成立时，显然有：()rank

K k ，从而，GM 假定中的秩条件()rank K k =自然被破坏。若

1,,k X X 之间虽然不存在精确的线性关系，但存在复共线性关系，则1,

,k X X 之间必有一个变

量可通过其它解释变量近似线性表示，说明此变量与其它结实变量之间的相关性极强，没有必要单独作为解释变量存在于模型中。若将这些变量均作为解释变量包含在模型中，则不仅不能有效地改进模型的拟合与预测，相反，将使模型参数的估计性能变坏，模型拟合与预测将在事实上不能反映客观事物本来面目。因此，如何识别和诊断出这种复共线性关系的影响机制，成为模型理论研究与应用实践急待解决的问题。

事实上，在近几年来的不断探索过程中，人们已发现：复共线性关系的产生机制和影响机理非常复杂。它不但与解释变量间的结构依存关系相关，同时，还与模型形式设定、变量分布、滞后影响、样本信息差异和异常值等有关。本章介绍相关的理论和改进方法。

估计的新度量——均方无差

我们在上一章讨论的高斯——马尔科夫定理给出了：在GM 假定下，回归系数β的LS 估计

β在线性无偏差估计类中具有最小的方差。此时，制定估计优良的前提是线性无偏的。下面引入

“均方误差”则是在更一般意义上给出了度量估计优量的新标准。

一． 均方无差（MSE ）

对于参数估计的一般问题，设θ为1p ⨯维未知参数向量，*

θ为 θ的某种估计，则估计*

θ的均方差（Mean Square Error ）定义为：

()

()()2

****MSE E E θθθ

θθθθ'-=--

显然，均方误差()*

MSE

θ度量了估计*

θ

与未知参数θ偏离的大小。

对()*

MSE

θ作进一步的分解有：

()()()()()()()*

*

*

*

*

*

***

MSE E E E E E E θθθθθθθθθθθθθ''⎡⎤⎡⎤=--=-+--+-⎣⎦⎣⎦

()()2

*

*

*

*

*

E E E E θθθθθθ'=--+- ()2

**

trCov E θθθ=+-

12∆+∆

显然，()1

*

*

11

()i

i trCov

Var θθ

=∆==∑它为估计*θ的各分量方差之和。

()2

2

*

*21

p

i

i i E E θθ

θθ=∆=-=-∑，它为估计*θ的各分量偏差的平方和。

可见，要使方程差()*

MSE

θ较小，则必须要求1

∆和2

∆均小。特别地，当*

θ为θ的无偏估

计时，则分解式中第二项2

∆等于0，此时，()*

MSE θ只剩下分量方差之和1

∆。因此，均方误差()*

MSE θ不仅适用于无偏估计情形，同时还适用于有偏估计情形。它从方差和偏差两个

方面综合反映了估计*

θ的性能，是一个较好的、全面的估计性能新度量。 二． L S 估计的均方误差。

我们假定单方称线性回归模型为：

()21,~0,n Y X I αβεεσ=++

其中，n p ⨯设计阵X 假定已经中心化，并且()0rank

X P =。此时，截距项α的LS 估

计为：1

1n i i Y Y n α===∑，β的LS 估计为：()1

X X X Y β-''=。

注：设011i i p pi i Y x x αββε=++

+++ 01p

j

ji i j x αβ

ε==+

+∑

则()

1

p

i j

ji

j i j Y x

x αβε==+

-+∑ （中心化）

其中，1

0101p

p j p j j x x x ααββαβ==++

+=+∑

(

)

11

1,

,n

p

i i x x x x n ='

==∑ 可见，从参数的角度来看，中心化不过是把原参数01,,,p αββ作了一个线性变换，且

在此变换中，1,

,p ββ保持不变。

现记()()

()

121,,1,,1,,n x x x x x x ⎛⎫' ⎪ ⎪

' ⎪ ⎪ ⎪ ⎪

' ⎪

⎪⎝⎭，00

0S X X '= ()()

()

12*,,n x x x x X x x ⎛⎫'- ⎪ ⎪

' ⎪

-= ⎪ ⎪ ⎪' ⎪ ⎪⎝⎭

，***S X X '=