计量经济学(第六讲共线性与主成分分析法的应用)

则称 x1 , x2 ,...,xl 之间存在严格的共线性关系。 如果l个解释变量存在下列关系：
1 x1i 2 x2i ... l xli ei 0
i 1,2,..,n
则称 x1 , x2 ,..., xl 之间存在近似的共线性关系。
2015/12/26 3
第五讲 共线性与主成分分析的应用
n n n
2
将 x2i x1i 代入上式，则有：
ˆ ) Var ( 1

2 2 n 2 n
2
(x
i 1
n
1i
x1 ) 2
2
n 2 ( x1i x1 ) ( x1i x1 ) ( x1i x1 ) 2 i 1 i 1 i 1

2 n 1 (2k 5) ln Detr k
(k 1) Fi ~ F (k 1, n k ) 2 (1 Ri ) nk
2015/12/26

1

Ri2
t
rij x2 x3xk n k 2 1 r
2 ij x1x2 xk
~ t (n k 2)
2015/12/26 5
第五讲 共线性与主成分分析的应用
二、共线性产生的原因与后果 （二）共线性产生的后果 1、回归参数的估计量不能确定，或者虽然能够 确定，但对样本变化的敏感性极强。 考虑二元线性回归模型： yi 0 1 x1i 2 x2i i 假定存在严格的共线性，即有：x2i x1i 。 以第一个回归系数的OLS估计为例，得到：
对 X 1 , X 2 ,..., X p 作如下的线性组合：
y1 a1 X1 a2 X 2 ... a p X p aT X
现在的任务就是使上式的方差得到最大。
2015/12/26 18
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 4、主成分的推导 T 1）求 y1 a1 X1 a2 X 2 ... a p X p a X 的方 差。得到： Var( y1 ) Var(aT X ) aTVar( X )a aT a

一、共线性问题的由来 关于共线性问题，需要注意以下几点： 1、共线性主要是对解释之间是否存在某种程 度的线性函数关系而言的，它不包括解释之间的非 线性关系。 2、构造计量分析模型时，一般总是假定解释变 量是确定型变量，并且还假定各个变量相互之间在 理论逻辑上不发生某种联系，故此共线性问题实质 上是因样本而引起的。 3、现象之间客观上总会发生这样或那样的联系， 如要坚持保证模型中各个解释变量保持相互独立. 共线性不是有或无的问题，关键是看它们的严 重程度。 2015/12/26 4

T a 在 a 1 的条件下，求上式的极大值。 通过 I a 0 构造拉格朗日函数，很容易得到： 该式具有非零解的充要条件是： I 0 。而 这时候的 恰为协差阵的特征根。
2015/12/26 19
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 4、主成分的推导 总之，从协差阵出发，求出协差阵的特 征根，并按大小顺序进行排列，求出相应于 各特征根的单位化了的特征向量，于是便得 到各个主成分。

2015/12/26 10
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （一）共线性的诊断 2、0阶相关系数矩阵 假定模型中共有k个自变量，计算它们 两两之间的相关系数，然后根据相关系数绝 对值的大小来判定有无共线性问题。

r11 r12 r r22 21 Mr rk1 rk 2

2015/12/26
20
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 5、应用举例：电力供应与需求模型 对于多元回归分析问题，由于涉及到的 解释变量比较多，各解释变量之间可能存在 “共线性”，对整个模型的估计和检验会产 生不利的影响，为此，需要进行变量的筛选 处理。通过主成分分析，能生成新的维数较 少的所谓“主成分”因素，从而有助于进行 统计回归估计。
n
2
(x
i 1
n
1i
x1 )( yi y )
2
2 ( x1i x1 ) 2 ( x1i x1 ) 2 2 ( x1i x1 ) 2 i 1 i 1 i 1

0 0
同样，我们可以验证在存在近似共线性的时候， 模型回归参数的估计不稳定。

2015/12/26 17
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 3、数学模型

设原始数据阵为：
x11 x 21 X x n1
x12 x 22 xn 2
x1 p x2 p ( X , X ,..., X ) 1 2 p x np

2015/12/26 16
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 2、主成分分析的基本思想 主成分分析就是设法将原来众多的、具 有一定相关性的若干个统计指标，通过某种 数学处理方法重新组合成一组新的相互无关 的综合指标。为了达到这一目的，统计上采 用的做法是，对原来的p个指标做线性组合， 并保证组合后的综合指标能够最大限度地反 映原来指标包含的统计信息。然后根据各个 新的综合指标的方差的大小，来判别主成分 的顺序。
yt yt 1 1 ( x1t x1(t 1) ) 2 ( x2t x2(t 1) ) ( t t 1 )
利用差分变换时一定要注意：（ 1 ）该方法仅 适应于时间序列资料，截面样本不能用这种方法来 处理。（2）差分变换虽然消除了共线性，但会引起 自相关关系。（3）差分变换会导致样本数目减少。
2015/12/26
r1k 1 r r2 k 21 rkk rk 1
r12 1 rk 2

r1k r2 k 1
11
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （一）共线性的诊断 3、法勒（V.Farrar）-格罗珀(G.Glauber) 检验。 法勒-格罗珀判断共线性的方法，主要是 通过一系列假设检验进行的。
12
第五讲 共线性与主成分分析的应用

三、共线性的诊断与处理 （二）共线性的处理 1、不作处理 对于下列情况，即使存在共线性问题也可不作处 理： （1）共线性不严重，不会从根本上给模型估计带 来灾难性后果。 （2）模型总体拟合优度系数大于任何一个自变量 对于其他自变量回归的拟合优度系数。 （3）在进行预测和估计时，样本中的共线性关 系只要始终存在也可对共线性问题不作处理。
2015/12/26 13
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （二）共线性的处理 2、增加补充资料 共线性多半是因样本缘故而引起的，因 此，在原来的资料中再增加一些不含共线性 特征的数据，可能会降低共线性的干扰。另 外，从一般的统计理论角度看，扩大样本观 察范围，肯定会减小模型中参数估计量的方 差。 3 、充分利用先验信息 2015/12/26 14

ˆ 1
(x
i 1
n
2i
x2 )
2
(x
i 1
n
1i
x1 )( yi y ) ( x1i x1 )(x2i x2 ) ( x2i x2 )( yi y )
i 1 i 1 n n 2
n
n
2 2 ( x x ) ( x x ) ( x x )( x x ) 1i 1 2i 2 1i 1 2i 2 i 1 i 1 i 1
2015/12/26 2
第五讲 共线性与主成分分析的应用
一、共线性问题的由来 yi 0 1x1i 2 x2i ... k xki i 对于多元线性回归模型： 其中涉及的解释变量共有k个，若有：

1 x1i 2 x2i ... l xli 0
i 1,2,..,n
2015/12/26 7
第五讲 共线性与主成分分析的应用

二、共线性产生的原因与后果 （二）共线性产生的后果 2、参数估计量的方差很大，甚至趋于无穷大。
ˆ ) Var( 1
2 ( x 2i x 2 ) 2
i 1
n
2 2 ( x x ) ( x x ) ( x x )( x x ) 1i 1 2i 2 1i 1 2i 2 i 1 i 1 i 1
2015/12/26
9
第五讲 共线性与主成分分析的应用
三、共线性的诊断与处理 （一）共线性的诊断 1、显著性比较法 根据定性分析，如果能够肯定某个自变 量对因变量的影响很大，但具体得到的样本 回归系数不那么显著，则说明样本资料中可 能存在着共线性问题。如果拟合优度系数R2的 值很大，但模型中却有部分参数未通过显著 性检验，这也意味着有共线性存在。
2015/12/26 15
第五讲 共线性与主成分分析的应用
四、主成分分析的应用 1、主成分分析的含义 将多个可能存在相互关系的统计指标， 设法转化为少数几个不相关但又能最大程度 地反映原来统计指标所含有的统计信息的统 计分析方法。 主成分分析的基本作用：一是对数据资 料进行必要的压缩，二是对数据本身蕴涵的 信息进行挖掘和解释。
n
2015/12/26
6
第五讲 共线性与主成分分析的应用

二、共线性产生的原因与后果 （二）共线性产生的后果 将 x2i x1i 作代入处理：
ˆ 12源自 (xi 1n
1i
x1 )
n
2
(x
i 1
n
1i
x1 )( yi y ) ( x1i x1 )
i 1 n n
第五讲 共线性与主成分分析的应用
本讲的主要内容: 一、共线性问题的由来 二、共线性产生的原因与后果 三、共线性的诊断与处理 四、主成分分析的应用
2015/12/26
1
第五讲 共线性与主成分分析的应用

一、共线性问题的由来 在多元线性回归计量模型中，解释变量之 间存在的线性或近似线性的关系，通常称之 为共线性。 共线性理论最早是由弗瑞斯在1934年提出 来的，起初是指多元线性回归模型中全部或 部分解释变量之间存在的严格的线性关系。 可是在实践中，多数情况是不严格的线性关 系，因此后来人们逐渐也把这后一种情况包 括在多重共线问题的研究之中。
第五讲 共线性与主成分分析的应用

二、共线性产生的原因与后果 （一）共线性产生的原因 1、在针对所研究的问题确定解释变量的时候，由于受到 某些条件的限制，可供选择的范围比较小，只好把具有相关 关系或相近解释功能的变量，一同纳入到模型中去，从而造 成解释变量之间出现共线性关系。 2、样本观察的数目少于模型中自变量的个数。 3、把某个自变量的表征变量或可以作为该自变量的替代 变量，也纳入到模型的自变量集合中。 4、自变量的观察值之间存在滞后现象。 5、自变量之间可能客观存在一定程度的相互作用关系。 除了上述原因之外，像样本数据资料的采集方式、模型 构造和设定等方面的问题，也会引起比较严重的共线性。

第五讲 共线性与主成分分析的应用

三、共线性的诊断与处理 （二）共线性的处理 4、进行差分变换处理 假设有下列模型： yt 0 1 x1t 2 x2t t 。将方程整体 yt 1 0 1 x1(t 1) 2 x2(t 1) t 1 。将它们相 滞后一期，得到： 减，得到：
2015/12/26

2
0
8
第五讲 共线性与主成分分析的应用

二、共线性产生的原因与后果 （二）共线性产生的后果
3 、导致参数显著性检验失效。由于在 高度共线性关系的情况下，参数估计量的方 差很大，因而t统计量值必定较小，以至于时 常接受了原假设。 4、预测会失去意义。（至于这一点， 请读者自己论证。）