计量经济学-7多重共线性
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这种关系称为完全多重共线性，实际上更多的情况是，解 释变量间存在不完全的线性关系：即存在不全为零的数：
1 , 2 , p，使
1 X i1 2 X i 2 P X iP 0
计量经济学
假定λ1 ≠0，
3 vi 2 P X i1 X i2 X i3 X iP 1 1 1 1
VIF（Variance Inflation Factor）称为方差膨胀因子，一 般如果某变量的VIF大于50 以上，说明模型存在多重共线性。
计量经济学
多重共线性的后果： 1、参数估计值的方差增大，估计量的精度大大
降低。影响预测结果（准确度和置信区间）。
2、参数估计值的标准差增大，使得 t 检验值变 小，增大了接受H0，舍弃对因变量有显著影响的 变量。 3、尽管t 检验不显著，但是R2仍可能非常高。
4、OLS估计量对观测值的轻微变化相当敏感。
计量经济学
三、多重共线的检验
1、利用解释变量之间的拟合优度（判定系数）检验法 ①每次以一个解释变量对余下的P-1个解释变量做回归， 即建立P个回归方程： 2 X1 g （ X ， X ， ， X ） R 1 2 3 P 1
X2 g （ ，X 3， ，X P） 2 X1 X P g（ ，X 2， ，X P 1） p X1
计量经济学
3、u无自相关，Cov（ui，u j） E{[ui Eui ][u j Eu j ]} E（ui u j） 0 i j 4、解释变量X（ ， 2， ，p）与随机扰动项 ui不相关， j j 1 即Cov（X j，ui） 0 5、u服从正态分布， ui ~ N（0， 2）
其中vi 为随机项。我们把这种关系称为不完全多重 共线性。由于经济变量自身的性质，多重共线性或 强或弱，普遍存在的。 多重共线：解释变量之间存在完全的或近似的线性 关系。解释变量存在完全的线性关系叫完全多重共 线；解释变量之间存在近似的线性关系叫不完全 （近似）多重共线。
计量经济学
多重共线性产生的原因： 1、经济变量之间的内在联系引起多重共线 2、经济变量在时间上有同方向变化的趋势 3、模型中引入滞后变量引起多重共线。
* ˆ ln I Yt* 0 1 ln P u , 其中 Y ln Y t t t 2 t t
新的回归式中消除了多重共线性的影响。
6、利用时间序列数据的差分或离差进行估计 计量经济学 如果时间序列数据中，解释变量间存在高度相关，那么这些 变量的差分之间不一定相关。因此利用差分进行回归能降低多重 共线性的程度。 7、逐步分析估计法 ①先对设定的总体回归模型用普通最小二乘法进行估计，并检验 总体回归模型的效果； ②若经检验后总体回归方程显著，再计算解释变量之间的相关系 数，分析多重共线的程度； ③若多重共线相当严重，则进一步将被解释变量对每一个解释变 量做回归，并根据经济理论和实际经验及它们的判定系数，从中 选择一个最合理的作为基本回归方程式； ④在上述这个最合理的基本回归方程式中，逐步插入新的解释变 量进行回归，并对其结果进行检验，直到变量插入完为止。
计量经济学
6、无多重共线。设（ X i1，X i 2， ，X iP）为 （X 1，X 2， ，X P）的第i个观测值， 1 1 记： X 1 X 11 X 21 X n1 X 12 X 22 X n2 X 1P X 2P X nP
计量经济学
2、利用先验信息 假定对回归模型：
Yi 0 1 X i1 2 X i 2 ui
已知X1和X2 之间高度共线。根据先验信息，确定β2=2β1， 带入模型后可得：
Yi 0 1 X i1 2 1 X i 2 ui 0 1 ( X i1 2 X i 2 ) ui 设变量Z i ( X i1 2 X i 2 ), 估计方程 Yi 0 1Z i ui ˆ 和 ˆ 2 ˆ。 可得到
计量经济学
二、多重共线性的后果
1.完全多重共线性： 以两个解释变量的回归模型为例，假定回归模型为：
Yi 0 1 X1 2 X 2 ui
如果采用OLS估计，则有：
ˆ Y ˆ X ˆ X 0 1 1 2 2 min
2 ˆ ˆ X ˆ X )2 e ( Y i i 0 1 1 2 2
2
计量经济学
例如，为了估计汽车需求的价格弹性和收入弹性，得到销售量、 平均价格、消费者收入的时间序列数据。设定回归式：
ln(Yt ) 0 1 ln P t 2 ln I t ut
由于在时间序列数据中价格Pt、收入It 一般都具有高度共线 的趋势。因此，直接估计上面的回归式将存在问题。由于在同一 式点上，价格与收入的相关程度不高，可以先利用截面数据估计 ˆ ，再利用这一估计结果修改原回归式，变为： 出收入弹性 2
ˆ x ˆ x )2 ( yi 1 1 2 2
计量经济学
根据最小平方和原则，并求解正规方程组，可得到：
ˆ 1
ˆ 2
( yi xi1 )( xi2 2 ) ( yi xi 2 )( xi1 xi 2 )
2 2 ( x i2 )( x ) ( x x ) i2 i1 i 2 1
2 RP
变量间没有多重共线性。
计量经济学
3、R2、F、t检验结果进行综合分析检验法 无多重共线性： R2、F、t检验均显著 存在多重共线性： R2、F检验很显著，但t检验不全显著（一 般是不显著的Xj与显著的Xi存在共线性。）
四、多重共线性的修正
如果发现解释变量之间存在高度得多重共线性，就必须 消除这种多重共线性的影响，保证模型的正确性和估计的有效 性。有以下几种解决方法。 1、剔除不重要的变量 把回归模型中引起多重共线性，而可以剔出对因变量的影 响不大的变量。但是变量的剔除可能导致模型的设定偏误。
2 x i1
2
2
计量经济学
ˆ Var ( )
1
1 VIF 2 2 2 xi1 1 r12 xi1
2 2
显然，当解释变量X1、X2之间的相关系数 r12 的绝 对值越大，共线性程度就越高，参数估计值的方差就 越大，越不准确，且随着相关系数的增大，方差以更 大的幅度增加。
计量经济学
第七章 多重共线性
一、多重共线性问题 二、多重共线性的后果 三、多重共线的检验 四、多重共线性的修正 五、案例分析
计量经济学
一、多重共线性问题
基本假定： 1、u零均值。所有的ui均值为0，E（ui）=0。 2、u同方差。Var（ui）=δ2，i=1，2，…，n
u1 u2 T E UU u u 1 2 un 2 0 0 0 2 0 0 0 2I 0 0 2 0 2 0 0 0 u12 u1u2 2 u u u 2 1 2 un E u u u u n 1 n 2 u1un u2 un 2 un
2 2 ( x i2 )( x ) ( x x ) i2 i1 i 2 1
( yi xi 2 )( x i22 ) ( yi xi 2 )( x i22 ) (2 x i22 )( x i22 ) ( xi22 ) 2
2 x i1 2 i2
0 0
1 2 1
计量经济学
例如：C-D生产函数 Y AL K ，K与L高度相关。已知 规模收益不变，则α+β=1。生产函数的双对数模型可变为：
ln Y ln( A) ln L (1 ) ln K u ln Y ln K ln( A) (ln L ln K ) u Y L 整理可得： ln ln( A) ln u K K
2 2
因此，存在完全共线性时，不能利用OLS估计参数，参数的 方差变为无限大。
计量经济学
2.不完全多重共线性
假定X1，X2 间存在不完全多重共线性， 以离差形式表示为： 其中vi 为随机项。则
x1 x2 vi
ˆ 1
[ yi ( xi 2 vi )]( x i22 ) ( yi xi 2 )[ ( xi 2 vi ) xi 2 ] [ ( xi 2 vi ) 2 ]( x i22 ) [ ( xi 2 vi ) xi 2 ]2
每次删除一个解释变量，将Y对余下的变量做回归： Yg （ 1 X 2，X 3， ，X P） Yg （ ，X 3， ，X P） 2 X1 Y g（ ，X 2， ，X Fra Baidu bibliotek 1） P X1
2 2 记R 2 Max （R12，R2 ， ，RP ） 2 ②若R 2 R 2 R j 0 ，则认为X j 与其余变量之间 2 存在多重共线，若R 2 R 2 R j 0 ，则可以认为解释 2 R1 2 R2
式中分母可化简为 ( x i22 )( vi2 ) 0。
计量经济学
ˆ 是可估计的的。同样 ˆ 也是可估计的。 此时， 1 2 ˆ) 而方差 : Var ( 1
2 2 x x （ xi1 xi 2） i1 i 2 2 x 2i 2 2
1 2 2 2 （ xi1 xi 2） xi1 1 r12 1 2 2 xi1 xi 2
ˆ 是不确定的。同样 ˆ 也是不确定的。而方差 此时， 1 2 ˆ ) Var ( 1
2 2 x i2 2 ˆ ) 在 x1 x 2时，Var ( 1 2 2 2 2 2 2 （ xi 2） （ x ）
i2
x x
2 i1
（ xi1 xi 2）
则： X为n （p 1 ）矩阵，且Rank （X） p 1
计量经济学
如果假定6不成立，即解释变量X1，X2，…，XP存在线性 关系，即存在不全为零的常数 1 , 2 , p，使
1 X i1 2 X i 2 P X iP 0
不妨设1 0, 则
3 2 P X i1 X i2 X i3 X iP 1 1 1
2 2 记R 2 Max （R12，R2 ， ，RP ）
2 R2
2 RP
②若R 2 R 2 j
1 ，则认为X j 与其余变量之间
存在多重共线，否则，则没有多重共线性。
计量经济学
2、不含某个解释变量Xj的拟合优度（判定系数）检验法 ①将Y对全部解释变量X1，X2，…，XP做回归，得回归方程
2 Y （ f X 1，X 2， ，X P），相应的拟合优度为R0 。
可以对这一新回归方程进行估计。
计量经济学
3、变换模型的形式 如果作为解释变量的某些经济变量间出现高度相关，而进 行回归分析的目的是为了预测，不是研究单个经济变量对因变 量的影响时，可以根据实际问题，改变模型模型的形式。 4、增加样本容量 如果多重共线性是由样本引起，增加样本容量可以减少多 重共线性的程度。以二元回归方程为例，根据前面的结果，参 数估计值的方差为： 2
ˆ) Var (
1
2 2 x x （ xi1 xi 2） i1 i 2
x
i2
2 2
1 2 2 x 1 r i1 12
2
计量经济学
xi1 增大，方差将减小， 当样本容量增大时， 可以提高参数估计的精度。
5、横截面数据与时间序列数据并用 如果时间序列数据中，解释变量间存在高度相关， 可以先使用横截面数据估计出存在高度相关解释变量 中的一个或多个，然后再在时间序列数据中剔除这些 变量，在消除多重共线性影响下估计因变量与剩余变 量间的回归式。
( yi xi 2 )( x i2 ) ( yi xi1 )( xi1 xi 2 ) 1
2 2 ( x i2 )( x ) ( x x ) i2 i1 i 2 1
如果X1与X2存在完全共线性，即
x1 x2
则：
计量经济学
ˆ 1 ( yi xi1 )( x i22 ) ( yi xi 2 )( xi1 xi 2 )
1 , 2 , p，使
1 X i1 2 X i 2 P X iP 0
计量经济学
假定λ1 ≠0，
3 vi 2 P X i1 X i2 X i3 X iP 1 1 1 1
VIF（Variance Inflation Factor）称为方差膨胀因子，一 般如果某变量的VIF大于50 以上，说明模型存在多重共线性。
计量经济学
多重共线性的后果： 1、参数估计值的方差增大，估计量的精度大大
降低。影响预测结果（准确度和置信区间）。
2、参数估计值的标准差增大，使得 t 检验值变 小，增大了接受H0，舍弃对因变量有显著影响的 变量。 3、尽管t 检验不显著，但是R2仍可能非常高。
4、OLS估计量对观测值的轻微变化相当敏感。
计量经济学
三、多重共线的检验
1、利用解释变量之间的拟合优度（判定系数）检验法 ①每次以一个解释变量对余下的P-1个解释变量做回归， 即建立P个回归方程： 2 X1 g （ X ， X ， ， X ） R 1 2 3 P 1
X2 g （ ，X 3， ，X P） 2 X1 X P g（ ，X 2， ，X P 1） p X1
计量经济学
3、u无自相关，Cov（ui，u j） E{[ui Eui ][u j Eu j ]} E（ui u j） 0 i j 4、解释变量X（ ， 2， ，p）与随机扰动项 ui不相关， j j 1 即Cov（X j，ui） 0 5、u服从正态分布， ui ~ N（0， 2）
其中vi 为随机项。我们把这种关系称为不完全多重 共线性。由于经济变量自身的性质，多重共线性或 强或弱，普遍存在的。 多重共线：解释变量之间存在完全的或近似的线性 关系。解释变量存在完全的线性关系叫完全多重共 线；解释变量之间存在近似的线性关系叫不完全 （近似）多重共线。
计量经济学
多重共线性产生的原因： 1、经济变量之间的内在联系引起多重共线 2、经济变量在时间上有同方向变化的趋势 3、模型中引入滞后变量引起多重共线。
* ˆ ln I Yt* 0 1 ln P u , 其中 Y ln Y t t t 2 t t
新的回归式中消除了多重共线性的影响。
6、利用时间序列数据的差分或离差进行估计 计量经济学 如果时间序列数据中，解释变量间存在高度相关，那么这些 变量的差分之间不一定相关。因此利用差分进行回归能降低多重 共线性的程度。 7、逐步分析估计法 ①先对设定的总体回归模型用普通最小二乘法进行估计，并检验 总体回归模型的效果； ②若经检验后总体回归方程显著，再计算解释变量之间的相关系 数，分析多重共线的程度； ③若多重共线相当严重，则进一步将被解释变量对每一个解释变 量做回归，并根据经济理论和实际经验及它们的判定系数，从中 选择一个最合理的作为基本回归方程式； ④在上述这个最合理的基本回归方程式中，逐步插入新的解释变 量进行回归，并对其结果进行检验，直到变量插入完为止。
计量经济学
6、无多重共线。设（ X i1，X i 2， ，X iP）为 （X 1，X 2， ，X P）的第i个观测值， 1 1 记： X 1 X 11 X 21 X n1 X 12 X 22 X n2 X 1P X 2P X nP
计量经济学
2、利用先验信息 假定对回归模型：
Yi 0 1 X i1 2 X i 2 ui
已知X1和X2 之间高度共线。根据先验信息，确定β2=2β1， 带入模型后可得：
Yi 0 1 X i1 2 1 X i 2 ui 0 1 ( X i1 2 X i 2 ) ui 设变量Z i ( X i1 2 X i 2 ), 估计方程 Yi 0 1Z i ui ˆ 和 ˆ 2 ˆ。 可得到
计量经济学
二、多重共线性的后果
1.完全多重共线性： 以两个解释变量的回归模型为例，假定回归模型为：
Yi 0 1 X1 2 X 2 ui
如果采用OLS估计，则有：
ˆ Y ˆ X ˆ X 0 1 1 2 2 min
2 ˆ ˆ X ˆ X )2 e ( Y i i 0 1 1 2 2
2
计量经济学
例如，为了估计汽车需求的价格弹性和收入弹性，得到销售量、 平均价格、消费者收入的时间序列数据。设定回归式：
ln(Yt ) 0 1 ln P t 2 ln I t ut
由于在时间序列数据中价格Pt、收入It 一般都具有高度共线 的趋势。因此，直接估计上面的回归式将存在问题。由于在同一 式点上，价格与收入的相关程度不高，可以先利用截面数据估计 ˆ ，再利用这一估计结果修改原回归式，变为： 出收入弹性 2
ˆ x ˆ x )2 ( yi 1 1 2 2
计量经济学
根据最小平方和原则，并求解正规方程组，可得到：
ˆ 1
ˆ 2
( yi xi1 )( xi2 2 ) ( yi xi 2 )( xi1 xi 2 )
2 2 ( x i2 )( x ) ( x x ) i2 i1 i 2 1
2 RP
变量间没有多重共线性。
计量经济学
3、R2、F、t检验结果进行综合分析检验法 无多重共线性： R2、F、t检验均显著 存在多重共线性： R2、F检验很显著，但t检验不全显著（一 般是不显著的Xj与显著的Xi存在共线性。）
四、多重共线性的修正
如果发现解释变量之间存在高度得多重共线性，就必须 消除这种多重共线性的影响，保证模型的正确性和估计的有效 性。有以下几种解决方法。 1、剔除不重要的变量 把回归模型中引起多重共线性，而可以剔出对因变量的影 响不大的变量。但是变量的剔除可能导致模型的设定偏误。
2 x i1
2
2
计量经济学
ˆ Var ( )
1
1 VIF 2 2 2 xi1 1 r12 xi1
2 2
显然，当解释变量X1、X2之间的相关系数 r12 的绝 对值越大，共线性程度就越高，参数估计值的方差就 越大，越不准确，且随着相关系数的增大，方差以更 大的幅度增加。
计量经济学
第七章 多重共线性
一、多重共线性问题 二、多重共线性的后果 三、多重共线的检验 四、多重共线性的修正 五、案例分析
计量经济学
一、多重共线性问题
基本假定： 1、u零均值。所有的ui均值为0，E（ui）=0。 2、u同方差。Var（ui）=δ2，i=1，2，…，n
u1 u2 T E UU u u 1 2 un 2 0 0 0 2 0 0 0 2I 0 0 2 0 2 0 0 0 u12 u1u2 2 u u u 2 1 2 un E u u u u n 1 n 2 u1un u2 un 2 un
2 2 ( x i2 )( x ) ( x x ) i2 i1 i 2 1
( yi xi 2 )( x i22 ) ( yi xi 2 )( x i22 ) (2 x i22 )( x i22 ) ( xi22 ) 2
2 x i1 2 i2
0 0
1 2 1
计量经济学
例如：C-D生产函数 Y AL K ，K与L高度相关。已知 规模收益不变，则α+β=1。生产函数的双对数模型可变为：
ln Y ln( A) ln L (1 ) ln K u ln Y ln K ln( A) (ln L ln K ) u Y L 整理可得： ln ln( A) ln u K K
2 2
因此，存在完全共线性时，不能利用OLS估计参数，参数的 方差变为无限大。
计量经济学
2.不完全多重共线性
假定X1，X2 间存在不完全多重共线性， 以离差形式表示为： 其中vi 为随机项。则
x1 x2 vi
ˆ 1
[ yi ( xi 2 vi )]( x i22 ) ( yi xi 2 )[ ( xi 2 vi ) xi 2 ] [ ( xi 2 vi ) 2 ]( x i22 ) [ ( xi 2 vi ) xi 2 ]2
每次删除一个解释变量，将Y对余下的变量做回归： Yg （ 1 X 2，X 3， ，X P） Yg （ ，X 3， ，X P） 2 X1 Y g（ ，X 2， ，X Fra Baidu bibliotek 1） P X1
2 2 记R 2 Max （R12，R2 ， ，RP ） 2 ②若R 2 R 2 R j 0 ，则认为X j 与其余变量之间 2 存在多重共线，若R 2 R 2 R j 0 ，则可以认为解释 2 R1 2 R2
式中分母可化简为 ( x i22 )( vi2 ) 0。
计量经济学
ˆ 是可估计的的。同样 ˆ 也是可估计的。 此时， 1 2 ˆ) 而方差 : Var ( 1
2 2 x x （ xi1 xi 2） i1 i 2 2 x 2i 2 2
1 2 2 2 （ xi1 xi 2） xi1 1 r12 1 2 2 xi1 xi 2
ˆ 是不确定的。同样 ˆ 也是不确定的。而方差 此时， 1 2 ˆ ) Var ( 1
2 2 x i2 2 ˆ ) 在 x1 x 2时，Var ( 1 2 2 2 2 2 2 （ xi 2） （ x ）
i2
x x
2 i1
（ xi1 xi 2）
则： X为n （p 1 ）矩阵，且Rank （X） p 1
计量经济学
如果假定6不成立，即解释变量X1，X2，…，XP存在线性 关系，即存在不全为零的常数 1 , 2 , p，使
1 X i1 2 X i 2 P X iP 0
不妨设1 0, 则
3 2 P X i1 X i2 X i3 X iP 1 1 1
2 2 记R 2 Max （R12，R2 ， ，RP ）
2 R2
2 RP
②若R 2 R 2 j
1 ，则认为X j 与其余变量之间
存在多重共线，否则，则没有多重共线性。
计量经济学
2、不含某个解释变量Xj的拟合优度（判定系数）检验法 ①将Y对全部解释变量X1，X2，…，XP做回归，得回归方程
2 Y （ f X 1，X 2， ，X P），相应的拟合优度为R0 。
可以对这一新回归方程进行估计。
计量经济学
3、变换模型的形式 如果作为解释变量的某些经济变量间出现高度相关，而进 行回归分析的目的是为了预测，不是研究单个经济变量对因变 量的影响时，可以根据实际问题，改变模型模型的形式。 4、增加样本容量 如果多重共线性是由样本引起，增加样本容量可以减少多 重共线性的程度。以二元回归方程为例，根据前面的结果，参 数估计值的方差为： 2
ˆ) Var (
1
2 2 x x （ xi1 xi 2） i1 i 2
x
i2
2 2
1 2 2 x 1 r i1 12
2
计量经济学
xi1 增大，方差将减小， 当样本容量增大时， 可以提高参数估计的精度。
5、横截面数据与时间序列数据并用 如果时间序列数据中，解释变量间存在高度相关， 可以先使用横截面数据估计出存在高度相关解释变量 中的一个或多个，然后再在时间序列数据中剔除这些 变量，在消除多重共线性影响下估计因变量与剩余变 量间的回归式。
( yi xi 2 )( x i2 ) ( yi xi1 )( xi1 xi 2 ) 1
2 2 ( x i2 )( x ) ( x x ) i2 i1 i 2 1
如果X1与X2存在完全共线性，即
x1 x2
则：
计量经济学
ˆ 1 ( yi xi1 )( x i22 ) ( yi xi 2 )( xi1 xi 2 )