计量经济学第六讲vvv

第六讲 多重共线一、 数学准备：FWL 定理对于多元线性回归模型：112233i i i i i y a b x b x b x ε=++++ （1）在OLS 法下，各系数估计通过求解四个正规方程而获得。

事实上，如果只关注某一个斜率系数的估计结果，则通过构造一系列简单线性回归模型就能获得所关注的斜率系数的估计。

假设我们现在关注1ˆb ，那么构造系列简单线性回归模型的过程是：第一步：把1x 对其他解释变量进行回归（请注意，截距所对应的解释变量为1），即有：101223ˆˆˆˆi i i i x x x v βββ=+++ （2） 第二步：把y 也对（2）中的解释变量进行回归，即有：01223ˆˆˆˆi i i i y x x w ϕϕϕ=+++ （3）第三步：把ˆw 对ˆv 进行回归（因为ˆw 与ˆv 其均值都为零，所以该回归模型不必带有截距项），即有：ˆˆˆˆi i i v e w η=+ （4） 现在有两个结论，即，结论一：21ˆˆˆˆˆi i i wv v b η==∑∑；结论二：残差ˆi e 等于多元回归中的残差ˆi ε。

这两个结论就是著名的FWL 定理（Frisch-Waugh-Lovell theorem ）。

关于FWL 定理的一个简单证明见附录1。

附录2涉及到该定理的应用。

笔记：1b 所反映的是，在控制其他因素后1x 对y 的影响（与“偏导数”概念对应）。

1x 与y 的相关关系可能是由于它们共同的“亲戚”—— 2x 与3x 所带来的。

在控制共同“亲戚”对1x 及其y 的影响后，我们所发现的1x 与y 的相关关系被称为偏相关关系。

在前述步骤中，第一步与第二步实际上是在剔除共同“亲戚”的影响。

练习：基于简单线性回归模型：i i i y a bx ε=++验证FWL 定理。

如果我们只需要结论一，则上述三步骤可以被简化为两步骤：首先把1x 对其他解释变量进行回归，得到残差ˆi v ，其次把y 对ˆv 进行回归：ˆˆ*ˆi i iv y ηξ=+ 可以验证：122ˆˆˆˆˆˆ*ˆˆi i i i i iy v wv b v v ηη====∑∑∑∑，但应该注意此时并不能保证ˆˆi i ξε=成立。

笔记：在这里y 对ˆv 所进行的是无截距回归。

事实上，此时是否增加截距项并不影响斜率估计结果。

这是因为，由于ˆ0v =，故22ˆˆˆ()ˆˆˆ()i i i i i i y v y v v vv v -=-∑∑∑∑，而该等式右边正是有截距情况下斜率的估计结果。

练习：（1）针对上述例子，利用OLS 法的代数知识，证明：22ˆˆˆˆˆi i i i i i y v wv v v=∑∑∑∑ 并说明此时为何不能保证ˆˆi i ξε=成立。

（2）对1122i i ii y a b x b x ε=+++进行OLS 估计，利用前述知识证明：12211ˆx x b =在这里，12x x r 、2yx r 分别是2x 与1x 及其y 的样本相关系数。

笔记：一些有用的结论：1、当1x 与y 及其2x 样本无关时则10ˆb =。

注意，仅仅1x 与y 样本无关不能保证10ˆb =。

2、当1x 与2x 样本无关时，多元线性回归1122ˆˆˆˆi iy a b x b x =++中的1ˆb 等于简单线性回归011i y m m x =+)))中的1m )，两者皆等于11(,)()Cov y x Var x 。

二、 考察12ˆb δ 1ˆb 的方差是多少呢？ 12ˆ112233*********ˆˆ()()()ˆˆˆˆˆˆˆ()ˆb i i i i i i i i i i i i i i i i i i i y v a b x b x b x v Var Var v v av b x v b x v b x v v Var vδεε=++++=++++=∑∑∑∑∑∑∑∑∑∑ OLS 法保证了320ˆˆˆi i i x i i x v v v ===∑∑∑，因此12ˆ112ˆˆ()ˆb i i i i i b x v v Var v δε=+∑∑∑ 由于我们假定1i x 是非随机的，进而ˆi v也是非随机的。

假定22iεδδ=，则有： 212ˆ2ˆb i v δδ=∑注意到，2ˆiv ∑是（2）中的残差平方和，我们已知道：2221111()()ˆˆii i x x x x v TSS ESS RSS-=-+↓↓↓∑∑∑2(2)2221111221111211211()()ˆˆ()ˆ[()](1)()[()](1)i i i i i i i R v x x x x x x x x x x x x =----=---=--∑∑∑∑∑∑∑ 其中2(2)R 是根据（2）计算的决定系数。

因此有： 22211(2)212ˆ[()](1)2ˆi b x x R i v δδδ=--=∑∑2(2)1/[1]R -通常被称为方差膨胀因子（VIF ），而2(2)1R -被称为容忍度（Tolerence ）。

另外，由于2111()i Nx x -∑为1x 的样本方差1()Var x ，因此有： 122(2)1/2ˆ)((1)N b Var x R δδ-= （6） 根据（6）式，一个总结是，保持其他影响因素不变，1ˆb 的方差（或者标准差1ˆ()sd b ）将： （1）随着样本容量的增加而减少；（2）随着1x 样本方差的增加而减少； （3）随着2(2)R 增加而增加；（4）随着误差项方差的增加而增加；笔记：样本容量越大则信息越多；1x 样本方差越大意味着在解释y 时我们掌握的样本覆盖面广，故信息越多。

信息越多将提高估计精度。

2(2)R 越大表示解释变量所蕴含信息的重叠度高，因此有效信息较少，故降低估计精度。

误差项方差大即y 的方差大，这意味着被解释对象更加捉摸不定，从而估计面临着更大的困难，估计精度下降。

2δ一般是未知的，需要估计。

从而1ˆb 的标准误为：1ˆ)(b se 其中222ˆˆˆ44i i e N N δε==--∑∑。

因此，1ˆ)(b se =考虑初始模型（1），显然有：2222[)](1)()(1)ˆ(i iy R NVar y R y ε=--=-∑∑ 因此，有：1ˆ)(b se = （7）特别要注意，1ˆ)(b se 是随机的（在（7）式中，2R 是随机的，其随机性来源于y 的随机性）。

既然1ˆ)(b se 是随机的，那么我们再也不能像对（6）式那样总结了！然而在大样本下，由于标准误在概率上收敛于标准差，故此时有关标准差的一些结论可以应用于标准误。

思考题：针对特定的样本，依据（7）式可以计算出一个确定性的值。

如果在模型（1）上再增添一个解释变量4x ，显然2(2)R 一般是增加的，因此将增加1ˆb 的标准差，但一定会增加1ˆb 的标准误吗？三、 多重共线及其后果当2(2)R 越大，我们称解释变量共线性程度越严重（针对模型（1），这样的判定系数有三个）。

当2(2)1R =，1x 被231,,x x 完全拟合，换句话说，存在：112324310x x x λλλλ•+++=其中1λ不为零。

那么根据公式：22211(2)12ˆ[()](1)i b x x R δδ=--∑有：12ˆb δ=∞。

此时，我们称解释变量完全共线性。

解释变量完全共线违背了高斯-马尔科夫假定。

当解释变量其共线性程度并未达到完全共线性时，我们称解释变量多重共线。

注意，多重共线并未违背高斯-马尔科夫假定，只要其他高斯-马尔科夫假定成立，OLS 估计量仍保持所有的良好性质。

那么为什么我们还要讨论多重共线呢？显然这是因为，正如前面所讨论的，多重共线程度较高可能导致OLS 估计量的标准差或者标准误较大。

如果情况确实如此，那么有：（1）t 检验的可靠性降低，犯第二类错误的概率较大；（2）置信区间更宽，以致我们不能很好地猜测b 1的取值。

思考题：为什么此时t 检验犯第二类错误的概率较大？四、 多重共线一定会带来后果吗？考虑模型112233i i ii i y a b x b x b x ε=++++，现在，2x 与3x 的相关性很大，因此，在OLS 法下，2ˆb 与3ˆb 的方差或许很大。

但2x 与3x 的相关性很大并不一定意味着2x 、3x 及其常变量1能够很好地拟合1x ，因此，1ˆb 的方差并不一定大。

总体来看，尽管由于2x 与3x 的相关性很大导致模型出现严重的多重共线性，然而由于我们关注的是对b 1的估计，而1ˆb 的方差并不一定大，故就我们的关注点来说，多重性共线或许并未产生严重的后果。

另外从公式1ˆ)(b se =可以看出，影响1ˆ)(b se 的因素很多，因此，即使2(2)R 很大也并不一定使得1ˆ)(b se 就很大。

而按照Klien ’s rule of thumb ，当2(2)R 大于初始模型的2R 时，多重共线问题才值得关注。

当利用估计模型以作预测之用时，我们经常对整个模型的拟合度较为关注，而并不关注个别系数是否显著。

此时，多重共线也并不值得我们忧虑。

五、 如何判断多重共线的严重程度？（一）利用典型症状来判断。

这些典型症状是：1、模型整体拟合较好但很多解释变量不显著。

为理解这种症状出现的逻辑，考虑在初始模型增添一个解释变量。

显然，新模型其判定系数一般是更大的（相应的是，新模型F 值可能较大）。

然而，增加解释变量很可能导致严重的多重共线性，进而可能导致OLS估计量的标准误很大，结果使得很多解释变量不显著。

2、系数估计的符号不符合理论预期，但往往不显著。

在经典线性模型假定下，OLS估计量服从正态分布。

假定按照某种经济学理论，真实参数是一个正分数。

如果多重共性严重导致真实参数的OLS估计量标准差很大，则尽管OLS估计量的期望值等于真实参数，但它的概率密度曲线很大一部分将落入第二象限，于是，OLS估计值很可能出现负值，导致估计结果的符号不符合预期（预期的符号是正号）。

然而我们知道，如果与很大的标准差相一致，OLS估计量的标准误也很大，则t检验的结果很可能是系数估计与0没有显著差异。

笔记：系数估计的符号不符合理论预期，且又是显著的，这是解释变量与误差项相关的一个信号。

3、增加样本容量或者删除一些变量导致估计结果发生了很大的变化。

为理解这种症状出现的逻辑，考虑一个简单的极端情况。

假定解释变量矩阵是X，而增加一次观测后解释变量矩阵是X1，删除一个解释变量后解释变量矩阵是X2。

其中X 、X1、X2如下所示：1214314133156156151891891871877181911099110111115XX X ⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎣⎦⎣⎦⎢⎥⎣⎦=== 显然，当解释变量矩阵是X 时解释变量完全共线，此时我们根本无法获得估计结果。