第五章 经典线性回归模型(II)(高级计量经济学-清华大学 潘文清)

如何解释j为“当其他变量保持不变，Xj变化一个 单位时Y的平均变化”？
本质上： j=E(Y|X)/Xj 即测度的是“边际效应”(marginal effect)
因此，当一个工资模型为 Y=0+1age+2age2+3education+4gender+ 时，只能测度“年龄”变化的边际效应： E(Y|X)/age=1+22age 解释：“当其他变量不变时，年龄变动1个单位时 工资的平均变化量” 2、弹性： 经济学中时常关心对弹性的测度。
X1’X1b1+X1’X2b2=X1’Y (*) X2’X1b1+X2’X2b2=X2’Y (**) 由(**)得 b2=(X2’X2)-1X2’Y-(X2’X2)-1X2’X1b1 代入(*)且整理得： X1’M2X1b1=X1’M2Y b1=(X1’M2X1)-1X1’M2Y=X1-1M2Y=b* 其中，M2=I-X2(X2’X2)-1X2’ 又 M2Y=M2X1b1+M2X2b2+M2e1 而 M2X2=0， M2e1=e1-X2(X2’X2)-1X2’e1=e1 则 M2Y=M2X1b1+e1 或 e1=M2Y-M2X1b1=e* 或
b1是1的无偏估计。
设正确的受约束模型(5.1.2)的估计结果为br，则有 br= b1+ Q1b2
或 b1=br-Q1b2 无论是否有2=0, 始终有Var(b1)Var(br) 多选无关变量问题：无偏，但方差变大，即是无效 的。变大的方差导致t检验值变小，容易拒绝本该纳 入模型的变量。
§5.2 多重共线性
1、估计量的方差 在离差形式的二元线性样本回归模型中： yi=b1x1i+b2x2i+e
一般地，在多元回归中，记 Y=X11+X22+
特别地，假设X2=(Xk1, Xkn)’，即为X中的最后一列 由于曾经得到 b2=2+(X2’M1X2)-1X2’M11
因此
Var(b2)= (X2’M1X2)-1X2’M1E(11’)M1’X2(X2’M1X2)-1
Question: 受约束模型与无约束模型在X1前的参数 估计量相等吗？ 记受约束模型(5.1.2)的OLS解为br=(X1’X1)-1X1’Y
则 Y=X1b1+X2b2+e1
且 X1’e1=0, X2’e1=0
于是 br=(X1’X1)-1X1’Y= (X1’X1)-1X1’[X1b1+X2b2+e1] =b1+ (X1’X1)-1X1’X2b2+ (X1’X1)-1X1’e1 =b1+ [(X1’X1)-1X1’X2]b2=b1+Q1b2 其中，Q1= (X1’X1)-1X1’X2 因此，当b2=0或X1与X2正交时，都有br=b1
X2=X1Q1+(I-P1)X2 =explained part + residuals
其中，Q1=(X1’X1)-1X1’X2
对
X2=X1Q1+(I-P1)X2 =X1Q1+M1X2
=explained part + residuals
M1X2就是排除了X1的其他因素对X2的“净”影响。
X2对X1的回归称为辅助回归(auxiliary regression)
第五章 经典线性回归模型(II)
Classical Linear Regression Model (II)
§5.1 回归模型的解释与比较 Interpreting and Comparing Regression Models
一、解释线性模型 interpreting the linear model 1、边际效应 对模型 Yi=0+1X1i+…+kXki+i
时，弹性为： [E(Y|X)/E(Y|X)]/[Xj/Xj] 即弹性并非常数，而是随着Xj的变化而变化。 3、相对变化 如果模型为 则： lnYi=0+1X1i+…+kXki+i j=E(lnY|X)/Xj
解释为：Xj变化1个单位时Y的相对变化量。
二、选择解释变量 Select the Set of Regressors
遗漏相关变量问题：有偏，方差变小，导致t检验值变大，容 易将本不该纳入模型的变量纳入模型。
3、多选无关变量(redundant variables)
如果正确模型是受约束模型 Y=X11+2 (5.1.2) 而我们却对无约束模型 Y=X11+X22+1 (5.1.1) 进行回归，即模型中多选了无关变量X2。
2 2 2 1 2
1
Step 2: 估计X1对Y的“净”影响。
将 M2Y对M2X1回归，得X1对Y的“净”影响：
M2Y=M2X1b*+e*
这里，b*=[(M2X1)’(M2X1)]-1(M2X1)’M2Y=X1-1M2Y e*=M2Y-M2X1b*
Proof: b为原无约束回归模型的OLS解，则有 X’Xb=X’Y
2、遗漏相关变量(omitting variables)
Question: What happen if we omit relevant variable?
将无约束模型代入受约束模型(5.1.2)的OLS解 br=(X1’X1)-1X1’Y ，可得
br=(X1’X1)-1X1’(X11+X22+1)
这时模型常写为: lnYi=0+1lnX1i+…+klnXki+I 在E(i|lnX1i,lnX2i,,lnXki)=0的假设下，弹性为
[E(Y|X)/E(Y|X)]/[Xj/Xj]E(lnY|lnXj)/lnXj=k
当原始模型为
Yi=0+1X1i+…+kXki+i =j[Xj/(0+1X1+…+kXk)]
=1+(X1’X1)-1X1’X22+ (X1’X1)-1X1’1
于是： E(br|X1)=1+Q12+ (X1’X1)-1X1’E(1|X1) =1+Q12 因此，只有当2=0或X1与X2正交时，才有E(br|X1)=1
换言之，如果X2是Y的相关解释变量，且与X1非正 交，则略去X2的回归模型对参数的估计是有偏误的， 称为省略变量偏误(omitted variable bias)。 • 方差： 由于 br-E(br|X1)= (X1’X1)-1X1’1 则： Var(br|X1)=E{[br-E(br|X1)] [br-E(br|X1)]’} = (X1’X1)-1X1’E(11’)X1(X1’X1)-1 =2(X1’X1)-1 Theorem: Var(br)Var(b1)。其中b1为无约束回归 Y=X11+X22+1中对应于1的估计量。
Question: 如何不遗漏相关变量,同时也不选择无关变量？
假设有如下两模型： Y=X11+X22+1 (5.1.1)
Y=X11X1,,Xk1), (X2)n(k-k1)=(Xk1+1,,Xk)
1=(0,1,,k1)’， 2=(k1+1,,k)’
Question: 如何测度X1对Y的“净”影响？ 部分回归(Partial regression) Step 1: 排除X2的影响。 将Y对X2回归，得“残差”M2Y=[(I-X2(X2’X2)-1X2’]Y 将X1对X2回归，得“残差”M2X1=[(I-X2(X2’X2)1X ’]X 1 M 2Y为排除了X 的净Y，M X 为排除了X 的净X
四个因素共同影响着bj方差的大小。 Rj2为Xj关于其他解释变量这一辅助回归的决定系数 1/(1-Rj2)称为方差膨胀因子(variance inflation factor) 2、多重共线性问题
“ The consequences of multicollinearity are that the sampling distribution of the coefficient estimators may have large variances that the coefficient estimates are unstable from sample to sample. Thus they may be too unreliable to be use” (Judge)
显然，(5.1.2)为(5.1.1)的受约束模型。
约束条件为：H0： 2=0
1、部分回归(partial regression) Question: 如何解释j为“当其他变量保持不变，Xj 变化一个单位时Y的平均变化”？ 在X1与X2影响Y的同时，可 能存在着X1与X2间的相互影 响。如何测度？ X2 将X2中的每一元素Xj (j=k1+1, , k)对X1回归： Y X1 Xj=X1(X1’X1)-1X1’Xj+[Xj-X1(X1’X1)-1X1’Xj] 或 X2=X1(X1’X1)-1X1’X2+[X2-X1(X1’X1)-1X1’X2]
=2(X2’M1X2)-1
这里，X2’M1X2恰为如下辅助回归的残差平方和SSR
X2=X1B+v
于是： Var(b2)=2/SSR
表明：第k个解释变量参数估计量的方差，由 模型随机扰动项的方差2 第k个解释变量的样本方差SXk2 第k个解释变量与其他解释变量的相关程度Rk2 样本容量n 四个方面的因素决定。
Proof: 由受约束模型的参数估计量 br=b1+Q1b2 得 b1=br-Q1b2
Var(b1)=Var(br)+Q1Var(b2)Q1’-2Cov(br,b2)Q1’ Q1Var(b2)Q1’是半正定的，只需证明Cov(br,b2)=0 已知 又由 br-E(br|X1)= (X1’X1)-1X1’1 Y=X1b1+X2b2+e1 得
由多重共线性引起的大方差将导致： • 估计量不准确，j的样本估计值可能会远离真值 • 置信区间大，关于j的不同的假设都可能被接受， bj可能不会显著地异于“任何”假设 • t检验值变小，可能将重要的变量排除在模型之外 • 使区间预测的“区间”变大，使预测失去意义。
注意：
除非是完全共线性，多重共线性并不意味着任何 基本假设的违背；因此，OLS估计量仍是最佳线性无 偏估计量(BLUE)。 问题在于，即使OLS法仍是最好的估计方法，它 却不是“完美的”，尤其是在统计推断上无法给出 真正有用的信息。
3、何时需要多重共线性
多重共线性可能使单个的j不准确，却可使若干 参数的组合更准确。 假设总体回归方程为 E(Y)=0+1X1+2X2
记 =1+2，则其样本估计量为 t=b1+b2 于是： Var(t)=Var(b1)+Var(b2)+2Cov(b1,b2) x12i x1i x2i 在离差形式下，记 xx 2 x x x 2i 2 i 1i
M1Y=M1X1b1+M1X2b2+M1e1=M1X2b2+e1
X2’M1Y=X2’M1X2b2+X2’e1=X2’M1X2b2
这里用到了：M1X1=0， M1e1=e1， X2e1=0
于是 b2=(X2’M1X2)-1X2’M1Y
将 Y=X11+X22+1 代入b2得
b2=(X2’M1X2)-1X2’M1(X11+X22+1) =2+(X2’M1X2)-1X2’M11 E(b2|X)=2+(X2’M1X2)-1X2’M1E(1|X)=2 于是： b2-E(b2)=(X2’M1X2)-1X2’M11 Cov(b2,br)=E{[b2-E(b2)][br-E(br)]’} =E{(X2’M1X2)-1X2’M11[(X1’X1)-1X1’1]’} = (X2’M1X2)-1X2’M1E(1 1’)X1(X1’X1)-1 =2(X2’M1X2)-1X2’M1X1(X1’X1)-1 =0
一、多重共线性(multicollinearity)
多重共线性，或简称共线(collinearity)，意即多元 回归中解释变量间存在相关性。 多重共线性有完全共线性(perfect multicollinearity) 与近似共线性(approximate multicollinearity)两种情 况。 如果存在完全共线，则Rank(X)<k+1，X’X的逆不 存在，OLS估计无法进行。 如果存在近似共线性，则不违背经典假设，OLS 估计量仍是无偏一致的估计量，但方差往往较大。