学习笔记：伍德里奇《计量经济学》第五版-第三章 多元回归分析：估计

y = b 0+ b 1x 1+ b 2x 2+ . . . b k x k + u

一、多元线性回归模型1.我们可以研究控制一些变量不变的条件下，其他变量对y的影响，

而不是假定他们不相关。

Cons = b 0+ b 1inc+b 2inc 2 +u

2.我们还能推广变量之间的函数关系如：

通过在模型中包含更多的变量，我们更好的达到了SLR.4所表达的目的

E(u|x 1,x 2, …,x k ) = 0 （3.8）

HYP.1一般多元回归模型的关键假定（u和所有x都不相关）：

（ ）仍然是最小化残差和：

对（3.12）求k +1次偏导得一阶条件（交给计算机计算）

（此时假定k +1个方程只能得到估计值得唯一解

2.1 如何得到OLS 估计值

例3.1分析两个系数时，可得出当我们把其中一个因素涵盖在模型中时，另外一个因素的预测就变得不有力了

1.系数表示局部效应（控制其他变量不变时，对y的效应）

多元回归分析给了我们在收集不到“其他条件不变”时的数据仍有同样效果的能力

2.“控制其他变量不变”的含义

3.同时改变不止一个自变量（只需要将效应加和）

2.2 对OLS 回归方程的解释

从单变量情形加以推广，得：

1.残差的样本平均值为0

2.每个自变量和OLS 残差之间的样本协方差为0。因此OLS 拟合值和OLS 残差之间的样本协方差也为0

3.点

总位于OLS 回归线上（性质1. 2.由一阶条件得，性质3.由1.可得

2.3 OLS 的拟合值和残差

（ ）其中 是x1对其他变量回归后的残差（即排除其他变量对x1的影响，类似矢量正交）

2.4 对“排除其他变量影响”的解释

（ ）（

是 对 简单回归的斜率1.样本中x2对y的偏效应为0，即

2.x1和x 2不相关，即

（1. 2.可解释

、 的差异由（3.23）知，在两种情况下

利用矢量正交的理解考虑简单回归和两个自变量的回归：

2.5简单回归和多元回归估计值比较

可以证明，R2的另一种理解是 的实际值与其拟合值 的相关系数的平方，其中

2.6 拟合优度（与简单回归大致相同）

二、普通最小二乘法（多元线性回归模型的代数特征和对方程的解释）

使用提示：1.该笔记是对伍德里奇《计量经济学》第五版第三章学习过程中的内容梳理

2.由于本人水平有限，单独看该笔记估计会很吃力，且很可能出现错误，建

议结合书本进行理解

3.希望能够对想学习计量经济学的人起到一点点帮助第三章多元回归分析：估计

2020年3月19日10:47

由于定义下增加解释变量不会降低R2，所以判断一个解释变量是否应该放入模型的依据应该是该解释变量在总体中对y的偏效应是否非0

2.7 过原点的回归

1.之前推导的性质不再成立，特别是OLS残差的样本平均值不再是0

2.计算R2没有特定的规则

3.当截距项b0不等于0，斜率参数OLS估计量将有偏误；当截距项b0=0，估计带截距项方程的代价是，OLS

斜率估计量的方差会更大

2.8 OLS估计量的期望值

MLR.1（线性于参数）

MLR.2（随机抽样）

MLR.3（不存在完全共线性，允许一定程度的相关）

（在定义函数时要小心不要违背了MLR.3

MLR.4（条件均值为0）

（内生解释变量：解释变量可能与误差项相关

定理3.1 OLS的无偏性

（）

2.9 过度设定和设定不足（多了无关变量和少了解释变量）

2.9.1过度设定（不影响OLS估计量的无偏性，但影响OLS估计量的方差）

2.9.2设定不足

1.简单情形：从一个斜率参数到两个斜率参数

由（3.23）：

取均值得偏误为：

（因此偏误的方向取决于两个符号，偏误的大小取决于两者之积，在应用中可以通过常识来判断偏

误方向

2.扩展情形：从两个斜率参数到三个斜率参数

当你假设和不相关时，就可以证明和的关系和简单情形一样

2.10 OLS估计量的方差

MLR.5（同方差性，不仅可以简化公式，还得到了有效性）

定理3.2 OLS斜率估计量的抽样方差

在MLR.1-5下，以自变量的样本值为条件，有

（）

（是的总样本波动，则是对所有其他自变量（并包含一个截距项）回归所得到的

由（3.51）可知，估计量的抽样方差由三个要素决定：

1.误差方差（噪声越大，越难估计）

2.的总样本波动（越分散，越容易估计）

3.自变量之间的线性关系

（和其他自变量相关性越高，越不利于估计

（很高的并不一定有问题，抽样方差的大小还要取决于剩下两个因素，可以通过收集更多

的数据来削减多重共线性

（当考虑某一个自变量 的方差时，若 和其他自变量均无关，那么其他自变量间的关系是不造成影响的，某些经济学家为了分离特定变量的因果效应，而在模型中包括许多控制因素，但这并不影响因果效应的证实

（ ）当含有两个解释变量时：

（ ）当含有一个解释变量时：

（（3.54）和（3.55）表明除非样本中x1和x2不相关，否则 <

1.当 =0时，两个都无偏，但 < ，所以前者更好

2.当不等于0时，不放x 2进去会导致有偏，放了x 2进去会导致方差增加，但我们喜欢把x2放进去的理由是：不放进去的偏误不会随着样本容量扩大而缩减，而放进去增加的方差却会随着样本容量的扩大逐渐缩小至0

所以有两个结论：

2.10.1 过度设定的方差（建立在过度设定无偏讨论的基础上）

（ ）2.10.2 OLS 估计量的标准误（与简单回归相同）

在假定MLR.1-5下，有

（MLR .5若不满足（即异方差），会使标准误失效（第二种表达清楚说明了随着样本容量的扩大，在其他三项（ 、 、 ）都趋于常数的时候，估计量标准误是如何变小的

因此得估计量的标准误：

定理3.3 的无偏估计

OLS 估计量是最优线性无偏估计量

（如（3.22）所示的线性、无偏误、在线性无偏估计量中方差最小

在MLR.1-5下，得

定理3.4 高斯-

马尔科夫定理

2.11 对OLS 估计的一个正确认识