第三章多元回归分析：估计

ˆ x ˆ y 1 1
ˆ 为其他因素不变情况下， x1对y的边际影响。 1
多元回归中“保持其他因素不变”的含义

尽管不能在其他条件不变的情况下收集数据，但其提 供的系数可以做其他条件不变的解释。 多元回归分析是我们能在非实验环境中进行自然科学 家在受控实验中所能做的事情：保持其他因素不变。

x1k x2 k xnk n( k 1)
u1 u u 2 u n ( n1 )
ˆ1 u ˆ u2 u ˆn ( n1) u
样本回归模型
ˆ y Xβ u

k+1个方程，求解k+1个未知数？ 存在唯一解的条件是什么？
对OLS回归方程的解释
ˆ ˆ x ˆ x ˆx ˆ y 0 1 1 2 2 k k ˆ x ˆ x ˆ x ˆ y 1 1 2 2 k k

ˆ 、 ˆ、 ˆ 估计值 1 2 、k 具有偏效应或其他情况不变的解释： 例如，保持x2、x3、…、xk 不变的情况下
1

x21 x22 x2 k
1 y1 xn1 y2 xn 2 X' y yn xnk
ˆ X'y X'Xβ
β的最小二乘（OLS）估计量为：
ˆ (X'X)1 X'y β
对于一元回归模型：
y1 y2 y yn ( n1)
第三章 多元回归分析：估计
多元回归分析可以：

更适合于“其他因素不变情况下”的分析 可用于建立更好的因变量预测模型 可用以引入相当一般化的函数关系


使用多元回归的动因
含有两个自变量的模型
wage=0 +1educ + 2exper + u avgscore=0 +1expend + 2avginc + u

ˆ 和 的简单关系： 1 1
ˆ ˆ ˆ ˆ 1 1 2 21 +331 +k k1

简单回归和多元回归系数相同的两种情况： ˆ、 ˆ 都为0 、 2 k x1与其他自变量都不相关。
拟合优度
ˆ i y + yi y yi y = y ˆi = y ˆ i y u ˆi

关键假定： E(u|x1, x2 , … , xk ) = 0
普通最小二乘法的操作和解释
OLS估计

两种思路：

残差的平方和最小：
ˆ ˆ x ˆ x )2 min ( yi 0 1 i1 k ik
i 1

n
矩条件：
E(u) = 0 E(xju) = 0 j=1, 2, …, k
1 x1 1 x 2 X 1 x n n 2
1 X' X x1
1 x2
1 1 1 xn 1
1 x2
x1 x2 n xi xn
x x

如何假定扰动项与解释变量的关系？ 含有两个自变量模型的一般形式： y=0 + 1 x1 + 2 x2 + u

多元回归分析可用于函数形式的推广： cons=0 + 1 inc + 2 inc2 + u

1的解释，其他因素不变？
其他因素不变时，边际消费倾向是多少？ 使用模型： cons=0 + a1inc + 2 (inc-A) 2 + u 如何解释参数a1？
y=0 + 1 x1 + 2 x2 + u
扰动项u与解释变量x1和x2关系的假定：
E(u|x1, x2) = 0
但对于
cons=0 + 1 inc + 2 inc2 + u 关键假定通常写作： E(u|inc) = 0
k个自变量的模型

一般的多元线性回归模型：
y=0 + 1 x1 + 2 x2 + 3 x3 + …+ k xk + u
x12 x22 xn 2
x13 x23 xn 3

x1k 0 u1 x2 k u 1 2 xnk n( k 1) k ( k 1)1 un ( n1)
y= X + u
y1 y2 y yn ( n1) 0 1 β k ( k 1） 1
1 1 X 1
x11 x21 xn1
x12 x22 xn 2
x13 x23 xn 3

n xi1 xik
x x
i1 2 i1
x x x
i2
i 2 i1 xiFra bibliotekxik xi 2 xik

ˆ 0 yi x ik ˆ 1 x y x x ki i1 ˆ i1 i 2 2 x y x ik ik i ˆ k

同时改变不止一个自变量
OLS的拟合值和残差
ˆ + ˆ x + ˆx ) ˆi yi y ˆi yi u （ 0 1 i1 k ik
（1）残差和及样本均值都等于零 （2）每个回归元和残差的样本协方差为零
ˆ ( xi , u ˆ) 0 Cov
（3）拟合值和残差的样本协方差为零
ˆ ˆ x ˆ x ˆ x )0 (yi 0 1 i1 2 i2 k ik ˆ ˆ x ˆ x ˆ x )0 xi1 (yi 0 1 i1 2 i2 k ik ˆ ˆ x ˆ x ˆ x )0 xi 2 (yi 0 1 i1 2 i2 k ik x (y ˆ ˆ x ˆ x ˆ x )0 0 1 i1 2 i2 k ik ik i
x21 x22 x2 k
1 1 x11 xn1 1 x 21 xn 2 1 xn1 xnk
x12 x1k x22 x2 k X'X xn 2 xnk
于是有：
1 yi x11 xi1 yi x 12 xik yi x 1k
ˆ, u ˆ) 0 Cov( y
（4） 样本均值点总在OLS回归线上
ˆ + ˆ x + ˆx) y 0 1 1 k k
对“排除其他变量影响”的解释

对于模型：
ˆ ˆ x ˆ x ˆx ˆ y 0 1 1 2 2 k k

ˆ 可以表示为： 系数 1
ˆ 1
rˆ y
i 1 n 2 ˆ r i1 i 1
n
i1 i
ˆ1 为如下回归的残差： r
ˆ0 a ˆ2 x2 a ˆk xk r ˆ1 a ˆ x 1
简单回归和多元回归估计值的比较

考虑简单回归和二元回归的估计结果：
ˆ ˆ x ˆx ˆ y 0 1 1 2 2 x y 0 1 1
ˆ 和 的简单关系： 1 1

ˆ ˆ 1 1 2 1
1 是xi2对xi1简单回归的斜率系数。 简单回归和多元回归系数相同的两种情况：

0 ˆ 0 或者 2 1

含k个自变量的情形：
ˆ ˆ x ˆ x ˆx ˆ y 0 1 1 2 2 k k x y 0 1 1
2 ˆ ( y y ) ˆ ( y y ) i i 2 R 2 2 2 ˆ ( y y ) ( y y ) ( y y ) i i i 2 2
ˆ, u ˆ) 0 Cov( y
ˆ =y y
i 2 i

1 X' y x1
1 xn
y1 y2 yi xi yi yn

n 1 ˆ β (X'X) X'y x i
y x x x y

多元线性回归（矩阵形式）
模型的矩阵表示
总体回归模型
假设有k-1个解释变量x1，x2，…, x k，总体回归模型可以写作： yi= 0+1xi1 + 2xi2 +…+ kx ik+ ui
该模型对于所有的样本都成立，即对于i＝1,2…n，该模型都成立，因而有：
y1 1 x11 y 1 x21 2 y n ( n1) 1 xn1

n xi1 xik
x x
1
i1 2 i1
x x x
i2
i 2 i1

x x x
ik
xi1 xik
xi 2 xik
ki i1 2 x ik
1 x 11 x12 x1k
i 2 i i i i
1
OLS估计量的期望值

假定1：关于参数线性 y=0 + 1 x1 + 2 x2 + 3 x3 + …+ k xk + u 假定2：随机抽样 随机样本{(xi1 , xi2 , … xik , yi): i =1, 2, …, n}，n为样本容量 假定3：不存在完全共线性 没有一个自变量是常数，自变量间不存在严格线性关系
2 2 2 ˆ ˆ ( y y ) ( y y ) u i i i
SST = SSE + SSR
R2
SSE SSR 1 SST SST
2 2
r
2 ˆi yi , y
( yi y )( y ˆi y ˆ ) ˆi y u ˆi )( y ˆi y ) ( y 2 2 2 2 ˆ ( y y ) ( y y ) ˆ ˆ ( y y ) ( y y ) i i i i
OLS估计
ˆ β ˆ x β ˆ ˆ nβ 0 1 i1 2 xi 2 βk X ik yi ˆ ˆ x2 β ˆ ˆ x β β 0 i1 1 i1 2 xi 2 xi1 βk xik xi1 xi1 yi β 2 ˆ ˆ x x β ˆ ˆ x β x x β x 2 i 2 ik k ik xik yi 0 ik 1 i1 ik
过原点回归

模型形式：
x x x y 1 1 2 2 k k

残差平方和最小：
x x x )2 min ( y 1 1 2 2 k k
i 1 n

注意：
可决系数（R2）可能为负 如果真实情况下0 0，使用过原点回归模型会导致1的 估计量有偏且不一致。 如果0 =0，使用含截距项的回归模型，由于没有利用 0=0的信息，会有信息损失。