第三章多元回归分析估计

ˆ, u ˆ) 0 Cov( y
（4） 样本均值点总在OLS回归线上
ˆ + ˆx+ y 0 1 1
ˆx) k k
对“排除其他变量影响”的解释

对于模型：
ˆ ˆ x ˆx ˆ y 0 1 1 2 2 ˆx k k

ˆ 可以表示为： 系数 1
ˆ 1
第三章 多元回归分析：估计
多元回归分析可以：

更适合于“其他因素不变情况下”的分析 可用于建立更好的因变量预测模型 可用以引入相当一般化的函数关系


使用多元回归的动因
含有两个自变量的模型
wage=0 +1educ + 2exper + u avgscore=0 +1expend + 2avginc + u

关键假定： E(u|x1, x2 , … , xk ) = 0
普通最小二乘法的操作和解释
OLS估计

两种思路：

残差的平方和最小：
ˆ ˆ x ˆ x )2 min ( yi 0 1 i1 k ik
i 1

n
矩条件：
E(u) = 0 E(xju) = 0 j=1, 2, …, k
ˆ ˆ x ˆ x ˆ x )0 (yi 0 1 i1 2 i2 k ik ˆ ˆ x ˆ x ˆ x )0 xi1 (yi 0 1 i1 2 i2 k ik ˆ ˆ x ˆ x ˆ x )0 xi 2 (yi 0 1 i1 2 i2 k ik x (y ˆ ˆ x ˆ x ˆ x )0 0 1 i1 2 i2 k ik ik i

多元线性回归（矩阵形式）
模型的矩阵表示
总体回归模型
假设有k-1个解释变量x1，x2，…, x k，总体回归模型可以写作： yi= 0+1xi1 + 2xi2 +…+ kx ik+ ui
该模型对于所有的样本都成立，即对于i＝1,2…n，该模型都成立，因而有：
y1 1 y 1 2 y n ( n1) 1
ˆ 和 的简单关系： 1 1

ˆ ˆ 1 1 2 1
1 是xi2对xi1简单回归的斜率系数。 简单回归和多元回归系数相同的两种情况：

ˆ 0 或者 0 2 1

含k个自变量的情形：
ˆ ˆ x ˆx ˆ y 0 1 1 2 2 y 0 1x1 ˆx k k
y=0 + 1 x1 + 2 x2 + u
扰动项u与解释变量x1和x2关系的假定：
E(u|x1, x2) = 0
但对于
cons=0 + 1 inc + 2 inc2 + u 关键假定通常写作： E(u|inc) = 0
k个自变量的模型

一般的多元线性回归模型：
y=0 + 1 x1 + 2 x2 + 3 x3 + …+ k xk + u
x11 x21 xn1
x12 x22 xn 2
x13 x23 xn 3
x1k 0 u1 x2 k u 1 2 xnk n( k 1) k ( k 1)1 un ( n1)
y1 1 y2 yi xn xi yi yn

n 1 ˆ β (X'X) X'y x i
y x x x y
i 2 i i i i
1 1 x11 xn1 1 x 21 xn 2 1 x n1 xnk
x12 x22 xn 2
x1k x2 k X'X xnk
于是有：
1 yi x11 xi1 yi x 12 xik yi x 1k
2 2 2 ˆ ˆ ( y y ) ( y y ) u i i i
SST = SSE + SSR
R2
SSE SSR 1 SST SST
2 2
r
2 ˆi yi , y
( yi y )( y ˆi y ˆ ) ˆi y u ˆi )( y ˆi y ) ( y 2 2 2 2 ˆ ( y y ) ( y y ) ˆ ˆ ( y y ) ( y y ) i i i i

n xi1
x x x
1 x21 x22 x2 k
i1 2 i1
x x x
i2
i 2 i1
x x x
ik
x
ik
i1 ik
x
x
i 2 ik
x
ki i1 2 x ik
1 x 11 x12 x1k
rˆ y
i 1 n 2 ˆ r i1 i 1
n
i1 i
ˆ1 为如下回归的残差： r
ˆ0 a ˆ2 x2 ˆ1 a x ˆk xk r ˆ a 1
简单回归和多元回归估计值的比较

考虑简单回归和二元回归的估计结果：
ˆ ˆ x ˆx ˆ y 0 1 1 2 2 y 0 1x1
ˆ x ˆ y 1 1
ˆ 为其他因素不变情况下， x1对y的边际影响。 1
多元回归中“保持其他因素不变”的含义

尽管不能在其他条件不变的情况下收集数据，但其提 供的系数可以做其他条件不变的解释。 多元回归分析是我们能在非实验环境中进行自然科学 家在受控实验中所能做的事情：保持其他因素不变。
1 x21 x22 x2 k
1 y1 xn1 y2 xn 2 X' y பைடு நூலகம்y n xnk
ˆ X'y X'Xβ
β的最小二乘（OLS）估计量为：
ˆ (X'X)1 X'y β
对于一元回归模型：
y1 y2 y yn ( n1)
y= X + u
y1 y2 y yn ( n1) 0 1 β k ( k 1） 1
1 1 X 1
x11 x21 xn1
x12 x22 xn 2
x13 x23 xn 3
x1k x2 k xnk n( k 1)
u1 u u 2 u n ( n1 )
ˆ1 u ˆ u2 u ˆn ( n1) u
样本回归模型
ˆ u y Xβ
OLS估计
ˆ β ˆ x β ˆ ˆ nβ β 0 1 i1 2 xi 2 k X ik yi ˆ ˆ x2 β ˆ ˆ x β β β 0 i1 1 i1 2 xi 2 xi1 k xik xi1 xi1 yi β 2 ˆ ˆ x x β ˆ ˆ x β x x β x 2 i 2 ik k ik xik yi 0 ik 1 i1 ik
过原点回归

模型形式：
y 1 x1 2 x2 k xk

残差平方和最小：
min ( y 1 x1 2 x2
i 1 n
k xk )2

注意：
可决系数（R2）可能为负 如果真实情况下0 0，使用过原点回归模型会导致1的 估计量有偏且不一致。 如果0 =0，使用含截距项的回归模型，由于没有利用 0=0的信息，会有信息损失。
1
OLS估计量的期望值

假定1：关于参数线性 y=0 + 1 x1 + 2 x2 + 3 x3 + …+ k xk + u 假定2：随机抽样 随机样本{(xi1 , xi2 , … xik , yi): i =1, 2, …, n}，n为样本容量 假定3：不存在完全共线性 没有一个自变量是常数，自变量间不存在严格线性关系
2 ˆ ( y y ) ˆ ( y y ) i i 2 R 2 2 2 ˆ ( y y ) ( y y ) ( y y ) i i i 2 2
ˆ, u ˆ) 0 Cov( y
ˆ =y y

同时改变不止一个自变量
OLS的拟合值和残差
ˆ + ˆx + ˆi yi y ˆi yi u （ 0 1 i1
（1）残差和及样本均值都等于零 （2）每个回归元和残差的样本协方差为零
ˆx ) k ik
ˆ ( xi , u ˆ) 0 Cov
（3）拟合值和残差的样本协方差为零

n xi1
x x
i1 2 i1
x x x
i2
i 2 i1
x
ik
x x x
i1 ik
i 2 ik
x
ˆ 0 yi x ik ˆ 1 x y x x ki i1 ˆ i1 i 2 2 x y x ik ik i ˆ k

ˆ 和 的简单关系： 1 1
ˆ ˆ + ˆ + ˆ 1 1 2 21 3 31 k k1

简单回归和多元回归系数相同的两种情况： ˆ 、 、 ˆ 都为0 2 k x1与其他自变量都不相关。