多元回归分析：估计

可编辑ppt
9
类似于简单回归模型
b0仍是截距 b1到bk都称为斜率参数
u仍是误差项（或干扰项） 仍需作零条件期望的假设，所以现在假设
E(u|x1,x2, …,xk) = 0 仍然最小化残差平方和，所以得到k+1个一阶条件
可编辑ppt
10
如何得到OLS估计值
普通最小二乘法选择能最小化残差平 方和的估计值，
得到OLS回归式之后，对每次观测都得到 一个拟合值或预测值，对观测点i，其拟合
bb b b 值就是 y ˆi ˆ0 ˆ1 x i1 ˆ2 x i2 ˆk x ik
第i个观测的残差为：
uˆi yi yˆi
可编辑ppt
13
OLS拟合值和残差的性质
残差项的均值为零
uˆi 0
每个自变量和OLS协残差之间的样本协方差 为零。
u ˆix k 0u ˆiy ˆi 0
点 (x1,x2, ,xk, y) 总位于OLS回归线上。
bb b b y iˆ0 ˆ1 x 1 ˆ2 x 2 ˆkx k
可编辑ppt
14
对多元回归的解释
bb b b 由 y ˆˆ0ˆ1 x 1ˆ2 x 2 . ..ˆkx k
b b b 可知 y ˆ ˆ1 x 1 ˆ2 x 2 . . .ˆk x k
一般来说，b~1bˆ1 ，除非：
bˆ2 0
或 样本中x1和x2不相关。
可编辑ppt
21
比较简单回归和多元回归估计值
这是因为存在一个简单的关系
b~1bˆ1bˆ2~1
这 系里 数， 。~1 是x2对x1的简单回归得到的斜率
可编辑ppt
22
简单回归和多元回归估计值的比较
在k个自变量的情况下，简单回归和多元回 归只有在以下条件下才能得到对x1相同的估 计
bb b b n x i2y iˆ0ˆ1 x i1ˆ2x i2 ˆkx ik 0
i 1
……
bb b b n x iky iˆ0ˆ1 x i1ˆ2x i2 ˆkx ik 0
i 1
可编辑ppt
12
如何得到OLS估计值
在估计之后，我们得到OLS回归线，或称 为样本回归方程（SRF）
b b b y ˆiˆ0ˆ1xi1.. .ˆkxik
可编辑ppt
2
课堂大纲
使用多元回归的动因 普通最小二乘法的操作和解释 假定MLR.1 – MLR.4 OLS估计值的无偏性
可编辑ppt
3
动因：优点
经验研究中使用简单回归模型的主要缺陷是：
它很难得到在其它条件不变的情况下，x对y
的影响。
多元回归分析更适合于其它条件不变情况下
的分析，因为多元回归分析允许我们明确地 控制其它许多也同时影响因变量的因素。
多元回归分析：估计（1） Multiple Regression Analysis:
Estimation(1)
y = b0 + b1x1 + b2x2 + . . . bkxk + u
可编辑ppt
1
本章大纲
使用多元回归的动因 普通最小二乘法的操作和解释 估计量的期望值 OLS估计量的方差 OLS的有效性：高斯－马尔可夫定理
可编辑ppt
17
对“排除其它变量影响”的解释
考虑回归线
y ˆi bˆ0bˆ1x1bˆ2x2
b ˆ 1 的一种表达式为：
b ˆ1( in 1rˆi1yi)/ in 1rˆi12
rˆi1 是由以下回归得出的残差：
x1ˆ0ˆ2x2rˆi1
பைடு நூலகம்
可编辑ppt
18
“排除其它变量影响”（一般情况）
在一个含有k个解释变量的一般模型中，bˆ1 仍然可以写成
b ˆ1( in 1rˆi1yi)/ in 1rˆi12
但残差r 1 来自x1对x2… , xk的回归。
于是bˆ1 度量的是，在排除x2… , xk等变量
的影响之后， x1对y的影响。
可编辑ppt
20
比较简单回归和多元回归估计值
比较简单回归模型 ~ yb~0b~1x1
和多元回归模型 y ˆbˆ0bˆ1x1bˆ2x2
多元回归模型能容纳很多可能相关的解释变 量，所以在简单回归分析可能误导的情况下， 可以寄希望于多元回归模型来推断因果关系。
可编辑ppt
4
动因：优点
可以解释更多的因变量变动。
它可以表现更一般的函数形式。
多元回归模型是实证分析中最广泛使用的 工具。
可编辑ppt
6
动因：一个例子
考虑一个简单版本的解释教育对小时工资影 响的工资方程。
n
2
b b b b min yiˆ0ˆ1xi1ˆ2xi2 ˆkxi k
i 1
可编辑ppt
11
如何得到OLS估计值
k+1个一阶条件：
n
b b b b yiˆ0ˆ1xi1ˆ2xi2 ˆkxik0
bb b b in 1 x i1y iˆ0ˆ1 x i1ˆ2x i2 ˆkx ik 0
i 1
所以，保持 x2,...,xk 不变意味着：
yˆ bˆ1x1
即，每一个βj都有一个偏效应(partial effect)，或其他情况不变(ceteris paribus) 的解释。
可编辑ppt
15
例子：大学GPA的决定因素
两个解释变量的回归 pcolGPA:大学成绩预测值 hsGPA : 高中成绩绩 ACT :成绩测验分数(achievement test score)
pcolGPA = 1.29 + 0.453hsGPA+0.0094ACT
一个解释变量的回归
pcolGPA = 2.4 +0.0271ACT
ACT的系数大三倍。
如果这两个回归都是对的，它们可以被认为是两个不
同实验的结果。
可编辑ppt
16
“保持其它因素不变”的含义
多元回归分析的优势在于它使我们能在非 实验环境中去做自然科学家在受控实验中 所能做的事情：保持其它因素不变。
（1）对从x2到xk的OLS系数都为零
（2） x1与x2… , xk中的每一个都不相关。
可编辑ppt
25
拟合优度
每一个观察值可被视为由解释部分和未解 释部分构成：
定义：
y i y 2 to su to a s m flqS ua S总 rT es平
• exper：在劳动力市场上的经历，用年衡量
bb b w a g e 0 1 e d u c 2 e x p e r u
在这个例子中，“在劳动力市场上的经历” 被明确地从误差项中提出。
可编辑ppt
7
含有k个自变量的模型
一般的多元线性回归模型可以写为
bb b b y 0 1 x 1 2 x 2 k x k u