第2章 简单线性回归Final

OLS回归线总是通过样本的均值。
ˆ ˆ y b 0 b1 x
39
OLS的代数性质

我们可把每一次观测看作由被解释部分和 未解释部分构成.
ˆ ˆ yi yi ui

预测值和残差在样本中是不相关的
ˆ ˆ cov( y i , u i ) 0
40
OLS的代数性质
ˆ ˆ ˆ ˆ ˆ ˆ cov( y i , u i ) E ( y i E ( y i ))( u i E ( u i )) ˆ ˆ E (( y i E ( y i )) u i ) ˆ ˆ ˆ E ( y i u i ) y E (u i ) ˆ ˆ ˆ E [( b 0 b 1 x i ) u i ] ˆ ˆ ˆ ˆ b 0 E (u i ) b 1 E ( xi u i ) 0
41
更多术语

定义总平方和为
SST
( yi y )
i 1
n
2
42
更多术语
总平方和SST是对y在样本中所有变动的度 量，即它度量了y在样本中的分散程度 将总平方和除以n-1,我们得到y的样本方差。

43
更多术语

解释平方和定义为
SSE

i 1
n
y)2 ( yi

它度量了y的预测值的在样本中的变动
n
Therefore, SST = SSE + SSR. 该证明中我们使用了一个事实, 即样本中因变量的拟合值 和残差不相关.
48
Goodness-of-Fit
拟合优度


我们如何衡量样本回归线是否很好地拟合了样本 数据呢? 可以计算模型解释的总平方和的比例，并把它定 义为回归的R-平方 R2 = SSE/SST = 1 – SSR/SST
34
例：CEO的薪水和资本权益报酬率


变量salary衡量了已1000美元为单位的年薪，其最小值， 均值和最大值分别为：(min, mean, max)=(223, 1281, 14822). Roe＝净收入/所有者权益，为三年平均值。 N=209. 估计得到的关系为： (estimated salary)=963.191 + 18.501 roe.

8
简单二元回归模型例子

如：简单的工资方程 wage= b0 + b1(years of education) + u

上述简单工资函数描述了受教育年限和工资之间的关 系, b1 衡量了多接受一年教育工资可以增加多少。
9
关于u的假定

假定总体中误差项u的平均值为零 E(u) = 0 (2.5)
44
更多术语

残差平方和定义为
SSR=
ˆ2 ui

残差平方和度量了残差的样本变异
45
SST, SSR and SSE
y 的总变动可以表示为已解释的变动SSE和 未解释的变动SSR之和，即 SST=SSE+SSR

46
证明 SST = SSE + SSR
ˆ ˆ y y y y y y ˆ ˆ u y y ˆ ˆ ˆ ˆ u 2 u y y y y ˆ ˆ SSR 2 u y y SSE
普通最小二乘法的推导


目标是通过选择参数值，使得在样本中矩条件也可以成 立。 样本中矩条件可以表示为：
n n
1
y
n i 1 n
i
ˆ ˆ b 0 b 1 xi 0

1

i 1
ˆ ˆ xi y i b 0 b 1 xi 0


21
普通最小二乘法的推导
根据样本均值的定义以及加总的性质，可将第一个条件 写为
该假定是否具有很大的限制性呢?

10
关于u的假定

比如, E(u)=5. 那么 y = (b0 +5)+ b1x + (u-5), 所以, E(u*)=E(u-5)=0. 上述推导说明我们总可以通过调整常数项来实现 误差项的均值为零, 因此该假定的限制性不大。

11
条件期望零值假定
我们需要对u和 x之间的关系做一个关键假定。理 想状况是对x的了解并不增加对u的任何信息。换 句话说，我们需要u和x完全不相关： E(u|x) = E(u)

5
术语注解

在简单二元回归模型y = b0 + b1x + u中， y通常被称
为因变量，左边变量，被解释变量，或回归子。

x通常被称为自变量，右边变量，解释变量，回归元， 协变量，或控制变量。
6

等式y = b0 + b1x + u只有一个非常数回归元。我们称之为 简单回归模型， 两变量回归模型或双变量回归模型.
计量经济学
第二章 (1) 简单二元回归 y = b0 + b1x + u
1
本章大纲


简单回归模型的定义 普通最小二乘法的推导 OLS的操作技巧

测量单位和函数形式
OLS估计量的期望值和方差 过原点回归
2
本节主要内容
本章目的：以估计教育回报率为例 一些术语的注解 一个简单假定 条件期望零值假定 何为普通最小二乘法 普通最小二乘法的推导

14
条件期望零值假定

假设期末成绩分数取决于出勤次数和影响学生现 场发挥的因素，如学生个人素质。 score =b0 + b1attend +u
那么上述模型中假设（2.6）何时能够成立？

15
普通最小二乘法的推导


回归的基本思想是从样本去估计总体参数。
我们用{(xi,yi): i=1, …,n} 来表示一个随机样本，
12
条件期望零值假定
由于我们已经假定了E(u) = 0，因此有E(u|x) = E(u) = 0。该假定是何含义？ E(u|x) = E(u) = 0. (2.6)
13
条件期望零值假定 在教育一例中，假定u 代表内在能力，条件期望 零值假定说明不管解释教育的年限如何，该能力 的平均值相同。 E(ability|edu=6)=E(ability|edu=18)=0.

b0 , b1被称为回归系数。 b0也被称为常数项或截矩项，或 截矩参数。 b1代表了回归元x的边际效果，也被成为斜率 参数。
u 为误差项或扰动项，它代表了除了x之外可以影响y的 因素。

7

线性的含义： y 和x 之间并不一定存在线性关系， 但是，只要通过转换可以使y的转换形式和x的转 换形式存在相对于参数的线性关系，该模型即称 为线性模型。 如, y=eb0+b1x+u 。
并假定每一观测值满足yi = b0 + b1xi + ui。
16
总体回归线，样本观察点和相应误差 y . E(y|x) = b0 + b1x y4 u4 { y3 y2
} u1
u2 {.
.} u3
y1
.
x1
x2
x3
x4
x
17
普通最小二乘法的推导
首先由E(u|x) = E(u) = 0 可知： Cov(x,u) = E(xu) = 0 为什么? 由于 Cov(x,u) = E(xu) – E(x)E(u) 而由E(u|x) = E(u) = 0 可得Cov(x,u) = E(xu) =0。

3
我们学习的目标是什么？

教育的回报率
假如已经收集到一个具有代表性的样本：村子 里面小学同学（100人） （Xi，Yi）：（教育水平，工资的差别）(i=1, …,100) 问题：教育水平提高对工资的作用有多大？


简单演示如何操作
4
两个要点
我们需要对残差的性质做出什么样的假设 ？ 基于数据样本，如何估计模型（参数）？
24
OLS斜率估计法总结 斜率估计量等于样本中x 和 y 的协方差除以x的方 差。 若x 和 y 正相关则斜率为正，反之为负。


25
关于OLS的更多信息 OLS法是要找到一条直线，使残差平方和最小。 残差是对误差项的估计，因此，它是拟合直线 （样本回归函数）和样本点之间的距离。

26
样本回归线，样本数据点和相关的误差估计项 y y4
û{ 4
.
ˆ ˆ ˆ y b 0 b1 x
y3 y2
û {. 2
.} û3
y1
}û . 1
x1 x2
x3
x4
x
27
推导方法二

正式解一个最小化问题，即通过选取参数而使下列值最 小：
ˆ u i
2 i 1
n

n i 1
ˆ b x ˆ yi b 0 1 i

2
28
推导方法二

如果直接解上述方程我们得到下面两式，这两个式子等 于前面两式乘以n
y
n i 1 n
i
ˆ ˆ b 0 b 1 xi 0


i 1
ˆ ˆ xi y i b 0 b 1 xi 0


29
本节小结


介绍简单线性回归模型 介绍通过随机样本的数据运用普通最小二乘法估 计斜率和截距的参数值
35
例：CEO的薪水和资本权益报酬率

对估计量的解释：

963.19:常数项的估计值衡量了当roe为零时CEO的薪 水。