第2讲 简单回归模型

14
OLS的推导 的推导
普通最小二乘（ 普通最小二乘（ordinary least square, OLS ）估计量
如果 ∑ ( X i − X ) > 0，那么： 那么：
n 2 i =1 n
ˆ β1 =
∑ (X
i =1 n i =1
i
− X )(Yi − Y )
i
∑ (X
− X)
2
ˆ 且有： ˆ 且有： β 0 = Y − β 1 X ˆ ˆ 通过上述方法得到的 β 0 和 β 1 称为 β 0 和 β 1 的普通最小二乘估计量
i=1
n
即 Y 的样本总变异。 的样本总变异。 可以证明（ 可以证明（课本 p38 ）：
n i =1
∑
n
i=1
(Y i − Y ) 2 =
∑
(Y i − Y ) 2 +
∧
∑u
i=1
n
∧ 2 i
23
拟合优度
总平方和（ ）：衡量 总平方和（total sum of squares, SST）：衡量 的样本总变异 ）：衡量Y的样本总变异 解释平方和（ ）：Y的样本总变 解释平方和（explained sum of squares, SSE）： 的样本总变 ）： 异能够被解释变量解释的部分 残差平方和（ ）：Y的样本总变 残差平方和（residual sum of squares, SSR）： 的样本总变 ）： 异不能被解释变量解释的部分， 异不能被解释变量解释的部分，也称为剩余平方和
∧
22
拟合优度
o 为了衡量根据 为了衡量根据OLS估计得出的样本回归函数对真实数据的 估计得出的样本回归函数对真实数据的 拟合程度，引入拟合优度 拟合优度（ 拟合程度，引入拟合优度（goodness of fitness）的概念 ）
在样本中的离散程度， 用 ∑ (Y i − Y ) 2 衡量 Y 在样本中的离散程度，
SRF1
.
SRF2 ~ ~ ~=β +β x y 0 1
y1
x
19
OLS的推导：另一种方法 的推导： 的推导
o 基本思想：找到参数的合适估计值使得Y的拟合值与实际值 基本思想：找到参数的合适估计值使得 的拟合值与实际值 总体而言尽可能地接近。 总体而言尽可能地接近。
找到 β 0 和 β 1 ，使得残差的平方之和 min Q =
20
OLS的计算步骤 的计算步骤
OLS的计算步骤
第一步： 第一步：计算 X 和 Y 第二步：计算 ( X i − X )和 (Y i − Y ) 第二步： 第三步：计算 第三步： 第四步： 第四步：β 1
∧ ∧
( X i − X )(Y i − Y )和 ∑ ( X i − X ) 2 ∑
i i 2
ˆ ˆ ˆ 定义Yi = β 0 + β 1 X i 为X = X i 时Y的拟合值 ˆ ˆ ˆ ˆ 定义u = Y − Y = Y − β − β X 为X = X 时的残差
i i i i 0 1 i i
ˆ ˆ ˆ 定义Y = β 0 + β 1 X为总体回归函数 E (Y | X ) = β 0 + β 1 X 的样本回归函数 ˆ ∆Y ˆ ˆ ，表示 X变化一个单位时 Y的变化量 β1 = ∆X ˆ ˆ β 表示X = 0时Y的值
i =1 n
(
)
ˆ ˆ 有： X i [Yi − (Y − β 1 X ) − β 1 X i ] = 0 ∑
i =1 n
n
ˆ ⇒ ∑ X i (Yi − Y ) = β 1 ∑ X i ( X i − X )
n i =1 n i =1 2 ˆ ⇒ ∑ ( X i − X )(Yi − Y ) = β 1 ∑ ( X i − X ) n i =1 i =1
∧ ∧
最小， 最小，即：
∧ ∧
∑ ui =
i =1 ∧
n
∧ 2
∑ (Yi − Yi ) =
2 i =1
n
∧
[Y i − ( β 0 + β 1 X i )] 2 ∑
i =1
n
一阶条件： 一阶条件： ∧ ∑ ( X i − X )(Yi − Y ) β1 = ∂Q / ∂ β 0 = 0 ( X i − X )2 ∑ ⇒ ∧ ∧ ∧ ∂Q / ∂ β 1 = 0 β 0 = Y − β1 X 证明过程见课本 p 65 − 66
} u1
u2 {.
.} u3
y1
.
x1
x2
x3
x4
x
10
二、普通最小二乘法（OLS） 普通最小二乘法（ ）
1. OLS的推导 的推导 2. OLS的推导：另一种方法 的推导： 的推导 3. OLS的计算步骤 的计算步骤 4. 拟合优度
OLS的推导 的推导
为了估计出总体回归函数中的参数， 为了估计出总体回归函数中的参数，需要从总体中抽取一 个样本。 个样本。用{(Xi ,Yi): i=1, …,n} 表示从总体中得到的一个样 本容量为n的随机样本。有： 本容量为 的随机样本。 的随机样本 Yi = β0 + β1Xi + ui
第二讲 简单回归模型
Simple Regression Model
一、基本概念 二、普通最小二乘法（OLS） 普通最小二乘法（ ） 三、几个问题 四、OLS估计量的性质 估计量的性质
一、基本概念
1. 回归的涵义 2. 一个基本假定 3. 总体回归函数
回归的涵义
o 最初的涵义：回归（regress）一词最早由英国生理学家高 最初的涵义：回归（ ） 尔顿（ 尔顿（Galton）提出，用以指给定父母的身高后，儿女的 ）提出，用以指给定父母的身高后， 身高有回复到人口总体平均身高的趋势， 身高有回复到人口总体平均身高的趋势，即“回归到中等 ”（regression to mediocrity） ） o 回归分析：在其他条件不变的情况下，考察一个变量对另 回归分析：在其他条件不变的情况下， 一个变量的影响。 一个变量的影响。
12
OLS的推导 的推导
根据零条件均值假定， 根据零条件均值假定，Cov(X,u) = E(Xu) – E(X)E(u)=E(Xu)=0 所以： 所以：E(Y – β0 – β1X) = 0 E[X(Y – β0 – β1X)] = 0
的估计量， 令 β 0 和 β 1 分别为总体参数 β 0 和 β 1的估计量， 则随机变量 Y − β 0 − β 1 X 和 X (Y − β 0 − β 1 X) 的样本均值分别为： 的样本均值分别为： ˆ ˆ n −1 ∑ Yi − β 0 − β 1 X i = 0
对于 Y = β 0 + β 1 X + u ，假定 E ( u | X ) = E ( u ) 由于可以通过标准化令 E ( u ) = 0， 因此有： 因此有： E ( u | X ) = E ( u ) = 0 事实上， E ( u | X ) = E ( u )意味着 Cov ( X , u ) = 0 事实上， 或 Corr ( X , u ) = 0，即 X 与 u 不相关
SST = SSE = SSR =
∑
n
n
i =1
(Y i − Y ) 2 (Y i − Y ) 2
∧ 2 i ∧
∑
n i =1
i=1
o 简单回归分析（即只有一个解释变量）难以做到控制其他 简单回归分析（即只有一个解释变量） 条件不变， 条件不变，但可以为我们学习多元回归分析奠定基础
5
回归的涵义
相关与回归（ 相关与回归（correlation & regression） ）
目的 相关分析 (correlation analysis) 回归分析 (regression analysis) 在其他条件不变的情 况下， 况下，分析变量之间 的因果关系 不对称的 回归系数 判定系数 分析变量之间的线性 关联程度 变量间的关系 对称的 指标 相关系数
u表示 Y与其条件均值的偏差， 称为非系统性成分。 与其条件均值的偏差， 称为非系统性成分。
β 1表示 X改变一个单位对 Y的条件均值的影响
8
总体回归函数
y
f(y)
.
x1 x2
. E(y|x) = β + β x
0 1
x
9
总体回归函数
y y4 E(y|x) = β0 + β1x . u4 {
y3 y2
7
总体回归函数
o 总体回归函数（population regression function, PRF） 总体回归函数（ ）
在零条件均值假定下， 在零条件均值假定下， E (Y | X ) = E [( β 0 + β 1 X + u ) | X ] = β 0 + β 1 X
β 0 + β 1 X表示 X取某一确定值时 Y的均值，称为系统性成 分； 的均值，
∧
可见， 正相关， 可见，如果 X和Y正相关，即 S XY > 0，则 β 1 > 0 不相关， 如果 X和Y不相关，即 S XY = 0，则 β 1 = 0 负相关， 如果 X和Y负相关，即 S XY < 0，则 β 1 < 0
∧
16
∧
∧
OLS的推导 的推导
拟合值（ ）、残差 拟合值（fitted value）、残差（residual）和样本回归函 ）、残差（ ） 数（sample regression function, SRF） ）
i =1 n n
∧
∧
(
)
ˆ ˆ n −1 ∑ X i Yi − β 0 − β 1 X i = 0
i =1
(
)
13
OLS的推导 的推导
即：
ˆ ˆ ˆ ˆ Y = β 0 + β 1 X或 β 0 = Y − β 1 X ˆ ˆ 代入： 代入： n −1 ∑ X i Yi − β 0 − β 1 X i = 0
β 0：截距参数 / 系数（常数项） 系数（常数项） 系数（斜率） β 1：斜率参数 / 系数（斜率）
u：误差项 /扰动项
4
回归的涵义
o 例子 X Y 其他 条件 价格 需求量 收入 其他商品价格 个人偏好 … 教育 收入 工作经验 个人能力 家庭背景 … 教育 经济增长 物质资本投入 劳动力投入 技术 …
3
回归的涵义
o 回归分析中的变量和参数
Y = β 0 + β1 X + u , 若∆u = 0，那么∆Y = β1∆X
自变量 X Independent variable 因变量 Y Dependent variable 解释变量 Explanatory variable 被解释变量 Explained variable 控制变量 Control variable 响应变量 Response variable 预测子 Predictand 回归子 Regressand 预测元 Predictor 回归元 Regrewk.baidu.comsor
∑ ( X − X )(Y − Y ) = ∑ (X − X )
i ∧
第五步： 第五步：β 0 = Y − β 1 X
21
OLS的计算步骤 的计算步骤
例题2_1（课本p32：例2.3） （课本 例题 ： ） salary: CEO的薪水 的薪水 roe：公司的股票回报率 ：
salary = 963.191 + 18.501roe
o 从逻辑上说，回归分析本身并不意味着因果关系，对因果 从逻辑上说，回归分析本身并不意味着因果关系， 关系的判断来源于经济理论
6
一个基本假定
零条件均值假定（ 零条件均值假定（zero conditional mean assumption） ） o 如何保证其他条件不变？简单地，如果 和u是独立的，即 如何保证其他条件不变？简单地，如果X和 是独立的 是独立的， X的变化不会对 造成影响，那么β1就可以度量其他条件不 的变化不会对u造成影响， 的变化不会对 造成影响 变的情况下X对 的影响 在计量分析中， 的影响。 变的情况下 对Y的影响。在计量分析中，采用一个技术性 的假定——零条件均值假定 的假定 零条件均值假定
0
17
OLS的推导 的推导
y y4
û4 {
.
ˆ ˆ ˆ y = β 0 + β1 x
SRF
y3 y2
û2 { .
.} û3
y1
} û1 .
x1 x2 x3 x4 x
18
OLS的推导 的推导
不同的样本得到不同的样本回归函数
y y4 y3 y2
ˆ ˆ = β 0 + β1 x y ˆ
. . .
x1 x2 x3 x4
15
OLS的推导 的推导
进一步的分析
X的样本方差： S X 的样本方差：
2
1 n ( X i − X )2 = ∑ n − 1 i =1 1 n = ∑ ( X i − X )(Yi − Y ) n − 1 i =1
X和Y的样本协方差： S XY 的样本协方差： S XY 所以： 所以： 1 = β 2 SX