04第四讲++最小二乘估计法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随后全世界的科学家利用皮亚齐的观测数 据开始寻找谷神星，但是根据大多数人计算 的结果来寻找谷神星都没有结果。
时年24岁的高斯也计算了谷神星的轨道。 奥地利天文学家海因里希·奥尔伯斯根据高斯 计算出来的轨道重新发现了谷神星。
•
•
高斯使用的最小二乘法的方法发表于
1809年他的著作《天体运动论》中。
• 法国科学家勒让德于1806年独立发现 “最小二乘法”。但因不为时人所知而默默 无闻。
关或高度相关。
知识点回顾:
一元线性回归模型： Yt = 0 + 1 Xt + ut 一元线性回归方程： E(Yt) = 0 + 1 Xt
(如何得出?)Baidu Nhomakorabea
第四讲 最小二乘估计（OLS）
一、最小二乘法
通常真实的回归直线 是观测不到的。收集样本 的目的就是要对这条真实 的回归直线做出估计。
Yˆt = ˆ 0 + ˆ1 Xt 其中 Yˆt 称 Yt 的拟合值（fitted value），
(2) 估计的回归直线 Yˆt = ˆ0 + ˆ1 Xt 过（ X , Y ）点。
正规方程 (Yt - ˆ0 - ˆ1 Xt) = 0 两侧同除样本容量 T，得
Y = ˆ 0 + ˆ1 X
得证。
(3) yt 的拟合值的平均数等于其样本观测值的平均数， Yˆt = Y 。
Yˆt
=
1 T
Yˆt
=
1 T
(4)
i1
（3）式两侧用 T 除，并整理得， ˆ0 = Y ˆ1X
把上式代入（4）式并整理，得，
T
[(Yt Y ) ˆ1(X t X )] Xt = 0
i1
T
T
(Yt Y )X t ˆ1 (X t X )X t = 0
i1
i1
ˆ1=
X t (Yt Y ) = (Xt X)Xt
(5) Cov( uˆt , Yˆt ) = 0
只需证明 ( Yˆt - Y ) uˆt = Yˆt uˆt - Y uˆt = Yˆt uˆt = uˆt ( ˆ0 + ˆ1 Xt) = ˆ0 uˆt + ˆ1 uˆt Xt = 0
(i j (6) xi是非随机的。 (7) Cov(ui, xi) = E[(ui - E(ui) ) (xi - E(xi) )] = E[ui (xi -
E(xi) ] = E[ui xi - ui E(xi) ] = E(ui xi) = 0. (8) 对于多元线性回归模型，解释变量之间不能完全相
(file: li-2-1)
OLS估计结果：Yˆi 10.7662 0.0051X i
二、OLS回归函数的性质
(1) 残差和等于零， uˆt = 0
由正规方程 2 (Yt - ˆ0 - ˆ1 Xt) (-1) = 0
得 (Yt - ˆ0 - ˆ1 Xt) = (Yt - Yˆt ) = ( uˆt ) = 0
知识点回顾:
一元线性回归模型的假定条件：
(1) ut 是一个随机变量，ut 的取值服从概率分布。 (2) E(ut) = 0。 (3) D(ut) = E[ut - E(ut) ]2 = E(ut)2 = 2。称ui 具有同方
差性。 (4) ut 为正态分布（根据中心极限定理）。 (5) Cov(ui, uj) = E[(ui - E(ui) ) ( uj - E(uj) )] = E(ui uj) = 0,
ˆ0 和 ˆ1 分别是0 和1 的估计量。
观测值到这条直线的纵向距离用 uˆt 表示，称为残差。
估计的模型。 Yt = Yˆt + uˆt = ˆ 0 + ˆ1 Xt + uˆt 最小二乘法的原则是以“残差平方和最小”确定直线位置。
设残差平方和用 Q 表示，
T
T
T
Q = uˆt 2 = (Yt Yˆt )2 = (Yt ˆ0 ˆ1X t )2
X t (Yt Y ) (Xt X)Xt
X (Yt Y ) = X(Xt X)
( X t X )(Yt Y ) (Xt X)2
谁提出的OLS估计方法？
（C F Gauss, 1777-1855）
C F Gauss 1809年提出OLS估计方法。
1801年，意大利天文学家朱赛普·皮亚 齐发现了第一颗小行星谷神星。经过40天的 跟踪观测后，由于谷神星运行至太阳背后， 使得皮亚齐失去了谷神星的位置。
( ˆ0 + ˆ1
Xt) = ˆ 0 + ˆ1
X
=Y
得证。
二、OLS回归函数的性质
(4) Cov( uˆt , Xt) = 0
只需证明 ( Xt - X ) uˆt = Xt uˆt - X uˆt = X uˆt = Xt ( Yˆt - ˆ0 - ˆ1 Xt) = 0。
上式为正规方程之一。
• 勒让德曾与高斯为谁最早创立最小二乘
法原理发生争执。
• 1829年，高斯提供了最小二乘法的优化 效果强于其他方法的证明，因此被称为高斯莫卡夫定理。（来自于wikipedia）
思考：截距为零的情况？
• 课本P14，试证明之。
例1：课本P14。
例题1 人均鲜蛋需求量Y与人均可支配收入X关系
Yt：千克 Xt：元
i 1
i1
i1
求 Q 对 ˆ0 和 ˆ1 的偏导数并令其为零，得正规方程
Q
ˆ 0
T
= 2 (Yt
i1
ˆ0
ˆ1X t ) (-1)
=0
Q
ˆ1
=
2
T
(Yt
i1
ˆ0
ˆ1X t
)
(-
Xt)
=
0
T
(Yt ˆ0 ˆ1X t ) = 0
(3)
i1
T
(Yt ˆ0 ˆ1X t ) xt = 0
经济类本科生适用
计量经济学基础
（第四讲） 主讲：董树功
一元线性回归模型
模型的建立及其假定条件
最小二乘估计（OLS）
OLS回归函数的性质
最小二乘估计量的特性
yt的分布和 ˆ1的分布
的估计
拟合优度的测量
回归参数的显著性检验与置信区间
yF 的点预测与区间预测 案例分析 相关系数 EViews操作
file: li-2-1 file: li-2-3 file: case1 file: 5kepler3
时年24岁的高斯也计算了谷神星的轨道。 奥地利天文学家海因里希·奥尔伯斯根据高斯 计算出来的轨道重新发现了谷神星。
•
•
高斯使用的最小二乘法的方法发表于
1809年他的著作《天体运动论》中。
• 法国科学家勒让德于1806年独立发现 “最小二乘法”。但因不为时人所知而默默 无闻。
关或高度相关。
知识点回顾:
一元线性回归模型： Yt = 0 + 1 Xt + ut 一元线性回归方程： E(Yt) = 0 + 1 Xt
(如何得出?)Baidu Nhomakorabea
第四讲 最小二乘估计（OLS）
一、最小二乘法
通常真实的回归直线 是观测不到的。收集样本 的目的就是要对这条真实 的回归直线做出估计。
Yˆt = ˆ 0 + ˆ1 Xt 其中 Yˆt 称 Yt 的拟合值（fitted value），
(2) 估计的回归直线 Yˆt = ˆ0 + ˆ1 Xt 过（ X , Y ）点。
正规方程 (Yt - ˆ0 - ˆ1 Xt) = 0 两侧同除样本容量 T，得
Y = ˆ 0 + ˆ1 X
得证。
(3) yt 的拟合值的平均数等于其样本观测值的平均数， Yˆt = Y 。
Yˆt
=
1 T
Yˆt
=
1 T
(4)
i1
（3）式两侧用 T 除，并整理得， ˆ0 = Y ˆ1X
把上式代入（4）式并整理，得，
T
[(Yt Y ) ˆ1(X t X )] Xt = 0
i1
T
T
(Yt Y )X t ˆ1 (X t X )X t = 0
i1
i1
ˆ1=
X t (Yt Y ) = (Xt X)Xt
(5) Cov( uˆt , Yˆt ) = 0
只需证明 ( Yˆt - Y ) uˆt = Yˆt uˆt - Y uˆt = Yˆt uˆt = uˆt ( ˆ0 + ˆ1 Xt) = ˆ0 uˆt + ˆ1 uˆt Xt = 0
(i j (6) xi是非随机的。 (7) Cov(ui, xi) = E[(ui - E(ui) ) (xi - E(xi) )] = E[ui (xi -
E(xi) ] = E[ui xi - ui E(xi) ] = E(ui xi) = 0. (8) 对于多元线性回归模型，解释变量之间不能完全相
(file: li-2-1)
OLS估计结果：Yˆi 10.7662 0.0051X i
二、OLS回归函数的性质
(1) 残差和等于零， uˆt = 0
由正规方程 2 (Yt - ˆ0 - ˆ1 Xt) (-1) = 0
得 (Yt - ˆ0 - ˆ1 Xt) = (Yt - Yˆt ) = ( uˆt ) = 0
知识点回顾:
一元线性回归模型的假定条件：
(1) ut 是一个随机变量，ut 的取值服从概率分布。 (2) E(ut) = 0。 (3) D(ut) = E[ut - E(ut) ]2 = E(ut)2 = 2。称ui 具有同方
差性。 (4) ut 为正态分布（根据中心极限定理）。 (5) Cov(ui, uj) = E[(ui - E(ui) ) ( uj - E(uj) )] = E(ui uj) = 0,
ˆ0 和 ˆ1 分别是0 和1 的估计量。
观测值到这条直线的纵向距离用 uˆt 表示，称为残差。
估计的模型。 Yt = Yˆt + uˆt = ˆ 0 + ˆ1 Xt + uˆt 最小二乘法的原则是以“残差平方和最小”确定直线位置。
设残差平方和用 Q 表示，
T
T
T
Q = uˆt 2 = (Yt Yˆt )2 = (Yt ˆ0 ˆ1X t )2
X t (Yt Y ) (Xt X)Xt
X (Yt Y ) = X(Xt X)
( X t X )(Yt Y ) (Xt X)2
谁提出的OLS估计方法？
（C F Gauss, 1777-1855）
C F Gauss 1809年提出OLS估计方法。
1801年，意大利天文学家朱赛普·皮亚 齐发现了第一颗小行星谷神星。经过40天的 跟踪观测后，由于谷神星运行至太阳背后， 使得皮亚齐失去了谷神星的位置。
( ˆ0 + ˆ1
Xt) = ˆ 0 + ˆ1
X
=Y
得证。
二、OLS回归函数的性质
(4) Cov( uˆt , Xt) = 0
只需证明 ( Xt - X ) uˆt = Xt uˆt - X uˆt = X uˆt = Xt ( Yˆt - ˆ0 - ˆ1 Xt) = 0。
上式为正规方程之一。
• 勒让德曾与高斯为谁最早创立最小二乘
法原理发生争执。
• 1829年，高斯提供了最小二乘法的优化 效果强于其他方法的证明，因此被称为高斯莫卡夫定理。（来自于wikipedia）
思考：截距为零的情况？
• 课本P14，试证明之。
例1：课本P14。
例题1 人均鲜蛋需求量Y与人均可支配收入X关系
Yt：千克 Xt：元
i 1
i1
i1
求 Q 对 ˆ0 和 ˆ1 的偏导数并令其为零，得正规方程
Q
ˆ 0
T
= 2 (Yt
i1
ˆ0
ˆ1X t ) (-1)
=0
Q
ˆ1
=
2
T
(Yt
i1
ˆ0
ˆ1X t
)
(-
Xt)
=
0
T
(Yt ˆ0 ˆ1X t ) = 0
(3)
i1
T
(Yt ˆ0 ˆ1X t ) xt = 0
经济类本科生适用
计量经济学基础
（第四讲） 主讲：董树功
一元线性回归模型
模型的建立及其假定条件
最小二乘估计（OLS）
OLS回归函数的性质
最小二乘估计量的特性
yt的分布和 ˆ1的分布
的估计
拟合优度的测量
回归参数的显著性检验与置信区间
yF 的点预测与区间预测 案例分析 相关系数 EViews操作
file: li-2-1 file: li-2-3 file: case1 file: 5kepler3