普通最小二乘法(OLS)

Y 样本 X
最小二乘估计量的推导
最小化 uˆi2 Yi ˆ1 ˆ2 Xi 2
uˆi2 ˆ1
Yi
ˆ1 ˆ2 X i ˆ1
2
2
Yi ˆ1 ˆ2 X i
uˆi2 ˆ2
Yi
ˆ1 ˆ2 X i ˆ2
2
2
Yi ˆ1 ˆ2 X i X i
ˆ2为X i，Yi的函数,是一个随机变量。
如果X i取定值，则ˆ2仅仅为Yi的函数。
因此，Yi的随机波动决定了ˆ2的随机波动。 或者说，Yi的生成方式决定了ˆ2的生成方式。 从而，ˆ2的概率分布取决于Yi的概率分布。
所以，要对真实的 2做出统计推断，
必须明确Yi的概率分布。
同理，要对真实的1做出统计推断，
普通最小二乘法
Method of ordinary least squares
(OLS)
Y 样本 X
Y 样本
SRF :Yˆi ˆ1 ˆ2 Xi
uˆi Yi Yˆi
Yi
Yˆi
Xi
最小二乘原理：构造合适的估计量X，
使得残差平方和（residual sum of
squares,RuSˆi2S）最小Yi。 ˆ1 ˆ2 X i 2
uˆi yˆi 0
uˆi xi 0
单纯的最小二乘估计量只 能提供总体参数的一个点估计 值，却不能对总体参数做出任 何统计推断。要对总体参数从 而对因变量做统计推断，还需 要对回归模型进行一系列详细 的假定。
ˆ2
( X i X )(Yi Y (Xi X )2
) , ˆ1
Y
ˆ2 X
也必须明确Yi的概率分布。
总体回归函数
Yi 1 2 X i ui
要知道Yi的概率分布， 必须明确X i和ui是怎样产生的！
知识回顾 Knowledge Review
祝您成功！
X
2 i
解方程
ˆ2
( X i X )(Yi Y (Xi X )2
)
xi yi xi2
ˆ1 Y ˆ2 X
惯例：小x写i 字Xi 母X 表, yi 示 Yi对Y均 值的离
差
最小二乘估计量的特点
• OLS估计量是可观测样本值的函数，因而容 易计算。
• OLS估计量是点估wenku.baidu.com量。对于给定的样本， 只能获得总体参数的一个估计值。
• 一旦计算出OLS估计值，便容易画出样本回 归线。
最小二乘估计量的数值性质
1、样本回归曲线经过Y和X的样本均值所决定
的点。 Y ˆ1 ˆ2 X
2、估计的Y的均值等于实测的Y的均值。
Yˆ Y 3、残差均值等于零。uˆ 0
4、残差和样本X不相关。 uˆi uˆi Xi X 0
5、残差和预测的Y值不相关。
一阶条件
2 Yi ˆ1 ˆ2 Xi 0 2 Yi ˆ1 ˆ2 Xi Xi 0
2 2
Yi Yi
ˆ1 ˆ1
ˆ2 X i ˆ2 X i
0 Xi
0
uˆi 0 uˆi X i 0
正规方程组
Yi nˆ1 ˆ2 Xi
Yi Xi ˆ1
X i ˆ2