一元线性回归模型及参数估计64331
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
❖ Y估计值的均值等于观测值的均值；
❖ 残差的均值为0。
二、最小二乘参数估计量的统计性质 高斯-马尔可夫定理
2、最大似然法（ Maximum Likelihood, ML）
❖ 最大或然法，也称最大似然法，是不同于最小二 乘法的另一种参数估计方法，是从最大或然原理出发 发展起来的其它估计方法的基础。
❖ 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本
观测值后，最合理的参数估计量应该使得从模型总体 中抽取该n组样本观测值的联合概率最大。
sm2
=
Sei2 n2
1.用原始数据（观测值）Xi，Yi计算 ei2 简捷公式为
ei2 = Yi2 bˆ0 Yi bˆ1Yi Xi
2.用离差形式的数据xi，yi计算 ei2
简捷公式为
ei2 = yi2 bˆ12 xi2
其中
yi2 = (Yi Y )2 = Yi2 nY 2 xi2 = (Xi X )2 = Xi2 nX 2
bˆ 0 Q
bˆ1
= =
0 0
(
( bˆ
bˆ
0
0 +
+ bˆ1X bˆ1X i
i
Yi ) Yi ) X
= i
0 =
0wk.baidu.com
SYi SYi X i
= nbˆ0 + = bˆ0SX i
bˆ1SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
一元线性回归模型及其参数估计
一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布
制作设计:从化中学 叶琳
一、一元线性回归模型的参数估计
一元线性回归模型的一般形式
一元线性回归模型的一般形式 是：
Yi = b 0 + b1X i + m i i=1 ， 2，…， n
在满足 基本假设：
E(mi ) = 0 Var (mi ) = s m2 Cov(mi , m j ) = 0 Cov( xi , mi ) = 0
期望或均方值 同方差
协方差
i=1,2, … ,n j=1,2, … ,n i ≠ j
的情况下，随机抽取 n 组样本观测值 Yi , X i （ i=1,2, … n），就
由于 bˆ0 、 bˆ1 的估计结果是从最小二乘原理得到的，故称为
最小二乘估计量
(least-squares estimators)
。
最小二乘参数估计量的离差形式 (deviation form)
记
X Y xi
= = =
1 n
X
i
1 n
Yi
Xi X
，
yi = Yi Y
则参数估计量可以写成：
给定一组样本观测值（Xi, Yi），i=1,2,…n， 假如模型参数估计量已经求得，并且是最合理的参 数估计量，那么样本回归函数应该能够最好地拟合 样本数据，即样本回归线上的点与真实观测点的“ 总体误差”应该尽可能地小。
最小二乘法给出的判断标准是：二者之差的平方 和最小，即
Q
=
n
(Y
i =1 i
Yˆ )2
1
e
1 2s
2 m
(Yi
bˆ0
bˆ1
X
i
)
2
2
i=1,2,…,n
因为Yi 是相互独立的，所以Y 的所有样本观测值的联合概率，
也即或然函数(likelihood function)为：
L ( bˆ 0
,
bˆ1 ,s
2 m
)
=
P(Y1 ,Y2
,
,Yn
)
=
1
e
1 2s
2 m
S
(Yi
bˆ0
bˆ1
X
i
)2
(2
)
n 2
s
n m
将该或然函数极大化，即可求得到模型参数的 极大或然估计量。
由于或然函数的极大化与或然函数的对数的 极大化是等价的，所以，取对数或然函数如下：
L* = ln( L)
= n ln(
2 s
m
)
1
2s
2 m
S(Yi
bˆ0
bˆ1 X i )2
对 L* 求极大值，等价于对 S(Yi bˆ0 bˆ1 X i )2 求极小值:
i
=
n
(Y
i=1 i
(bˆ
0
+
bˆ X ))2
1i
最小
由于
Q
=
n (Yi
Yˆi
)
2
=
n
(Yi
( bˆ0
+
bˆ1X i )) 2 是
b$ 、 b$ 的二次函
0
1
1
1
数，并且非负，所以其极小值总是存在的。 根据极值存在的
条件
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
Q
bˆb0ˆ1==Yxxibiˆ2y1iX
注：在计量经济学中，往往以大写字母表示原始数据 （观测值），而以小写字母表示对均值的离差 （deviation)。
随机误差项方差的估计量
记 ei = Yi 为Yˆi 第i个样本观测点的残差，即被解释 变量的估计值与观测值之差，则随机误差项方差的 估计量为：
可以估计模型的参数。
模型参数估计的任务
❖ 模型参数估计的任务为两项：
一是求得反映变量之间数量关系的结构参数的估计量，
在一元线性回归模型即是参数 b0
和b 1
的估计量；
二是求得随机误差项的分布参数，由于随机误差项
的均值已经被假定为0，所以所要求的分布参数只有
方差
s2 m
。
1、普通最小二乘法 （Ordinary Least Square, OLS）
型结构参数的最大或然估计量与普通最小二乘估 计量是相同的。
但是，随机误差项的方差的估计量是不同的。
解或然方程
s
2 m
L*
=
n
2s
2 m
+
1
2s
4 m
S(Yi
bˆ0
bˆ1 X i )2
=
0
即可得到sm2 的最大或然估计量为：
sˆ
2 m
=
1 n
S(Yi
bˆ0
bˆ1 X i )2
=
ei2 n
3、样本回归线的数值性质(numerical ❖pr样o本pe回rt归ie线s通) 过Y和X的样本均值；
bˆ
0
bˆ1
S(Yi S(Yi
bˆ0 bˆ0
bˆ1 X i )2 bˆ1 X i )2
= =
0 0
解得模型的参数估计量为：
bˆ
0
=
SX
2 i
SYi
SX i SYi
nSX
2 i
(SX i )2
bˆ1
=
nSYi X i SYiSX nSYi2 (SX i )2
X
i
i
可见，在满足一系列基本假设的情况下，模
对于一元线性回归模型：
Yi = b 0 + b1 X i + mi
i=1,2,…n
随机抽取 n 组样本观测值Yi , X i （i=1,2,…n），假如模型的参数
估计量已经求得到，为b0 和b1 ，那么Yi 服从如下的正态分布：
Yi
～ N (bˆ0
+
bˆ1
X
i
,s
2 m
)
于是，Yi 的概率函数为
s P(Yi ) =
❖ 残差的均值为0。
二、最小二乘参数估计量的统计性质 高斯-马尔可夫定理
2、最大似然法（ Maximum Likelihood, ML）
❖ 最大或然法，也称最大似然法，是不同于最小二 乘法的另一种参数估计方法，是从最大或然原理出发 发展起来的其它估计方法的基础。
❖ 基本原理： 对于最大或然法，当从模型总体随机抽取n组样本
观测值后，最合理的参数估计量应该使得从模型总体 中抽取该n组样本观测值的联合概率最大。
sm2
=
Sei2 n2
1.用原始数据（观测值）Xi，Yi计算 ei2 简捷公式为
ei2 = Yi2 bˆ0 Yi bˆ1Yi Xi
2.用离差形式的数据xi，yi计算 ei2
简捷公式为
ei2 = yi2 bˆ12 xi2
其中
yi2 = (Yi Y )2 = Yi2 nY 2 xi2 = (Xi X )2 = Xi2 nX 2
bˆ 0 Q
bˆ1
= =
0 0
(
( bˆ
bˆ
0
0 +
+ bˆ1X bˆ1X i
i
Yi ) Yi ) X
= i
0 =
0wk.baidu.com
SYi SYi X i
= nbˆ0 + = bˆ0SX i
bˆ1SX i
+
bˆ1S
X
2 i
解得：
bˆ0 = Y bˆ1X
bˆ1
=
nSYi Xi SYiSXi nSXi2 (SXi )2
一元线性回归模型及其参数估计
一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布
制作设计:从化中学 叶琳
一、一元线性回归模型的参数估计
一元线性回归模型的一般形式
一元线性回归模型的一般形式 是：
Yi = b 0 + b1X i + m i i=1 ， 2，…， n
在满足 基本假设：
E(mi ) = 0 Var (mi ) = s m2 Cov(mi , m j ) = 0 Cov( xi , mi ) = 0
期望或均方值 同方差
协方差
i=1,2, … ,n j=1,2, … ,n i ≠ j
的情况下，随机抽取 n 组样本观测值 Yi , X i （ i=1,2, … n），就
由于 bˆ0 、 bˆ1 的估计结果是从最小二乘原理得到的，故称为
最小二乘估计量
(least-squares estimators)
。
最小二乘参数估计量的离差形式 (deviation form)
记
X Y xi
= = =
1 n
X
i
1 n
Yi
Xi X
，
yi = Yi Y
则参数估计量可以写成：
给定一组样本观测值（Xi, Yi），i=1,2,…n， 假如模型参数估计量已经求得，并且是最合理的参 数估计量，那么样本回归函数应该能够最好地拟合 样本数据，即样本回归线上的点与真实观测点的“ 总体误差”应该尽可能地小。
最小二乘法给出的判断标准是：二者之差的平方 和最小，即
Q
=
n
(Y
i =1 i
Yˆ )2
1
e
1 2s
2 m
(Yi
bˆ0
bˆ1
X
i
)
2
2
i=1,2,…,n
因为Yi 是相互独立的，所以Y 的所有样本观测值的联合概率，
也即或然函数(likelihood function)为：
L ( bˆ 0
,
bˆ1 ,s
2 m
)
=
P(Y1 ,Y2
,
,Yn
)
=
1
e
1 2s
2 m
S
(Yi
bˆ0
bˆ1
X
i
)2
(2
)
n 2
s
n m
将该或然函数极大化，即可求得到模型参数的 极大或然估计量。
由于或然函数的极大化与或然函数的对数的 极大化是等价的，所以，取对数或然函数如下：
L* = ln( L)
= n ln(
2 s
m
)
1
2s
2 m
S(Yi
bˆ0
bˆ1 X i )2
对 L* 求极大值，等价于对 S(Yi bˆ0 bˆ1 X i )2 求极小值:
i
=
n
(Y
i=1 i
(bˆ
0
+
bˆ X ))2
1i
最小
由于
Q
=
n (Yi
Yˆi
)
2
=
n
(Yi
( bˆ0
+
bˆ1X i )) 2 是
b$ 、 b$ 的二次函
0
1
1
1
数，并且非负，所以其极小值总是存在的。 根据极值存在的
条件
，当
Q对
b$ 、 0
b$ 的一阶偏导数为 1
0 时， Q 达到最小。即
Q
bˆb0ˆ1==Yxxibiˆ2y1iX
注：在计量经济学中，往往以大写字母表示原始数据 （观测值），而以小写字母表示对均值的离差 （deviation)。
随机误差项方差的估计量
记 ei = Yi 为Yˆi 第i个样本观测点的残差，即被解释 变量的估计值与观测值之差，则随机误差项方差的 估计量为：
可以估计模型的参数。
模型参数估计的任务
❖ 模型参数估计的任务为两项：
一是求得反映变量之间数量关系的结构参数的估计量，
在一元线性回归模型即是参数 b0
和b 1
的估计量；
二是求得随机误差项的分布参数，由于随机误差项
的均值已经被假定为0，所以所要求的分布参数只有
方差
s2 m
。
1、普通最小二乘法 （Ordinary Least Square, OLS）
型结构参数的最大或然估计量与普通最小二乘估 计量是相同的。
但是，随机误差项的方差的估计量是不同的。
解或然方程
s
2 m
L*
=
n
2s
2 m
+
1
2s
4 m
S(Yi
bˆ0
bˆ1 X i )2
=
0
即可得到sm2 的最大或然估计量为：
sˆ
2 m
=
1 n
S(Yi
bˆ0
bˆ1 X i )2
=
ei2 n
3、样本回归线的数值性质(numerical ❖pr样o本pe回rt归ie线s通) 过Y和X的样本均值；
bˆ
0
bˆ1
S(Yi S(Yi
bˆ0 bˆ0
bˆ1 X i )2 bˆ1 X i )2
= =
0 0
解得模型的参数估计量为：
bˆ
0
=
SX
2 i
SYi
SX i SYi
nSX
2 i
(SX i )2
bˆ1
=
nSYi X i SYiSX nSYi2 (SX i )2
X
i
i
可见，在满足一系列基本假设的情况下，模
对于一元线性回归模型：
Yi = b 0 + b1 X i + mi
i=1,2,…n
随机抽取 n 组样本观测值Yi , X i （i=1,2,…n），假如模型的参数
估计量已经求得到，为b0 和b1 ，那么Yi 服从如下的正态分布：
Yi
～ N (bˆ0
+
bˆ1
X
i
,s
2 m
)
于是，Yi 的概率函数为
s P(Yi ) =