一元线性回归模型及参数估计

e?
1 2sm2
(Yi
?
b?0
?
b?1
X
i
)2
2
i=1,2,…,n
因为Yi 是相互独立的，所以Y 的所有样本观测值的联合概率，
也即或然函数 (likelihood function) 为：
L(b?0
,
b?1 ,s
2
m
)
=
P(Y1 ,Y2
,???,Yn
)
1?
1
2s
2 m
S(Yi ?
b?0 ?
b?1X i
?
Y? ) 2
i
n
= ? (Y
i =1 i
?
( b?
0
+
b? X )) 2
1i
?
最小
由于
Q
=
n
?
(Yi
?
Y?i )2 =
n
?
(Yi
?
( b?0
+
b?1 X i )) 2
是
b$ 、 b$
0
1
的二次函
1
1
数，并且非负，所以其极小值总是存在的。
根据极值存在的
条件 ，当 Q 对 b$ 、 b$ 的一阶偏导数为 0 时， Q 达到最小。即
模型参数估计的任务
? 模型参数估计的任务 为两项：
一是求得反映变量之间数量关系的结构参数的 估计量，
在一元线性回归模型即是参数
b0
和b 1
的估计量；
二是求得随机误差项的 分布参数 ，由于随机误差项
的均值已经被假定 为0，所以所要求的分布参数只有
方差
s2 m
。
1、普通最小二乘法 （Ordinary Least Square, OLS ）
给定一组样本观测值（ Xi, Yi），i=1,2,…n ，假如 模型参数估计量已经求得，并且是最合理的参数估 计量，那么样本回归函数应该能够最好地拟合样本 数据，即样本回归线上的点与真实观测点的“总体 误差”应该尽可能地小。
最小二乘法 给出的判断标准 是：二者之差的平方 和最小，即
Q
=
n
? (Y
i=1 i
0
1
??Q
?? ? ?
? b?0 ?Q
?? ? b?1
=0 =0
?
? ? ??
? ( b?0 + b?1 X ( b?0 + b?1 X i
i ?
? Yi ) Yi ) X
=0 i =0
?
?? S Yi = nb?0 + b?1S X i
? ??S Yi X i
=
b?0SX i
+
b?1S X
2 i
解得：
记
? ?
X
?? ?
Y
? ?
xi
=
1
?
n
Xi
=
1 n
?
Yi
= Xi ? X
，
?? yi = Yi ? Y
则参数估计量可以写成：?????b?b0?1==Y???xxib?i2y1iX
注：在计量经济学中，往往以大写字母表示原始数据
（ 观 测 值 ） ， 而以 小 写字 母 表示 对 均值 的 离 差 （deviation) 。
随机误差项方差的估计量
记 ei = Yi ? Y?i 为第i个样本观测点的残差，即被 解释变量的估计值与观测值之差 ，则随机误差项方
差的估计量 为：
s$
2
m
=
S
e
2 i
n? 2
1.用原始数据（观测值） Xi，Yi计算
?
e
2 i
简捷公式 为
? ei2 = ? Yi2 ? b?0 ? Yi ? b?1 ? Yi X i
E(mi) = 0 Var (mi ) = s m2
Cov (mi , m j ) = 0
Cov ( xi , mi ) = 0
期望或均方值 同方差
协方差
i=1,2, … ,n j=1,2, … ,n i ≠ j
的情况下，随机抽取 n 组样本观测值 Yi , X i （ i=1,2, … n），就 可以估计模型的参数。
? 最大或然法 ，也称最大似然法 ，是不同于最小二乘
法的另一种参数估计方法，是从最大或然原理出发发 展起来的其它估计方法的基础。
? 基本原理 ： 对于最大或然法 ，当从模型总体随机抽取 n组样本
观测值后，最合理的参数估计量应该使得从模型总体 中抽取该 n组样本观测值的联合概率最大。
对于一元线性回归模型：
??b?0 = Y ? b?1X
? ?
b?1
?
=
nSYi X i ? SYiSX i
nSX
2 i
?
(SX i )2
由于
b?0
、
b? 1
的估计结果是从最小二乘原理得到的，故称为
最小二乘估计量 (least-squares estimators) 。
最小二乘参数估计量的离差形式
(deviation form)
)2
= e n
2
n
(2? ) s m
将该或然函数极大化，即可求得到模型参数的 极大或然估计量。
由于或然函数的极大化与或然函数的对数的极 大化是等价的，所以，取对数或然函数如下：
L* = ln(L)
= ?n ln(
2?
sm)
?
1
2s
2
m
S(Yi
?
b?0
?
b?1X i )2
对 L* 求极大值，等价于对 S(Yi ? b?0 ? b?1 X i ) 2 求极小值 :
??
?? ? ?
?b?0 ?
?? ?b?1
S(Yi S(Yi
? ?
b?0 b?0
? ?
b?1 X i )2 b?1 X i ) 2
= =
0 0
解得模型的参数估计量为：
? ?? ? ? ??
b?0
=
SX
2 i
SYi
?
SX i SYi
nSX
2 i
?
(SX i )2
b?1
=
nSYi X i ? SYiSX nSYi2 ? (SX i )2
Yi = b0 + b1 X i + mi
i=1,2, …n
随机抽取 n 组样本观测值Yi, X i （i=1,2,…n），假如模型的参数
估计量已经求得到，为b$0 和b$1 ，那么Yi 服从如下的正态分布：
Yi
～ N (b?0
+
b?1
X
i
,s
2
m
)
于是，Yi 的概率函数为
s ? P(Yi ) =
1
2.用离差形式的数据 xi，yi计算
?
e
2 i
简捷公式 为
其中
? ei2 = ? yi2 ? b?12 ? xi2
? yi2 =? (Yi ?Y)2 =? Yi2 ? nY2 ? xi2 =? (Xi ? X)2 =? Xi2 ? nX2
2、最大似然法（ Maximum Likelihood, ML ）
一元线性回归模型及其参数估计
一、一元线性回归模型的参数估计 二、最小二乘参数估计量的统计性质 三、最小二乘参数估计量的概率分布
一、一元线性回归模型的参数估计
一元线性回归模型的一般形式
一元线性回归模型的一般形式 是：
Yi = b 0 + b1X i + mi
在满足 基本假设 ：
i=1 ， 2，…， n
X
i
i
可见，在满足一系列基本假设的情况下，模型
结构参数的 最大或然估计量 与普通最小二乘估计 量是相同的。
但是，随机误差项的方差的估计量 是不同的 。
解或然方程
?
?s
2
m
L*
=?
n
2s
2
m
1
+
2s
4
m
S(Yi
?
b?0
?
b?1 X i )2