一元线性回归的最小二乘估计

Y
* * Y X
Yt
* **
Yˆt
et * *
*
*
**
* * * Yˆ*t
*Y
Yt
*
Xt
X
图2
残差
拟合的直线 Y X 称为拟合的回归线.
对于任何数据点 (Xt, Yt), 此直线将Yt 的总值 分 成两部分。 第一部分是Yt的拟合值或预测值 Yˆt ：
Yˆt αˆ βˆ Xt , t=1,2,……,n
4. ˆ和 ˆ的分布
我们在前面列出的假设条件（5）表明， ut ~ N( 0, 2 ) , t= 1, 2, ...,n
即各期扰动项服从均值为0、方差为2的正态分布。 考虑到假设条件（4），即Xt为非随机量，则由前面结果：
ˆ
xt t
xt2
=
kt t
其中，
kt
xt xt2
这表明，ˆ 是N个正态分布变量u1，u2，…,un的线 性函数，因而亦为正态分布变量，，即
2 t
xt2
∵ xt ( X t X ) X t X n X n X 0
∴ ˆ
xtYt xt2
xt ( X t t )
xt2
=
1 (
xt2
xt
xt X t
xt t )
=
1 (
xt2
xt X t
xt t )
1 xt2
(
xt2 X
xt
的参数 和 的普通最小二乘估计量 (OLS estimators）。
这两个公式可用于任意一组观测值数据，以求出 截距和斜率的OLS估计值（estimates)，估计值是 从一组具体观测值用公式计算出的数值。
一般说来，好的估计量所产生的估计值将相当 接近参数的真值，即好的估计值。可以证明，对 于CLR模型，普通最小二乘估计量正是这样一个 好估计量。
第二部分，et 代表观测点对于回归线的误差，称 为拟合或预测的残差 （residuals）：
et Yt Yˆt
t=1,2,……,n
即 et Yt ˆ ˆ Xt
t=1,2,……,n
如何决定估计值 和 ?
残差平方和
我们的目标是使拟合出来的直线在某种
意义上是最佳的，直观地看，也就是要求估
计直线尽可能地靠近各观测点，这意味着应
3 例子
例1 对于第一段中的消费函数，若根据数据 得到：
n = 10 , X =23, Y =20
(X X)2 64, (X X)(Y Y) 37
则有ˆ
( X i X )(Yi (Xi X )2
Y)
37 64
0.58
ˆ Y ˆ X 20 0.58 * 23 6.70
因而 Yˆi 6.70 0.58X i
达到最小值。
运用微积分知识，使上式达到最小值的必要条件为：
S ˆ
S ˆ
0
即
S
ˆ
2(1)(Yt ˆ ˆX t ) 0
(1)
S
ˆ
2( X t )(Yt ˆ ˆX t ) 0
(2)
整理，得：
Yt nˆ ˆ X t
(3)
XtYt ˆ
X t ˆ
X
2
.t
(4)
此二式称为正规方程。解此二方程，得：
ˆ xtYt xt2
——由上段结果，
= ktYt
其中 kt
xt xt2
这 故表ˆ是明线，性ˆ 估是计诸量样。本观测值Yt（t=1,2,…,n）的线性函数, 剩下的就是最佳性了，即 ˆ 的方差小于等于β的其他
任何线性无偏估计量的方差，我们可以证明这一点，但 由于时间关系，从略。有兴趣的同学请参见教科书 （P46-47）
xt t )
1 ( xt2
xt2
xt t )
即 ˆ
xt t
x
2 t
两边取期望值，有
E(ˆ)
xt E(t )
xt2
＝
这表明ˆ是的无偏估计量。
假设（4） －－假设（1）
由ˆ Y ˆ X 我们有：
E(ˆ) E(Y ˆ X )
= E( X ˆ X ) = X E() X E(ˆ)
= X X
即ˆ
=α 是α的无偏估计量。
2. ˆ 和ˆ 的方差
Var( ˆ )=E{[ˆ -E(ˆ )]2} ——根据定义
=E(ˆ -β)2
——由无偏性 E(βˆ )=β
由上段结果： ˆ
xt t
xt2
即
ˆ xt t
x
2 t
∴ (ˆ )2 ( xt t )2 xt2
10
-8
-20
160 400
20
-4
-10
40 100
3 23 30
1
0
0
0
4 25 40
3
10
30 100
5 30 50
8
20
160 400
n=5 110 150
0
0
390 1000
Y X y x xy x2
X X t 150 30,Y Yt 110 22
n5
n5
ˆ
xy x2
390 1000
ˆ ∽ N ( , 2 )
xt2
类似的有：
ˆ 2 ∽ N (, n
X xt2
2 t
)
对于满足统计假设条件(1)--(4)的线性回归模型 Yt = + Xt + ut , ，普通最小二乘估计量 ( OLS估 计量) 是最佳线性无偏估计量（BLUE）。 或
对于古典线性回归模型（CLR模型）Yt=α+β+Xt ， 普通最小二乘估计量（OLS估计量）是最佳线性无 偏估计量（BLUE）。
我们已在前面证明了无偏性，此外，由于：
一元线性回归的最小二乘估计
我们的任务是， 在给定X和Y的一组观测值 (X1, Y1), (X2, Y2) , ..., (Xn, Yn) 的情况下, 如 何求出 Yt = + Xt + ut 中 和 的估计值,使得拟 合的直线为最佳。
直观上看，也就是要求在X和Y的散点图上穿过 各观测点画出一条“最佳”直线，如下图所示。
E(i j )=0, i≠j
——根据假设（2）
∴ E(ˆ )2 (
1 xt2 )2 (
xi2 2 0)
2
xt2
即Var(ˆ) 2
xt2
与此类似，可得出：
2
Var(ˆ)
n
X
2 t
xt2
Cov(ˆ, ˆ)
X 2
xt2
3. 高斯--马尔柯夫定理（Gauss--Markov Theorem）
ˆ (X t X )(Yt Y ) n X tYt X t Yt xt yt (5)
(Xt X)2
n X t 2 ( X t )2
xt 2
ˆ Y ˆ X
(6)
其中：Y Yt , X X t
n
n
xt X t X ,
yt Yt Y
样本均值 离差
（5）式和（6）式给出了OLS法计算αˆ 和 的 公式，αˆ 和 称为线性回归模型 Yt = + Xt + ut
例2 设Y和X的5期观测值如下表所示，试估计方程
Yt = + Xt + ut
序号
1
2
3
4
5
Yt 14 18 23 25 30
Xt 10 20 30 40 50
解：我们采用列表法计算。计算过程如下：
Biblioteka Baidu
31
序号 Yt 表 1 14 － 2 18
Xt yt= Yt -Y xt=Xt-X xt yt xt2
0.39,ˆ
Y
ˆ
*
X
22 0.39*30
10.3
Eviews 创建工作文件，输入数据并进行回归： Create u 1 5 data x y ls y c x
三、 最小二乘法估计量的性质
1． ˆ 和ˆ 的均值
ˆ
xt yt
xt (Yt Y )
xt Yt
Y
xt
xt2
xt2
x
= (
1 xt2 )2
( x1 1
x22
xnn )2
两边取期望值，得：
1
= (
xt2 )2 (
xi2i2 xi x j i j )
i j
E(ˆ )2 1 [ ( xt2 )2
xi2E(i2 ) xi x j E(i j )]
i j
由于
E(
2 t
)=
2
,
t=1,2,…,n
——根据假设（3）
使各残差尽可能地小。要做到这一点，就必
须用某种方法将每个点相应的残差加在一起，
使其达到最小。理想的测度是残差平方和，
即
et 2 (Yt Yˆt )2
最小二乘法就是选择一条直线，使其残差平方和
达到最小值的方法。即选择 αˆ 和 ，使得
S et 2 (Yt Yˆt )2 (Yt ˆ ˆX t )2