计量经济学 普通最小二乘法估计量

E(i ) 0,i 1,2,..., N
当随机(x1, x2,..., xN ) 时，标准假定是： E(i x1, x2 ,。..., xN ) 0,i 1, 2,..., N
Gauss-Markov 假设
假定4： 2i 2 ，即所谓的同方差假定。
Hale Waihona Puke Baidu
在
是随机的情况下，该
假定(修x1订, x为2,.：.., xN )
Cov(ˆ0,
ˆ1)



x 2
(xi
x)2
E(i

)2

2(1
1 N
)
证明方差最小
求解法。假设存在任意一种线性无偏估
计：wi yi ， ， ˆ1 wi yi wi(0 1xi i)
wi 0;wixi 1
2 ˆ1
Var(
wi
yi
)
Var[




练习：
证明OLS估计量在所有0 的线性无偏估计 量 ˆ0 中方差是最小的。
线性性质不过是OLS估计量在假定一下所具有 的代数性质，无偏性与有效性才是高斯-马尔 科夫定理所强调的。高斯-马尔科夫定理为 OLS的广泛应用提供了理论依据。当然问题是， 该定理涉及到如此众多的假定，这些假定同 时成立实属罕见！从而这涉及到两个问题：
kii )
ki2

(
xi x
(xi x)2
)2

1
(xi
x)2

2
ˆ1


(xi
2

x)2
注意到随着N增大，方差是趋近0的。这意味着什 么？
练习：估计量 ˆ0的方差
证明：高斯－马尔可夫假设下，
2 ˆ0

(
1 N

x2 (xi
x)2
)
2


2
N
xi2 (xi x)2
义 P wi yi ki yi ，
var

wi
yi


var

ki yi
(wi

ki
)yi


var

ki
yi


var

(wi

ki
)yi


2
cov

ki yi ,
(wi

ki
)yi


实值是固定值。我们希望估计量要尽可能与真
实值接近。
Gauss-Markov 假设
假定1：真实模型是： y 0 1x 。有
三种情况属于对该假定的违背：（1）遗 漏了相关的解释变量或者增加了无关的 解释变量；（2）y与x间的关系是非线性 的；（3） 0, 1 并不是常数。
Gauss-Markov 假设
线性性
所够谓被表OL示S估为计yi 量的是线线性性函估数计。量例，如是：指它能
ˆ1 [(xxiixx)2]yi ki yi
课堂练习
把 ˆ0 表示为 yi 的线性函数。
无偏性
E(ˆ1) 1 E(ˆ0) 0
ˆ1

[

xi x (xi x)2
]
yi

假定2：在重复抽样中，(x1, x2,..., xN )被预先 固定下来，即(x1, x2,..., xN )是非随机的，显 然，如果解释变量含有随机的测量误差， 那么该假定被违背。还存其他的违背该 假定的情况。
注：此条件可以放宽到解释变量与随机误差 不相关。
Gauss-Markov 假设
假定3 误差项期望值为0，即：
普通最小二乘法估计量
例2：假设真实模型为 y 0 1x
0, 1为待估参数，最小二乘法的参数估计量为
ˆ1
(xi x ) yi (xi x )2
; ˆ0

y

ˆ1x
既然估计量是随机的，那么我们需要分析随机
变量的统计性质，了解它的分布。另外0, 1 真
2 普通最小二乘法估计量
参数估计的任务
1. 求得反映变量之间数量关系的结构 参数的估计量；
2. 求得随机干扰项的分布参数。
最小二乘法的数值性质
1．样本回归线必然经过样本均值点 2. 残差和为零 3．Y的真实值和拟合值有共同的均值 4．估计残差与自变量不相关 5．估计残差与拟合值不相关
小结
具有相同的均值
显然，E(e2)=0。
Var(e2 ) Var(ˆ0 ) x2fVar(ˆ1) 2x f Cov(ˆ0, ˆ1)

[
1 N

(
x (
xi
xf
)2
x)2
]
2
思考题
点预测中，平均值预测与实际值预测哪 个更准确？
xf 接近x平均值时预测更准确吗？为什么？
作业
P56： 3 请叙述高斯马尔可夫定理，并进行证明。

cov ki yi , (wi ki )yi


ki (wi ki ) 2
0



var wi yi var ki yi (wi ki )yi




var ki yi var (wi ki )yi var ki yi
度是N-2】。误差是观测不到的，但我们
能利用样本得到残差。
模型满足高斯-马尔科夫假定下基于 OLS的点预测
假定真实模型是： y 0 1x ，模
型满足高斯-马尔科夫假定。利用OLS法 得到： yˆ ˆ0 ˆ1x 。现在我们获得一次新 的观测，然而此次观测只得到x的取值是 xf，我们需要预测yf或者E(yf)。
Var(i x1, x2 ,..., xN ) 2
同方差（homoscedasticity)
u
Y
a+bx
X
x1
x2
随着x变化随机扰动项u的方差不变
异方差(heteroscedasticity)
u
随着x增加随机扰动项 方差相应变化
Y
X
x1
x2
Gauss-Markov 假设
假定5： Cov(i, j) 0,i j ，即所谓的
1、预测yf
以 yˆ f ˆ0 ˆ1xf 作为对yf的预测。此时预测 误差是： e1 y f yˆ f (0 ˆ0) (1 ˆ1)xf f 显然，E(e1)=0。
Var(e1) Var(ˆ0 ) x2fVar(ˆ1) 2x f Cov(ˆ0, ˆ1) Var( f )
wi
(0

1xi

i
)]
Var(
wii
)
本质上，最小方差组合就是如下 问题的最优解：
N
Min
w1,w2,..wN

2
i 1
wi 2
s.t. wi 0 (1)
wi xi 1 (2)
采用拉各朗日乘子法就可以求出解。
证明方差最小
反证法，假设 ki yi 不是方差最小组合。 则一定可以找到另外一个组合 wi yi ，定

[
1 N

x2 (xi x)2
x2f (xi
x)2

2xx f (xi
x)2
1]
2
1
[N
(x (xi
xf )2 x)2
1]
2
2、预测E(yf)
以 yˆ f ˆ0 ˆ1xf 作为对E(yf)的预测。预
测误差是：
e2 E( y f ) yˆ f (0 ˆ0) (1 ˆ1)xf
N
RSS (k 1）
以一元线性回归模型为例
E(i

)2

2(1
1 N
)
E[
( yi y)2 ] 12
(xi x )2
(1 1 ) 2
N
12 (xi x )2 (N 1) 2
E[ ( yˆi yˆ )2] E(ˆ12) (xi x)2 2 12 (xi x)2

ki
yi


ki
(0

1xi


i
)
E(ˆ1) 0ki 1kixi kiE(i)
利用了哪个假设？
课堂练习
证明： E(ˆ0) 0
最小方差性
在所有线性无偏估计量中，OLS估计量 方差最小。
估计量 ˆ1 的方差
2 ˆ1
Var[
ki(0 1xi i)] Var(
序列不相关假定。
Gauss-Markov 假设
假定6：(xi x)2 0 ，在多元回归中，
该假定演变为 X X 的逆存在，即各解释
变量不完全共线。
解释变量有足够的变异
Gauss-Markov 定理
当高斯-马尔科夫假定成立时，在所有线性 无偏估计量中，OLS估计量方差最小。或 者说，OLS估计量是最优线性无偏估计量 (best linear unbiased estimator, BLUE)。 这被称为高斯-马尔科夫定理。
残差和为零
y ˆ ˆx e yˆ e
i
i
i
i
i
不相关
不相关
普通最小二乘法估计量
(一)基本概念：估计量与估计值
对总体参数的一种估计法则就是估计量 给定样本对总体参数的一种估计就是估计值。
例1：假设某股票日收益率服从正态分布N(u,σ)， 但我们不清楚u和σ，给你n天该股票收益率，你如 何估计u和σ？
E( ˆi2 ) E[ ( yi y)2 ] E[ ( yˆi yˆ )2] 12 (xi x )2 (N 1) 2 12 (xi x )2 2
(N 2) 2
ˆi2
N 2
就是残差的样本方差【在含截
距的简单线性回归模型中，残差的自由
（1）如何检验这些假定？这些检验属于计量检验。
（2）如果一些假定并不成立，那么OLS估计量具有什 么性质？此时我们应该采取何种估计方法？
参数估计的任务2：
2
的估计
y 0 1x1 ... k xk
它的信息有没 有估计？如何
估计呢？
ˆ2

N

ˆi2
(k
1）