第五讲OLS的渐进性

存在内生性时对其他参数估计量的一致性的影响
Cov( x1 , u ) p lim b1 b1 Var( x1 )
若x1 和x2相关，即cov(x1 , x2 ) ≠0，而u和x2不相关，即 cov(u , x2 )=0时，则对b1和b2的OLS估计量都是不一致的。 若x1 和x2不相关，即cov(x1 , x2 )=0，且u和x2不相关， 即cov(u , x2 )=0时，则只有对b1的OLS估计量是不一致的。
估计量的一致性是一条重要性质，但我们并不能只靠它来 进行统计推断。在经典线性模型假设下，样本的分布是正态分
布，因而我们推出t分布和F分布用于检验。
这种准确的正态分布来自于总体误差(population error)的分 布是正态分布的假定。这个正态误差的假定意味着当x给定时，
y的分布也是正态分布。
为什么需要正态性假定？
n1
b1
b j 是b j的OLS估 计 量 ， 对 于 每 一 个 n， b j 都有一个
概率分布。如果 OLS估 计 量 是 一 致 的 ， 那 随 么着 样 本 容 量 的 增 加b ， b j的 周 围 。 j 的分布越来越集中在 当n趋 于 无 穷 大 时b ， bj j 的分布紧缩成一个点
依然假设Z的真值为0，一个随机变量X以0.5的概率取0.5，而
以0.5的概率取-0.5，那么X的期望为0，也就是说，X是Z的无偏估 计量。 但是，X总是在X=0这条线上下摆动，当n趋向无穷大时，它 的方差并不会趋于0。因此，X并不是Z的一致估计量，也就是说X
不具备一致性。
无偏估计量未必是一致的，但是那些当样本容量增大时方差
OLS估计的偏误也不会消失，而且会收敛到一个有偏误的值。
4.存在内生性时的一致性
考虑真实模型为y = b0 + b1x1 + b2x2 + u ，但u和x1相关， 即cov(u , x1)≠0。
则OLS估计量的不一致性（inconsistency）为：
Cov( x1 , u ) p lim b1 b1 Var ( x1 ) 如果Cov( x1 , u ) 0，则p lim b1 b1 如果Cov( x1 , u ) 0，则p lim b1 b1
虑下面的真实模型和待估计模型。 真实的模型为：
， 并考
y b0 b1x1 b2 x2 v
实际进行估计的模型为： y b0 b1 x1 u 显然： u b 2 x2
v
则：
Covx1 , b 2 x2 v Covx1 , b 2 x2 Covx1 , v b1 b1 Var x1 Var x1 Covx1 , x2 b1 b 2 Var x1
i1 1 i i1 1 1 2 1 i 2 i1 1 i1 1 1 i1 1 1 1 i 2 i1 1
Plim(
b1
)=
b1
3.一个更弱的假定
要获得估计量的无偏性(unbiasedness)，我们假定零 条件期望(zero conditional mean)：E(u|x1, x2,…,xk) = 0 而要获得估计量的一致性(consistency)，我们可以使 用更弱的假定：零期望和零相关性假定，即：E(u) = 0，
中心极限定理(Central Limit Theorem)
1.中心极限定理是研究独立随机变量和的极限分布为正态分布的 问题。 基于中心极限定理，我们能够证明OLS估计量是渐近正态。 渐近正态意味着当n 时，P(Z<z) F(z) 或者P(Z<z) Ф(z) 。 中心极限定理指出任何一个均值为μ，方差为σ2的总体的标准 化平均值的分布渐近趋同于N0,1，或者记作：
Covx1 , u p lim b1 b1 Var x1 ~
~ 此时，如果 Cov( x1,x2 ) 0， 则p lim β1 β1
因此，考虑渐近偏差的方向就像是考虑存在一个遗漏变量时
偏差的方向。主要的区别在于渐近偏差用总体方差和总体协方差 表示，而遗漏变量时的偏差则是基于它们在样本中的对应量。



可以证明，在假定 MLR.1 4下 ， 通 过 OLS方 法 得 到 的
b0 、 b 1 、 b k 是b 0、b 1、 、b k 的 一 致 估 计 量



3.一致性和无偏性的关系(Consistency v.s. unbiasedness) 一个估计量是否有可能在有限样本（小样本）中是

5.渐近有效性
我们知道，如果总体回归模型满足MLR.1-5，那么
OLS估计量是最优线性无偏估计量。
事实上，可以证明在这些假定下， OLS估计量是
渐近有效的（asymptotic efficient）。也就是说，随着样
本容量无限增大， OLS估计量具有最小的渐近方差。
第二节 渐近正态和大样本推断 (Asymptotic Normality and Large Sample Inference)
Cov(xj,u) = 0, j = 1, 2, …, k。
如果连这个较弱的假定也不成立，OLS将是有偏
(biased)而且不一致的(inconsistent)。
但是如果OLS估计量是一致的，却不能保证它是无偏的。
上述讨论表明：如果OLS估计量是无偏的，那么它一定是一致的；
推导不一致性
定义渐近偏差(asymptotic bias)为： plimb1 b1
p lim b1 b1 b2 E b1 b1 b21 ~ ~ ~ x2 0 1x1
~
Cov x1 , x2 Var x1
i1

~
~
1
~
x x
x1 xi 2 x1
2
i1
值得注意的是，不一致性是一个大样本问题。因此，当数据 增加时候这个问题并不会消失。也就是说，即使样本容量再大，
为了证明无偏性？ 为了证明最优线性估计量？
×
×
为了能够用t统计量和F统计量做精确的推断？
√
很容易碰到一些例子，其中严格的正态性假定并不能成立。 因为正态分布是对称的，所以，任何一个明显不对称(clearly skewed)的变量，像拘捕次数，储蓄量等都不可能服从正态分布。 当样本容量变大时是否估计量会渐近地趋向于正态分布？我 们关注的OLS估计是否量满足渐近正态性。
3）随着样本容量n的扩大，对任意j，都有：
ˆ b
bj ~ N 0,1 ˆ se b
j

j

在定理5.2中什么才是我们的假定
1）去掉了正态性假定(normality assumption)MLR.6
2）仍然保留以下假定：
误差的分布具有有限的方差(finite variance)
零条件期望(Zero conditional mean) 同方差性(Homoskedasticity) 线性结构(Linear structure) 随机样本(random sample)
渐近标准误差(Asymptotic Standard Errors)
如果u不是正态分布，我们有时把标准误差称作渐近标 准误差，因为：
对定理5.2的理解
为什么在1）中考虑的是
ˆ b ，而不是 b ˆ b nb j j j j




因为
ˆ Var b j

2
SSTj 1 R 2 j


2
SSRj
2
SSRj SSTj SST j
2

SST j xij x j
ˆij SSR j r
有偏的但在大样本条件下又具有一致性？
假设Z的真值为0，一个随机变量X以(n-1)/n的概率 取值为Z，而以1/n的概率取值为n。那么，X的期望为1， n 1 1 也就是：EX Z n 1 n n 记plim(x) 为n趋向无穷大时x的取值，则有：plim(x)=z=0
是否有可能一个估计量是无偏的但又不具备一致性？
ˆ Var b
n

j
1 以 n
的速度减小到零，因
ˆ b j
的比例增大
，才能讨论
因为自由度很大的 t分布接近于正态分布，我们也可以 得到：
ˆ b
b ˆ se b
j j

j
~ t
a
n k 1
注意到尽管我们在大样本中不再需要正态性假定，我们 仍然需要同方差性(homoskedasticity)。
θ的一个一致估计量(consistent estimator)。当Wn具有一
致性时，我们也称θ为Wn的概率极限(probability limit of Wn)，记作Plim(Wn)=θ。
2.为什么要考虑一致性
我们已经讨论了有限样本(finite sample)，也就是小样本 (small sample)中OLS估计量(OLS estimators )和检验统计量(test statistics)具有的如下性质：
Z
Y Y

~ N 0,1
a
n
2.定理5.2：OLS的渐近正态性
(Asymptotic Normality of OLS)
在高斯——马尔科夫假设MLR.1 — MLR.5前提下：
ˆ 符合渐近正态分布，也就是说： 1） b j
2 ˆ n b j b j ~ N 0 , 2 j
当n增加时样本的分布(Sampling Distributions as n
increases)
n3
n2
例：n1:每次从班上抽取10人， 抽若干次后，平均身高的分布； n2:每次从班上抽取100人， 抽若干次后，平均身高的分布； n3:每次从班上抽取200人， 抽若干次后，平均身高的分布。