第五讲 多元回归分析：渐近性

assumptions, the OLS estimators will have the asymptotic variances We say that OLS is asymptotically efficient Important to remember our assumptions though, if not homoskedastic, not true
计量经济学导论
29
STATA命令语句：
Reg narr86 pcnv ptime86 qemp86 Predict ubar,resid Reg ubar pcnv ptime86 qemp86 avgsen tottime
计量经济学导论
30
5.3 OLS渐进有效性
Estimators besides OLS will be consistent However, under the Gauss-Markov
y b0 b1x1 ...bkqxkq u
Now take the residuals, u, and regress
u onx1,x2,..., xk (i.e. all the variables) LM nRu2, where Ru2 is fromthis reg
计量经济学导论
24
The idea of LM statistic
计量经济学导论
25
LM Statistic (cont)
a
LM~q2,socanchoosea critical value,c, froma q2 distributoin,or justcalculatea p-valueforq2
With a large sample, the result from an F test and from an LM test should be similar. LM>c, reject H
xi1 x1 2
b 0 xi1 x1 b 1 xi1 x1 xi1 xi1 x1 u i
xi1 x1 2
b1 n 1
xi1 x1 u i n 1
xi1 x1 2
p lim bˆ1 b 1 C o v x1 , u V a r x1 b1 because y1 b 0 b1xi1 ui , and C ov x1, u 0.
计量经济学导论
21
渐进正态性
随着自由度提高，t分布渐进服从正态分布， 因此有:
b b b ˆ j
j
seˆj
a
~tnk1
因此，随着样本量增大，我们无需再担心 正态性假定是否满足问题，但仍然需要同 方差性。
计量经济学导论
22
渐进标准误
如果u不是正态分布的，下式被称为渐进标准 误，t统计量称为渐进t统计量。
Suppose we have a standard model, y = b0 + b1x1 + b2x2 + . . . bkxk + u and our null hypothesis is
H0: bk-q+1 = 0, ... , bk = 0
First, we just run the restricted model
不满足上述条件，OLS是有偏和不一致的。
计量经济学导论
11
不一致性的推导
^
b 1
的不一致（有时也粗略地称为渐近偏误）为：
plim b^1b1cov(x,u)/var(x)
因为Var(x)>0,所以，若x与u正相关，则
^
b1
的
不一致就为正，而若x与u负相关，则
^
b1
的不
一致为负。如果x与u之间的协方差相对于X的
(iii) bˆ j b j
se bˆ j
a
~ Normal 0,1
计量经济学导论
19
bˆ j N b j , v a r bˆ j
v a r bˆ j
s2
SST j
1
R
2 j
s2
n
r
i
2 j
i1
bˆ j b j
N
0
,
s
2
n
r
i
2 j
i1
n bˆ j b j
2
5.1 一致性
渐进性的含义：
如果误差并非正态分布，对任何的样本容量而 言，t统计量、F统计量并非恰好服从t分布、F 分布。
幸运的是，即使没有正态性假定，t统计量和F 统计量仍然渐进的服从t分布、F分布，至少在 大样本情况下使如此。
计量经济学导论
3
一致性
在高斯-马尔科夫假定下，OLS估计是最优线 性无偏的，但我们并非总能得到无偏的估计量。
plimWn
和无偏性不一样，无偏性是估计量在给定样本容
量下的一个特征，一致性描述了估计量的抽样分
布在样本容量变大是的特性。
计量经济学导论
5
一致性的直观理解
如果估计量是一致的，那么随着样本容量的增加，
bˆj的分布就越来越紧密地分布在bj的周围。当n趋向 无穷时，bˆj的分布就紧缩成单一一个点bj。这意味着，
N
0,s 2
a
2 j
a
2 j
p
lim
n 1
n
r
i
2 j
i1
计量经济学导论
20
Law of large numbers—大数定理
令Y1，Y2，…,Yn是均值为u的独立同分布随机变量，则 （C.8）成立。大数定理意味着，我们若对估计总体均值u感 兴趣，通过选取一个足够大的样本，便能得到一个任意接近u 的数。
多元回归分析：渐进性
y = b0 + b1x1 + b2x2 + . . . bkxk + u
Copyright © 2007 Thomson Asia Pte. Ltd. All rights rese1rved.
5.1 一致性 5.2 渐进正态和大样本推断 5.3 OLS渐进有效性
计量经济学导论 刘愿
计量经济学导论
26
计量经济学导论
27
拉格朗日乘数统计量
将y对施加限制后的自变量集进行回归，并保 留残差uhat。
将uhat对所有自变量进行回归，并得到R2，记 为Ru2.
计算LM=n Ru2. 将LM与xq2分布中适当的临界值c比较，如果
LM>c，就拒绝原假设。否则，我们就不能拒 绝原假设。
中心极限定理
根据中心极限定理，可以证明OLS估计值服从 渐进正态。
渐进正态意味着： P(Z<z)F(z) as n , 或者 P(Z<z) F(z) （标准正态累积分布函数）。
中心极限定理表明，任何均值为m ，方差为s2 经标准化后渐进的服从标准正态分布
Z
Y mY s
a
~N0,1Байду номын сангаас
n
计量经济学导论
Running a regression of these residuals on those independent variables excluded under H0, we should get a small enough R2.
However, we must include all of the independent variables in the regression for technical reasons.
计量经济学导论
28
Example: Economic Model of Crime（数据来源： CRIME1）
Narr86为一个人被拘捕的次数； Pcnv为以前被拘捕后被定罪的次数； Avgsen为过去定罪后被判刑的平均时间长度； Tottime为此人在年龄达到18岁后在1986年以前被送进监狱的总次数； Ptime86为1986年坐牢的月数； Qemp86为此人在1986年合法就业的季度数。
se bˆ j
sˆ 2
SSTj
1
R
2 j
sˆ ,
SSR j
sˆ
1 n2
n
uˆi2
i 1
SSR n2
se bˆ j c j
n,
SST j
ns
2 j
可以预期，标准误的收缩速度为样本容量平方 根的倒数。
计量经济学导论
23
大样本检验方法：LM检验 LM Statistic (cont)
18
定理 5.2 OLS的渐进正态性
Under the Gauss - Markov assumptions,
(i)
n
bˆ j b j
a
~ Normal
0,s 2
a
2 j
,
where
a
2 j
plim
n 1
rˆij2
(ii) sˆ 2 is a consistent estimator of s 2
计量经济学导论
31
The discussion in the simple regression
计量经济学导论
14
渐进偏误方向的总结
b2 > 0
Corr(x1, x2) > 0 Corr(x1, x2) < 0
1 0
1 0
+
－
b2 < 0
－
+
计量经济学导论
15
5.2 渐进正态与大样本推断 大样本推断：
在经典线性模型假定下，样本分布呈正态性， 我们可以进行t和F检验。
这一正态性假定依赖于我们假定总体误差服从 正态分布。
方差很小，那么这种不一致就可以忽略。
计量经济学导论
12
不一致性的推导
与遗漏变量偏误的推导类似，渐进偏误推导如下：
plim b^1b1cov(x,u)/var(x)
Truemode:ly b0 b1x1 b2x2 v
You think: y b0 b1x1 u,sothat ub2x2 vand,plimb~1 b1 b2
If the omitted variables xk-q+1 through xk truly have zero population coefficients then, at
least approximately, u should be uncorrelated
with each of these variables in the sample.
计量经济学导论
10
一个较弱的假定
为了得到无偏性，我们需要零条件均值假设 E(u|x1, x2,…,xk) = 0→x的任意函数都与u无关
为了得到一致性，我们仅需要较弱的假定：零 均值和零相关:E(u) = 0 ,Cov(xj,u) = 0, for j = 1, 2, …, k. →每一个xj都与u无关。
plimbˆj bj
n
计量经济学导论
8
OLS的一致性
在高斯-马尔科夫假定下，OLS估计值是一致 且无偏的。
类似的，我们可以像无偏性一样证明一致性， 为此需要引入概率极限。
计量经济学导论
9
简单回归中证明一致性
bˆ1 xi1 x1 yi
xi1 x1 2
xi1 x1 b 0 b 1 xi1 u i
where Covx1,x2 Varx1
计量经济学导论
13
渐进偏误
渐进偏误的方向与遗漏变量偏误的方向类似。 两者的区别在于，渐进偏误使用总体方差和协
方差，遗漏变量偏误则基于样本对应量（以x 的样本值为条件） 不一致性是大样本问题，即使增加数据量，不 一致性问题仍然存在。 如果X1与X2不相关，则为不一致估计量；如 果相关，则为一致估计量。
bbb b n a r r 8 6 0 1 p c n v 4 p t i m e 8 6 5 q e m 8 6 u
u01pcnv2avgsen3totim e4ptim e865qem 86v
R u 20.0015, L M 27250.00154.094.61q,10% ,x2,
Px2 24.090.129
误差正态分布意味着，给定x情况下，y服从正 态分布。
计量经济学导论
16
大样本推断
不满足正态性的情形相当普遍。任何偏向的变 量，如工资、被逮捕次数、储蓄等，不可能是 正态分布的。（正态分布意味着对称分布）
注意：正态性假定在OLS的最优线性无偏性中 并非必要的，仅仅是影响推断。
计量经济学导论
17
一致性是对一个估计量最起码的要求。在无法 满足无偏性的情况下，我们可以搜集尽可能多 的样本，即使n→ ∞,参数估计值的分布将逼近 真实参数值。
计量经济学导论
4
一致性的正式定义
令Wn是基于样本Y1,Y2, ,YN的参数的估计值， 则Wn是的一致估计量，对于任意一个正数 0,
PWn 0，当n
否则，Wn不是的一致估计量。 当Wn是一致时，我们说是Wn的概率极限，记为：
如果我们能够搜集到所需要的样本数据，我们就能让
估计量任意接近于bj。
一致性是统计学或计量经济学中对所用估计量的一个起 码要求。
计量经济学导论
6
当样本容量增加时的样本分布
计量经济学导论
7
定理5.1 OLS的一致性 在假定MLR.1~MLR.4下，对所有的j=0,1, ,k,OLS
估计量bˆj都是bj的一致估计。