计量经济学第三章完整课件

§3.2 ols:参数的估计
估计方法：OLS、ML或者MM 一、普通最小二乘估计 二、参数估计量的性质 三、样本容量问题
一、普通最小二乘估计
对于随机抽取的n组观测值 (Yi , X ji ), i 1,2, , n, j 0,1,2, k
如果样本函数的参数估计值已经得到，则有：
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X Ki
ˆ 2
e
2 i
e e
n k 1 n k 1
2、参数估计量的性质
在满足基本假设的情况下，其结构参数的普通
最小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
1、线性性
βˆ (XX)1 XY CY
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
估计区间：1979~2000年
Eviews软件估计结果
LS // Dependent Variable is CONS Sample(adjusted): 1979 2000
Included observations: 22 after adjusting endpoints
Variable
Coefficient
解该（k+1）个方程组成的线性代数方程组，即可得 到 (k+1)个待估参数的估计值 j , j 0,1,2, , k 。
正规方程组的矩阵形式
n
X 1i
X 1i
X
2 1i
X ki
X ki X 1i
X X 1i
X
ki
X
2 ki
ki
ˆ 0 ˆ1
ˆ k
1 X 11 X k1
S.D. dependent var
S.E. of regression Sum squared resid
26.56078 13404.02
Akaike info criterion Schwarz criterion
Log likelihood
-101.7516
F-statistic
Durbin-Watson stat 1.278500
假设2，随机误差项具有零均值、同方差及不 序列相关性
E(i ) 0
Var(i ) E(i2 ) 2
Cov(i , j ) E(i j ) 0
i j i, j 1,2, , n
假设3，解释变量与随机项不相关
Cov( X ji , i ) 0
j 1,2 , k
假设4，随机项满足正态分布
其中 ：
y1
x11 x21 xk1
y
y2 yn
x
x12 x1n
x22 x2n
xk2
xkn
ˆ1
βˆ
ˆ2
ˆk
在离差形式下，参数的最小二乘估计结果为
βˆ (xx)1 xY
ˆ0 Y ˆ1 X1 ˆk X k
⃟随机误差项的方差的无偏估计
可以证明，随机误差项的方差的无偏估计量为
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理 和最大或然原理出发，欲得到参数估计量，不管 其质量如何，所要求的样本容量的下限。
样本最小容量必须不少于模型中解释变量 的数目（包括常数项）,即
n k+1 因为，无多重共线性要求：秩(X)=k+1
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定
第三章 多元线性回归模型
• 多元线性回归模型假定 • OLS:参数估计\检验\预测
§3.1 多元线性回归模型假定
一、概念
多元线性回归模型:表现在线性回归模型中的 解释变量有多个。
一般表现形式：
Yi 0 1 X 1i 2 X 2i k X ki i
i=1,2…,n
其中:k为解释变量的数目，j称为回归参数
1 X 12 Xk2
1 Y1
X 1n Y2
X kn
Yn
即
(XX)βˆ XY
由于X’X满秩，故有 βˆ (XX)1 XY
将上述过程用矩阵表示如下：
即求解方程组：
βˆ (Y
Xβˆ )(Y
Xβˆ )
0
得到：
βˆ (YY βˆ XY YXβˆ βˆ XXβˆ ) 0 βˆ (YY 2YXβˆ βˆ XXβˆ ) 0 XY XXβˆ 0
ei称为残差或剩余项(residuals)，可看成是总
体回归函数中随机扰动项i的近似替代。
样本回归函数的矩阵表达:
Yˆ Xβˆ
或
Y Xβˆ e
其中：
ˆ0
βˆ
ˆ1
ˆk
e1
e
e2 en
二、多元线性回归模型的基本假定
假设1，解释变量是非随机的或固定的，且各 X之间互不相关（无多重共线性）。
假设5，样本容量趋于无穷时，各解释变量的方差趋于有 界常数，即n∞时，
1
n
x
2 ji
1 n
( X ji X j )2 Q j
或
1 xx Q n
其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量 的离差为元素组成的nk阶矩阵
x11 xk1 x
x1n xkn
假设6，回归模型的设定是正确的。
n
,
1
)
cov(1, n ) 2
var( n )
0
0 2I
2
假设3，E(X’)=0，即
i E(i )
E
X 1i i
X
1i E(i
)
0
X Ki i X Ki E(i )
假设4，向量 有一多维正态分布，即
μ~ N(0, 2I) 同一元回归一样，多元回归还具有如下两个重要假设：
i ~ N (0, 2 )
上述假设的矩阵符号表示 式：
假设1，n(k+1)矩阵X是非随机的，且X的秩=k+1，
即X满秩。 假设2，
E (μ)
E
1
E(1
)
0
n E( n )
E (μμ )
E
1
1
n
n
E
12
n
1
1 n
2 n
var(1 )
cov(
XY XXβˆ
于是
XXβˆ Xe XXβˆ
Xe 0
(*)
或
ei 0
(**)
X ji ei 0
i
(*)或（**）是多元线性回归模型正规方程组的另一 种写法
⃟样本回归函数的离差形式
yi ˆ1x1i ˆ2 x2i ˆk xki ei 其矩阵形式为
i=1,2…n
y xβˆ e
Std. Error
t-Statistic
C
120.7000
36.51036
3.305912
GDPP CONSP(-1)
0.221327 0.451507
0.060969 0.170308
3.630145 2.651125
R-squared
0.995403
Mean dependent var
Adjusted R-squared 0.994920
Yi X iYi
15674 39468400
(XX) 1
0.7226 0.0003
0.0003 1.35 E 07
于是
βˆ
ˆ1 ˆ 2
0.7226 0.0003
0.0003 1.35E 07
15674 39648400
103 .172 0.7770
⃟正规方程组 的另一种写法
对于正规方程组
易知
Yi ~ N (Xiβ , 2 )
Y的随机抽取的n组样本观测值的联合概率
L(βˆ , 2 ) P(Y1,Y2 , ,Yn )
1
e
1 2
2
(Yi
(
ˆ0
ˆ1 X1i
ˆ2
X
2i
ˆk
X
ki
))2
(2
)
n 2
n
1
1 (YXβˆ )(YXβˆ )
e 2 2
(2
Leabharlann Baidu
)
n 2
n
即为变量Y的或然函数
对数或然函数为
由此得到正规方程组
X' Xβˆ X' Y
解此正规方程组即得参数的MM估计量。 易知MM估计量与OLS、ML估计量等价。
矩方法是工具变量方法(Instrumental Variables,IV) 和广义矩估计方法(Generalized Moment Method, GMM)的基础
• 在矩方法中关键是利用了
方程表示：各变量X值固定时Y的平均响应。
j也被称为偏回归系数，表示在其他解释变
量保持不变的情况下，Xj每变化1个单位时，Y 的均值E(Y)的变化;
或者说j给出了Xj的单位变化对Y均值的“直
接”或“净”（不含其他变量）影响。
总体回归模型n个随机方程的矩阵表达式为 Y Xβ μ
其中
1 X 11 X 1 X 12
2、无偏性
E(βˆ ) E((XX)1 XY) E((XX)1 X(Xβ μ )) β (XX)1 E(Xμ ) β
这里利用了假设: E(X’)=0
3、有效性（最小方差性）
其中利用了
βˆ (XX)1 XY
(XX) 1 X(Xβ μ)
β (XX) 1 Xμ
和
E(μμ) 2I
3、样本容量问题
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1i X1ˆiˆ22i XXˆ222ii
X 2i ˆk ˆk X ki ˆk X ki
X ki) ) X 1i ) X 2i
Yi Yi X 1i Yi X 2i
(ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ) X ki Yi X ki
XY XXβˆ
于是： βˆ (XX)1 XY
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
(X'X)
1 X1
1 X2
1
1 Xn
11
X 1
X 2
Xn
n Xi
Xi
X
2 i
10 21500
21500 53650000
XY
1 X1
可求得
1 X2
Y1
1 X n
Y2 Yn
一般经验认为: 当n30或者至少n3(k+1)时，才能说满足
模型估计的基本要求。
模型的良好性质只有在大样本下才能得 到理论上的证明
多元线性回归模型的参数估计实例
例3.2.2 在例2.5.1中，已建立了中国居 民人均消费一元线性模型。这里我们再考 虑建立多元线性模型。
解释变量：人均GDP：GDPP 前期消费：CONSP(-1)
Prob(F-statistic)
Prob. 0.0037 0.0018 0.0158 928.4946 372.6424 6.684995 6.833774 2057.271 0.000000
资料、最大或然估计
对于多元线性回归模型
Yi 0 1 X 1i 2 X 2i k X ki i
L* Ln(L)
nLn(
2 )
1 2 2
(Y
Xβˆ )
(Y
Xβˆ )
对对数或然函数求极大值，也就是对
(Y Xβˆ )(Y Xβˆ )
求极小值。 因此，参数的最大或然估计为
βˆ (XX)1 XY
结果与参数的普通最小二乘估计相同
资料、矩估计（Moment Method, MM）
OLS估计是通过得到一个关于参数估计值的正 规方程组
(XX)βˆ XY
并对它进行求解而完成的。
该正规方程组 可以从另外一种思路来导:
求期望 :
Y Xβμ
XY XXβ Xμ
X(Y Xβ) Xμ
E(X(Y Xβ) 0
E(X(Y Xβ) 0
称为原总体回归方程的一组矩条件，表明了原总 体回归方程所具有的内在特征。
1 X(Y Xβˆ ) 0 n
1 X 1n
X 21 X 22
X 2n
X k1
X
k
2
X
kn
n( k 1)
0
1
β
2
k (k 1)1
1
μ
2
n
n1
样本回归函数：用来估计总体回归函数
Yˆi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki
其随机表示式:
Yi ˆ0 ˆ1 X1i ˆ2 X 2i ˆki X ki ei
（regression coefficient）。
习惯上：把常数项看成为一虚变量的系数，该 虚变量的样本观测值始终取1。这样：
模型中解释变量的数目为（k+1）
Yi 0 1 X 1i 2 X 2i k X ki i
也被称为总体回归函数的随机表达形式。它 的 非随机表达式为:
E(Yi | X1i , X 2i , X ki ) 0 1 X1i 2 X 2i k X ki
i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
ˆ
0
Q
0
ˆ1
Q
0
ˆ
2
Q
0
ˆ k
Q
0
其中
n
n
Q ei2 (Yi Yˆi ) 2
i 1
i 1
n
2
(Yi (ˆ0 ˆ1 X 1i ˆ2 X 2i ˆk X ki ))
i 1
于是得到关于待估参数估计值的正规方程组：
E(X’)=0
• 如果某个解释变量与随机项相关，只要能找到1 个工具变量，仍然可以构成一组矩条件。这就是 IV。
• 如果存在＞k+1个变量与随机项不相关，可以构 成一组包含＞k+1方程的矩条件。这就是GMM。