计量经济学课件-3.2多元线性回归模型的参数估计

即
(XXβ ˆ)XY
由于X’X满秩，故有
β ˆ(XX)1XY
将上述过程用矩阵表示如下：
即求解方程组： β ˆ(YXβ ˆ)(YXβ ˆ)0
得到：
β ˆ(Y Y β ˆX Y Y X β ˆ β ˆX X β ˆ)0
β ˆ(Y Y 2Y X β ˆβ ˆX X β ˆ)0 X Y X X β ˆ0
Y ˆ i ˆ 0 ˆ 1 X 1 i ˆ 2 X 2 i ˆ k X i Ki i=1,2…n
根据最小二乘原理，参数估计值应该是下列方程组的解
ˆ 0
Q
0
ˆ 1
Q
0
ˆ 2
Q
0
ˆ k
Q
0
n
n
其中 Q ei2 (Yi Yˆi)2
i1
i1
n
2
(Y i (ˆ0ˆ1X 1 iˆ2X 2 i ˆkX k)i )
其矩阵形式为
yxβ ˆ e
其中 ： y 1
y
y2
yn
x11 x21
x
x12 x1n
x 22 x2n
xk1
xk2
x kn
ˆ 1
βˆ
ˆ 2
ˆ k
在离差形式下，参数的最小二乘估计结果为
β ˆ (xx)1xY
ˆ0 Y ˆ1 X 1 ˆkX k
⃟随机误差项的方差的无偏估计
X (Y X β)X μ
求期望 :
E (X (Y X β )0
E(X (YX β )0
称为原总体回归方程的一组矩条件，表明了原总 体回归方程所具有的内在特征。
由此得到正规方程组
1X(YXβ ˆ)0 n
XX ' βˆ XY '
解此正规方程组即得参数的MM估计量。
易知MM估计量与OLS、ML估计量等价。
i 1
于是得到关于待估参数估计值的正规方程组：
((ˆˆ00(ˆ0ˆˆ11XX1ˆ1i1iX1ˆiˆ22i XXˆ222iiX2i ˆˆkkXXˆkkkii))XXXki12)ii
Yi Yi X1i Yi X2i
(ˆ0 ˆ1X1i ˆ2X2i ˆkXki)Xki Yi Xki
解 该 （ k+1） 个 方 程 组 成 的 线 性 代 数 方 程 组 ， 即 可 得 到 (k+1)个 待 估 参 数 的 估 计 值 j,j0,1,2,,k。
例3.2.2 在例2.5.1中，已建立了中国居民人均消 费一元线性模型。这里我们再考虑建立多元线性模 型。
解释变量：人均GDP：GDPP 前期消费：CONSP(-1)
估计区间：1979~2000年
Eviews软件估计结果
LS // Dependent Variable is CONS Sample(adjusted): 1979 2000 Included observations: 22 after adjusting endpoints
1
e 1 2
2
(Yi
(
ˆ0
ˆ1X1i
ˆ2
X2i
ˆk
Xki
))2
(2
)
n 2
n
1
n (2 )2
e 1 2
2
(YXβ ˆ )(YXβ ˆ )
n
即为变量Y的似然函数
对数似然函数为
L*L(nL)
nL(n2)212(YXβ ˆ)(YXβ ˆ)
对对数或然函数求极大值，也就是对
(YX Baidu Nhomakorabea ˆ)(YX β ˆ)
XYXXβ ˆ
于是： β ˆ(XX)1XY
例3.2.1：在例2.1.1的家庭收入-消费支出例中，
1 X 1
(X 'X ) X 1 1
1 X 2
X 1n 1 1 X X n 2
n X i
X X i2 i 21105 52 0 31 0 65 50000
⃟正规方程组 的另一种写法
对于正规方程组
XYXXβ ˆ
X X β ˆ X eX X β ˆ
于是
Xe0
(*)
或
ei 0
(**)
Xjiei 0
i
(*)或（**）是多元线性回归模型正规方程组的另一 种写法
⃟样本回归函数的离差形式
y i ˆ 1 x 1 i ˆ 2 x 2 i ˆ k x k ie i i=1,2…n
正规方程组的矩阵形式
n
X1i
Xki
X1i X1 2 i
XkX i 1i
X X X 1iX k k 2kii i ˆˆˆ1 k 0 X X 11 k11
1 X12 Xk2
1 Y1 X1nY2 X k n Y n
Y1
XYX 11
1 X2
X 1nY Y n 2
XYiiYi3195466784400
可求得 (X X )1 00 .7 .02020 1. 3 63 0.E 0 50 0 0 73
于是
β ˆ ˆ ˆ 1 2 0 0 .7 .02 0 1 . 3 2 0 0 .E 0 5 6 0 3 0 3 7 1 09 5 3 6 6 4 0 1 7 .7 .1 8 0 4 7 7 4 3 7
= 2 (X X )-1
其中利用了β ˆ(XX)1XY
(XX)1X(Xβμ) β(XX)1Xμ
和 E(μ μ )2I
五、样本容量问题
⒈ 最小样本容量
所谓“最小样本容量”，即从最小二乘原理和最 大或然原理出发，欲得到参数估计量，不管其质量 如何，所要求的样本容量的下限。
样本最小容量必须不少于模型中解释变量的数目 （包括常数项）,即
四、参数估计量的性质
在满足基本假设的情况下，其结构参数的普通最
小二乘估计、最大或然估计及矩估计仍具有： 线性性、无偏性、有效性。
同时，随着样本容量增加，参数估计量具有： 渐近无偏性、渐近有效性、一致性。
1、线性性
β ˆ(X X ) 1X Y CY
其中,C=(X’X)-1 X’ 为一仅与固定的X有关的行向量
可以证明，随机误差项的方差的无偏估计
量为
ˆ2 ei2 ee nk1 nk1
*二、最大似然估计
对于多元线性回归模型 Y i 0 1 X 1 i 2 X 2 i k X k ii
易知
Yi ~N(Xiβ,2)
Y的随机抽取的n组样本观测值的联合概率
L(β ˆ, 2) P(Y1,Y2, ,Yn )
矩方法是工具变量方法(Instrumental Variables,IV)和广 义矩估计方法(Generalized Moment Method, GMM)的 基础
• 在矩方法中关键是利用了
E(X’)=0
• 如果某个解释变量与随机项相关，只要能找到1个 工具变量，仍然可以构成一组矩条件。这就是IV。 • 如果存在＞k+1个变量与随机项不相关，可以构成 一组包含＞k+1方程的矩条件。这就是GMM。
§3.2 多元线性回归模型的估计
估计方法：OLS、ML或者MM 一、普通最小二乘估计 *二、最大似然估计 *三、矩估计 四、参数估计量的性质 五、样本容量问题 六、估计实例
一、普通最小二乘估计
对于随机抽取的n组观测值 ( Y i,X j) ii ,1 ,2 , ,n ,j 0 ,1 ,2 , k
如果样本函数的参数估计值已经得到，则有：
n k+1 因为，无多重共线性要求：秩(X)=k+1
2、满足基本要求的样本容量
从统计检验的角度： n30 时，Z检验才能应用； n-k8时, t分布较为稳定
一般经验认为:
当n30或者至少n3(k+1)时，才能说满足模型 估计的基本要求。
模型的良好性质只有在大样本下才能得 到理论上的证明
六、多元线性回归模型的参数估计实例
2、无偏性
E(βˆ) E((XX)1 XY) E((XX)1 X(Xβ μ)) β (XX)1 E(Xμ) β
这里利用了假设: E(X’)=0
3、有效性（最小方差性）
=E (X X )-1 X X (X X )-1
=(X X )-1 X E ( )X (X X )-1
=(X X )-1 X 2 IX (X X )-1
Variable
Coefficient
Std. Error
t-Statistic
C GDPP CONSP(-1)
120.7000 0.221327 0.451507
36.51036 0.060969 0.170308
3.305912 3.630145 2.651125
R-squared Adjusted R-squared S.E. of regression Sum squared resid Log likelihood
求极小值。
因此，参数的最大似然估计为
β ˆ(XX)1XY
结果与参数的普通最小二乘估计相同
*三、矩估计（Moment Method, MM）
OLS估计是通过得到一个关于参数估计值的正
规方程组
(XXβ ˆ)XY
并对它进行求解而完成的。
该正规方程组 可以从另外一种思路来导:
YX β μ
X Y X X β X μ
0.995403 0.994920 26.56078 13404.02 -101.7516
Mean dependent var S.D. dependent var Akaike info criterion Schwarz criterion F-statistic
Durbin-Watson stat 1.278500
Prob(F-statistic)
Prob. 0.0037 0.0018 0.0158 928.4946 372.6424 6.684995 6.833774 2057.271 0.000000