2.2 广义矩估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
ˆ ˆ ˆ ˆ y i ( 0 1 x1i 2 x 2i 3 x3i ) 0 ˆ ˆ ˆ ˆ y i x1i ( 0 1 x1i 2 x 2i 3 x3i ) x1i ˆ ˆ ˆ ˆ y i z1i ( 0 1 x1i 2 x 2i 3 x3i ) z1i y z ( x x x ) z i 2i ˆ0 ˆ1 1i ˆ2 2i ˆ3 3i 2i ˆ ˆ ˆ ˆ y i x3i ( 0 1 x1i 2 x 2i 3 x3i ) x3i
1 z1i ei m1 ( ) n i m 2 ( ) 1 z 2 i ei m( ) n i m ( ) 1 k n z ki ei i
该方程组 是如何得 到的？
如何从矩条 件出发得到 该方程组？
如何求 解该方 程组？
yi 0 1 x1i 2 x2i 3 x3i i
i 1,2,, n
• 如果x2为随机变量，z1为它的工具变量，IV的正 规方程组为：
ˆ ˆ ˆ ˆ y i ( 0 1 x1i 2 x 2i 3 x3i ) 0 ˆ ˆ ˆ ˆ yi x1i ( 0 1 x1i 2 x 2i 3 x3i ) x1i 0 ˆ ˆ ˆ ˆ yi z1i ( 0 1 x1i 2 x 2i 3 x3i ) z1i 0 ˆ ˆ ˆ ˆ yi x3i ( 0 1 x1i 2 x 2i 3 x3i ) x3i 0
为什么将x2 换为z1？
4个等于0 的矩条件， 求解4个 参数
该方程组是如 何得到的？
如何求 解该方 程组？
yi 0 1 x1i 2 x2i 3 x3i i
i 1,2,, n
• 如果x2为随机变量，z1、z2 为它的工具变量， GMM关于参数估计量的矩条件为：
• Arg , Argument, 自变量、宗数
• W矩阵的阶数：J×J
2、以多元线性模型为例
yi 0 1 x1i 2 x2i 3 x3i i i 1,2,, n
• 如果满足所有基本假设，OLS的正规方程组为：
ˆ ˆ ˆ ˆ yi ( 0 1 x1i 2 x 2i 3 x3i ) 0 ˆ ˆ ˆ ˆ y i x1i ( 0 1 x1i 2 x 2i 3 x3i ) x1i 0 yi x2i (ˆ0 ˆ1 x1i ˆ2 x2i ˆ3 x3i ) x2i 0 ˆ ˆ ˆ ˆ yi x3i ( 0 1 x1i 2 x 2i 3 x3i ) x3i 0
E (Y ) X
ˆ ˆ 2 M
( 2)
ˆ (1) ) 2 X ( 2) ( X (1) ) 2 (M
总体参数（期 望和方差）的 估计量
⒊参数的广义矩估计
X (1) M (1) ( 1 , 2 , , r ) 0 X ( 2) M ( 2) ( 1 , 2 ,, r ) 0 X ( r ) M ( r ) ( 1 , 2 , , r ) 0
4、权矩阵的选择
• 关于权矩阵的选择，是GMM估计方法的一个核心 问题。
ˆ arg min (m( )'W 1 m( ))
权矩阵可根据每个样本矩条件估计的精确程度来设 置（用方差来度量）。例如，对估计较精确的矩条 件给予较大的权重，对估计较不精确的矩条件给予 较小的权重。
1 W 2 n
m( ) 0
工具变量估计的 正规方程组。
• 工具变量估计正规方程组的解就是
min (m( )' m( ))
一阶极值条件的解。
• 如果工具变量J>k，并且对不同的矩条件加权， 考虑随机项存在异方差和序列相关
ˆ arg min (m( )'W 1 m( ))
1 z1i ei m1 ( ) n i m2 ( ) 1 z 2i ei m( ) n i m ( ) 1 J n z Ji ei i
• GMM估计包容了许多常用的估计方法，普通最小 二乘法、工具变量法、最大似然法，甚至二阶段 最小二乘法都是它的特例。
• 技术方面的优越性
– 无须要求正规方程组中方程数目与待估参数数目相等。 – 方便地处理违背基本假设的问题，例如异方差和序列 相关。 – 无须进行高阶矩阵的求逆运算。
⒉参数的矩估计（补充）
• 若随机误差项存在自相关，Newey和West(1987) 提出权矩阵的估计量为：
L 1 1 ˆ W S ( S 0 w(l )( S l S l' )) n n l 1
l w(l ) 1 L 1
Newey and West, 1987: A Simple positive semidefinite, heteroskedasticity and Autocorrelation consisitent covariance matrix, Econometrica 55,703-708
§2.2 广义矩估计
（GMM, Generalized Method of Moments）
一、广义矩估计的概念
二、广义矩估计及其性质
三、正交性条件和过度识别限制的检验
四、关于2SLS与GMM关系的讨论
关于GMM的主要文献
• 关于GMM最早的系统的描述 L. Hansen, 1982: Large Sample Properties of GMM Estimation, Econometrica 50, p1029-1054 • 关于GMM 的总结 A. Pagan and M. Wickens, 1989: A Survey of Some Recent Economertic Methods, Economic Journal 99, p962-1025 • 关于GMM发展的讨论 R. Davidson and J. MacKinnon, 1993: Estimation and Inference in Econometrics, New York Oxford Univ. Press
矩条件数等于待 估参数数目
• 如果选择的矩估计方程个数多于待估参数个数。 使得欧氏距离函数 达到最小：
Q( ) ( X (i ) M (i ) ( )) 2
i 1 r
二、计量经济学模型的广义矩估计 及其性质
⒈ 估计方法的原理
y i h( X i , ) i
i 1,n
• 如果l=K，这时Z’X为KK方阵且可逆。于是： β=(Z’X)-1W-1(X’Z)-1X’ZWZ’Y =(Z’X)-1Z’Y 可见，βGMM=βIV, 这时W的选择对结果无影响。 • 如果l>K，这时根据W选取的不同，有不同的解 βGMM，但只要W是对称正定矩阵，估计结果都满 足一致性。 • 尽管不同的权矩阵W都可得到的一致估计量，但 估计量的方差矩阵可能是不同的。因此，可以选 择最佳的W，以使估计量更有效(有小的方差)。
X ( 2)
1 n 2 yi n i 1
样本的一阶矩 和二阶矩
ˆ M (1) E (Y ) X (1)
1 n yi n i 1
ˆ M
( 2)
E (Y 2 ) X ( 2)
(1)
1 n 2 yi n i 1
(1)
总体一阶矩和总体 二阶矩的估计量
ˆ ˆ M
• Hansen’s(1982)提出最佳的权矩阵为：
W Asy.Var[m( )]
1 n
2
Cov[ Z i i , Z j j ]
i j
2 n i j
1
' ij Z i Z j
1 n
2
Z ' Z
L. Hansen, 1982: Large Sample Properties of GMM Estimation, Econometrica 50, p1029-1054
x
i 1
n
n
ji
i 0
j 1,2,, k
j 1,2, , k
x
i 1
ji
( y i h( X i , )) 0
• 一组矩条件，普通最小二乘估计的正规方程组。
y i h( X i , ) i
i 1,n
z
i 1
n
n
ji i
0
j 1,2,, k
一、广义矩估计的概念
1、概念
• 广义矩估计方法是基于模型满足的一些矩条件而 形成的一种参数估计方法，是矩估计方法的一般 化。如果模型的设定是正确的，则总能找到该模 型实际满足的若干矩条件而采用GMM估计。
• 广义矩估计方法发展的导向:
– 解释变量的内生性问题。 – 模型的过度识别问题。
– 模型随机项分布的设定问题。
• 若随机误差项存在异方差且不存在自相关， White(1980)提出权矩阵的估计量为：
ˆ 1S W 0 n
1 ~ e z z' ~ S l ei i l i i l n i l 1
n
L=0
White, 1980: A heteroskedasticity-consistent convariance matrix and direct test for heteroskedaticity, Econometrica 48, 817-838 Eviews 中GMM方程设定页面选择“cross section”，即为该情况。
j 1,2,, k
z
i 1
ji
( yi h( X i , )) 0
• 一组矩条件，工具变量估计的正规方程组。
e( yi , X i ; ) yi h( X i , )
1 1 m( ) Z i e( y i , X i ; ) Z ' e( y , X ; ) n i n
• 参数的矩估计就是用样本矩去估计总体矩。
– 用样本的一阶原点矩作为期望的估计量。 – 用样本的二阶中心矩作为方差源自文库估计量。
– 从样本观测值计算样本一阶（原点）矩和二阶（原点） 矩，然后去估计总体一阶矩和总体二阶矩，再进一步计 算总体参数（期望和方差）的估计量。
X (1)
1 n yi n i 1
该方程组是如何 得到的？
0 0 0 0
5个等于0的 矩条件，求 解4个参数
如何求 解该方 程组？
3、GMM估计量
• min Q(β)=[(1/n)Z’(Y-Xβ)]’W[(1/n)Z’(Y-Xβ)]的1 阶极值条件（偏导为0）： -2X’ZWZ’Y+2X’ZWZ’Xβ=0 X’ZWZ’Xβ=X’ZWZ’Y 这是一个有K个未知参数，K个方程的线性方程组。 • 当lK时，Z’X是一个列满秩于K的矩阵。从而 (X’ZWZ’X)KK非奇异，于是有： β=(X’ZWZ’X)-1X’ZWZ’Y 即为原模型Y=X+的一个广义矩估计量。
Cov[Z
i i j
i
, Z j j ]
• 如此构造权矩阵体现了上述设置权矩阵的原则。
• 权矩阵调整的是J个矩条件之间的关系，而不是n 个样本点之间的关系。
• W应是[(1/n)Var(Z’)]-1的一致估计。
• 权矩阵的阶
ˆ arg min( m( )(1 J ) W(J1 J ) m( ) ( J 1) )
1 z1i ei m1 ( ) n i m 2 ( ) 1 z 2 i ei m( ) n i m ( ) 1 k n z ki ei i
该方程组 是如何得 到的？
如何从矩条 件出发得到 该方程组？
如何求 解该方 程组？
yi 0 1 x1i 2 x2i 3 x3i i
i 1,2,, n
• 如果x2为随机变量，z1为它的工具变量，IV的正 规方程组为：
ˆ ˆ ˆ ˆ y i ( 0 1 x1i 2 x 2i 3 x3i ) 0 ˆ ˆ ˆ ˆ yi x1i ( 0 1 x1i 2 x 2i 3 x3i ) x1i 0 ˆ ˆ ˆ ˆ yi z1i ( 0 1 x1i 2 x 2i 3 x3i ) z1i 0 ˆ ˆ ˆ ˆ yi x3i ( 0 1 x1i 2 x 2i 3 x3i ) x3i 0
为什么将x2 换为z1？
4个等于0 的矩条件， 求解4个 参数
该方程组是如 何得到的？
如何求 解该方 程组？
yi 0 1 x1i 2 x2i 3 x3i i
i 1,2,, n
• 如果x2为随机变量，z1、z2 为它的工具变量， GMM关于参数估计量的矩条件为：
• Arg , Argument, 自变量、宗数
• W矩阵的阶数：J×J
2、以多元线性模型为例
yi 0 1 x1i 2 x2i 3 x3i i i 1,2,, n
• 如果满足所有基本假设，OLS的正规方程组为：
ˆ ˆ ˆ ˆ yi ( 0 1 x1i 2 x 2i 3 x3i ) 0 ˆ ˆ ˆ ˆ y i x1i ( 0 1 x1i 2 x 2i 3 x3i ) x1i 0 yi x2i (ˆ0 ˆ1 x1i ˆ2 x2i ˆ3 x3i ) x2i 0 ˆ ˆ ˆ ˆ yi x3i ( 0 1 x1i 2 x 2i 3 x3i ) x3i 0
E (Y ) X
ˆ ˆ 2 M
( 2)
ˆ (1) ) 2 X ( 2) ( X (1) ) 2 (M
总体参数（期 望和方差）的 估计量
⒊参数的广义矩估计
X (1) M (1) ( 1 , 2 , , r ) 0 X ( 2) M ( 2) ( 1 , 2 ,, r ) 0 X ( r ) M ( r ) ( 1 , 2 , , r ) 0
4、权矩阵的选择
• 关于权矩阵的选择，是GMM估计方法的一个核心 问题。
ˆ arg min (m( )'W 1 m( ))
权矩阵可根据每个样本矩条件估计的精确程度来设 置（用方差来度量）。例如，对估计较精确的矩条 件给予较大的权重，对估计较不精确的矩条件给予 较小的权重。
1 W 2 n
m( ) 0
工具变量估计的 正规方程组。
• 工具变量估计正规方程组的解就是
min (m( )' m( ))
一阶极值条件的解。
• 如果工具变量J>k，并且对不同的矩条件加权， 考虑随机项存在异方差和序列相关
ˆ arg min (m( )'W 1 m( ))
1 z1i ei m1 ( ) n i m2 ( ) 1 z 2i ei m( ) n i m ( ) 1 J n z Ji ei i
• GMM估计包容了许多常用的估计方法，普通最小 二乘法、工具变量法、最大似然法，甚至二阶段 最小二乘法都是它的特例。
• 技术方面的优越性
– 无须要求正规方程组中方程数目与待估参数数目相等。 – 方便地处理违背基本假设的问题，例如异方差和序列 相关。 – 无须进行高阶矩阵的求逆运算。
⒉参数的矩估计（补充）
• 若随机误差项存在自相关，Newey和West(1987) 提出权矩阵的估计量为：
L 1 1 ˆ W S ( S 0 w(l )( S l S l' )) n n l 1
l w(l ) 1 L 1
Newey and West, 1987: A Simple positive semidefinite, heteroskedasticity and Autocorrelation consisitent covariance matrix, Econometrica 55,703-708
§2.2 广义矩估计
（GMM, Generalized Method of Moments）
一、广义矩估计的概念
二、广义矩估计及其性质
三、正交性条件和过度识别限制的检验
四、关于2SLS与GMM关系的讨论
关于GMM的主要文献
• 关于GMM最早的系统的描述 L. Hansen, 1982: Large Sample Properties of GMM Estimation, Econometrica 50, p1029-1054 • 关于GMM 的总结 A. Pagan and M. Wickens, 1989: A Survey of Some Recent Economertic Methods, Economic Journal 99, p962-1025 • 关于GMM发展的讨论 R. Davidson and J. MacKinnon, 1993: Estimation and Inference in Econometrics, New York Oxford Univ. Press
矩条件数等于待 估参数数目
• 如果选择的矩估计方程个数多于待估参数个数。 使得欧氏距离函数 达到最小：
Q( ) ( X (i ) M (i ) ( )) 2
i 1 r
二、计量经济学模型的广义矩估计 及其性质
⒈ 估计方法的原理
y i h( X i , ) i
i 1,n
• 如果l=K，这时Z’X为KK方阵且可逆。于是： β=(Z’X)-1W-1(X’Z)-1X’ZWZ’Y =(Z’X)-1Z’Y 可见，βGMM=βIV, 这时W的选择对结果无影响。 • 如果l>K，这时根据W选取的不同，有不同的解 βGMM，但只要W是对称正定矩阵，估计结果都满 足一致性。 • 尽管不同的权矩阵W都可得到的一致估计量，但 估计量的方差矩阵可能是不同的。因此，可以选 择最佳的W，以使估计量更有效(有小的方差)。
X ( 2)
1 n 2 yi n i 1
样本的一阶矩 和二阶矩
ˆ M (1) E (Y ) X (1)
1 n yi n i 1
ˆ M
( 2)
E (Y 2 ) X ( 2)
(1)
1 n 2 yi n i 1
(1)
总体一阶矩和总体 二阶矩的估计量
ˆ ˆ M
• Hansen’s(1982)提出最佳的权矩阵为：
W Asy.Var[m( )]
1 n
2
Cov[ Z i i , Z j j ]
i j
2 n i j
1
' ij Z i Z j
1 n
2
Z ' Z
L. Hansen, 1982: Large Sample Properties of GMM Estimation, Econometrica 50, p1029-1054
x
i 1
n
n
ji
i 0
j 1,2,, k
j 1,2, , k
x
i 1
ji
( y i h( X i , )) 0
• 一组矩条件，普通最小二乘估计的正规方程组。
y i h( X i , ) i
i 1,n
z
i 1
n
n
ji i
0
j 1,2,, k
一、广义矩估计的概念
1、概念
• 广义矩估计方法是基于模型满足的一些矩条件而 形成的一种参数估计方法，是矩估计方法的一般 化。如果模型的设定是正确的，则总能找到该模 型实际满足的若干矩条件而采用GMM估计。
• 广义矩估计方法发展的导向:
– 解释变量的内生性问题。 – 模型的过度识别问题。
– 模型随机项分布的设定问题。
• 若随机误差项存在异方差且不存在自相关， White(1980)提出权矩阵的估计量为：
ˆ 1S W 0 n
1 ~ e z z' ~ S l ei i l i i l n i l 1
n
L=0
White, 1980: A heteroskedasticity-consistent convariance matrix and direct test for heteroskedaticity, Econometrica 48, 817-838 Eviews 中GMM方程设定页面选择“cross section”，即为该情况。
j 1,2,, k
z
i 1
ji
( yi h( X i , )) 0
• 一组矩条件，工具变量估计的正规方程组。
e( yi , X i ; ) yi h( X i , )
1 1 m( ) Z i e( y i , X i ; ) Z ' e( y , X ; ) n i n
• 参数的矩估计就是用样本矩去估计总体矩。
– 用样本的一阶原点矩作为期望的估计量。 – 用样本的二阶中心矩作为方差源自文库估计量。
– 从样本观测值计算样本一阶（原点）矩和二阶（原点） 矩，然后去估计总体一阶矩和总体二阶矩，再进一步计 算总体参数（期望和方差）的估计量。
X (1)
1 n yi n i 1
该方程组是如何 得到的？
0 0 0 0
5个等于0的 矩条件，求 解4个参数
如何求 解该方 程组？
3、GMM估计量
• min Q(β)=[(1/n)Z’(Y-Xβ)]’W[(1/n)Z’(Y-Xβ)]的1 阶极值条件（偏导为0）： -2X’ZWZ’Y+2X’ZWZ’Xβ=0 X’ZWZ’Xβ=X’ZWZ’Y 这是一个有K个未知参数，K个方程的线性方程组。 • 当lK时，Z’X是一个列满秩于K的矩阵。从而 (X’ZWZ’X)KK非奇异，于是有： β=(X’ZWZ’X)-1X’ZWZ’Y 即为原模型Y=X+的一个广义矩估计量。
Cov[Z
i i j
i
, Z j j ]
• 如此构造权矩阵体现了上述设置权矩阵的原则。
• 权矩阵调整的是J个矩条件之间的关系，而不是n 个样本点之间的关系。
• W应是[(1/n)Var(Z’)]-1的一致估计。
• 权矩阵的阶
ˆ arg min( m( )(1 J ) W(J1 J ) m( ) ( J 1) )