广义矩方法33

合集下载

广义矩估计

广义矩估计

广义矩估计一、背景我们前面学了OLS 估计、工具变量估计方法,前面这几种方法都有重要假设就是需要知道分布才能估计,但是往往现实理论我们无法得到关于分布的信息,因此矩估计方法应运而生。

矩估计方法的基本思想是利用样本矩的信息组成方程组来求总体矩,以此得到渐进性质下的一致性估计量。

那么在构成方程组求解的过程中涉及识别问题和解决。

本章详细介绍矩估计方法。

矩估计方法实际应用非常广泛,应注意将矩估计与OLS 估计、工具变量估计和极大似然估计方法结合对比进行应用。

二、知识要点1,应用背景2,矩估计存在的问题(识别)3,矩正交方程和矩条件4,矩估计的属性三、要点细纲1、应用背景其基本思想是:在随机抽样中,样本统计量(在一个严格意义上,一个统计量是观察的n 维随机向量即子样1的一个(波雷尔可测)函数,且要求它不包含任何未知参数)将依概率收敛于某个常数。

这个常数又是分布中未知参数的一个函数。

即在不知道分布的情况下,利用样本矩构造方程(包含总体的未知参数),利用这些方程求得总体的未知参数。

基本定义统计量 11n m X i n i νν∑=为子样的ν阶矩(ν阶原点矩);统计量 ()11n B X X i n i νν∑-=为子样的ν阶中心矩。

子样矩的均值与方差()()()()2222EX Var X E X E X k k EX E X k k μμμοαμμ=-=--我们用到k k αμ或时假定它是存在的。

基本做法设:母体X 的可能分布族为(){},,F x θθ∈Θ,其中属于参数空间Θ的(),,,12k θθθθ=是待估计的未知参数。

假定母体分布的k 阶矩存在,则母体分布的ν阶矩 ()(),,,,112x dF x k k ναθθθθνν∞=≤≤⎰-∞ 是(),,,12k θθθθ=的函数。

对于子样(),,,12X X X n =X ,其ν阶子样矩是1,11n m X k i n i ννν=≤≤∑= 现在用子样矩作为母体矩的估计,即令:()1,,,1,2,,121n m X k i k n i ναθθθννν===∑= (1)(1)式确定了包含k 个未知参数(),,,12k θθθθ=的k 个方程式。

广义矩估计讲义

广义矩估计讲义

广义矩估计基本知识:矩方法是一种古老的估计方法。

其基本思想是:在随机抽样中,样本统计量将依概率收敛于某个常数。

这个常数又是分布中未知参数的一个函数。

在严格意义上,一个统计量是观察的n 维随机向量即子样()12,,,n X X X = X 的一个(波雷尔可测)函数,且要求它不包含任何未知参数。

基本定义:统计量 11n i i m X n νν=∑ 为子样的ν阶矩(ν阶原点矩);统计量 ()11ni i B X X n νν=-∑ 为子样的ν阶中心矩。

子样矩的均值与方差EX μ()()()2222Var X E X E X μμο=-=-k k EX α()kk E X μμ-约定,我们用到k k αμ或时假定它是存在的。

基本做法:设:母体X 的可能分布族为(){},,F x θθ∈Θ,其中来自参数空间Θ的()12,,,k θθθθ= 是待估计的未知参数。

假定母体分布的k 阶矩存在,则母体分布的ν阶矩()()12,,,,1k x dF x k νναθθθθν∞-∞=≤≤⎰是()12,,,k θθθθ= 的函数。

对于子样()12,,,n X X X = X ,其ν阶子样矩是11,1n i i m X k n ννν==≤≤∑现在用子样矩作为母体矩的估计,即令:()()1211,,,1,2,,1n k ii m X kn ννναθθθν====∑(1)式确定了包含k 个未知参数()12,,,k θθθθ= 的k 个方程式。

求解(1)式就可以得到()12,,,k θθθθ= 的一组解()12,,,k θθθθ=⋯。

因为m ν是随机变量,故解得的θ 也是随机变量。

将12,,,k θθθ⋯分别作为12,,,k θθθ 的估计称为矩方法的估计,这种求估计量的方法称为矩方法。

定理 若()F x 存在2ν阶矩,则对子样的ν阶原点矩m ν,有 [][]()221E m V a r m nνννννααα==-。

证明:[]111111n n n i i i i i E m E X E X n n n ννννναα===⎡⎤⎡⎤====⎢⎥⎣⎦⎢⎥⎣⎦∑∑∑ []()22Var m Em Em ννν=-2211ni i E X nννα=⎛⎫=- ⎪ ⎪⎝⎭∑ 2222111n i i j i i j E X X X n n ννννα=≠⎛⎫⎪=+- ⎪⎝⎭∑∑∑ 2222111ni i j i i jE X E X X nn ννννα=≠⎡⎤⎡⎤=+-⎣⎦⎣⎦∑∑∑2222111ni j i i jE X E X nn νννναα=≠⎡⎤⎡⎤=+-⎣⎦⎣⎦∑∑∑ ()2222111n n n nνννααα=+-- 2211n nνναα=-。

广义矩估计61页PPT

广义矩估计61页PPT

yi h(Xi,)i i 1,n
n
xji i 0
i1
j1,2, ,k
n
xji(yih (X i, ) )0 j1 ,2 , ,k
i 1
• 一组矩条件,普通最小二乘估计的正规方程组。
yi h(Xi,)i i 1,n
n
zji i 0
i1
of GMM Estimation, Econometrica 50, p1029-1054 • 关于GMM 的总结 A. Pagan and M. Wickens, 1989: A Survey of Some Recent Economertic Methods, Economic Journal 99, p962-1025
• 关于GMM发展的讨论
R. Davidson and J. MacKinnon, 1993: Estimation and Inference in Econometrics, New York Oxford Univ. Press
一、广义矩估计的概念
⒈几个重要的性质
• 从方法论角度
– 变量设定的相对性:直接与间接、内生与外生、随机 与确定。
• 如果满足所有基本假设,OLS的正规方程组为:




yi (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)0 yix1i (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)x1i 0 yix2i (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)x2i 0
• 如果x2为随机变量,z1为它的工具变量,IV的正 规方程组为:




yi (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)0 yix1i (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)x1i 0 yiz1i (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)z1i 0

广义矩方法

广义矩方法

广义矩方法(generalized method of moments ,GMM)的一般表述是由汉森(1982)提出的。

它是基于模型实际参数满足的一些矩条件而形成的一种参数估计方法,是普通矩估计方法的一般化。

只要模型设定正确,一般情况下都能找到该模型实际参数满足的若干矩条件而采用广义矩。

GMM 法大大突破了原有矩法的局限性,在大样本性质下效果较好,而且在相当大的范围内具有极大似然估计的优良性。

2.2广义矩概念的引出 2.2.2广义矩估计(GMM)当样本矩条件的个数与待估参数的个数相等时,使用经典的矩估计方法即可解决参数的估计问题,如上述两个例子都是选择两个样本矩来估计总体的两个参数。

若选择的矩方程个数多于估计参数的个数,经典矩方法就不再适用,于是广义矩方法应运而生。

()()()()()21,1,...,,()1,...,,()ˆ()(())i i i ri i i r X i r R M i r Mr Q XMββββββ====-∑设样本个矩为对应总体个矩为为待估总体(向量)的函数,且大于待估参数的个数,则最小二乘法参数估计量实际上是使得欧氏距离函数达到最小的参数估计量。

但是不同的矩起的作用不同,如果希望某些矩的作用大些,这就想到加权最小二乘法、广义最小二乘法,从函数空间距离角度,就是要(1)()(1)()1(,...,),(,...,),()()'()()ˆ()r r X X XM MMQ X M S X M S X M G M M Q ββββ-===---M ahalanobis 应用距离。

写成向量形式,记则马氏距离定义为:其中是关于的协方差矩阵,参数的估计就是使得达到最小的。

2.3广义矩估计法2.3.1广义矩估计的基本原理1111(,)1:()(,){(,)}0,(,,...,)11(,)(,)t ahrt t t t n n n t t w t h a h w r h R R R w h w E h w r Y w w w n nh r m w h w ββββββ-⨯⨯⨯⨯→=⨯⨯假设为一个期观察到的变量向量。

广义矩方法33

广义矩方法33
t 1
q ,T S 1 [ /( 1 q )] 序列相关, T 0,T ,T
1
四、具体场合的GMM(1)
标准线性回归模型 yt X 't t OLS回归的关键假设是回归残差t 与解释变量不 E [ ( y E ( u ) 0 t t t 0 )] 0 相关: t t 即 令 h( , wt ) xt ( yt x't ) 正交条件的个数与未知参数的个数相同,标准回 归模型可视作恰可识别的GMM形式。因为它是恰 可识别的, 的GMM估计是样本均值等于总体均 值。 T T 1 ˆ { x x' } xt y t t t 结果有 T 它是通常的OLS估计量, t 1 t 1 因此OLS是GMM的一个特例。
四、具体场合的GMM(2)
工具变量回归模型 设有线性回归模型 Yi Z i i 这里Zi是(k×1)的解释变量向量。假如有些解释变量是 内生变量,它与Yi相关,因此E(Ziεi)≠0。但是我们 能找到一种工具变量Xi (r×1),它与Zi有线性关系, 却与误差项无关: E ( X i i ) 0 E( X i (Yi Z i )) 0 则可建立r个正交条件 于是我们又看到GMM的情形:h( ,i ) X i (Yi Z i ) 1 n ˆ X Z X Y ˆ ˆ g ( n , Yn ) X i (Yi Z i ) 0 GMM估计满足: 即 n i 1 它是通常的IV估计量,因此IV是GMM的一个特例。
Q( ) ( X )S ( X )
(1) ( m) (1) ( m) X ( X , , X ), ( , , ) S是关于(X-Θ) 其中: ,

广义矩估计GMM

广义矩估计GMM

广义矩估计(Generalized Method of Moments ,即GMM )一、解释变量内生性检验首先检验解释变量内生性(解释变量内生性的Hausman 检验:使用工具变量法的前提是存在内生解释变量。

Hausman 检验的原假设为:所有解释变量均为外生变量,如果拒绝,则认为存在内生解释变量,要用IV ;反之,如果接受,则认为不存在内生解释变量,应该使用OLS 。

reg ldi lofdiestimates store olsxtivreg ldi (lofdi=l.lofdi ldep lexr)estimates store iv hausman iv ols(在面板数据中使用工具变量,Stata 提供了如下命令来执行2SLS:xtivreg depvar[varlist1] (varlist_2=varlist_iv) (选择项可以为fe ,re 等,表示固定效应、随机效应等。

详见help xtivreg )如果存在内生解释变量,则应该选用工具变量,工具变量个数不少于方程中内生解释变量的个数。

“恰好识别”时用2SLS 。

2SLS 的实质是把内生解释变量分成两部分,即由工具变量所造成的外生的变动部分,以及与扰动项相关的其他部分;然后,把被解释变量对中的这个外生部分进行回归,从而满足OLS 前定变量的要求而得到一致估计量。

t p t q t p 二、异方差与自相关检验在球型扰动项的假定下,2SLS 是最有效的。

但如果扰动项存在异方差或自相关,面板异方差检验:xtgls enc invs exp imp esc mrl,igls panel(het)estimates store heteroxtgls enc invs exp imp esc mrl,iglsestimates store homolocal df = e(N_g) - 1lrtest hetero homo, df(`df')面板自相关:xtserial enc invs exp imp esc mrl则存在一种更有效的方法,即GMM 。

广义矩估计原理(一)

广义矩估计原理(一)

广义矩估计原理(一)广义矩估计1. 引言•矩估计是一种经典的参数估计方法,广义矩估计是其一种推广形式。

•广义矩估计是在总体矩的等式约束下,使用样本矩来估计参数的一种方法。

2. 矩估计回顾•矩估计是利用样本的矩来估计总体的矩。

•给定样本X1,X2,...,X n,我们可以计算出样本的前r阶原点矩m r以及样本的前r阶中心矩c r。

•假设总体的矩为M r,则矩估计的思想是找到参数的值,使得样本的矩与总体的矩尽可能接近。

•通常,矩估计中参数的选择可以通过求解样本矩与总体矩的差的最小二乘解得到。

3. 广义矩估计的基本思想•广义矩估计是在矩估计的基础上,加入了总体矩的约束条件。

•假设我们有k个未知参数θ1,θ2,...,θk,总共有r个矩约束条件。

•广义矩估计的目标是找到参数的值,使得样本的矩与总体的矩在满足约束条件下尽可能接近。

4. 广义矩估计的步骤1.设定参数的初值θ(0)。

2.根据θ(0)计算样本的矩m r。

3.根据θ(0)计算总体的矩M r。

4.构造一个r维的约束方程组,使得样本的矩与总体的矩在约束条件下尽可能接近。

5.求解约束方程组,得到参数的估计值θ(1)。

6.如果θ(1)收敛到θ(0),则停止;否则,继续迭代,将θ(1)作为新的初值,重复步骤2到5,直到收敛。

5. 广义矩估计的性质•广义矩估计是一种相对于矩估计更为一般的估计方法,能够在矩约束条件下更灵活地估计参数。

•广义矩估计在样本充分大时具有渐近无偏性和渐近正态性。

•广义矩估计的效率较矩估计更高,但一般需要计算更复杂的方程组。

6. 总结•广义矩估计是在总体矩的约束下,使用样本矩来估计参数的一种方法。

•广义矩估计在矩估计的基础上,加入了总体矩的约束条件,能够更灵活地估计参数。

•广义矩估计具有渐近无偏性和渐近正态性,效率一般较矩估计更高。

•在实际应用中,广义矩估计是一种重要的参数估计方法,能够解决一些特定的参数估计问题。

7. 示例应用:广义矩估计的实际应用案例在实际应用中,广义矩估计是一种重要的参数估计方法,可以解决一些特定的参数估计问题。

gmm广义矩估计

gmm广义矩估计

gmm广义矩估计GMM(广义矩估计)是一种用于参数估计的统计方法。

它是基于矩的概念发展而来的,通过对观测数据的矩估计,来估计未知参数的值。

GMM广义矩估计在统计学和经济学等领域得到了广泛应用。

在GMM中,我们首先定义一个经验矩,即从观测数据中得到的样本矩。

然后,我们根据理论模型中的矩表达式,得到理论矩。

接下来,我们通过最小化经验矩与理论矩之间的差异,来估计未知参数的值。

GMM广义矩估计的步骤如下:1. 确定理论模型:首先,我们需要确定一个理论模型,该模型描述了观测数据的分布特征。

在经济学中,通常使用概率分布函数来描述变量的分布特征。

2. 确定矩条件:接下来,我们需要确定一组矩条件,即理论模型中的矩表达式。

矩条件是基于理论模型中的变量和参数之间的关系得到的。

3. 计算经验矩:然后,我们从观测数据中计算一组经验矩。

经验矩是观测数据中的样本矩,用于估计理论矩的值。

4. 估计未知参数:通过最小化经验矩与理论矩之间的差异,我们可以得到未知参数的估计值。

这个过程可以使用最小二乘法或其他优化算法来实现。

GMM广义矩估计在经济学中得到了广泛应用。

例如,在计量经济学中,GMM广义矩估计被用于估计经济模型中的参数。

在金融学中,GMM广义矩估计被用于估计资产定价模型中的参数。

在其他领域,GMM广义矩估计也被用于估计其他类型的模型。

GMM广义矩估计具有一些优点。

首先,它是一种非参数估计方法,不需要对概率分布函数做出任何假设。

这使得GMM广义矩估计在处理复杂的数据分布时具有灵活性。

其次,GMM广义矩估计可以处理具有多个未知参数的模型,这使得它在估计复杂模型时具有优势。

此外,GMM广义矩估计还可以通过引入工具变量来解决内生性问题。

然而,GMM广义矩估计也存在一些限制。

首先,它对初始参数值敏感,可能会收敛到局部最优解。

因此,在实际应用中,选择合适的初始参数值非常重要。

其次,GMM广义矩估计对观测数据的分布特征要求较高,如果数据不符合理论模型的假设,估计结果可能不准确。

广义矩估计PPT

广义矩估计PPT
i1
j1,2, ,k
n
zj(iyih(X i, ) )0 j1 ,2 , ,k
i 1
• 一组矩条件,工具变量估计的正规方程组。
e (y i,X i; )y i h (X i, )
1
1
m () ni
Z ie (y i,X i;
)Z 'e (y,X ; ) n
1
m
(
)
m1 m2
§2.2 广义矩估计
(GMM, Generalized Method of Moments)
一、广义矩估计的概念 二、广义矩估计及其性质 三、正交性条件和过度识别限制的检验 四、关于2SLS与GMM关系的讨论
关于GMM的主要文献
• 关于GMM最早的系统的描述 L. Hansen, 1982: Large Sample Properties of GMM
• 参数的矩估计就是用样本矩去估计总体矩。
– 用样本的一阶原点矩作为期望的估计量。 – 用样本的二阶中心矩作为方差的估计量。 – 从样本观测值计算样本一阶(原点)矩和二阶(原点)
矩,然后去估计总体一阶矩和总体二阶矩,再进一步计 算总体参数(期望和方差)的估计量。
X(1)
1n ni1yi
X(2) 1 ni n1yi2
yix3i (ˆ0 ˆ1x1i ˆ2x2i ˆ3x3i)x3i 0
4个等于0 的矩条件, 求解4个
参数
为什么将x2 换为z1?
该方程组是如 何得到的?
如何求 解该方 程组?
y i 0 1 x 1 i 2 x 2 i 3 x 3 i i i 1 , 2 , , n
• 如果x2为随机变量,z1、z2 为它的工具变量, GMM关于参数估计量的矩条件为:

广义矩估计方法

广义矩估计方法

C、权矩阵的选择
关于权矩阵 W 的选择,是GMM估计方法的
一个核心问题。Hansen’s(1982)提出最佳
的权矩阵为:
W = Asy.Var[m(β )]
=
1 n2
∑ ∑Cov[Ziεi , Z jε
ij
j]
∑∑ = 1 n2 i
j
ω
ij
Z
i
Z
' j
=
1 n2
Z 'ΩZ
D、估计方法的步骤
3、GMM估计的特例 :OLS和ML估计
J=k,则为k×1阶向量。即
∑∑∑ m(β
)
=
⎜⎛ ⎜ ⎜ ⎜⎜⎝
m1 m2
mk
(β (β
M

) )
)
⎟⎞ ⎟ ⎟ ⎟⎟⎠
=
⎜⎛ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜⎜⎝
1 n 1 n
1 n
z1i ei ⎟⎞
i

z2i ei
⎟ ⎟
i
M
⎟ ⎟
i zkiei ⎟⎟⎠
显然矩条件 m(β ) = 0 得出的参数估计量,就 是我们熟知的工具变量法。同时方程组 m(β ) = 0
∑ X (1)
=
1 n
n i =1
yi
∑ X
(2)
=
1 n
n i =1
y
2 i
分别为样本的一阶矩和二阶矩,于是总体一 阶矩和总体二阶矩的估计量为:
∑ Mˆ (1)
=
E(Y )
=
X (1)
=
1 n
n i =1
yi
由于
∑ Mˆ
(2) =
E(Y 2 )
=

广义矩估计法.doc

广义矩估计法.doc

广义矩估计一、背景我们前面学了OLS 估计、工具变量估计方法,前面这几种方法都有重要假设就是需要知道分布才能估计,但是往往现实理论我们无法得到关于分布的信息,因此矩估计方法应运而生。

矩估计方法的基本思想是利用样本矩的信息组成方程组来求总体矩,以此得到渐进性质下的一致性估计量。

那么在构成方程组求解的过程中涉及识别问题和解决。

本章详细介绍矩估计方法。

矩估计方法实际应用非常广泛,应注意将矩估计与OLS 估计、工具变量估计和极大似然估计方法结合对比进行应用。

二、知识要点 1,应用背景2,矩估计存在的问题(识别) 3,矩正交方程和矩条件 4,矩估计的属性 三、要点细纲 1、应用背景其基本思想是:在随机抽样中,样本统计量(在一个严格意义上,一个统计量是观察的n 维随机向量即子样(),,,12X X X n =X 的一个(波雷尔可测)函数,且要求它不包含任何未知参数)将依概率收敛于某个常数。

这个常数又是分布中未知参数的一个函数。

即在不知道分布的情况下,利用样本矩构造方程(包含总体的未知参数),利用这些方程求得总体的未知参数。

基本定义统计量 11n m X i n i νν∑= 为子样的ν阶矩(ν阶原点矩); 统计量 ()11n B X X i n i νν∑-= 为子样的ν阶中心矩。

子样矩的均值与方差()()()()2222EX Var X E X E X kk EX E X kkμμμοαμμ=-=--我们用到k k αμ或时假定它是存在的。

基本做法设:母体X 的可能分布族为(){},,F x θθ∈Θ,其中属于参数空间Θ的(),,,12k θθθθ= 是待估计的未知参数。

假定母体分布的k 阶矩存在,则母体分布的ν阶矩()(),,,,112x dF x k k ναθθθθνν∞=≤≤⎰-∞是(),,,12k θθθθ= 的函数。

对于子样(),,,12X X X n = X ,其ν阶子样矩是1,11n m X k i n i ννν=≤≤∑=现在用子样矩作为母体矩的估计,即令:()1,,,1,2,,121n m X k ik n i ναθθθννν===∑= (1)(1)式确定了包含k 个未知参数(),,,12k θθθθ= 的k 个方程式。

第10章、广义矩方法

第10章、广义矩方法

第10章、广义矩方法广义矩方法:(Generalized Method of Moment ,GMM ),也译为:一般矩方法。

对于跨期优化问题的一阶条件(如Euler 方程),需要使用GMM 来估计参数。

§1、(统计学中的)矩方法本节回顾传统的矩方法(methods of moments )。

统计推断问题: ✓ 估计问题⏹ 点估计◆ 极大似然估计 ◆ 矩估计 ⏹ 区间估计 ✓ 假设检验问题极大似然估计的缺点是需要假定总体的分布函数,通常假定是正态分布。

但是矩估计不需要这个假定。

基本思想:样本的l 阶矩11n ll i i A x n ==∑收敛于l 阶矩()l l E X μ=例子1:样本均值的矩估计。

随机变量i y 的期望等于μ,记为()i E y μ=矩条件(moment condition )为()0i E y μ-=(记住:每一个样本i y 都是随机变量) 或者表示为[(,)]0i E m y θ=其中(,)i i m y y θμ=-,而θμ=是唯一参数。

矩条件的样本矩条件为:11()(,)0ni i m m y nθθ==∑= 即11ˆ()0ni i y nμ=∑-= 因此,参数μ的矩估计为11ˆni i y nμ==∑ 例子2:设2(,)X N μσ ,μ和2σ未知参数,设1,,n x x 是来自X 的样本值,求μ和2σ的极大似然估计。

解:X 的pdf 为221()22(;,)x f x μσμσ--= 似然函数为221()22(,)i nx i L μσμσ--== 22121ln ln(2)ln ()222n i i n n L x πσμσ==---∑-222ln 10ˆ1ln ˆ()0i i L x x n L x x n μμσσ∂⎫==∑=⎪∂⎪⇒⎬∂⎪=∑-=⎪∂⎭例子3:设总体X 的均值μ和方差2σ都存在,设1,,n x x 是来自X 的一个样本,求μ和方差2σ的矩估计。

第四章 极大似然估计和广义矩估计

第四章 极大似然估计和广义矩估计

13
ˆ p lim ˆML是 的一致估计量,即, (1)一致性: ML 0
ˆML 是渐近有效的且达到所有一 (2) 渐近有效性: 致估计量的Cramè r-Rao下界,即在所有一致渐近正 态估计量(consistent asymptotically normal estimators )中具有最小方差。
N1 N1 P( N1次正面) CN p (1 p) N N1
上式中的表达式可看作是未知参数p的函数,被称 为似然函数(Likelihood function)。对p的极大似 然估计意味着我们选择使似然函数达到最大的p值, 从而得到p的极大似然估计量。
5
实际计算中,极大化似然函数的对数往往比较方便, 这给出对数似然函数
ut ~ N (0, 2 )
即随机扰动项具有0均值、同方差、不相关和服从正 态分布的性质。
17
根据以上假设可知:
yt ~ N ( xt , )
2
yt 的概率密度函数为: 因此,
1 f ( yt ) e 2

1 2
2 ( y x ) t t 2
t 1, 2,...,n
V [I( )]
-1
15
四、线性回归模型的极大似然估计
线性回归模型是计量经济学应用最为广泛的模型,因 此讨论线性模型的极大似然估计是非常必要的。 下面我们在随机扰动项服从正态分布的假设下分别讨 论双变量线性回归模型和多元线性回归模型的极大似然 估计。非线性模型的极大似然估计,将在第五章中介绍 。
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n
一般通过微分的方法求得ˆ ,即令 L( ) / 0 得到, 有时候也可通过迭代法来求ˆ ,具体的计算方法根 据随机变量的分布来确定 这样得到的 ˆ 称为参数 的极大似然估计值 ,而相 应的统计量通常记为 ˆML,称为参数 的极大似然估 计量。

广义矩估计

广义矩估计

第1章 广义矩估计1.1 矩估计1.1.1 总体矩与样本矩设总体X 的可能分布族为(){},,F x θθ∈Θ,其中来自参数空间Θ的()12,,,k θθθ=θ是待估计的未知参数。

假定总体分布的m 阶矩存在,则总体分布的k 阶原点矩和k 阶中心矩为()(),1kk k EX x dF x k m α+∝-∝=≤≤⎰θθ 1()[()]()[()],1kk k E X E x x E x dF x k m μ+∝-∝-=-≤≤⎰θθ 2两种常见的情况是一阶原点矩和二阶中心矩:()E X μ= 32222()[()]()Var X E X E X μμσ=-=- 4一阶原点矩表示变量的期望值,二阶中心矩表示变量的方差。

对于样本12(,,,)n X X X =X ,其k 阶原点矩是:11n kk i i m X n ==∑(1k m ≤≤)5当k =1时,m 1表示X 的样本均值。

X 的k 阶中心矩是:()11nk kii B X X n =-∑(1k m ≤≤)6 当k =2时,B 2表示X 的样本方差。

1.1.2 矩估计方法矩方法(moment method )是一种古老的估计方法。

其基本思想是:在随机抽样中,样本统计量将依概率收敛于某个常数。

这个常数又是分布中未知参数的一个函数。

总体分布的k 阶矩为()12,,,K θθθ=θ的函数。

根据大数定理,样本矩依概率收敛于总体矩。

因此,可以用样本矩作为总体矩的估计,即令:()12,,,1,2,,k K km k K αθθθ==即:()11,1,2,,n kki i x dF x X k K n +∝-∝= = =∑∑θ7上式确定了包含K 个未知参数()12,,,K θθθ=θ的K 个方程式,求解上式所构成的方程组就可以得到()12,,,K θθθ=θ的一组解()12ˆˆˆˆ,,,k θθθ=⋯θ。

因为m k 是随机变量,故解得的也是随机变量。

这种参数估计方法称为矩方法,()12ˆˆˆˆ,,,k θθθ=⋯θ即是()12,,,K θθθ=θ的矩估计量。

33广义矩估计

33广义矩估计



1 n
S0
S l

1 n
n e~i e~il
il 1
zi
z' il
White, 1980: A heteroskedasticity-consistent convariance matrix and direct test for heteroskedaticity, Econometrica 48, 817-838
§3.3 计量经济学模型的广义矩估计
(GMM, Generalized Method of Moments)
(教材§3.6)
一、广义矩估计的概念 二、计量经济学模型的广义矩估计 三、OLS和ML估计是GMM估计的特例 四、假设检验
关于GMM的主要文献
• 关于GMM最早的系统的描述 L. Hansen, 1982: Large Sample Properties
Eviews 中GMM方程设定页面选择“cross section”,即为该情况。
• 若随机误差项存在自相关,Newey和West(1987) 提出权矩阵的估计量为:


1 n
S

1 n
(S
0

L
w(l)(Sl
l 1

S
' l
))
w(l) 1 l L 1
Newey and West, 1987: A Simple positive semidefinite, heteroskedasticity and Autocorrelation consisitent covariance matrix, Econometrica 55,703-708
• 关于GMM发展的讨论
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
(1× r ) (r ×r ) ( r ×1)
E{h( θ , w )} = 0 ,
( a×1)
( a×1)
( a×a )
T ∞ ⌢ 3 且 S T 是 S = Tlim (1 / T )∑ ∑ E{[h( θ 0 , wt )][h( θ 0 , wt −ν )]'} →∞ t =1 ν = −∞ ( r ×1) (1× r )
经典矩方法的局限:经典矩方法一般是参数的 经典矩方法的局限 个数等于方程个数(即可识别的)。当方程的个 数大于待估参数的个数时(不可识别的),可能 无法求出待估参数。
2、工具变量法 、
工具变量法(Instrument variables)通常用来解决模型中随机解 工具变量法 Instrument variables 释变量且与随机误差项相关的情况,因为此时OLS估计量是有偏的。 工具变量法的原理是:选择工具变量 选择工具变量替代模型中与随机误差项相关 选择工具变量 的随机解释变量。 选择为工具变量的变量必须满足以下条件: 选择为工具变量的变量必须满足以下条件 与所替代的随机解释变量高度相关; (1)与所替代的随机解释变量高度相关; 与随机误差项不相关; (2)与随机误差项不相关; 与模型中其它解释变量不相关,以避免出现多重共线性。 (3)与模型中其它解释变量不相关,以避免出现多重共线性。 对每个解释变量与随机项相关,只要能找到1个工具变量,仍然可以 构成一组矩条件。就可以用IV法了 。 工具变量法的局限:如果1 工具变量法的局限:如果1个随机解释变量可以找到多个互相独立的 工具变量,如何充分利用所有工具变量的信息?? 工具变量,如何充分利用所有工具变量的信息??
一个估计 。
如果向量过程 {h(θ0 , wt )}
∞ t =∞
T ⌢ ⌢ ⌢ ST = (1 / T )∑ [h(θT , wt )][h(θT , wt )]′ 序列不相关, t =1
如果向量过程 {h(θ0 , wt )} T ⌢ ⌢ ⌢ 其中 Γυ ,T = (1 / T )∑ [h(θT , wt )][h(θT , wt −υ )]′
三、最优权重矩阵(1) 最优权重矩阵( )
• Hansen证明:GMM目标函数中,最优的权函数矩阵 Hansen证明:GMM目标函数中, 证明 目标函数中 Wn应取样本均值的渐进方差S的逆矩阵S-1 。 S = lim T ⋅ E{[ g ( θ 0 , wt )][ g ( θ 0 , wt −ν )]' 其中 T →∞ ( r ×1) (1×r ) • 可以看出此时的GMM目标函数变为: 可以看出此时的GMM目标函数变为: GMM目标函数变为
n n i =1 n i n i
n n
1 S = ∑ [ h (θ , ω i )][ h (θ , ω i )]′ n i =1
* n
三、最优权重矩阵(3) 最优权重矩阵( )
打破这个怪圈的办法是:取权函数矩阵Wn的初值 为单位阵,此时Q( Q(θ ; y
n
T
) = g (θ ; yT ) ′ WT g (θ ; yT )
广义方法思想的来源
• 把经典矩方法和IV方法的局限总结一下就是 方程比未知数多,一个自然的想法是作回归, 形象说就是折衷一下。 • 但是每个方程起的作用并不一样,我们希望 某些方程对回归影响大一些,最终结果偏向 它多一点。比如在矩估计中,低阶矩稳定一 些,可以偏向低阶矩多一点。这就想到加权 最小二乘,想到广义最小二乘,从函数空间 应用距离。 距离角度,就是要应用距离。 应用距离
1. 经典矩方法(Moment Method, MM) 经典矩方法( )
经典矩方法是用总体矩等于观察到的样本矩建立 方程。得到未知参数的估计值。
E (Yt i ) = µ i (θ )
i
i = i1 , i2 ,..., ia .
i t
E θ 其中: 为待估参数, µ (θ ) 为第 i 阶样本矩, (Y ) 为 总体的第 i 阶矩。
∞ t =∞
t =1
q ⌢ ⌢ ⌢ ⌢ ST =Γ 0,T + ∑ { − [υ /(1 + q)]}{Γυ ,T +Γ′υ ,T } 1 序列相关,
υ =1
四、具体场合的GMM(1) 具体场合的 ( )
标准线性回归模型 y t = X 't β + µ t OLS回归的关键假设是回归残差µ t 与解释变量不 E ( χ t u t ) = 0 即 E[ χ t ( y t − χ t ′ β 0 )] = 0 相关: 令 h(θ , wt ) = xt ( yt − x't β ) 正交条件的个数与未知参数的个数相同,标准回 归模型可视作恰可识别的GMM形式。因为它是恰 可识别的, β 的GMM估计是样本均值等于总体均 值。 T T −1 ˆ β T = {∑ xt x't } ∑ xt y t 结果有 它是通常的OLS估计量, t =1 t =1 因此OLS是GMM的一个特例。

例如:最小二乘法则是选欧氏距离 欧氏距离函数: 欧氏距离 m
Q (θ ) = ∑ ( X ( r ) − θ ( r ) ) 2
r =1
θ的最小二乘估计是取使Q(θ)极小:
ˆ Q(θ ) = min Q(θ )
θ
在广义矩方法(GMM) 在广义矩方法(GMM)中使用是马氏距离 由Mahalanobis(1930)提出的m维空间的马氏距离定义 为: −1

矩阵序列。 矩阵序列。 这套方法被克拉默(1946)、弗格森(1958) )、弗格森 这套方法被克拉默(1946)、弗格森(1958)和罗滕博 2 1973)称为“ χ 估计量” 汉森(1982) 格(1973)称为“最小 估计量”。汉森(1982)在此基 础上完善和发展了该方法,并将其称为“广义矩方法”估 础上完善和发展了该方法,并将其称为“广义矩方法” 计。
广义矩估计方法( GMM)解决了经典矩方法 广义矩估计方法( GMM)解决了经典矩方法 工具变量方法(Instrumental Variables,IV) 和工具变量方法 局限问题,同时,也为动态面板数据的 动态面板数据的估 的局限问题,同时,也为动态面板数据的估 计提供了有效方法。 计提供了有效方法。
n
i =1
n
i
n
i
,如此
θˆ 迭代下去,直至
ˆ( ˆ 小于预定精度ε为止。 || θ n1) − θ n(i +1) ||
Hansen等人证明这个迭代过程与初值无关。
最优权重矩阵的估计值
• 如果向量过程{h(θ , w )} 序列不相关,可以得到 S 的一致估计
0 t ∞ t =∞
T ⌢ ⌢ ⌢ ST = (1 / T )∑ [h(θT , wt )][h(θT , wt )]′ p S → t =1
• 如果向量{h(θ , w )} 序列相关,则可以使用 S 的纽 韦—韦斯特(1987)估计
0 t ∞ t =∞
q ⌢ ⌢ ⌢ ⌢ ST =Γ 0,T + ∑ { − [υ /(1 + q)]}{Γυ ,T + Γ′υ ,T } 1
T ⌢ ⌢ ⌢ Γυ ,T = (1 / T )∑ [h(θT , wt )][h(θT , wt −υ )]′ t =1
∂g (θ ; yT ) ∂g (θ ; yT ) D' = p lim |θ =θ 0 = p lim |θ =θ ∗T ( r ×a ) ∂θ ' ∂θ '
且 D' 各列线性独立 ⌢ T (θT − θ 0 ) L N (0, V ) → 则
其中
V = {D • S −1 • D′}−1
υ =1
GMM估计值 θˆ 的性质
定理:令 g (θˆT ; yT ) 对所有的 yT 关于θ 可微,另θˆT ⌢ ∞ 为GMM估计量,有 r≥a 。令 {ST }t =1为正定 ( r × r ) 矩 ⌢ S 阵序列,使得 ST p S , 是正定的。进一步意 → 味着下面各条成立: ⌢ θ T p θ 0 ; → (a) T ⋅ g (θT ; yT ) L N (0, S ); → (b) ∗ ∞ θ (c)对于任意序列 { T }T =1,满足 θT∗ p θ 0 → 它即为

为普通欧氏距离。使Q 取极小而得到 θˆn 的初值 , 1 ˆ ˆ ˆ 将 θˆn(1) 代入ˆn(1) 中可得 ˆ( S = ∑ [h(θ , ω )][h(θ , ω )]′ ,将此 θ S n1)
n
代入
( 2) n
ˆ( S n1)
Q (θ , Yn ) = [ g (θ , Yn )]′S −1 [ g又可得 (θ , Yn )]
Q (θ , Yn ) = [ g (θ , Yn )]′S −1 [ g (θ , Yn )]
就是一个马氏距离。 就是一个马氏距离。
S类似于广义最小二乘的方差——协方差矩阵 类似于广义最小二乘的方差 协方差矩阵
• 广义最小二乘 µ 的估计是最小化 ( y − µ )′ Ω ( y − µ ) 的估计是最小化 其中 Ω = E ( y − µ )( y − µ )′
• 当1个随机解释变量可以找到多个互相独立的工 具变量,人们希望充分利用这些工具变量的信息, 能否利用及如何利用成为了核心问题。广义矩方 法(GMM)为这一问题提供了解决方案。 • 同时,如果存在>k+1个变量的矩条件,应该如 何处理?广义矩方法(GMM)也为矩条件大于待 估参数的数量,提供了解决办法。 • 广义矩方法 广义矩方法(Generalized Method of Moments, GMM)为动态面板模型的提供了稳健的估计值。 • GMM是近 年计量经济学理论方法发展的重要 是近20年计量经济学理论方法发展的重要 是近 方向之一。 方向之一。
相关文档
最新文档