第四章 极大似然估计和广义矩估计

S(θ) 称为score向量 梯度向量 θ 的极大似然估 向量或梯度向量 向量 梯度向量， 计过求解 S(θ) = 0 得到，因此 S(θ) = 0称为似然方 似然方
程。
12
三、极大似然估计量的性质
极大似然估计量（MLE）的优势在于它们的大样本 性质（渐近性质）。
ˆ 为介绍这些渐近性质，我们用 θML 表示参数向量 θ 的极大似然估计量（MLE）， θ0 表示参数向量的真 值。
σ 但最后一式表明，的极大似然估计量与最小二乘估计 量不同，我们记得，最小二乘估计量 2 ˆ − β Xt )2 ∑et = ∑(Yt −α ˆ ˆ2 σOLS = n −2 n −2 是一个无偏估计量。而
2
(n −2)σ2 2σ 2 ˆ E(σML2 ) = E( )= =σ 2 − n n n
20
得
ˆ Y = n ˆML + βML ∑Xt α ∑t ˆ XtY =αML ∑Xt + βML ∑Xt2 ∑ t ˆ ˆ σML2 = ˆ ˆ (Y −αML − βML Xt )2 ∑ t n
19
不难看出，前两式与用普通最小二乘法得出的正规方 ˆ ˆ 程相同，故我们有 αML =αOLS , βML = βOLS ˆ ˆ
第四章 极大似然估计和广义矩 估计
（Maximum Likelihood method and Generalized Method of Moments ）
第一节 极大似然估计法 第二节 似然比检验、沃尔德检验和拉 格朗日乘数检验 第三节 广义矩（GMM）估计
除普通最小二乘法（OLS）外，极大似然估 计（MLE）和广义矩估计（GMM）也是计 量经济学中重要的估计方法。 极大似然估计法和广义矩估计法适用于大样 本条件下参数的估计，它们在大样本条件下 显示了优良的性质。 本章主要介绍极大似然法和广义矩方法以及 基于极大似然估计的似然比（LR）检验、 沃尔德（W）检验和拉格朗日乘数（LM） 检验。
P(N1次 面 = C p (1− p) 正 )
N1 N N1
N−N1
5
上式中的表达式可看作是未知参数p的函数，被称 为似然函数（Likelihood function）。对p的极大似 然估计意味着我们选择使似然函数达到最大的p值， 从而得到p的极大似然估计量。 实际计算中，极大化似然函数的对数往往比较方 便，这给出对数似然函数
θ （3） 渐近正态性：ˆML~N[θ0 ,V (θ0 )] 渐近正态性： 即渐近地服从正态分布，其中V是渐近协方差矩阵
14
协方差矩阵V由对数似然函数的形状决定。为了说明 这一点，我们引入信息矩阵 信息矩阵（Information Matrix） 信息矩阵 的概念，信息矩阵定义为 2lnL(θ) Ι(θ) =−Ε∂ ∂θ∂θ′ 在适当的正则条件下，可以证明，极大似然估计量的 渐近协方差矩阵等于信息矩阵的逆矩阵，即
第一节 极大似然估计法
极大似然估计法（Maximum Likelihood method ML）的应用虽然没有普通最小二乘法广泛，但它是一 个具有更强理论性质的点估计方法，它以极大似然原 理为基础，通过概率密度函数或者分布律来估计总体 参数。 对于一些特殊类型的计量经济模型，如我们后面将 介绍的Logit和Probit模型，最小二乘法不再适用，极 大似然法成为首选的估计方法。
7
离散型随机变量极大似然原理
若总体为离散型分布，容易求得从样本 X1, X2,...Xn 取到观察值 x1, x2,..., xn 的概率，亦即事件 { X1 = x1, X2 = x2,..., Xn = xn} 发生的概率为： n L(θ) = L(x1, x2,..., xn;θ) = ∏p(xi ;θ)
et2 ∑
这表明 ，σML2 = ˆ
(Y −αML − βML Xt )2 ∑t ˆ ˆ n
是一个有偏估计量
不难看出，当样本容量趋向无穷时，
2σ2 σ − → 2 σ n
2
wenku.baidu.com
ˆ2 σML是一个渐近无偏估计量。 因而
21
多元线性回归模型的极大似然估计
下面我们来讨论一般形式的线性回归模型的极大 似然估计，并以矩阵形式表示：
V =[I(θ)]
-1
15
四、线性回归模型的极大似然估计
线性回归模型是计量经济学应用最为广泛的模型，因 此讨论线性模型的极大似然估计是非常必要的。 下面我们在随机扰动项服从正态分布的假设下分别讨 论双变量线性回归模型和多元线性回归模型的极大似 然估计。非线性模型的极大似然估计，将在第五章中 介绍。
ln L( p) = lnc
d ln L( p)
N1 N
+ N1 ln( p) + (N- N1)ln(1 - p)
上式达到极大的一阶条件是
d
p
N1 N − N1 = − =0 p 1− p
解之，得到p的极大似然估计量
ˆ p=N / N 1
6
二、极大似然原理
下面我们以一般化的数学语言来描述极大似然估 计法的基本原理和参数估计过程。 极大似然法的思路是，设 f (x,θ) 是随机变量X的密 度函数，其中 θ是该分布的未知参数，若有一随机样 本 X1, X2,..., Xn ，则 θ 的极大似然估计值是具有产生该 θ 观测样本的最高概率的那个θ 值，或者换句话说， 的极大似然估计值是使密度函数 f (x,θ) 达到最大的 值。 由于总体有离散型和连续型两种分布，离散型分 布通过分布律来构造似然函数，而连续型分布通过概 率密度函数来构造似然函数，因此二者有区别，下面 分别讨论。
ˆ L(x1, x2,..., xn;θ) = M (x1, x2,..., xn;θ) axL
ˆ 一般通过微分的方法求得θ，即令 ∂L(θ)/ ∂θ = 0 得到， ˆ 有时候也可通过迭代法来求θ，具体的计算方法根 据随机变量的分布来确定。
ˆ 这样得到的 θ 称为参数θ 的极大似然估计值 ，而相 ˆ 应的统计量通常记为 θML，称为参数θ的极大似然估 极大似然估 计量。 计量
(4−17)
注意到（4.17）中右端第二项的分子就是残差平方 和，我们有：
′ RSS = ∑ei2 = ee = (Y− X ′(Y− X ) β) β ′ ′ β ′ ′ ′ ′ β = YY−YX −βXY+βXX ′ ′ β+βXX ′ ′ β = YY−2YX (4.18)
23
这里最后一个等号成立是因为第二行中所有各 项都是标量，且中间两项互为转置矩阵，因而相 等。 RSS对 β 微分，得到： 这里用到了矩阵微分的以下两条规则： ′ （1）∂ab/ ∂b = a ′ （2）∂(bAb)/ ∂b = (A+A′)b = 2Ab ，第二个等号成立 的条件是A为对称矩阵。 ′ ，A是 XX ′ 。 在（4.19）式中，a是 YX
对数似然函数为：
∂ β ∂ln L(α, β,σ 2 ) ，ln L(α, β,σ 2 ) ∂ 令： ， ln L(α,2 ,σ ) = 0 ， =0 =0 ∂σ ∂α ∂β
n (yt −α − βxt )2 n n 2 ln L(α, β,σ ) =− ln(2π) − ln(σ ) −∑ (4.13) 2 2 2 2σ t=1 2 2
如果极大似然函数被正确设定，可以证明，在弱正 则条件下，极大似然估计量具有以下渐近性质：
13
ˆ ˆ p （1）一致性：ML是 θ的一致估计量，即，limθML =θ0 ）一致性： θ
θ （2） 渐近有效性：ˆML是渐近有效的且达到所有一 渐近有效性： 致估计量的Cramèr-Rao下界，即在所有一致渐近正 态估计量（consistent asymptotically normal estimators ）中具有最小方差。
即随机扰动项具有0均值、同方差、不相关和服从正 态分布的性质。
17
根据以上假设可知： y
t
~ N(α + βxt ,σ )
2
yt 因此，的概率密度函数为：
1 f (yt ) = e σ 2π
1 − 2 ( yt −α−βxt )2 2σ
t =1 2,..., n ，
由于独立同分布，因此，联合概率密度函数，即似 n −∑( yt −α−βxt )2 然函数为： n 1 n t=1 2σ2 L(α, β,σ2) = ∏f (yt ) = ( )e 18 σ 2π t=1
∏f (x ,θ)dx
i=1 i
n i=1
n
取到极大值，但 ∏dx 不随 θ而变，故只需考虑函数
L(θ) = L(x , x2,..., xn;θ) = ∏f (xi ;θ) 1
n
的极大值，这里 L(θ) 称为样本的似然函数。若
ˆ L(x1, x2,..., xn;θ) = M (x1, x2,..., xn;θ) axL
24
∂RSS ′ ′ β =−2XY+ 2XX ∂β ∂β
(4.19)
由（4.19）式的结果，使对数似然函数（4.17）达到 极大的一阶条件为
′ ′ β ∂ln L(β,σ2 ) 2XY−2XX = =0 2 ∂β 2σ
9
θ
连续型随机变量极大似然原理
若总体为连续型分布，其概率密度函数为 f (x;θ) θ 密度函数的形式已知。其中， = (θ1,θ2,...,θk )′是待估参数 向量。 设 X1, X2,...Xn 是来自总体的随机样本，则 X1, X2,...Xn 的联合概率密度为
∏f (x ,θ)
i=1 i
16
双变量线性回归模型的极大似然估计
y t =1 2,L n , , 双变量线性回归模型： t = α + βxt + ut ut α 为待估参数，为随机扰动项。对随机扰动项 其中，, β 作出如下假设：
E(ut ) = 0, E(ut2 ) =σ2 , E(uuj ) = 0 i ≠ j, i ut ~ N(0,σ2)
Y = Xβ +u
E(u) = 0 E(uu′) =σ2In u ~ N(0,σ2In )
对随机扰动项作出如下假设：
y 根据以上假设，我们有：
t
yt ~ N(Xβ,σ 2 )
因此， yt 的概率密度函数为：
1 f ( yt ) = e σ 2π
β) β −(Y−X ′(Y−X ) 2σ2
t =12,..., n ，
22
由于 yt 独立同分布，因此，联合概率密度函数， 即似然函数为：
1 n )e L(β,σ ) = ∏f ( yt ) = ( σ 2π t =1
2
2
n
−(Y−Xβ)′(Y−Xβ) 2σ2
对数似然函数为：
n (Y− Xβ)′(Y− Xβ) 2 ln L(β,σ ) =− ln(2πσ ) − 2 2σ 2
θ 其中， = (θ1,θ2,...,θk )′ 是待估参数向量。
i=1
这一概率随 θ 的取值而变化，它是θ的函数， L(θ) 称 为样本的似然函数。
8
极大似然估计法就是在 θ 取值的可能范围内挑选使 ˆ 似然函数L( x1, x2,L, xn;θ)达到最大的参数值 θ作为参数 ˆ 的估计值，即求 θ ，使得 θ
θ
i= 1
ˆ ˆ 则 θ 称为θ 的极大似然估计量，记为 θML。
11
ˆ L 关于θ 可微，这时 θ可从方程 通常情况下， (θ)
∂L(θ)/ ∂θ = 0
解得。因为 L(θ)与 ln L(θ)在同一点处取到极值，θ的 ˆ 极大似然估计值 θ 通常从方程 ∂ln L(θ)/ ∂θ = 0 解得，式中 ln L(θ)称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为 S(θ) =∂lnL(θ)/∂θ
4
一、极大似然法的思路
极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。 例4.1 设有一枚不均衡的硬币，我们关心的是在每次抛 掷该硬币出现正面的概率p。抛掷该硬币N次，假设 得到 N1 次正面，N－ N1 次反面。由于每次抛硬币都 是相互独立的，根据二项分布，得到这样一个样本的 概率为：
n
(4−3)
设 x1, x2,..., xn 是相应于样本的一组样本值，则随机点 （ X1, X2,...Xn ）落在点（x1, x2,..., xn）的邻域内的概率 n 可近似地表示为 ∏f (xi ,θ)dx (4− 4)
i=1
其值随 θ的取值而变化。
10
ˆ 与离散型的情况一样，我们取θ 的估计值 θ使