第四章_极大似然估计、非线性估计和广义矩估计_

对随机扰动项作出如下假设： E (uu) 2 I n 根据以上假设，我们有：
2 yt ~ N (xt β, )
x2t xkt ) 其中， x t (1 x1t 行，β为系数列向量。
，是X矩阵的第t
因此， yt 的概率密度函数为：
1 f yt e 2
2 ( yt x tβ)
第四章 极大似然估计、非线性 估计和广义矩估计
第一节 极大似然估计法
第二节 似然比检验、沃尔德检验和拉 格朗日乘数检验 第三节 非线性回归模型
第四节 NLS 估计量的计算与假设检验
第五节 广义矩（GMM）估计

除普通最小二乘法（OLS）外，极大似然估计 （ML）、非线性估计和广义矩估计（GMM） 也是计量经济学中重要的估计方法。极大似然 估计法和广义矩估计法适用于大样本条件下参 数的估计，非线性估计方法则可用于估计实质 非线性模型。
N1 P ( N 1次正面) C N p N 1 (1 p) N N 1
上式中的表达式可看作是未知参数p的函数，被称 为似然函数（Likelihood function）。对p的极大似 然估计意味着我们选择使似然函数达到最大的p值， 从而得到p的极大似然估计量。 实际计算中，极大化似然函数的对数往往比较方 便，这给出对数似然函数
i 1 n
(1,2 ,...,k ) 是待估参数向量。 其中，
这一概率随 的取值而变化，它是 的函数，L( ) 称 为样本的似然函数。
极大似然估计法就是在 取值的可能范围内挑选使 ˆ 作为参数 似然函数 L( x1, x2 , , xn ; ) 达到最大的参数值 的估计值 ˆ ，使得
1 ln L( p) lnc N N N 1 ln( p ) (N - N1 )ln(1 - p)
上式达到极大的一阶条件是
d ln L( p) N1 N N1 0 dp p 1 p
解之，得到p的极大似然估计量
ˆ N1 / N p
二、极大似然原理
下面我们以一般化的数学语言来描述极大似然估 计法的基本原理和参数估计过程。 极大似然法的思路是，设 f ( x, ) 是随机变量X的密 是该分布的未知参数，若有一随机样 度函数，其中 本 X1 , X 2 ,...X n ，则 的极大似然估计值是具有产生该 观测样本的最高概率的那个 值，或者换句话说， 的极大似然估计值是使密度函数 f ( x, ) 达到最大的 值。 由于总体有离散型和连续型两种分布，离散型分 布通过分布律来构造似然函数，而连续型分布通过概 率密度函数来构造似然函数，因此二者有区别，下面 分别讨论。
f ( x , )dx
i 1 i
n
取到极大值，但
dx
i 1
n
不随 而变，故只需考虑函数

ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n
的极大值，这里 L( ) 称为样本的似然函数。若
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n ˆ。 则 ˆ 称为 的极大似然估计量，记为 ML
连续型随机变量极大似然原理
若总体为连续型分布，其概率密度函数为 f ( x; ) , (1,2 , ,k ) 是待估参数 密度函数的形式已知。其中， 向量。 设 X1 , X 2 ,...X n 是来自总体的随机样本，则 X1 , X 2 ,...X n 的联合概率密度为 n
f ( x , )
ˆ 是 的一致估计量，即 （1）一致性： ML
ˆ p lim ML 0
ˆ 是渐近有效的且达到所有一 （2） 渐近有效性： ML 致估计量的Cramè r-Rao下界，即在所有一致渐近正 态估计量（consistent asymptotically normal estimators ）中具有最小方差。
2 2
t 1,2,, n
由于yt独立同分布，因此，联合概率密度函数，即 似然函数为：
1 L(β, ) f yt e 2 t 1
2 n n
( yt xt β )2
2 2
1 e 2
n
（3）渐近正态性：
ˆ V (0 ) ML ~ N 0 ,
即渐近地服从正态分布，其中V是渐近协方差矩阵。
协方差矩阵V由对数似然函数的形状决定。为了说明 这一点，我们引入信息矩阵（Information Matrix） 的概念，信息矩阵定义为
2lnL( ) Ι( )
S( ) lnL( )/
S ( ) 称为score向量或梯度向量， 的极大似然估 计值通过求解 S( ) 0得到，因此 S( ) 0 称为
似然方程。
三、极大似然估计量的性质
极大似然估计量（MLE）的优势在于它们的大样本 性质（渐近性质）。 为介绍这些渐近性质，我们用 ˆML 表示参数向量 的极大似然估计量（MLE）， 0 表示参数向量的真 值。 如果极大似然函数被正确设定，可以证明，在弱正 则条件下，极大似然估计量具有以下渐近性质：
不难看出，当样本容量趋向无穷时，
2 2 2 2 n
2 ˆ 因而 ML 是一个渐近无偏估计量。
多元线性回归模型的极大似然估计
下面我们来讨论一般形式的线性回归模型的极大 似然估计，并以矩阵形式表示：
Y Xβ u
E (u ) 0 u ~ N (0, 2 I n )
对数似然函数为：
n ( yt xt )2 n n 2 ln L( , , ) ln(2 ) ln( ) (4.13) 2 2 2 2 t 1 2 2 2 ln L ( , , ) ln L ( , , ) ln L( , , ) 0 ， 得 0 ， 令： 0， 2 2
ˆ ˆ Y n X ˆ ˆ X Y X X ˆ X ) ˆ ( Y ˆ
t ML ML t t t ML t t ML 2 2 ML ML t ML
2 t
n
不难看出，前两式与用普通最小二乘法得出的正规方 ˆ ˆ 程相同，故我们有 ˆ ML ˆOLS , ML OLS 但最后一式表明， 2 的极大似然估计量与最小二乘 估计量不同，我们记得，最小二乘估计量
1 2
2 ( y x ) t t 2
t 1， 2, ..., n
由于独立同分布，因此，联合概率密度函数，即似 n 然函数为： ( yt xt )2 t 1 n 1 2 n 2 2 L( , , ) f ( yt ) ( ) e 2 t 1
ˆ
2 OLS
e
2
t
n2

2 ˆ ˆ (Yt X t )
n2
是一个无偏估计量。而
ˆ ML E (
2
(n 2) 2 2 ) E( ) n n n
2
e
2 t
2
这表明 ， ˆ
2
ML

ˆ X )2 ˆ ( Y t ML ML t 是一个有偏估计量 n
在适当的正则条件下，可以证明，极大似然估计量的 渐近协方差矩阵等于信息矩阵的逆矩阵，即
V [I( )]
-1
信息矩阵中的元素是二阶导数，二阶导数测度的 是对数似然函数的曲率，直观地看，如果对数似然函 数在其极大值周围曲率大，则二阶导数大，从而方差 小，极大似然估计量就相对准确；反之，如果对数似 然函数曲率小，在其极大值周围曲线比较平，则方差 就会大。 在极大似然估计量渐近有效的情况下，信息矩阵的 -1 [ I ( )] 逆矩阵 为 的任何一致渐近正态估计量提供 了渐近协方差矩阵的下界。 ML估计量 是渐近有效的，因为它达到了这个下界 ，这个下界通常称为Cramè r-Rao下界。
离散型随机变量极大似然原理
若总体为离散型分布，容易求得从样本 X1 , X 2 ,...X n 取到观察值 x1 , x2 ,...xn 的概率，亦即事件 X1 x1, X 2 x2 ,..., X n xn 发生的概率为：
L( ) L( x1 , x2 ,..., xn ; ) p( xi ; )
ˆˆ L( ) 关于 可微，这时 通常情况下， 可从方程
L( ) / 0
的 解得。因为 L( )与 ln L( ) 在同一点处取到极值， 极大似然估计值 ˆ 通常从方程 ln L( ) / 0 解得，式中 ln L( ) 称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为
i 1 i
(4,3)
设 x1 , x2 ,...xn 是相应于样本的一组样本值，则随机点 （ X1 , X 2 ,...X n ）落在点（ x1 , x2 ,...xn ）的邻域内的概率 n 可近似地表示为 f ( x , )dx (4 4)

i 1
i
其值随 的取值而变化。
与离散型的情况一样，我们取 的估计值 ˆ 使
一、极大似然法的思路
极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。
例4.1 设有一枚不均衡的硬币，我们关心的是在每次抛 掷该硬币出现正面的概率p。抛掷该硬币N次，假设 得到 N1 次正面，N－ N1 次反面。由于每次抛硬币都 是相互独立的，根据二项分布，得到这样一个样本的 概率为：
四、线性回归模型的极大似然估计
线性回归模型是计量经济学应用最为广泛的模型，因 此讨论线性模型的极大似然估计是非常必要的。 下面我们在随机扰动项服从正态分布的假设下分别讨 论双变量线性回归模型和多元线性回归模型的极大似 然估计。
双变量线性回归模型的极大似然估计
t 1,2,, n 双变量线性回归模型： yt xt ut ut 为随机扰动项。对随机扰动 其中， , 为待估参数， 项作出如下假设：
E(ut ) 0, E(u ) , E(uiu j ) 0 i j,
2 t 2
ut ~ N (0, )
2
即随机扰动项具有0均值、同方差、不相关和服从正 态分布的性质。
根据以上假设可知：yt ~ N ( xt , 2 )
yt 因此，的概率密度函数为：
1 f ( yt ) e 2
本章主要介绍极大似然法、非线性最小二乘法 和广义矩方法，以及基于极大似然估计的似然 比（LR）检验、沃尔德（W）检验和拉格朗日 乘数（LM）检验。

第一节 极大似然估计法
极大似然估计法（Maximum Likelihood method ML）的应用虽然没有普通最小二乘法广泛，但它是一 个具概率密度函数或者分布律来估计总体 参数。 对于一些特殊类型的计量经济模型，如我们后面将 介绍的Logit和Probit模型，最小二乘法不再适用，极 大似然法成为首选的估计方法。
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n

一般通过微分的方法求得 ，即令 L( ) / 0 得到， 有时候也可通过迭代法来求ˆ ，具体的计算方法根 据随机变量的分布来确定。
这样得到的ˆ 称为参数 的极大似然估计值 ，而相 ˆ ，称为参数 的极大似然估 应的统计量通常记为 ML 计量。