极大似然估计和广义矩估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
n
n
i 1
i
i 1
n
1
2
n
i 1
i
若 L( x , x ,..., x ;ˆ) Max L( x , x ,..., x ; ) 则 计量，记为 ˆ 。
1 2 n
1
2
n
ˆ
称为 的极大似然估
ML
9
L( )关于 可微，这时 ˆ 可从方程 通常情况下， L( ) / 0 解得。因为 L( )与 ln L( )在同一点处取到 ˆ通常从方程 L( ) / 0 极值，的极大似然估计值 解得，式中 ln L( ) 称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为 S( ) lnL( )/ ， S( ) 称为score向量或梯度向量， 的极大似然估计量 通过求解得到， S( ) 0 因此 S( ) 0 称为似然方程。
3
一、极大似然法的思路
设有一枚不均衡的硬币，我们关心的是在每次抛 掷该硬币出现正面的概率p。抛掷该硬币N次，假设 N N1 次反面。由于每次抛硬币都是 得到 N1 次正面， 相互独立的，根据二项分布，得到这样一个样本的概 率为： N1 N1 P( N1次正面) C N p (1 p) N N1
第一节 极大似然估计法
第二节似然比检验、沃尔德检验和拉格
朗日乘数检验
第三节广义矩（GMM）估计 小结
除普通最小二乘法（OLS）外，极大似然估 计（MLE）和广义矩估计（GMM）也是计 量经济学中重要的估计方法。
极大似然估计法和广义矩估计法适用于大样 本条件下参数的估计，它们在大样本条件下 显示了优良的性质。 本章主要介绍极大似然法和广义矩方法以及 基于极大似然估计的似然比（LR）检验、 沃尔德（W）检验和拉格朗日乘数（LM） 检验。
上式中的表达式可看作是未知参数p的函数，被 称为似然函数（Likelihood function）。对p的极大 似然估计意味着我们选择使似然函数达到最大的p值， 从而得到p的极大似然估计量。
4
实际计算中，极大化似然函数的对数往往比较方便， 这给出对数似然函数
ln L( p) lnc
d ln L( p)
7
•一般通过微分的方法求得 ˆ ，即，令 L( ) / 0得 到，有时候也可通过迭代法来求ˆ ，具体的计算方 法根据随机变量的分布来确定。 这样得到的 ˆ 称为参数 的极大似然估计值 ，而相 应的统计量通常记为 ˆ ，称为参数 的极大似然 估计量。
ML
8
（二）连续型随机变量极大似然原理 与离散型的情况一样，我们取 的估计值 ˆ 使 f ( x , )dx 取到极大值，但 dx 不随 而变，故只需考虑函数 L( ) L( x , x ,..., x ; ) f ( x ; ) 的极大值，这里 L ( ) 称为样 本的似然函数。
ˆ 是渐近有效的且达到所有一 （2） 渐近有效性： ML 致估计量的Cramè r-Rao下界，即在所有一致渐近正 态估计量（consistent asymptotically normal estimators ）中具有最小方差。
ˆ ~ N ,V ( ) （3） 渐近正态性： ML 0 0 即渐近地服从正态分布，其中V是渐近协方差矩阵
第一节 极大似然估计法
极大似然估计法（Maximum Likelihood method ，ML）的应用虽然没有普通最小二乘法广泛，但它是 一个具有更强理论性质的点估计方法，它以极大似然 原理为基础，通过概率密度函数或者分布律来估计总 体参数。 极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。
10
三、极大似然估计量的性质
极大似然估计量（MLE）的优势在于它们的大样本 性质（渐近性质）。 为介绍这些渐近性质，我们用表示参数向量的极大 似然估计量（MLE），表示参数向量的真值。 如果极大似然函数被正确设定，可以证明，在弱正 则条件下，极大似然估计量具有以下渐近性质：
11
ˆ ˆ 是 的一致估计量，即， p lim （1）一致性： ML 0 ML
6
（一）离散型随机变量极大似然原理
若总体为离散型分布，容易求得从样本 X , X ,...X 取到 观察值 x1, x2 ,..., xn 的概率，亦即事件发生的概率 L( ) L( x , x ,..., x ; ) p( x ; ) X x , X x ,..., X x 为： 其中， ( , ,..., ) 是待估参数向量。
1 2 n
n
1
1
2
2
n
n
1
2
n
i 1
i
1
2Hale Waihona Puke Baidu
k
这一概率随 的取值而变化，它是 的函数，L( ) 称 为样本的似然函数。 极大似然估计法就是在 取值的可能范围内挑选使 似然函数 L( x1, x2 ,, xn ; )达到最大的参数值 ˆ 作为参数 L( x1, x2 ,..., xn ; ) 的估计值，即求ˆ ，使得 L( x1, x2 ,..., xn ;ˆ) Max
N1 N
N1 ln( p) (N - N1 )ln(1 - p)
上式达到极大的一阶条件是
d
p
N1 N N1 0 p 1 p
解之，得到p的极大似然估计量
ˆ N1 / N p
5
二、极大似然原理
极大似然法的思路是，设 f ( x, ) 是随机变量X的密度函 数，其中 是该分布的未知参数，若有一随机样本 X1 , X 2 ,..., X n ，则 的极大似然估计值是具有产生该观 值，或者换句话说，的极 测样本的最高概率的那个 大似然估计值是使密度函数f ( x, )达到最大的值。 由于总体有离散型和连续型两种分布，离散型分布通 过分布律来构造似然函数，而连续型分布通过概率密 度函数来构造似然函数，因此二者有区别，下面分别 讨论。
n
i 1
i
i 1
n
1
2
n
i 1
i
若 L( x , x ,..., x ;ˆ) Max L( x , x ,..., x ; ) 则 计量，记为 ˆ 。
1 2 n
1
2
n
ˆ
称为 的极大似然估
ML
9
L( )关于 可微，这时 ˆ 可从方程 通常情况下， L( ) / 0 解得。因为 L( )与 ln L( )在同一点处取到 ˆ通常从方程 L( ) / 0 极值，的极大似然估计值 解得，式中 ln L( ) 称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为 S( ) lnL( )/ ， S( ) 称为score向量或梯度向量， 的极大似然估计量 通过求解得到， S( ) 0 因此 S( ) 0 称为似然方程。
3
一、极大似然法的思路
设有一枚不均衡的硬币，我们关心的是在每次抛 掷该硬币出现正面的概率p。抛掷该硬币N次，假设 N N1 次反面。由于每次抛硬币都是 得到 N1 次正面， 相互独立的，根据二项分布，得到这样一个样本的概 率为： N1 N1 P( N1次正面) C N p (1 p) N N1
第一节 极大似然估计法
第二节似然比检验、沃尔德检验和拉格
朗日乘数检验
第三节广义矩（GMM）估计 小结
除普通最小二乘法（OLS）外，极大似然估 计（MLE）和广义矩估计（GMM）也是计 量经济学中重要的估计方法。
极大似然估计法和广义矩估计法适用于大样 本条件下参数的估计，它们在大样本条件下 显示了优良的性质。 本章主要介绍极大似然法和广义矩方法以及 基于极大似然估计的似然比（LR）检验、 沃尔德（W）检验和拉格朗日乘数（LM） 检验。
上式中的表达式可看作是未知参数p的函数，被 称为似然函数（Likelihood function）。对p的极大 似然估计意味着我们选择使似然函数达到最大的p值， 从而得到p的极大似然估计量。
4
实际计算中，极大化似然函数的对数往往比较方便， 这给出对数似然函数
ln L( p) lnc
d ln L( p)
7
•一般通过微分的方法求得 ˆ ，即，令 L( ) / 0得 到，有时候也可通过迭代法来求ˆ ，具体的计算方 法根据随机变量的分布来确定。 这样得到的 ˆ 称为参数 的极大似然估计值 ，而相 应的统计量通常记为 ˆ ，称为参数 的极大似然 估计量。
ML
8
（二）连续型随机变量极大似然原理 与离散型的情况一样，我们取 的估计值 ˆ 使 f ( x , )dx 取到极大值，但 dx 不随 而变，故只需考虑函数 L( ) L( x , x ,..., x ; ) f ( x ; ) 的极大值，这里 L ( ) 称为样 本的似然函数。
ˆ 是渐近有效的且达到所有一 （2） 渐近有效性： ML 致估计量的Cramè r-Rao下界，即在所有一致渐近正 态估计量（consistent asymptotically normal estimators ）中具有最小方差。
ˆ ~ N ,V ( ) （3） 渐近正态性： ML 0 0 即渐近地服从正态分布，其中V是渐近协方差矩阵
第一节 极大似然估计法
极大似然估计法（Maximum Likelihood method ，ML）的应用虽然没有普通最小二乘法广泛，但它是 一个具有更强理论性质的点估计方法，它以极大似然 原理为基础，通过概率密度函数或者分布律来估计总 体参数。 极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。
10
三、极大似然估计量的性质
极大似然估计量（MLE）的优势在于它们的大样本 性质（渐近性质）。 为介绍这些渐近性质，我们用表示参数向量的极大 似然估计量（MLE），表示参数向量的真值。 如果极大似然函数被正确设定，可以证明，在弱正 则条件下，极大似然估计量具有以下渐近性质：
11
ˆ ˆ 是 的一致估计量，即， p lim （1）一致性： ML 0 ML
6
（一）离散型随机变量极大似然原理
若总体为离散型分布，容易求得从样本 X , X ,...X 取到 观察值 x1, x2 ,..., xn 的概率，亦即事件发生的概率 L( ) L( x , x ,..., x ; ) p( x ; ) X x , X x ,..., X x 为： 其中， ( , ,..., ) 是待估参数向量。
1 2 n
n
1
1
2
2
n
n
1
2
n
i 1
i
1
2Hale Waihona Puke Baidu
k
这一概率随 的取值而变化，它是 的函数，L( ) 称 为样本的似然函数。 极大似然估计法就是在 取值的可能范围内挑选使 似然函数 L( x1, x2 ,, xn ; )达到最大的参数值 ˆ 作为参数 L( x1, x2 ,..., xn ; ) 的估计值，即求ˆ ，使得 L( x1, x2 ,..., xn ;ˆ) Max
N1 N
N1 ln( p) (N - N1 )ln(1 - p)
上式达到极大的一阶条件是
d
p
N1 N N1 0 p 1 p
解之，得到p的极大似然估计量
ˆ N1 / N p
5
二、极大似然原理
极大似然法的思路是，设 f ( x, ) 是随机变量X的密度函 数，其中 是该分布的未知参数，若有一随机样本 X1 , X 2 ,..., X n ，则 的极大似然估计值是具有产生该观 值，或者换句话说，的极 测样本的最高概率的那个 大似然估计值是使密度函数f ( x, )达到最大的值。 由于总体有离散型和连续型两种分布，离散型分布通 过分布律来构造似然函数，而连续型分布通过概率密 度函数来构造似然函数，因此二者有区别，下面分别 讨论。