第四章 极大似然估计和广义矩估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
7
离散型随机变量极大似然原理
若总体为离散型分布，容易求得从样本 X1 , X 2 ,...X n 取到观察值 x1 , x2 ,..., xn 的概率，亦即事件 X1 x1, X 2 x2 ,..., X n xn 发生的概率为： n L( ) L( x1 , x2 ,..., xn ; ) p( xi ; )
9
连续型随机变量极大似然原理
若总体为连续型分布，其概率密度函数为 f ( x; ) (1,2 ,...,k )是待估参数 密度函数的形式已知。其中， 向量。 设 X1 , X 2 ,...X n 是来自总体的随机样本，则 X1 , X 2 ,...X n 的联合概率密度为
f ( x , )
3
一、极大似然法的思路
极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。
4
例4.1 设有一枚不均衡的硬币，我们关心的是在每 次抛掷该硬币出现正面的概率p。抛掷该硬币N次， 假设得到 N1 次正面，N－ N1 次反面。由于每次抛硬 币都是相互独立的，根据二项分布，得到这样一个样 本的概率为：
第一节 极大似然估计法 第二节 似然比检验、沃尔德检验和拉 格朗日乘数检验 第三节 广义矩（GMM）估计
1
除普通最小二乘法（OLS）外，极大 似然估计（MLE）和广义矩估计（ GMM）也是计量经济学中重要的估计 方法。 极大似然估计法和广义矩估计法适用 于大样本条件下参数的估计，它们在 大样本条件下显示了优良的性质。 本章主要介绍极大似然法和广义矩方 法以及基于极大似然估计的似然比（ LR）检验、沃尔德（W）检验和拉格 朗日乘数（LM）检验。
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n
则
ˆ
称为 的极大似然估计量，记为ˆML 。
11
ˆ 可从方程 L( )关于 可微，这时 通常情况下，
L( ) / 0
解得。因为 L( )与 ln L( ) 在同一点处取到极值， 的 极大似然估计值 ˆ 通常从方程 ln L( ) / 0 解得，式中 ln L( )称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为 S( ) lnL( )/
i 1
(1,2 ,...,k ) 是待估参数向量。 其中，
这一概率随 的取值而变化，它是 的函数， L( ) 称 为样本的似然函数。
8
极大似然估计法就是在 取值的可能范围内挑选使 似然函数L( x1, x2 ,, xn ; ) , 达到最大的参数值 ˆ 作 为参数 的估计值，即求 ˆ ，使得
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n
一般通过微分的方法求得ˆ ，即令 L( ) / 0 得到， 有时候也可通过迭代法来求ˆ ，具体的计算方法根 据随机变量的分布来确定 这样得到的 ˆ 称为参数 的极大似然估计值 ，而相 应的统计量通常记为 ˆML，称为参数 的极大似然估 计量。
N1 N1 P( N1次正面) CN p (1 p) N N1
上式中的表达式可看作是未知参数p的函数，被称 为似然函数（Likelihood function）。对p的极大似 然估计意味着我们选择使似然函数达到最大的p值， 从而得到p的极大似然估计量。
5
实际计算中，极大化似然函数的对数往往比较方便， 这给出对数似然函数
S( ) 称为score向量或梯度向量， 的极大似然估 计通过求解 S( ) 0 得到，因此 S( ) 0 称为似然
i 1 i
n
(4 3)
设 x1 , x2 ,..., xn 是相应于样本的一组样本值，则随机点 （ X1 , X 2 ,...X n ）落在点（x1 , x2 ,..., xn）的邻域内的概率 n 可近似地表示为 f ( xi , )dx (4 4)
i 1
其值随 的取值而变化。
2
第一节 极大似然估计法
极大似然估计法（Maximum Likelihood method ML ）的应用虽然没有普通最小二乘法广泛，但它是一个 具有更强理论性质的点估计方法，它以极大似然原理 为基础，通过概率密度函数或者分布律来估计总体参 数。 对于一些特殊类型的计量经济模型，如我们后面将 介绍的Logit和Probit模型，最小二乘法不再适用，极 大似然法成为首选的估计方法。
1 ln L( p) lncN - p) N N1 ln( p) (N - N1 )ln(1
上式达到极大的一阶条件是
d ln L( p) N1 N N1 0 dp p 1 p
解之，得到p的极大似然估计量
ˆ N1 / N p
6
二、极大似然原理
下面我们以一般化的数学语言来描述极大似然估 计法的基本原理和参数估计过程。 极大似然法的思路是，设 f ( x, ) 是随机变量X的密 度函数，其中 是该分布的未知参数，若有一随机样 本 X1, X 2 ,..., X n ，则 的极大似然估计值是具有产生该 观测样本的最高概率的那个 值，或者换句话说， 的极大似然估计值是使密度函数 f ( x, ) 达到最大的 值。 由于总体有离散型和连续型两种分布，离散型分布 通过分布律来构造似然函数，而连续型分布通过概率 密度函数来构造似然函数，因此二者有区别，下面分 别讨论。
10
与离散型的情况一样，我们取 的估计值 ˆ使
f ( x , )dx
取到极大值，但 dx 不随 而变，故只需考虑函数
n i 1
n
百度文库
i 1
i
L( ) L( x1 , x2 ,..., xn ; ) f ( xi ; )
i 1
n
的极大值，这里 L( ) 称为样本的似然函数。若
离散型随机变量极大似然原理
若总体为离散型分布，容易求得从样本 X1 , X 2 ,...X n 取到观察值 x1 , x2 ,..., xn 的概率，亦即事件 X1 x1, X 2 x2 ,..., X n xn 发生的概率为： n L( ) L( x1 , x2 ,..., xn ; ) p( xi ; )
9
连续型随机变量极大似然原理
若总体为连续型分布，其概率密度函数为 f ( x; ) (1,2 ,...,k )是待估参数 密度函数的形式已知。其中， 向量。 设 X1 , X 2 ,...X n 是来自总体的随机样本，则 X1 , X 2 ,...X n 的联合概率密度为
f ( x , )
3
一、极大似然法的思路
极大似然估计的出发点是已知被观测现象的分布， 但不知道其参数。极大似然法用得到观测值（样本） 最高概率的那些参数的值来估计该分布的参数，从而 提供一种用于估计刻画一个分布的一组参数的方法。
4
例4.1 设有一枚不均衡的硬币，我们关心的是在每 次抛掷该硬币出现正面的概率p。抛掷该硬币N次， 假设得到 N1 次正面，N－ N1 次反面。由于每次抛硬 币都是相互独立的，根据二项分布，得到这样一个样 本的概率为：
第一节 极大似然估计法 第二节 似然比检验、沃尔德检验和拉 格朗日乘数检验 第三节 广义矩（GMM）估计
1
除普通最小二乘法（OLS）外，极大 似然估计（MLE）和广义矩估计（ GMM）也是计量经济学中重要的估计 方法。 极大似然估计法和广义矩估计法适用 于大样本条件下参数的估计，它们在 大样本条件下显示了优良的性质。 本章主要介绍极大似然法和广义矩方 法以及基于极大似然估计的似然比（ LR）检验、沃尔德（W）检验和拉格 朗日乘数（LM）检验。
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n
则
ˆ
称为 的极大似然估计量，记为ˆML 。
11
ˆ 可从方程 L( )关于 可微，这时 通常情况下，
L( ) / 0
解得。因为 L( )与 ln L( ) 在同一点处取到极值， 的 极大似然估计值 ˆ 通常从方程 ln L( ) / 0 解得，式中 ln L( )称为对数似然函数。 为了后面内容表述方便起见，我们将对数似然函数 的一阶导数向量表示为 S( ) lnL( )/
i 1
(1,2 ,...,k ) 是待估参数向量。 其中，
这一概率随 的取值而变化，它是 的函数， L( ) 称 为样本的似然函数。
8
极大似然估计法就是在 取值的可能范围内挑选使 似然函数L( x1, x2 ,, xn ; ) , 达到最大的参数值 ˆ 作 为参数 的估计值，即求 ˆ ，使得
ˆ) Max L( x , x ,..., x ; ) L( x1 , x2 ,..., xn ; 1 2 n
一般通过微分的方法求得ˆ ，即令 L( ) / 0 得到， 有时候也可通过迭代法来求ˆ ，具体的计算方法根 据随机变量的分布来确定 这样得到的 ˆ 称为参数 的极大似然估计值 ，而相 应的统计量通常记为 ˆML，称为参数 的极大似然估 计量。
N1 N1 P( N1次正面) CN p (1 p) N N1
上式中的表达式可看作是未知参数p的函数，被称 为似然函数（Likelihood function）。对p的极大似 然估计意味着我们选择使似然函数达到最大的p值， 从而得到p的极大似然估计量。
5
实际计算中，极大化似然函数的对数往往比较方便， 这给出对数似然函数
S( ) 称为score向量或梯度向量， 的极大似然估 计通过求解 S( ) 0 得到，因此 S( ) 0 称为似然
i 1 i
n
(4 3)
设 x1 , x2 ,..., xn 是相应于样本的一组样本值，则随机点 （ X1 , X 2 ,...X n ）落在点（x1 , x2 ,..., xn）的邻域内的概率 n 可近似地表示为 f ( xi , )dx (4 4)
i 1
其值随 的取值而变化。
2
第一节 极大似然估计法
极大似然估计法（Maximum Likelihood method ML ）的应用虽然没有普通最小二乘法广泛，但它是一个 具有更强理论性质的点估计方法，它以极大似然原理 为基础，通过概率密度函数或者分布律来估计总体参 数。 对于一些特殊类型的计量经济模型，如我们后面将 介绍的Logit和Probit模型，最小二乘法不再适用，极 大似然法成为首选的估计方法。
1 ln L( p) lncN - p) N N1 ln( p) (N - N1 )ln(1
上式达到极大的一阶条件是
d ln L( p) N1 N N1 0 dp p 1 p
解之，得到p的极大似然估计量
ˆ N1 / N p
6
二、极大似然原理
下面我们以一般化的数学语言来描述极大似然估 计法的基本原理和参数估计过程。 极大似然法的思路是，设 f ( x, ) 是随机变量X的密 度函数，其中 是该分布的未知参数，若有一随机样 本 X1, X 2 ,..., X n ，则 的极大似然估计值是具有产生该 观测样本的最高概率的那个 值，或者换句话说， 的极大似然估计值是使密度函数 f ( x, ) 达到最大的 值。 由于总体有离散型和连续型两种分布，离散型分布 通过分布律来构造似然函数，而连续型分布通过概率 密度函数来构造似然函数，因此二者有区别，下面分 别讨论。
10
与离散型的情况一样，我们取 的估计值 ˆ使
f ( x , )dx
取到极大值，但 dx 不随 而变，故只需考虑函数
n i 1
n
百度文库
i 1
i
L( ) L( x1 , x2 ,..., xn ; ) f ( xi ; )
i 1
n
的极大值，这里 L( ) 称为样本的似然函数。若