最大似然估计ppt课件

§2.1 最大似然估计
一、最大似然原理
二、线性模型的最大似然估计 三、非线性模型的最大似然估计 四、异方差和序列相关的最大似然估计 五、最大似然估计下的Wald、LM和LR检验
一、最大似然原理
• 最大似然方法(Maximum Likelihood，ML)
– 当从模型总体随机抽取n组样本观测值后，最合理的参 数估计量应该使得从模型中抽取该n组样本观测值的概 率最大。
2 ˆ L ( β , ) P ( Y ,Y 1,Y 2, n)

1 (2 ) n
n 2
e
1 2 ˆ)) 2 (Y f ( X , i i 2
* MaxL Ln ( L )
1 2 ˆ nLn (2 ) 2 ( Y f ( X , )) i i 2
ˆ ˆ M i n ( Y X β ) ( Y X β )
1 ˆ β ( X X )X Y
• 结构参数估计结果与OLS估计相同
• 分布参数估计结果与OLS不同
2 ˆ ˆ e ( Y X β ) ( Y X β ) i 2 ˆ M L n n
ˆ
2、多元线性模型的最大似然估计
y x x x i 01 1 i 2 2 i k k i i i=1,2,…,n
2 Y N ( X β , ) i~ i
2 ~ N (0 , ) i

ˆ, 2 ) P(Y L( β ,Y 1,Y 2 , n) 1 (2 ) n 1 (2 ) n
2 ˆ Min ( Y f ( X , )) i i
• 面临NLS同样的过程，得到相同的估计结果。
2. 一般非线性模型的ML估计
i 1 , ,n h ( y , ) g ( x , ) u i i i
2 ( u , , u ) ~ N ( 0 , I ) 1 n
• 将样本观测值联合概率函数称为样本观测值的似然函数。 • 在已经取得样本观测值的情况下，使似然函数取最大值的总体 分布参数所代表的总体具有最大的概率取得这些样本观测值， 该总体参数即是所要求的参数。
– 通过似然函数极大化以求得总体参数估计量的方法被 称为极大似然法。
二、线性模型的最大似然估计
1、一元线性模型的最大似然估计
ˆ ˆ Y N ( X , ) i~ 0 1 i
2
Yi的分布
P ( Y i)
2
1
1
e
1 2 ˆ ˆX 2 ( Y i 0 1 i) 2
Yi的概率函数
2 ˆ ˆ L ( , , ) P ( Y , Y , , Y ) 0 1 1 2 n

随机项满足 经典假设
x x x i 1 i x 2 i ki
其中 h () 和 g () 是非线性函数， 和 是参数。
• 以上是一般非线性模型的完整描述。
• 模型参数的一种估计方法是最小二乘法，即最小 化
S ( ,) [ h ( y ,) g ( x , )] i i
n 2 n 2
e
1 ˆ ˆ X ˆ X ˆ X ))2 2 (Y ( i 0 1 1i 2 2i k ki 2

e
1 ˆ )(YX ˆ) 2 (YX β β 2
* M a x L L n ( L )
1 ˆ ˆ ( n L n (2 ) 2( YX β ) YX β ) 2
2 O L S
e e n k 1 n k 1
2 e i
3、最大似然估计量的性质
• 一致性 • 渐近正态性 • 渐近有效性
• 不变性
三、非线性模型的最大似然估计
1、简单非线性模型的最大似然估计
y f ( x , ) i i i
i=1,2,…,n
2
2 ~ N (0 , ) Y N ( f( X β ), ) i i~ i,
最大似然估计
关于估计方法的说明
• 计量经济学模型(参数模型、均值回归模型、基于 样本信息）的3类估计方法
–LS、ML、MM –经典模型的估计—LS –非经典模型的估计—ML、GMM
• 综合样本信息和先验信息的贝叶斯估计 • 分位数回归模型，Quantile Regression ,QREG • 非参数模型的权函数估计、级数估计等
ˆ Xi2Yi Xi Yi Xi 0 nXi2 (Xi )2 ˆ nYi Xi Yi Xi 1 2 2 n X ( X ) i i
对数似然 函数
对数似然函 数极大化的 一阶条件
结构参数的 ML估计量
L * 2 n 1 ˆ ˆ ( Y X ) 0 i 0 1 i 2 2 2
e n n 2 (2 )
1 ˆ ˆ X )2 2 ( Y i 0 1 i 2
Y的所有样 本观测值的 联合概率— 似然函数
* L ln( L )
1 2 ˆ ˆX n ln( 2 ) 2 ( Y ) i 0 1 i 2
ˆ ˆ X )2 0 ( Y i 0 1 i ˆ 0 ˆ ˆ X )2 0 (Yi 0 1 i ˆ 1
2 i



• 模型参数的另一种估计方法是最大似然法。得 到广泛应用。
最大似然估计
• yi的密度函数
( 2 )
y g ( x , ) u i i i
2 2
2 e i 2 1 2 ˆ ˆ ˆ ( Y X ) i 0 1 i n n
分布ห้องสมุดไป่ตู้数的 ML估计量
• 注意：
– ML估计必须已知Y的分布。 – 只有在正态分布时ML和OLS的结构参数估计结果 相同。 – 如果Y不服从正态分布，不能采用OLS。例如：选 择性样本模型、计数数据模型等。