如何求解参数的矩估与极大似然估计
典型教案1 1 1参数估计的矩法和极大似然法
0 dp f (i , u10 , , uk )dx1 dxn 要比落在其它区域内的概率为大。
i 1
0 dp 是 u10 , , u k 的函数。
n
因 此 极 大 似 然 法 就 寻 找 使
0 0 u1 , u 2 , , u k , 来估计u10 , u 2 , u k 。
n
0 这样做的好处是，lnL= l n f ( xi ; u10 , , u k )
J 1,2,, k
求解。
i 1
0 l n L l n f ( xi ; u10 , , u k ) 所以 0 0, 似然方程就可化简。 0 u j u j
3
2、定义
0 0 设总体 X 的密度函数为 f ( x1 ; u10 , , u k ) ，其中 u10 , , u k 为未知参数，x1 , , x n 为样
U CVn
S 1 1 ( X i X ) 2 X X n
1 (X n 1
i
S' 1 X 一般采用 X
X )2
作为 Cvo 的估计量。
1 ( K i 1) 2 n 1
4. uo=CSo 1 ( X i X )3 b3 n 3 U CSn 3 , 一般采用U CSn 1 n S 1 2 3/ 2 [ (Xi X ) ] [ ( X i X )2 ]3/ 2 n i 1 n 1 1 ( K i 1)3 ( Ki 1)3 n3 1 (n 3)CV 3 2 3/ 2 [ ( K 1) ] i n 1 5、 u 0
∵ EU EX EX 1 ∴ U X X i 是 uo=EX 的不偏估计量。 n 2、uo=DX 1 用 S 2 ( X i X ) 2 去估计 uo=DX n 已知总体样本(x1，x2，…xn)以后，把它代入 1 U S 2 ( X i X ) 2 作为 DX 的估计值。 n n 1 ∵ ES 2 DX n ∴S2 不是 DX 的无偏估计量。 纠偏： 设U
1矩估计和极大似然估计
16/22
设总体 X 的分布函数中含 k 个未知参数
1 , 2 , k .
步骤一：记总体 X 的 m 阶原点矩 E(Xm)为 am , m =1,2,„,k. 一般地, am (m =1, 2, „, K) 是总体分布 故, 中参数或参数向量 (1, 2, „, k) 的函数。 am (m=1, 2, „, k) 应记成: am(1,2,…,k), m =1, 2, „, k.
13/22
例3：设总体X的均值为，方差为2，求 和 2 的矩估计。
解：由
E(X) , 2 2 2 E(X ) .
^ X, 即 ^ n 2 1 2 2 X i X . n i 1
14/22
即
ˆ X, ˆ2 1 n 2 (Xi X ) . n i 1
依样本对参数θ 做出估计，或估计参数 θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。 参数估计包括：点估计和区间估计。
4/22
为估计参数 µ ，需要构造适当的统计量 T( X1, X2 , „ , Xn )， 一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为 µ的估计， 称该计算 值为 µ的一个点估计。
故，均值,方差2的矩估计为
ˆ X, 即 n 1 2 1 n 2 2 S . ˆ （ X X ) i n n i 1
15/22
如：正态总体N( , 2) 中 和2的矩估计为
ˆ X, ˆ2 1 n 2 （ X X ) . i n i 1
19/22
又如：若总体 X∼ U(a, b)，求a, b的矩估计。
解：列出方程组
ˆ, E( X ) 2 ˆ Var ( X ) .
5.2 参数的最大似然估计与矩估计
p) (1 x1 ) (1 xn )
xi p i1 (1
n xi p) i1 ,
(2)ln L
n
i 1
xi
ln
p
n
n
xi
i 1
ln(1
p),
n
n
(3)
dlnL
xi
i 1
n xi
i 1
0,
dp p 1 p
解得p
1 n
n
i 1
xi
(4) p 的MLE为
pˆ
1n
n
i 1
X
i
期望的点估计：X
1 n
n i 1
Xi
A1
X
①
EX
2
DX
(EX )2
2
2
A2
1 n
n i 1
Xi2
②
解得
ˆ
1 n
n i 1
Xi
X
ˆ 2
1 n
n i 1
Xi2
X2
1 n
n i 1
(Xi
X )2
#
本例说明，总体均值和总体方差的矩估计与总体的分布 无关 。
例3 灯泡厂从某天生产的一大批灯泡中随机抽取10只灯泡 进行寿命试验，测得数据如下（单位：h）
x1}P{ X 2
x2 }
P{ X n
n
xn }
p( x1; )p( x2; ) p( xn; ) p( xi; ).
给定样本值x1, x2, , xn ，
i 1
则样本 X1, X2, , Xn 取到观察值x1, x2, , xn的概率, n L( ) L( x1, x2, , xn; ) p( xi ; ) －－样本的似然函数.
2.2 矩估计和最大似然估计
求未知参数 ( , 2 ) 的矩估计量． 解 分别用样本均值 X 和二阶中心矩（未修正样本方
差） M 2* 估计 EX 和 DX ，得 和 2 的联立方程组：
1 2 X exp ， 2 M * (e 1) exp2 2 ． 2
于是，得 和 2 的矩估计量：
* 2 X M 2 2 ， ˆ ln ˆ ． ln 1 2 M* X 2 X 2
* 2 2
1 2
．
二、最大似然估计法
1、最大似然原理 一个试验有若干个可能的结果 A，B，C， ，若在一次 试验中结果 A 出现， 则一般认为试验条件对结果 A 出现有利， 也即 A 出现的概率最大。
2
关于 和 2 解方程组：
1 ln X 2， ln X 2 2 2 , 2
* ln M 2 ln(e 1) 2 2 ln(e 1) ln X 2；
2 2
ln(e
2
* * M2 M2 2 1) ln 2 ， e 1 2 ， X X * M2 2 ˆ ln 1 2 ； X
第 3 页 共 13 页
2.2 矩估计和最大似然估计
* ˆ X 3M2 a 所以 a , b 的矩估计为 * ˆ b X 3M 2
矩估计和极大似然估计
^ 2
1 n
n i1
Xi2
2
X .
14/22
即
ˆ X ,
ˆ 2
1 n
n i 1
(Xi
X )2.
故，均值,方差2的矩估计为
ˆ ˆ
X, 2 1
n
n
（X
i1
i
X )2
即
n 1S2. n
15/22
如：正态总体N(, 2) 中和2的矩估计为
)2
i1 2
(2 ) e , 2
n 2
1
2
2
n i1
( xi )2
对数似然函数为
ln
L(,
2
)
n 2
ln( 2
)
n 2
ln
2
1
2
2
n
( xi
i1
)2,
35/22
似然方程组为
ln L(, 2 ) 1 2
ln L(, 2 )
X1, X2 , … , Xn . 依样本对参数θ 做出估计，或估计参数θ 的 某个已知函数 g(θ ) 。 这类问题称为参数估计。
参数估计包括：点估计和区间估计。
4/22
为估计参数 µ，需要构造适当的统计量 T( X1, X2 , … , Xn )，
一旦当有了样本，就将样本值代入到该统计 量中，算出一个值作为µ的估计， 称该计算 值为 µ的一个点估计。
7/22
总体 k 阶原点矩 ak E(X k ),
样本 k 阶原点距
Ak
1 n
参数的最大似然估计与矩估计
矩估计的原理
矩估计的定义 矩估计的原理 矩估计的步骤 矩估计的优缺点
矩估计的步骤
定义：用样本矩 估计总体矩
计算方法：通过 样本数据计算样 本矩
确定估计量：选 择适当的样本矩 作为总体参数的 估计量
求解估计值：根 据估计量计算总 体参数的估计值
05
最大似然估计与矩估计的比较来自原理上的比较最大似然估计原理 矩估计原理 最大似然估计与矩估计的相似之处 最大似然估计与矩估计的不同之处
添加标题
性质：最大似然估计具有一些优良性质，如无偏 性、一致性和有效性等。它是一种常用的参数估 计方法，尤其在统计学和机器学习中广泛应用。
最大似然估计的步骤
定义似然函数
最大化似然函数
求解最大似然估计值
验证最大似然估计值的合 理性
04
矩估计
矩估计的定义
矩估计的基本思想 矩估计的原理 矩估计的数学表达 矩估计的优缺点
计算复杂度的比较
最大似然估计的 计算复杂度：通 常较高，因为需 要求解优化问题
矩估计的计算复 杂度：通常较低， 因为只需要计算 样本的均值和方
差等统计量
添加标题
添加标题
最大似然估计与 矩估计在计算复 杂度上的优劣： 最大似然估计在 某些情况下可能 更准确，但计算 复杂度较高；矩 估计计算简单， 但可能牺牲了一
性和一致性
最大似然估计的原理
添加标题
定义：最大似然估计是一种参数估计方法，通过最 大化样本数据的似然函数来估计参数。
添加标题
数学表达：最大似然估计的数学表达式为求解似然 函数的最大值。通常通过求导数并令其为零来找到 最大值。
添加标题
原理：最大似然估计的基本原理是选择参数使得样 本数据的概率最大。通过最大化似然函数，可以找 到最有可能的参数值。
矩估计与极大似然估计的典型例题
关于矩估计与极大似然估计的典型例题例1，设总体X 具有分布律⎟⎟⎠⎞⎜⎜⎝⎛−−22)1()1(2321~θθθθX 其中10<<θ为未知参数。
已经取得了样本值1,2,1321===x x x ，试求参数θ的矩估计与极大似然估计。
解：（i ）求矩估计量，列矩方程（只有一个未知参数）XX E =−=−×+−×+=θθθθθ23)1(3)1(22)(22得6523432x 32X 3=−=−=−=矩θ（ii ii）求极大似然估计，写出似然函数，即样本出现的概率）求极大似然估计，写出似然函数，即样本出现的概率),,()(332211x X x X x X P L ====θ)1,2,1(321====X X X P )1()2()1(321=×=×==X P X P X P )1(2)1(2522θθθθθθ−=×−×=对数似然)1ln(ln 52ln )(ln θθθ−++=L 0115)(ln =−−=θθθθd L d 得极大似然估计为65ˆ=极θ例2，某种电子元件的寿命某种电子元件的寿命（（以h 记）X 服从双参数指数分布服从双参数指数分布，，其概率密度为⎪⎩⎪⎨⎧≥−−=其他,0],/)(exp[1)(µθµθx x x f 其中0>µθ，均为未知参数，自一批这种零件中随机抽取n 件进行寿命试验，设它们的失效时间分别为.,,2,1n x x x L （1）求µθ，的最大似然估计量；（2）求µθ，的矩估计量。
解：（1）似然函数，记样本的联合概率密度为∏===ni i n x f x x x f L 12,1)();,,()(µθµθ，，L ⎪⎩⎪⎨⎧≥−−=∏=其他,0,,,]/)(exp[12,11µθµθn n i i x x x x L ⎪⎩⎪⎨⎧>≤−−=∑=)1()1(1,0),/)(exp(1xx n x ni i n µµθµθ在求极大似然估计时在求极大似然估计时，，0)(=µθ，L 肯定不是最大值的似然函数值，不考虑这部分，只考虑另一部分。
第二章1-矩估计和极大似然估计
0
解法二
E
X
x
1
x
e dx
1
x
x e dx (2)
2
0
即 E|X|
1 n
用 n i1 X i
替换
EX
即得的另一矩估计量为
ˆ 1
n
n i 1
Xi
16
• 矩估计的优点 – 不依赖总体的分布，简便易行 – 只要n充分大，精确度也很高。
• 矩估计的缺点 – 矩估计的精度较差； – 要求总体的某个k阶矩存在； – 要求未知参数能写为总体的原点矩的函数形 式
得和2的估计值分别为13(mm)和 0.133(mm)2
12
例2 设总体X的概率密度为
f
( x;
)
x 1 ,
0,
0 x 1 其它
X1,X2,,Xn为来自于总体X的样本,x1,x2, ,xn 为样本值,求参数的矩估计。
解： 先求总体矩
1
1
E( X ) x x 1dx x dx
x 1 1
ˆ2 (x1, x2 ,, xn )
数值
ˆk (x1, x2 ,, xn )
称数ˆ1,ˆ2 ,,ˆk 为未知参数1,2 ,,k 的估计值 对应的统计量为未知参数1,2 ,,k 的估计量
问题 如何构造统计量？
6
二.点估计的方法
1、矩方法；（矩估计） 2、极大似然函数法（极大似然估计）.
1. 矩方法
• 极大似然估计的缺点 要求必须知道总体的 分布函数形式
29
多参数情形的极大似然估计
若总体X的概率密度为：f (x;1,2 , ,k )
其中
1
,
2
,,
概率论与数理统计第七章-1矩估计法和极大似然估计法
数理统计
例5
设总体 X ~N( μ , σ 2) , μ , σ 2 未知 . x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
数理统计
定义 用样本原点矩估计相应的总体原点矩 ,
用样本原点矩的连续函数估计相应的总体原点矩的 连续函数, 这种参数点估计法称为矩估计法 . 矩估计法的具体做法如下 设总体的分布函数中含有k个未知参数 θ1 , θ2 , 那么它的前k阶矩 μ1 , μ2 ,
, θk ,
, μk , 一般
l xi P{ X xi ;1 , 2 , , k } l E ( X l ) l 1 hl (1 , 2 , , k ) x l p ( x; , , , )dx 1 2 k
数理统计
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ˆ ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ. ˆ ( x1 , x2 ,, xn )称为 的估计值. 简记为
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
数理统计
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？
数理统计
你可能会想，只发一枪便打中, 猎人命中的概 率一般大于这位同学命中的概率 . 看来这一枪是猎 人射中的 . 这个例子所作的推断已经体现了极大似然估计 法的基本思想 .
参数估计-矩法和极大似然法
它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
Fisher
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 .
这个例子所作的推断已经体现了极大似然法的 基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f
(x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L( ) f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
似然函数：
L( ) f (x1,x2,…, xn; )
L( )看作参数 的函数，它可作为 将以多大可
能产生样本值 x1, x2,… ,xn 的一种度量 .
i 1
i 1
对p求导并令其为0，
d ln L( p) dp
1 p
n i 1
xi
1 1 p
(n
n i 1
xi )=0
得
pˆ
1 n
n i 1
xi
x
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
pˆ ( X1,
1n , X n ) n i1 X i X
求最大似然估计(MLE)的一般步骤是：
如何求解参数的矩估与极大似然估计
如何求解参数的矩估与极大似然估计一、矩估计若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。
定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα =,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。
二、最（极）大似然估计设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为：其中Θ为参数集，若存在,),,(ˆˆ1Θθθ∈=n x x 使Θθθθ∈≥),()ˆ(L L 就称 ),,(ˆ1n x x θ是θ的最大似然估计值，而),,(ˆ1nX X θ是θ的最大似然估计量。
注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值n x x x ,,,21 出现的“概率”达到最大的θˆ作为θ的估计。
２）最大似然估计具有不变性，即若θˆ是θ的最大似然估计，则)(θg 的最大似然估计为)ˆ(θg 。
但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2X 。
1. 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-001)(1x x ex f x θθ，（θ>0）试求参数θ的矩估计和极大似然估计.解：ξ的概率密度为()1,0;,00,0xe xf x x θθθθ-⎧≥⎪=>⎨⎪<⎩似然函数为： ()11i x n i L eθθθ-=⎛⎫=⋅ ⎪⎝⎭∏而 令得到：11ˆn i i x n θ==∑=X 因此得到参数θ的极大似然估计量为：11ˆn i i X n θ==∑矩估计求法如下： 因为1E μξθ==令111ni i A x n θ===∑则11ˆn i i x n θ==∑从而θ的矩估计量为11ˆn i i X n θ==∑=X2. 设母体ξ具有指数分布，密度函数为⎩⎨⎧<≤=-00),(x xe xf xλλλ，（λ>0） 试求参数λ的矩估计和极大似然估计. 解：参数λ的矩估计求法为：因为令：则λ的矩估计量为：111ˆnii nA Xλ===∑极大似然估计求法如下：ξ的概率密度为(),0,0,0x e x f x x λλλ-⎧≥=⎨<⎩似然函数为： 而1ln ln nii L n xλλ==-∑令1ln 0ni i d L n x d λλ==-=∑解得λ的极大似然估计量为：1ˆnii nxλ==∑3. 设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计.解：矩估计求法为：令111ni i A x n μ===∑则11ˆni i x n μ==∑ 极大似然估计求法为： X 的概率密度为： 似然函数为： 而 令 即解得μ的极大似然估计量为：11ˆni i x n μ==∑。
参数估计-矩法和极大似然法
(4) 在最大值点的表达式中, 用样本值代入就 得参数的最大似然估计值 .
可靠性数学基础
例 设总体 X ~N( μ , σ )2 ,
2 μ , σ未知 .
x1 ,
, xn
是来自 X 的样本值 , 试求 μ , σ 2的最大似然估计量 . 解 X 的概率密度为
f ( x) 1 2 e
( x )2 2 2
Fisher
可靠性数学基础
最大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
可靠性数学基础
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 .
1
n
可靠性数学基础
且是的增函数
取其它值时，L( , ) 0.
故使 L( , )达到最大的 , 即 的MLE 是
min xi
* 1 i n
于是
n 1 * xi * n i 1 即 * , *为 , 的MLE .
可靠性数学基础
1 ( x ) e , x X ~ f ( x ) , 为未知参数 其它 0,
其中 >0,求 , 的最大似然估计. 解：似然函数为
1 ( xi ) ， xi e L( , ) i 1 其它 0,
可靠性数学基础
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样本 的联合密度(连续型）或联合分布律 (离散型)为 f (x1,x2,… ,xn ; ) . 当给定样本X1,X2,…Xn时，定义似然函数为：
求矩估计量和最大似然估计量
求矩估计量和最大似然估计量
矩估计量(Moment Estimator)和最大似然估计量(Maximum Likelihood Estimator)是统计学中用以估计随机变量参数的两种重要的方法。
其区别在于使用的原理：矩估计量使用的是求取样本统计量的期望，而最大似然估计量则是通过极大化似然函数来估计参数。
矩估计量是由拉格朗日最优化理论推理而出的非参数估计方法，根据样本统计量的假设期望，利用幂章数定律并计算矩，结合样本算数平均数与样本方差进行求解，从而求得极大似然函数的极大值，以此来估计参数派生值。
矩估计量的优点在于可以求解多个参数，可以在未知参数的情况下进行评估，这种估计量在处理简单的样本时十分有用。
最大似然估计量(Maximum Likelihood Estimator)是极大化似然函数来估计参数的基于参数方法。
它旨在求出最佳匹配拟合参数，从而使极大化此函数有最大可能满足观测数据值的参数解求解能力较强，同时，可以简单的估计函数的协方差，应用范围广泛。
总而言之，矩估计量和最大似然估计量是统计学中用以估计随机变量参数的有效方法，各有优劣。
矩估计量的求解速度快，因此，它适用于处理少量参数且简单数据的情况；而最大似然估计量则能够极大化观测数据值，更能合理有效地评估复杂数据。
矩估计和极大似然估计的求解步骤
2 1
(n
1)
2 0.975
(4)
0.484,
2
(n 1)
2 0.025
(4)
11.143
2
2
由样本值得：S 2 0.01425 , 代入数据计算区间上、下限，
得 2的置信度为95%的置信区间为：(0.0051,0.1178)。
总结：
2已知,的置信区间
(X Z , X Z )
小节：推导置信区间的步骤
（1）寻求一个含有待估参数θ（而不含其他任 何未知参数）的统计量U ，且其分布已知.
（2）对事先给定的置信度1-α，确定分位点. （3）解不等式，求得待估参数θ的置信区间.
例1: 设总体X~N(µ，52)，随机抽取容量为16的样
__
本，求得 x 65 , 试 求µ的置信度为95%的置信
使得 P ˆ1 ˆ2 1 (1)
成立，则称随机区间 ˆ1,ˆ2 为参数的置信度
为1－ 的置信区间。 1－ 称为置信度。
说明:
1、（1）式的含义是指总体参数θ 以1- 的概率
包含在 ˆ1,ˆ2 内，而不被包含的概率仅为。若取 =0.05, (1)式是指θ 以95的概率包含在 ˆ1,ˆ2 内,不
2
2
2 n 1 y
2
例3:求课本P124例2 中 2的置信度为95%的置信区间。 解： 2的置信度为1-α 的置信区间为：
n
2
2
1S 2 n 1
，n
2 1
1S n
2
2
1
对给定的α=1-0.95=0.05，查表知
矩估计量和矩估计值
矩估计量和矩估计值
求矩估计量、矩估计值和极大似然估计值的详细过程：
1、根据题目给出的概率密度函数，计算总体的原点矩（如果只有一个参数只要计算一阶原点矩，如果有两个参数要计算一阶和二阶）。
由于有参数这里得到的都是带有参数的式子。
如果题目给的是某一个常见的分布，就直接列出相应的原点矩（E(x)）。
2、根据题目给出的样本。
按照计算样本的原点矩，让总体的原点矩与样本的原点矩相等，解出参数。
所得结果即为参数的矩估计值。
矩估计量的背景知识：
简单的讲，概率密度函数表示的就是随机变量X在某点的概率（所有点的概率和为1）。
对于连续型的随机变量，其图像通常为一个连续的曲线，离散型的随机变量的图像一般是一个一个点组成。
“似然性”与“或然性”或“概率”意思相近，都是指某种事件发生的可能性，但是在统计学中，“似然性”和“或然性”或“概率”又有明确的区分。
似然性则是用于在已知某些观测所得到的结果时，对有关事物的性质的参数进行估计。
这里类似于“贝叶斯方法”的思路。
专题18 矩估计与极大似然估计
分析:注意题目给的是分布函数， 求矩估计需要计算均值； 先求概率密度 似然函数是密度函数的乘积.
10
解:X的概率密度为f
( x;
)
x 1
0,
,
x x
1, 1.
(1)矩估计E X
xf (x; )dx
x
1
EX ， EX 1
(2)似然函数L( )
n
i1
ˆ1
f (xi ; n
15
X1 min X1, X 2 , , X n ,
此时，似然函数L( , ˆ)
1
n
nˆ
e
exp
nx
,
所以
lnL , ˆ nln
1
n
Xi
i 1
ˆ ,
dlnL d
n
1
2
n i 1
Xi X1 ,
dlnL
d
=ˆ
0,
ˆ
X
X 1
16
总结：矩估计的难点（1）是计算数学期望
max xi / 2 min xi ,
且L( )是的单减函数，
极大似然估计值ˆ max xi / 2 1.48.
9
例18.3.设总体X的分布函数为F (x;
)
1
1 x
0,
,
x x
1, 1.
其中未知参数 1, X1, X 2, , X n为来自总体X的简单随
机样本,求(1)的矩估计量，(2)的极大似然估计量.
f
x; ,
1
e x
,
x
L,
n i 1
1
e xi
1
n
exp
1
n
矩估计和极大似然估计
=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2
2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
14
第二节
极大似然估计
第七章
极大似然估计
15
极大似然估计法: 定义7.1 设 是
1, 第i次取到不合格品； Xi i 1, 2, , n. 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
9
n
例5
设总体X ~ U [a, b], a, b未知；X 1 , , X n
1100
可用两种方法：矩法估计 和极大似然估计.
28
1 x e , x0 X : p( x; ) ( 0) 0 , other
1）矩法估计
令 X
1 EX x e dx 0 则可得 的矩法估计量为：ˆ X .
x
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X 估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
6
例2
22
令
即
所以参数
的极大似然估计量为
23
例3
解
设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
似然函数为:
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
如何求解参数的矩估与极大似然估计
一、矩估计
若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。
定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα =
,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程
k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。
二、最（极）大似然估计
设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为：
∏=∈==n
k k n x f x x L L 11),,(),,,()(Θθθθθ
其中Θ为参数集，若存在,),,(ˆˆ1Θθθ∈=n x x 使Θθθθ∈≥),()ˆ(L L 就称 ),,(ˆ1n x x θ是θ的最大似然估计值，而),,(ˆ1n
X X θ是θ的最大似然估计量。
注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值
n x x x ,,,21 出现的“概率”达到最大的θˆ作为θ的估计。
２）最大似然估计具有不变性，即若θ
ˆ是θ的最大似然估计，则)(θg 的最大似然估计为)ˆ(θ
g 。
但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2
X 。
1. 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-0
01)(1
x x e
x f x θ
θ
，（θ>0）
试求参数θ的矩估计和极大似然估计.
解：ξ的概率密度为()1,0
;,00,0x
e x
f x x θ
θθθ-⎧≥⎪=>⎨⎪<⎩
似然函数为： ()11i x n i L e
θ
θθ
-=⎛⎫=⋅ ⎪⎝⎭
∏ 1
1
1
1
1
n
i
i
i x n
x n
n
i e
e
θ
θ
θ
θ
=--
=∑=
⋅=⋅∏
而
1
1
ln ln n
i i L n x θθ
==-⋅-
∑
令
2
1
ln 11
0n
i
i d L n x
d θθθ
==-⋅+=∑
得到：1
1ˆn
i i x n θ==∑=X
因此得到参数θ的极大似然估计量为：1
1ˆn i i X n θ==∑
矩估计求法如下： 因为1E μξθ==
令111n
i i A x n θ===∑
则1
1ˆn i i x n θ==∑
从而θ的矩估计量为1
1ˆn i i X n θ==∑=X
2. 设母体ξ具有指数分布，密度函数为⎩⎨
⎧<≤=-0
0),(x x
e x
f x
λλλ，（λ>0） 试求参数λ的矩估计和极大似然估计. 解：参数λ的矩估计求法为：因为
11
E μξλ
==
令：
111
1n
i i A x n λ===∑ 则λ的矩估计量为：1
1
1ˆn
i
i n
A X
λ
===∑
极大似然估计求法如下：
ξ的概率密度为(),0
,0,0x e x f x x λλλ-⎧≥=⎨<⎩
似然函数为： ()1,0i
n
x i L e x λ
λλ-==
≥∏
而1
ln ln n
i
i L n x
λλ
==-∑
令
1
ln 0n
i i d L n x d λλ==-=∑ 解得λ的极大似然估计量为：1
ˆn
i
i n
x
λ
==∑
3. 设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计.
解：矩估计求法为：
()1E X μμ==
令111n
i i A x n μ===∑
则1
1ˆn
i i x n μ
==∑ 极大似然估计求法为：
X 的概率密度为： (
)()2
2
;x f x μμ--
=
似然函数为：
(
)()2
2
1
i x n
i L μμ--==
()()21
1
22
2n
i i x n e μπ=-
--∑
=
而
()()2
1
1ln ln 222n i i n L x πμ==---∑
令
()1
ln 1202n
i i d L x d μμ==-=∑ 即
()1
0n
i
i x μ=-=∑
解得μ的极大似然估计量为：1
1ˆn
i i x n μ
==∑。