如何求解参数的矩估与极大似然估计

如何求解参数的矩估与极大似然估计

一、矩估计

若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。 定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα =

,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程

k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。

二、最（极）大似然估计

设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为：

∏=∈==n

k k n x f x x L L 11),,(),,,()(Θθθθθ

其中Θ为参数集，若存在,),,(ˆˆ1Θθθ∈=n x x 使Θθθθ∈≥),()ˆ(L L 就称 ),,(ˆ1n x x θ是θ的最大似然估计值，而),,(ˆ1n

X X θ是θ的最大似然估计量。 注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值

n x x x ,,,21 出现的“概率”达到最大的θˆ作为θ的估计。

２）最大似然估计具有不变性，即若θ

ˆ是θ的最大似然估计，则)(θg 的最大似然估计为)ˆ(θ

g 。但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2

X 。

1. 设总体ξ服从指数分布，其概率密度函数为⎪⎩⎪⎨⎧<≤=-0

01)(1

x x e

x f x θ

θ

，（θ>0）

试求参数θ的矩估计和极大似然估计.

解：ξ的概率密度为()1,0

;,00,0x

e x

f x x θ

θθθ-⎧≥⎪=>⎨⎪<⎩

似然函数为： ()11i x n i L e

θ

θθ

-=⎛⎫=⋅ ⎪⎝⎭

∏ 1

1

1

1

1

n

i

i

i x n

x n

n

i e

e

θ

θ

θ

θ

=--

=∑=

⋅=⋅∏

而

1

1

ln ln n

i i L n x θθ

==-⋅-

∑

令

2

1

ln 11

0n

i

i d L n x

d θθθ

==-⋅+=∑

得到：1

1ˆn

i i x n θ==∑=X

因此得到参数θ的极大似然估计量为：1

1ˆn i i X n θ==∑

矩估计求法如下： 因为1E μξθ==

令111n

i i A x n θ===∑

则1

1ˆn i i x n θ==∑

从而θ的矩估计量为1

1ˆn i i X n θ==∑=X

2. 设母体ξ具有指数分布，密度函数为⎩⎨

⎧<≤=-0

0),(x x

e x

f x

λλλ，（λ>0） 试求参数λ的矩估计和极大似然估计. 解：参数λ的矩估计求法为：因为

11

E μξλ

==

令：

111

1n

i i A x n λ===∑ 则λ的矩估计量为：1

1

1ˆn

i

i n

A X

λ

===∑

极大似然估计求法如下：

ξ的概率密度为(),0

,0,0x e x f x x λλλ-⎧≥=⎨<⎩

似然函数为： ()1,0i

n

x i L e x λ

λλ-==

≥∏

而1

ln ln n

i

i L n x

λλ

==-∑

令

1

ln 0n

i i d L n x d λλ==-=∑ 解得λ的极大似然估计量为：1

ˆn

i

i n

x

λ

==∑

3. 设总体X ～N(μ,1), ),,(1n X X 为来自X 的一个样本，试求参数μ的矩估计和最大似然估计.

解：矩估计求法为：

()1E X μμ==

令111n

i i A x n μ===∑

则1

1ˆn

i i x n μ

==∑ 极大似然估计求法为：

X 的概率密度为： (

)()2

2

;x f x μμ--

=

似然函数为：

(

)()2

2

1

i x n

i L μμ--==

()()21

1

22

2n

i i x n e

μπ=-

--∑

=

而

()()2

1

1ln ln 222n i i n L x πμ==---∑

令

()1

ln 1202n

i i d L x d μμ==-=∑ 即

()1

0n

i

i x μ=-=∑

解得μ的极大似然估计量为：1

1ˆn

i i x n μ

==∑