矩法与极大似然法的合理性与比较分析报告

矩法与极大似然法的合理性及比较分析

矩法与极大似然法的合理性及比较分析摘要:皮尔逊所引入的矩法是较早提出的求参数点估计的方法。我们从辛钦大数定律知道，若总体ξ的数学期望E(ξ)有限，则样本的平均值依概率收敛于E（ξ）。这就启示我们想到，在利用样本所提供的信息来对总体ξ的分布函数中未知参数作估计时，可以用样

本矩作为总体矩的估计。

费希尔引进的极大似然法，从理论观点来看，至今仍然是参数点估计中最重要的方法，以后将会知道，这种估计方法，是利用总体ξ的分布函数F（x；）的表达式及样本所提供

的信息，建立未知参数的估计量（）。

极大似然法的想法同矩法一样也是直观的。今举一个通俗的例子：有两位同学一起进行实弹射击，两人共同射击一个目标，事先并不知道谁的技术较好，让每人各打一发，有一人击中目标，那么认为击中目标的同学的技术比击不中的技术较好，显然是合理的。又举一例；有一事件，我们知道它发生大概率p只可能是0.01或0.09，在一次观察中这事件发生了，试问这事件发生的概率是什么？当然人们会认为它发生的概率是0.09而不是0.01。

1、参数估计

1.1、极大似然法

一、基本概念：

求未知参数点估计的一种重要方法。思路是设一随机试验已知有若干个结果Ａ，Ｂ，Ｃ，…，如果在一次试验中Ａ发生了，则可认为当时的条件最有利于Ａ发生，故应如此选择分布的参数，使发生Ａ的概率最大。

对总体参数的估计分两种——点估计和区间估计。在点估计里，我们介绍两种求估计量的方法：矩估计法和极大似然估计法。从矩估计法公式我们得到,对正态总体N(μ, σ2)，未知参数μ的矩估计,σ2的矩估计为sn2；μ, σ2的极大似然估计也分别为x和sn2.一般地，在相当多的情况下，矩估计与极大X，似然估计是一致的，但也确有许多情形，矩估计法和极大似然估计法给出的估计是不同的.谁优谁劣?我们可以用估计量的优劣标准进行评价．除此之外，亦可以根据问题的实际意义进行判定.

二、极大似然思想

一般地说，事件A与参数Θ

∈

θ有关，θ取值不同，则)

(A

P也不同．若A发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P．分析：易知P的值无非是1/4或3/4．为估计P的值，现从袋中有放回地任取3只球，用X表示其中的黑球数，则)

,3(

~P

b

X．按极大似然估计思想，对P的取值进行估计．解：对P的不同取值，X取3,2,1,0

=

k的概率可列表如下:

X０１２３

4

1

=

P64

27

64

27

64

9

64

1

4

3

=

P64

1

64

9

64

27

64

27

故根据极大似然思想即知：

⎪⎩

⎪

⎨

⎧

=

=

=

3,2

,4

3

1,0

,41

ˆ

k

k

P．

在上面的例子中，P是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P就最象那个

三、似然函数与极大似然估计

若总体X的密度函数为p(x; θ1, θ2,…, θk)，其中θ1, θ2,…,θk

是未知参数，(X1, X2,…, X n)是来自总体X的样本，称

为θ1,θ2,…,θk的似然函数

若有使得

成立,则称为θj极大似然估计量(j=1,2,…,k).

根据微积分中函数极值的原理，要求使得上式成立，只要令

其中L(θ)=L(x1,x2,…,x n;θ).

解之，所得解为极大似然估计量，上式称为似然方程.

又由于与=的极值点相同,所以根据情况,也可以求出

的解作为极大似然估计量

极大似然估计的不变性

求未知参数θ的某种函数)

g的极大似然估计可用极大似然估计的不变原则，证

(θ

明从略．

定理（不变原则）设θˆ是θ的极大似然估计，)

(θ

g

g是θ的连续函数，则)

(θ

的极大似然估计为)ˆ(θ

g

四、求极大似然估计的一般步骤

1、由总体分布导出样本的联合概率函数（或联合密度）；

2、把样本联合概率函数（或联合密度）中自变量看成已知常数，而把参数θ看作自变量，得到似然函数)

L；

(θ

3、求似然函数)

l的最大值

(θ

L的最大值点（常转化为求对数似然函数)

(θ

点）；

4、在最大值点的表达式中，用样本值代入就得参数的极大似然估计值．

下面通过例子来说明：

例一：

设总体X服从正态分布N(μ, σ2)，试求μ及σ2的极大似然估计.

解：μ,σ的似然函数为

似然方程组为

解之得: ,

.

因此及

分别是μ及σ2

的极大似然估计.

例二：

设某元件失效时间服从参数为λ的指数分布，其密度函数为

0,);(≥=-x e x f x λλλ，λ未知．现从中抽取了n 个元件测得其失效时间为n x x x ,,,21Λ，试求λ及平均寿命的极大似然估计．

分析：可先求λ的极大似然估计，由于元件的平均寿命即为X 的期望值，在

指数分布场合，有λ

1

)(=X E ，它是λ的函数，故可用极大似然估计的不变原则，

求其极大似然估计．

解：（１）写出似然函数：∑===-=-∏n

i i

i x n n

i x e

e L 1

1)(λ

λλλλ

（２）取对数得对数似然函数：∑=-=n

i i x n l 1

ln )(λλλ

（３）将)(λl 对λ求导得似然方程为：0)(1

=-=∑=n

i i x n d dl λλλ （４）解似然方程得：x

x

n

n

i i

1ˆ1

=

=∑=λ

经验证，λ

ˆ能使)(λl 达到最大，由于上述过程对一切样本观察值成立，故λ的极大似然估计为：X

1ˆ=λ

；