第八章(第一节极大似然估计)

第八章参数估计

第一节参数的点估计

二、极大似然估计法

极大似然估计最早是由高斯于1821年提出，但一般将之归功于英国统计学家Fisher,R.A,因为Fisher,R.A在1922年证明了极大似然估计的性质，并使得该方法得到了广泛的应用。

这里介绍估计的另一种常用方法－极大似然估计法。

先看一个简单的例子:

某位同学与一位猎人一起外出打猎,一只野兔从前方窜过.只听到一声枪响,野兔应声倒下.如果要你推测,是谁打中的呢？你会如何想呢？

你就会想,只发一枪便打中,猎人命中的概率一般大于这位同学命

中的概率.看来这一枪有极大的可能是猎人射中的.

这个推断很符合人们的经验事实，这里的“极大的可能”就是“极大似然”之意。

这个例子所作的推断已经体现了极大似然法的基本思想.

极大似然法的基本思想在社会思维意识中常有所体现。例如某地发生了一个疑难案件，警察欲破案或民众推测嫌疑人，一般是将重点集中在作案可能性较大的可疑人身上。

为了说明极大似然估计的原理，我们先来考察一个简单的估计问题。

设袋中装有许多白球和黑球。只知两种球的数目之比为3:1，试判断是白球多还是黑球多。

显然，从袋中任取一球为黑球的

概率p 是41或者43，如果是4

1，则袋中白球多，如果是4

3，就是黑球多。现在我们从袋中有放回的任取3只球，那么黑球数目X 服从二项分布：

x

x x p p C p x X P --==33

)1(};{, 3,2,1,0=x ； 4

3,41=p 其中p 为取到黑球的概率.

从常识上可以接受这样的判断:

(1)若取出的3只中有0只黑球,

3只白球,则我们以较大的把握认为袋中白球多, 应认为是从黑球概率为4

1=p 的总体中取来的. (2)若取出的3只中有1只黑球, 2只白球,则我们以较大的把握认为

袋中白球多, 应认为是从黑球概率为4

1=p 的总体中取来的; (3)若取出的3只中有2只黑球, 1只白球,则我们以较大的把握认为袋中黑球多, 应认为是从黑球概率为4

3=p 的总体中取来的; (4)若取出的3只中有3只黑球, 0只白球,则我们以较大的把握认为袋中黑球多,应认为是从黑球概率为4

3=p 的总体中取来的.

分别计算4

341==p p 和时，}{x X P =的值，列于表8—1.

由于样本来自于总体，因而应很好的反映总体的特征。

如果样本中的黑球数为0，就应

当估计p 为41，而不估计为4

3，(这是常识判断),同时注意到有

64

1}43;0{6427}41;0{===>===p X P p X P , 正是选的使};0{p X P =达到最大值的p .

这说明，黑球数0=x 的样本来自于

41=p 的总体比来自于4

3=p 的总体的可能性要大，因而取4

1作为p 的估计更合理.

类似的，1=x 是也取4

1作为p 的估计。当3,2=x 时取4

3作为p 的估计。即得到p 的估计量为

⎪⎩⎪⎨⎧===3,2,4

31

,0,41

)(ˆx x x p ; 即若取出的3只球中有x 只黑球,则总体中任取一只为黑球的概率为

⎪⎩⎪⎨⎧===3,2,4

31

,0,41

)(ˆx x x p ; 即认为是从任取一只为黑球的概率为

⎪⎩⎪⎨⎧===3,2,4

31,0,41)(ˆx x x p 的总体中来的.

从表中看出成立不等式

};{)}(ˆ;{p x X P x p

x X P =≥=, 3,2,1,0=x ； 4

3,41=p 也就是说，根据样本的具体情况选择p

ˆ，使得该样本发生的概率最

大。即对每个(固定)x ，选取)(ˆx p

，使得

};{)}(ˆ;{p x X P x p x X P '=≥=

其中p '是不同于)(ˆx p 的另一值。这就

是极大似然估计法的基本思想。

极大似然估计的问题如下

一般地，设总体X 的分布函数为 (;)F x θ，其中θ是未知参数(Θ∈θ,θ不同,总体也不同)。

n X X X ,,,21⋅⋅⋅为来自于总体X 的样本,

若在对总体的抽样中，得到样本值(观察值,发生的事件)n x x x ,,,21⋅⋅⋅。

问n

x x x ,,,21⋅⋅⋅,是从哪个总体中抽出的？(即θ应取多少？)

直观的想法是：小概率事件在一次试验中一般不会发生，而大概率事件在一次试验中常常会发生；

反之，如果在一次实验中，某个随机事件发生了，

若问是什么样的情况引起的，我们往往会认为极有可能是使这个随机事件发生的概率最大的那个情况所引起的。

下面，我们分连续型总体和离散型总体两种情况进行讨论。

1、 连续型总体参数的极大似然估

计

一般地，设总体X 的概率密度为 );(θx f ，其中θ是未知参数(Θ∈θ,θ不同,总体也不同)。n X X X ,,,21⋅⋅⋅为来自于总体X 的样本,若已抽取得到n x x x ,,,21⋅⋅⋅为样本n X X X ,,,21⋅⋅⋅的样本值(观察值,发生的事件),

问n

x x x ,,,21⋅⋅⋅,是从哪个总体中抽出的？(即θ应取多少？)

我们来考察),,,(21n

X X X ⋅⋅⋅落在点),,,(21n

x x x ⋅⋅⋅的邻域内的概率 }2||,,2|{|111n

n

n x x X x x X P ∆<-⋅⋅⋅∆<- }2|{|1i

i

n

i i x x X P ∆<-=∏= i n i x x x x i dt t f i i i i );(1

22θ∏⎰=∆+∆-= i n

i i

x x f ∆≈∏=);(1θ∏∏==∆⋅=n i i n i i x x f 11));((θ。

从直观上讲, 既然在一次试验中得到了观察值),,,(21n x x x ⋅⋅⋅,那么可以认为样本落在),,,(21n x x x ⋅⋅⋅的邻域里这一事件是较易发生的,具较大的概率.所以就应是从使得样本落在点),,,(21n x x x ⋅⋅⋅的邻域内的概率达到最大的总体中抽取的,这样才能在一次抽取中以较大可能性取到),,,(21n

x x x ⋅⋅⋅.即选取使这一概率达到最大的参数作为真参数的估计.