矩估计和极大似然估计分析解析

第七章
参数估计
一 、矩法估计 二、极大似然估计法 三、估计量的评选标准 四、置信区间
1
参数估计
统计推断：参数估计和假设检验。 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数。
估计湖中鱼数 估计平均降雨量
……ห้องสมุดไป่ตู้
2
参数估计要解决问题:
总体分布函数的形式为已知,但其中参数θ
θ
1 0 ( y )2 e θ dy 2θ 2 2 2
x μ 2 x θ e dx μ θ y

=θ2+(θ+μ)2
注意到 令 θ μ X , 2 θ M 2 . DX = E ( X2 )－( EX )2=θ2

2 1 ˆ M2 (Xi X ) , n i 1 ˆ X M . μ n
2
21
第二节
极大似然估计
第七章
极大似然估计
22
极大似然法的基本思想 先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 . 如果要你推测， 是谁打中的呢？ 你会如何想呢?
23
基本思想: 若一试验有n个可能结果
现做一试验,
若事件Ai 发生了,则认为事件Ai在这n个可能结果
作为θ的估计值。 即取
达到最大的参数
使得：
与
有关, 记为
称为参数θ的极大似然估计值。 称为参数θ的极大似然估计量。
26
若总体X属连续型, 其概率密度
θ为待估参数； 则 的形式已知，
的联合密度：
一般，
关于θ可微，故θ可由下式求得：
在同一点处取极值。
因此
的极大似然估计θ也可从下式解得：
27
又因L( )与 ln L( )在同一 处取到极值，因此 的极 大似然估计 也可从下述方程解得： d ln L( ) 0. d
但， 2未知，又设X 1 ,, X n 是一个样本；
2
求： , 的矩估计量。 2 2 2 2 解 1 EX , 2 E ( X ) DX ( EX )
令 1 A1 , 2 A2 , 即 A1 , 2 2 A2 ,
而 令
29
令
解得 解得 p的极大似然估计值 p的极大似然估计量 它与矩估计量是相同的。
30
例2 设总体X的分布列为：
是来自总体X的样本，求 p 的极大 似然估计值。 解： 似然函数为
31
令
即
所以参数
的极大似然估计量为
32
例3 设 X1, X2, …, Xn 是取自总体X 的一个样本,
，求参数λ的极大似然估计值。
为未知参数，
的极大似然估计值。
41
令
即：
解得：
42
注：lnx 是 x 的严格单增函数，lnL 与L有相同的
极大值，一般只需求lnL 的极大值.
求极大似然估计的一般步骤： 1. 写出似然函数
L( x1 , x2 ,..., xn ; ) p( xi ; 1 , 2 ,...,m )
令
(b a ) ( a b) 1 A2 12 4 n
ab 1 n A1 X i 2 n i 1
2 2

i 1
n
2 Xi
2 1
即 a b 2 A1 , b a 12( A2 A )
n 3 2 ˆ A2 3( A2 A12 ) X 解得： a ( X X ) i n i 1
极大似然估计
区间估计
4
寻求估计量的方法
1. 矩估计
2. 极大似然估计
3. 最小二乘法 4. 贝叶斯方法 ……
这里我们主要介绍前面两种方法 .
5
参数估计： 点估计:估计θ的具体数值; 区间估计:估计θ的所在范围.
点估计问题：
构造一个适当的统计量 用它的观察值
来估计未知参数θ.
为θ的估计量， 为θ的估计值.
若母体的分布中包含多个参数，
L 即可令 0, i 1,, k . i ln L 或 0, i 1,, k . i
解k个方程组求得1 ,, k的极大似然估计值。
28
例1 设
解：设 故似然函数为
是来自总体X的一
试求参数 p 的极大似然估计值. 个样本，
X的分布列为： 是一个样本值。
6
称
第一节
矩 法 估 计
一 、矩法估计
第七章
二、常用分布参数的矩法估计
7
一 . 矩估计法
基本原理： 总体矩是反映总体分布的最简单的 数字特征，当总体含有待估计参数时，总体矩是 待估计参数的函数。 样本取自总体，
样本矩在一定程度上可以逼近总体矩，
故用样本矩来估计总体矩 由英国统计学家K.皮尔逊最早提出的。
n 3 2 ˆ A 3( A A2 ) X b ( X X ) 1 2 1 i n i 1
18
例6
设总体X的概率密度为
x ( 1) , x 1; p( x ) 1 x 1. 0, θ是未知参数，X1，X2，…,Xn，是X 的一组样本，
(b a ) ( a b) 1 A2 12 4 n
2 2

i 1
n
2 Xi
2 1
即 a b 2 A1 , b a 12( A2 A )
n 3 2 2 ˆ 解得： a A2 3( A2 A1 ) X ( X i X ) 17 n i 1
1, 第i次取到不合格品； Xi i 1, 2, 0, 第i次取到合格品.
解 因 p=EX, 故 p 的矩估计量为
, n.
1 ˆ X X i f n ( A) p n i 1
(即出现不合格产品的频率).
16
n
例5 设总体X ~ U [a, b], a, b未知；X 1 ,, X n 是一个样本； 求：a, b的矩估计量。 ab 解 1 EX , 2 2 2 ( b a ) ( a b ) 2 E ( X 2 ) DX ( EX )2 12 4 n ab 1 令 A1 X i 2 n i 1
x θ
x ; x .
其中θ＞0，μ与θ是未知参数，X1，X2，…,Xn，
是X 的一组样本，求μ与θ的矩估计量.
解
EX

0



1
x θ
e
dx
y θ
令 y x ,

( y )e dy θ ,
20
EX
E( X 2 )
8
设总体X的分布函数为 其中
是待估参数.
为来自 的样本, 设总体的k阶矩 存在,则样本的k阶矩 (由大数定理)
令 从中解得
k个方程组 即为矩估计量。
9
矩估计量的观察值称为矩估计值。
矩估计步骤：
离散型
连续型
10
例： 总体 X 的分布列为 ：
是来自总体X的样本， 解： 由于总体X 的分布为二项分布，
14
注:
总体均值方差的矩估计量与总体分布无关。
做矩估计时,也可用中心矩建立关于未知参数的 方程组， 因而矩估计不唯一。
例3
解：
λ未知，求参数λ的矩估计。
15
例4 不合格品率 p 的矩法估计 设某车间生产一批产品，为估计该批产品不合格品 率，抽取了n 件产品进行检查. 分析 设总体X 为抽的不合格产品数，相当于抽取了 一组样本X1，X2，… ，Xn , 且
1）矩法估计
ˆ X. 令 X 则可得 的矩法估计量为：
0
EX x e dx

1

x
代入具体数值可得 的估计值为：
1 n 1 xi 5723 318(小时). n i 1 18
38
2）极大似然估计
1 x e , x0 X : p( x; ) ( 0) 0 , other
解
似然函数为:
33
例4 设
求
未知， 的极大似然估计量. 的概率密度为：
是一个样本值
解
设
似然函数为
34
似然函数为
因为
等价于
的任意 有
对于满足
即
在
时,取最大值
35
似然函数为
即
在 故
时,取最大值 的极大似然估计值为:
故
的极大似然估计量为:
36
例5 指数分布的点估计 某电子管的使用寿命 X （单位：小时) 服从指数分布 x 1 e , x0 X : p( x; ) ( 0) 0 , other
39
n 1 ˆ 4. 求解得极大似然估计值 xi x , n i 1
n 1 ˆ 5. 得极大似然估计量： X i X , n i 1
n 1 n d ln L n 1 ln L n ln xi xi 0. i 1 d 2 i 1
所以参数 p 的矩估计量为
11
例1
设某炸药厂一天中发生着火现象的次数X
服从 参数为的泊松分布，未知，有以下样本值；
试估计参数（用矩法）。
着火的次数 k 0 1 2 3 4 5 6 发生k次着火天数 nk 75 90 54 22 6 2 1
解： 1 EX
令 X ,
250
只有当参数θ 确定后， 未知时，需要确定未知参数。 才能通过率密度函数计算概率。 对于未知参数， 如何应用样本 X 1 , X 2 ,, X n 所提供的信息去对其一个或多个未知参数进行估计。 这类问题称为参数估计问题。
3
参数估计是对已知分布类型的总体，
利用样本对其未知参数作出估计 参数估计可作如下划分 矩 估 计 参数估计 点 估 计
1 n A1 X i X n i 1
1 ˆ 则 x (0 75 1 90 6 1) 1.22 250
ˆ 1.22。 所以 X , 估计值
12
二、常用分布常数的矩法估计 下面我们通过几个例子说明利用矩估计法求 未知参数的过程。
13
2 设总体 X 的均值 ，方差 都存在，且 0, 例2
求θ的矩估计量.
解
1 n EX xi , n i 1 ( 1) , EX x x dx 1 x dx 1 1
ˆ ˆ 1 , 解得
x
x ˆ . x 1
19
例7. 设总体X的概率密度为
1 ( x )/ e , p( x ) θ 0,
中出现的概率最大。 极大似然估计就是在一次抽样中,若得到观测值
则选取
使得当
作为θ的估计值。 时,样本出现的概率最大。
24
极大似然估计法:
定义7.1 设 是
的一个样本值
形式已知
(如离散型) X的分布列为 的联合分布列为：
事件 为
发生的概率为 的函数，
25
为样本的似然函数。
样本的似然函数
现从中挑选使概率
ˆ A1 X , 所以 n n 1 1 2 2 ˆ A2 A1 X i2 X 2 ( X i X ) 2 n i 1 n i 1 2 2 特别，若 X ~ N( , ), , 未知； n 1 ˆ X, ˆ 2 ( X i X )2 则 n i 1
1 n xi n 1 xi n L( x1 ,..., x n ; ) e e i 1 i 1
代入具体数值可得 的估计值为：
1 n 1 5723 318(小时). xi n i 1 18
40
例6 设
是来自X的一个样本值，求 解： X的概率密度为： 似然函数为：
今取得一组样本Xk数据如下，问如何估计θ？ 16 340 分析 29 410 50 450 68 520 100 620 130 190 140 210 270 800 280
1100
可用两种方法：矩法估计 和极大似然估计.
37
1 x e , x0 X : p( x; ) ( 0) 0 , other
1. 构造似然函数 当xi>0,（i=1,2, …,n) 时，似然函数为
L( ) e
i 1
n
1



xi

n
e

xi
i 1
1
n
2. 取对数
d ln L n 1 n xi 0. 3. 建立似然方程 d 2 i 1
1 n ln L n ln xi i 1