矩估计和极大似然估计

令 1 A1, 2 A2, 即 A1, 2 2 A2,
所以 ˆ A1 X ,
ˆ 2

A2

A12
1 n
n i 1
X
2 i

X 2
1 n
n i 1
(Xi

X )2
特别，若 X ~ N(, 2), , 2未知；
则
ˆ X ,
是一个样本；求：a, b的矩估计量。
解
1
2 令
EX a b , 2
E( X 2 ) DX (EX )2
ab 2

A1

1 n
n i 1
Xi

(b a)2 12

(a
b)2 4
(b a)2 (a b)2
12
4

A2

1 n
n
X
2 i
i1
即 a b 2A1, b a 12( A2 A12 )
2. 对似然函数取对数 i1
n
ln L ln p( xi ;1 ,2 ,...,m )
i 1
3. 对i (i =1,…, m)分别求偏导,建立似然方程(组)
ln L 0, (i 1, 2,..., m)
i
解得 ˆ 1 ,...,ˆ m 分别为 1 ,...,m 的极大估计值.

xi
i 1
d ln L n 1 n
3. 建立似然方程
d




2
xi
i 1

0.
39
L( x1,...,xn;)

n1 i 1
e

xi

n


e
1
n
i 1
xi
ln L n ln
1n

xi
i 1
d ln L d


n

1 2
n
(由大数定理)
令
k个方程组
从中解得
即为矩估计量。
矩估计量的观察值称为矩估计值。
9
矩估计步骤：
离散型 连续型
10
例： 总体 X 的分布列为 ：
是来自总体X的样本， 解： 由于总体X 的分布为二项分布，
所以参数 p 的矩估计量为 11
例1 设某炸药厂一天中发生着火现象的次数X
服从 参数为的泊松分布，未知，有以下样本值；
第七章 参数估计
一 、矩法估计 二、极大似然估计法 三、估计量的评选标准 四、置信区间
1
参数估计
统计推断：参数估计和假设检验。 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数。
估计湖中鱼数
估计平均降雨量
……
2
参数估计要解决问题:
总体分布函数的形式为已知,但其中参数θ 未知时，需要确定未知参数。只有当参数θ 确定后，
试估计参数（用矩法）。
着火的次数 k 发生k次着火天数 nk
解： 1 EX
令 X ,
0 12 3456
75 90 54 22 6 2 1 250
A1

1 n
n i 1
Xi

X
则ˆ x 1 (0 75 190 61) 1.22
250
所以 X , 估计值ˆ 1.22。
中出现的概率最大。
极大似然估计就是在一次抽样中,若得到观测值
则选取 使得当
作为θ的估计值。
时,样本出现的概率最大。
24
极大似然估计法:
定义7.1 设
是
(如离散型) X的分布列为
的联合分布列为：
的一个样本值 形式已知
事件
发生的概率为
为 的函数，
为样本的似然函数。
25
样本的似然函数 现从中挑选使概率
故似然函数为
而 令
29
令
解得
解得 p的极大似然估计值
p的极大似然估计量
它与矩估计量是相同的。
30
例2 设总体X的分布列为：
是来自总体X的样本，求 p 的极大 似然估计值。 解： 似然函数为
31
令
即
所以参数 的极大似然估计量为
32
例3 设 X1, X2, …, Xn 是取自总体X 的一个样本,
d ln L( ) 0. d
若母体的分布中包含多个参数，
即可令 L 0,i 1,, k.
i
或 ln L 0,i 1,, k.
i
解k个方程组求得1,,k的极大似然估计值。
28
例1 设
是来自总体X的一个Biblioteka 本，试求参数 p 的极大似然估计值.
解：设
是一个样本值。X的分布列为：
解： X的概率密度为：
似然函数为：
41
令
即：
解得：
42
注：lnx 是 x 的严格单增函数，lnL 与L有相同的 极大值，一般只需求lnL 的极大值.
求极大似然估计的一般步骤：
1. 写出似然函数
n
L( x1 , x2 ,...,xn ; ) p( xi ;1 ,2 ,...,m )
12
二、常用分布常数的矩法估计 下面我们通过几个例子说明利用矩估计法求
未知参数的过程。
13
例2 设总体X的均值，方差都存在，且 2 0,
但， 2未知，又设X1,, X n是一个样本；
求：, 2的矩估计量。 解 1 EX , 2 E(X 2 ) DX (EX )2 2 2
7
一 . 矩估计法
基本原理：总体矩是反映总体分布的最简单的 数字特征，当总体含有待估计参数时，总体矩是 待估计参数的函数。
样本取自总体， 样本矩在一定程度上可以逼近总体矩，
故用样本矩来估计总体矩
由英国统计学家K.皮尔逊最早提出的。
8
设总体X的分布函数为
其中
是待估参数.
为来自
的样本, 设总体的k阶矩 存在,则样本的k阶矩
38
X:
p(
x;
)


1


e
x
,
2）极大似然估计
0 ,
x0 other
( 0)
1. 构造似然函数
当xi>0,（i=1,2, …,n) 时，似然函数为
L( )
n
1
e

xi

i 1
e n
1

n i1
xi
1n
2. 取对数
ln
L

n
ln


X:
p(
x;
)


1


e
x
,
x0
( 0)
0 , other
今取得一组样本Xk数据如下，问如何估计θ？ 16 29 50 68 100 130 140 270 280
340 410 450 520 620 190 210 800 1100
分析 可用两种方法：矩法估计 和极大似然估计.
37
X:
p(
x;
)


1


e
x
,
x0
( 0)
0 , other
1）矩法估计
EX

x

1

e
x
dx


0
令 X 则可得 的矩法估计量为：ˆ X .
代入具体数值可得 的估计值为：
1
n
n i 1
xi
1 5723 318(小时). 18
才能通过率密度函数计算概率。
对于未知参数，如何应用样本 X1, X 2,, X n
所提供的信息去对其一个或多个未知参数进行估计。 这类问题称为参数估计问题。
3
参数估计是对已知分布类型的总体，
利用样本对其未知参数作出估计
参数估计可作如下划分
参数估计
点估计 区间估计
矩估计 极大似然估计
4
寻求估计量的方法
作为θ的估计值。即取
达到最大的参数 使得：
与
有关, 记为
称为参数θ的极大似然估计值。
称为参数θ的极大似然估计量。
26
若总体X属连续型, 其概率密度
的形式已知，θ为待估参数； 则
的联合密度：
一般，
关于θ可微，故θ可由下式求得：
在同一点处取极值。
因此 的极大似然估计θ也可从下式解得：
27
又因L( )与ln L( )在同一处取到极值，因此的极 大似然估计 也可从下述方程解得：
21
第二节
第七章
极大似然估计
极大似然估计
22
极大似然法的基本思想
先看一个简单例子： 某位同学与一位猎人一 起外出打猎 . 一只野兔从前方窜过 . 只听一声枪响，野兔应声倒下 .
如果要你推测， 是谁打中的呢？ 你会如何想呢?
23
基本思想:
若一试验有n个可能结果
现做一试验,
若事件Ai 发生了,则认为事件Ai在这n个可能结果
θ是未知参数，X1，X2，…,Xn，是X 的一组样本，
求θ的矩估计量.
解


EX

1 n
n i 1
xi
,
EX x x( 1)dx
1
x dx ,
1
1


x

ˆ ˆ 1
,
解得
ˆ x .
x 1
19
例7. 设总体X的概率密度为
p(
n
ln L n ln( 1) ln xi
E
(X2
0
)
1 θ
μ
(y


x2

e
x μ θ
θ
)2
y
eθ
dy
dx
2θ
2

2


2
=θ2+(θ+μ)2
注意到
DX = E ( X2 )－( EX )2=θ2
令
θ μ X ,
θ
2

M2.

ˆ
M2
1 n
n
(
i 1
Xi

X
)2,
μˆ X M2 .
解得：aˆ A2
3( A2 A12 ) X
3 n
n i 1
(Xi

X )2 17
令
ab 2

A1

1 n
n i 1
Xi
(b a)2 12
(a b)2 4

A2

1 n
n i1
X
2 i
即 a b 2A1, b a 12( A2 A12 )
xi
i 1
0.
4. 求解得极大似然估计值
ˆ

1n
n
xi
i 1

x,
5.
得极大似然估计量：
ˆ

1 n
n
Xi
i 1

X,
代入具体数值可得的估计值为：
1 n
n
xi
i 1
1 5723
18

318(小时).
40
例6 设
为未知参数，
是来自X的一个样本值，求 的极大似然估计值。
x
)

1 θ
e(
x
)/
,
0,
x ; x .
其中θ＞0，μ与θ是未知参数，X1，X2，…,Xn，
是X 的一组样本，求μ与θ的矩估计量.
解
x
EX
x θ
e
θ dx
令 y x ,

y
0
1

(
y


)e
θ dy
θ ,
20
EX
解得：aˆ A2
3( A2 A12 ) X
3 n
n i 1
(Xi

X )2
bˆ A1
3( A2 A12 ) X
3 n
n i 1
(Xi

X )2
18
例6 设总体X的概率密度为
x( 1) ,
p(x) 0,
x 1; 1
x 1.
43
例7 矩估计与似然估计不等的例子
设总体概率密度为 ( 1)x , 0 x 1;
p(x, )
0,
其他.
求参数θ的极大似然估计, 并用矩法估计θ.
解 1) 极大似然估计法
1.
构造似然函数
L(x1, ..., x n ; )

(

1)n
n i1
xi ,
一组样本X1，X2，… ，Xn , 且
1, X i 0,
第i次取到不合格品i； 1, 2,
第i次取到合格品.
, n.
解 因 p=EX, 故 p 的矩估计量为
pˆ
X

1 n
n i 1
Xi

fn ( A)
(即出现不合格产品的频率).
16
例5 设总体X ~ U[a,b], a,b未知；X1,, X n
，求参数λ的极大似然估计值。
解
似然函数为:
33
例4 设
求
解设
未知， 的极大似然估计量. 的概率密度为：
是一个样本值
似然函数为
34
似然函数为
因为 对于满足
即
在
等价于 的任意 有
时,取最大值
35
似然函数为
即
在
时,取最大值
故 的极大似然估计值为:
故 的极大似然估计量为:
36
例5 指数分布的点估计
某电子管的使用寿命 X （单位：小时) 服从指数分布
1. 矩估计 2. 极大似然估计 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 .
5
参数估计： 点估计:估计θ的具体数值; 区间估计:估计θ的所在范围.
点估计问题：
构造一个适当的统计量
用它的观察值
来估计未知参数θ.
称
为θ的估计量，
为θ的估计值.
6
第一节 矩法估计
第七章
一 、矩法估计 二、常用分布参数的矩法估计
ˆ 2

1 n
n i 1
(Xi

X )2
14
注: 总体均值方差的矩估计量与总体分布无关。
做矩估计时,也可用中心矩建立关于未知参数的
方程组， 因而矩估计不唯一。
例3
λ未知，求参数λ的矩估计。
解：
15
例4 不合格品率 p 的矩法估计 设某车间生产一批产品，为估计该批产品不合格品
率，抽取了n 件产品进行检查. 分析 设总体X 为抽的不合格产品数，相当于抽取了
0,
0 xi 1; 其它
2. 取对数： 当 0<xi<1, (i=1,2, …,n) 时
n
ln L n ln( 1) ln xi