概率统计和随机过程课件第八章参数估计

解: X01 P 1-p p
P{X 0} 1 p
P{X 1} p
P{X
x}
(1
p)1x
px
,x
0,1
得(0－1)分布之分布律的另一种表达形式
2021/3/11
24
n
L(x1, x2 ,, xn; ) P( X i xi ) i 1
n
(1 p)1xi pxi
i 1
n
ln L [(1 xi ) ln(1 p) xi ln p] i 1
令
d ln L dp
1 p
xi
1 1 p
(1
xi )
0
(1 p) xi p(1 xi ) 0 np xi
pˆ x
2021/3/11
25
例3：设总体X服从参数为的泊松分布，即X 有分布列(分布律)
p(k; ) P{X k} k e , k 0,1,2,
k!
是未知参数，(0,+)，试求的极大似然 估计。 解： 样本的似然函数为
n i 1
e , ( xi )
i 1
min{ x1, , xn }
0,
min{ x1, , xn }
2021/3/11
33
当 min{x1, , xn} x* 时,L()是的单调增函数,
L()在 ˆ min{x1, , xn} 处达到最大值，
所以的极大似然估计:
ˆ min{x1, , xn}
f (x, )
1
x
e ,
2
求的矩估计量 ˆ
x ,
0
解法一 虽然 f 中(x,仅) 含有一个参数，但
因
EX
x
1
x
e dx 0
2
不含,不能由此解出,需继续求总体的
二阶原点矩
EX 2 x2
1
x
e dx
1
x
2e
x
dx
2(3)
2
2
2
0
2021/3/11
15
EX 用 A2
Xi
2021/3/11
16
2、极大似然函数法
先看一个简单的例子: 某位同学与一位猎人一起外出打猎,一只
野兔从前方窜过.只听到一声枪响,野兔应声 倒下.如果要你推测,是谁打中的呢？你会如 何想呢？
你就会想,只发一枪便打中,猎人命中的 概率一般大于这位同学命中的概率.看来这 一枪是猎人射中的.
这个例子所作的推断已经体现了极 大似然法的基本思想.
2
n
2
2
1
2
4
n
(
x i
i 1
)2
0
得
ˆ
1 n
n i 1
xi
x
ˆ 2
1 n
n
( xi
i 1
ˆ )2
1 n
n
( xi
i 1
x)2
这就是和 2 的极大似然估计,
即 L(ˆ,ˆ 2 ) max L(, 2 )
2021/3/11
31
例5 设X为离散型随机变量,其分布律如下(0<<1/2)
(2)若X是离散型随机变量，似然函数定义为
n
L(x1, x2,, xn; ) P( Xi xi ) i 1
2021/3/11
21
定义2 如果似然函数 L( ) L(x , x ,, x ; )
1
2
n
在 时ˆ达到最大值,则称 是参数ˆ的
极大似然估计。
例1 设总体X 服从参数为的指数分布，即
有概率密度
f
(
x,
)
e
x
,
x 0 , ( 0)
0, x 0
又x1,x2, ,xn为来自于总体的样本值，试求 的极大似然估计.
2021/3/11
22
解 ：第一步 似然函数为
n
n
L L(x1, x2, , xn; ) n exi n exp( xi )
n i1
i1
于是 ln L n ln xi
若, 2未知，通过构造样本的函数, 给出它
们的估计值或取值范围就是参数估计的内容.
点估计 区间估计
2021/3/11
3
参数估计的类型
点估计 —— 估计未知参数的值
区间估计—— 估计未知参数的取值范围， 使得这个范围包含未知参数 真值的概率为给定的值.
2021/3/11
4
第一节 参数的点估计
一、点估计的思想方法 设总体X 的分布函数的形式已知，但它含有一
2021/3/11
17
么么么么方面
• Sds绝对是假的
例: 设袋中装有许多白球和黑球。只知两 种球的数目之比为3:1，试判断是白球多还 是黑球多。
分析: 从袋中有放回的任取3只球.
设每次取到黑球的概率为p (p=1/4或3/4)
设取到黑球的数目为X,
则X服从B(3,p)
P( X
k)
3 k
若总体X的概率密度为：f (x;1,2 , ,k )
其中
1
,
2
,,
k
为未知参数，x1
,
x
2
,
,
x n
为样本观察值, 此时似然函数为：
L(x , x ,, x ; , ,, ) n f (x ; , ,, )
1
2
n
1
2
k
i
1
2
k
i 1
求解方程组 ln L(1,2,,k ) 0 , i 1, 2,, k
X
2
1 n
n i 1
(Xi
X )2
Sn2
9
设待估计的参数为1,2 ,,k
设总体的 r 阶矩存在，记为
E( X r ) r (1,2 ,,k )
设 X1, X2,…, Xn为一样本，样本的 r 阶矩为
令
Br
1 n
n i 1
X
r i
r
(1,2 ,,k
)
1 n
n i1
X
r i
r 1,2,, k
—— 含未知参数 1,2, ,k 的方程组
L()
L(x , x ,, 12
x ;) n
p(x ;) p(x ;)
1
2
p(x ;) n
n
x1 e x2 e
x1 ! x2 !
xn
e xn !
xi
i1
x1 ! x2 !
e n xn !
x {0,1,2,},i 1,2,, n i
2021/3/11
26
ln L() ln L(x , x ,, x ;)
1
2
n
n
n
n
(
x i
)
ln
ln(
x i
!)
i 1
i 1
ln
L(
x 1
,
x 2
,,
x n
;
)
n
n
( i 1
x i
)
1
从 ln L 0 可以解出
1 n x x
n i 1
i
因此
ˆ(x1, x2,
1n , xn ) n i1 xi
是的极大似然估计。
2021/3/11
27
多参数情形的极大似然估计
个或多个未知参数：1,2, ,k
设 X1, X2,…, Xn为总体的一个样本 构造 k 个统计量：
1( X1, X 2 ,, X n ) 2 ( X1, X 2 ,, X n )
随机变量
2021/3/11
k ( X1, X 2 ,, X n )
5
当测得一组样本值(x1, x2,…, xn)时，代入上述 统计量，即可得到 k 个数：
27/6 4
2021/3/11
20
定义1:(1)设随机变量X的概率密度函数为 f(x,), 其中为未知参数(f为已知函数). x1, x2 ,, xn 为样本 X1, X 2,, X n 的样本观察值,
n
L( ) L(x1, x2 ,, xn; ) f (xi ; ) i 1
称 L(x1, x2,为, xnX;关) 于样本观察值 的似x1然, x2函,数, x。n
d
12
2021/3/11
32
例6 设总体X的概率密度为
f
(
x,
)
e (
x
)
,
0,
x x
又 x , x ,, x 为来自于总体X的样本值,
1
2
n
求参数的极大似然估计。
解：令 x* min{x1, , xn} 似然函数为:
n
L( ) L(x1, x2 ,, xn ; ) f (xi ; )
解： 先求总体矩
1
1
E( X ) x x 1dx x dx
x 1 1
0
0
1 0 1
解之： E( X )
1 E(X )
2021/3/11
13
令
A1
1 n
n i 1
Xi
X
ˆ X 为的矩估计量,
1 X
ˆ x
1 x
为的矩估计值.
2021/3/11
14
例3 设总体X的概率密度为
解 ：似然函数为
L(x ,, x ; , 2 ) n 1 exp[ 1 (x )2 ]
1
n
i1
2
2 2
i
n
1
2
2
2
exp[
1
2
2
n
(
x i
i 1
)2
]
ln
L
n 2
ln(2
2
)
1
2
2
n
( xi
i 1
)2
2021/3/11
30
解方程组
ln L
1
2
n
(
x i
i 1
)
0
ln L
1. 矩方法
方法
用样本的 k 阶矩作为总体的 k 阶矩的 估计量, 建立含待估计参数的方程， 从而可解出待估计参数
2021/3/11
7
一般地，不论总体服从什么分布，总体期望 与方差 2 存在，则根据矩估计法它们的
矩估计量分别为
ˆ
1 n
n i1
Xi
X
ˆ 2
1 n
n i 1
(Xi
X )2
S
2 n
——未知参数1,2, ,k
的矩估计值
ˆ 2021/3/1k1 ˆk ( x1, x2 ,, xn )
11
例1 有一批零件，其长度X~N(,2)，现从中 任取4件，测的长度(单位：mm)为 12.6,13.4,12.8,13.2。试估计和2的值。
解： 由
x 1 (12.6 13.4 12.8 13.2) 13 4
第二步
i 1
d ln L
d
d
d
(n ln
n i 1
xi
)
n
n i 1
xi
第三步 令
d ln L
d
n
n i1
xi
0
ˆ
n
n
xi
1 x
经验证，ln
L()
在
^
1
i 1
处达到最大，所以
x
ˆ 是的极大似然估计。
2021/3/11
23
例2： 设X服从(0－1)分布，P{X=1}=p, 其中p未 知， x1,x2, ,xn为来自于总体的样本值求p的 极大似然估计。
1
n 1
n i 1
(Xi
X )2
S2
是无偏矩估计
注: 矩估计不唯一
2021/3/11
8
事实上，按矩法原理，令
X
1 n
n i 1
Xi
ˆ
A2
1 n
n i 1
Xi2是E(X2 )的估计
2021/3/11
ˆ X
ˆ 2 E( X 2 ) E 2 ( X ) A2 ˆ 2
1 n
n i1
X
2 i
i
即可得到极大似然估计 ˆ1,ˆ2, ,ˆk
2021/3/11
28
数学上可以严格证明，在 一定条件下，只要样本容量n 足够大，极大似然估计和未 知参数的真值可相差任意小。
2021/3/11
29
例4：设 x , x 为, 正,态x总体
1
2
nFra Baidu bibliotek
样本值，
求: 和 的极2 大似然估计.
的N (一,个 2 )
第八章 参数估计
2021/3/11
1
统计 推断 的 基本 问题
参数估 计问题
点估计 区间估 计
假设检 验问题
2021/3/11
2
什么是参数估计？
参数是刻画总体某方面的概率特性的数量.
当这个数量是未知的时候，从总体抽出一个 样本，用某种方法对这个未知参数进行估计 就是参数估计.
例如，X ~N ( , 2),
ˆ1(x1, x2 ,, xn )
ˆ2 (x1, x2 ,, xn )
数值
ˆk (x1, x2 ,, xn )
称数ˆ1,ˆ2 ,,ˆk 为未知参数1,2 ,,k 的估计值 对应的统计量为未知参数1,2 ,,k 的估计量
问题 如何构造统计量？
2021/3/11
6
二.点估计的方法
1、矩方法；（矩估计） 2、极大似然函数法（极大似然估计）.
pk (1
p)3k
2021/3/11
k 0,1, 2,3
19
分别计算p=1/4,p=3/4时，P{X=x}的值，列于表
X
0
1
2
3
p=1/4时 27/64 27/64 9/64 1/64
p=3/4时 1/64 9/64 27/6
4
结论:
pˆ (
x)
1/ 3 /
4 4
, ,
x 0,1 x 2, 3
1 n
n i 1
X i2替换
2即
得的矩估计量为
A2
1 n
n i 1
X
2 i
2 2
ˆ
11 2n
n i 1
X
2 i
A2 / 2 ,
0
解法二
E
X
x
1
x
e dx
1
x
x e dx (2)
2
0
即 E|X|
用 1 n n i1 X i
替换
EX
即得的另一矩估计量为
ˆ 1
n
n i 1
X
0
1
2
3
P
2 2(-2) 2 1-2
随机抽样得3，1，3，0，3，1，2，3，分别用
矩方法和极大似然法估计参数。
解：
EX
3 4
1 8
8 i 1
xi
ˆ
1 4
8
L(x1, x2 , , x8 ) P{X xi} 2 (2 2 )2 2 (1 2 )4 i 1
dlnL 0 ˆ 7 13
2021/3/11
10
解方程组，得 k 个统计量：
ˆ1( X1, X 2 ,, X n )
ˆ2 ( X1, X 2 ,, X n )
——未知参数1,2, ,k
的矩估计量
ˆk ( X1, X 2 ,, X n )
代入一组样本值得k个数:
ˆ1 ˆ1(x1, x2 ,, xn )
ˆ2 ˆ2 (x1, x2 ,, xn )
s2 1 [(12.6 13)2 (13.4 13)2 (12.8 13)2 4 1 (13.2 13)2 ] 0.133
得和2的估计值分别为13(mm)和0.133(mm)2
2021/3/11
12
例2 设总体X的概率密度为
f
( x;
)
x 1 ,
0,
0 x 1 其它
X1,X2,,Xn为来自于总体X的样本,x1,x2, ,xn为 样本值,求参数的矩估计。