概率论与数理统计 第七章 参数估计

对于固定的样本观测值x1,x2,…,xn。如果有
例1. 设总未体知X参~数N(。μ,求σ2μ)，,σ2其的中极μ大,σ2似是然估计。
f (x; , 2 )
1
2
exp[
1
2
2
(x
)2]
n
L(, 2)
i 1
1
2
exp[
1
2
2
( xi
)2 ]
(2
n
)2
(
)2
n 2
exp[
1
2
2
n
(xi )2 ]
1 2
(aˆ bˆ)
1 n
n i 1
Xi
X
D( X
)
1 12
(b
a)2
1 12
(bˆ
aˆ)2
M2
n 1S2 n
aˆ X 3(n 1) S 2， bˆ X 3(n 1) S 2
n
n
矩法特点分析：
矩法的优点是简单易行,并不需要事先知道总体是什么 分布 .
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 .
X1,X2,…,Xn
从样本出发构造适当的统计量
ˆ ˆ(X1, , Xn )
作为参数 的估计量，即点估计。 将 x1,, xn代入估计量，得到 的估计值
ˆ ˆ(x1, , xn )
向量) .
关键问题：如何构造统计量?
ˆ ˆ(X1, , Xn )Fra bibliotek点估计
矩估计
极大似然估计
矩估计
总体k阶原点矩
常用的几条标准是：
1．无偏性 2．有效性 3．一致性
一、无偏性
设 ˆ( X1,, Xn)
是未知参数 的估计量，若
E(ˆ)
则称ˆ 为 的无偏估计 .
二、有效性
设 ˆ1 ˆ1(X1,, X n )和 ˆ2 ˆ2( X1,, Xn)
都是参数 的无偏估计量，若有
➢极大似然估计法
设总体X的分布律或概率密度为f(x; Ө), θ=(θ1, θ2,…, θk)是未知参数， X1,X2, …,Xn是总体X的样本，则称 X1,X2, …,Xn的联合分布律或概率密度函数
n
L(x1, x2,..., xn; ) f (xi; ) i 1
为样本的似然函数，简记为L(θ)。
f
(x)
(
1)x ,
0,
0 x 1 其它
其中 >0,
求 的矩估计量和极大似然估计量.
解：(1)矩估计
E(X )
xf (x)dx
1 x( 1)x dx 1
0
2
1 X 2
ˆ1
2X 1
1 X
(2)极大似然估计
n
L( ) ( 1)n ( xi ) (0 xi 1) i 1 n
n
(1) 根据f(x; θ)，写出似然函数
L( ) f (xi; )
n
i 1
(2) 对似然函数取对数
ln L( ) ln f (xi; )
(3) 写出方程
ln L 0
i 1
若方程有解， 求出L(θ)的最大值点
ˆ(x1,x2,..., xn )
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
k EX k
样本k阶原点矩 大数定律：
Ak
1 n
n i 1
X
k i
K.皮尔逊
n
X
k i
lim P(| i1 E( X k ) | ) 1
n
n
矩估计基本思想: 用样本矩估计总体矩 .
设总体的分布函数中含有k个未知参数
1,,k
(1)它的前k阶原点矩都是这k个参数的函数,记为：
(2)用样本i阶原点矩替换总体i阶原点矩
2 σ
，求μ
,
σ2的矩估计
量。
总体期望、方差的矩估计量分别是样本均值和样本二阶中心矩。
例2: 已知某产品的不合格率为p, 有简单随机样本X1 ,X2 ,…, Xn 求 p的矩估计量。
解：E(X)=p.
pˆ
1 n
n i 1
Xi
X
例3：设电话总机在某段时间内接到呼唤的次数服从参数λ未知的泊松分 布，现在收集了如下42个数据：
ln L( ) n ln( 1) ln xi i 1
令 d ln L( ) 0 d
1 n n
ln xi
i 1
ˆ2 1 n n
ln xi
i 1
§7.2 点估计量的评价标准
评价一个估计量的好坏，不能仅仅依据一次试验的结果，而必须由 多次试验结果来衡量 . 即确定估计量好坏必须在大量观察的基础上从统 计的意义来评价。
接到呼唤次数 0 1 2 3 出现的频数 7 10 12 8
45 32
求未知参数λ 的矩估计。
ˆ x 80 40
42 21
例4. X~U(a,b),由简单随机样本X1 ,X2 ,…, Xn求a,b的矩估计量。
解：E(X)=(a+b)/2,
2 D(X)=(b-a) /12.
E(X )
1 (a b) 2
例3. 已知某产品的不合格率为p,有简单随机样本
X1 ,X2 ,…, Xn，求p的极大似然估计量。
若抽取100件产品，发现10件次品，试估计p.
例4. 设X1,X2,…,Xn为取自总体X~U(a, b)的样 本, 求a, b的极大似然估计量.
回顾： 设X1,X2,…Xn是取自总体X的一个样本
X
~
极大似然估计
例： 设一箱中装有若干个白色和黑色的球，已知两种球的数目之 比为3:1或1:3，现有放回地任取3个球，有两个白球，问：白球所占 的比例p是多少？
如果只知道0<p<1,并且实测记录是X=k (0 ≤ k≤ n),又应如何估计p呢?
若总体分布已知，对于样本值，选取适当的参数，使样本值出 现的概率最大，这种估计方法就是极大似然估计法。
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息来估计总体的某些参数.
估计新生儿的体重 估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中 为未知参数 ( 可以是
现从该总体抽样，得到样本
(3) 解方程组，得 θi=hi (X1, X2,…, Xn) (i=1,2,…,k);
则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并称hi(X1, X2,…, Xn) 为θi 的矩法估计量，而称hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1.
设总体X的数学期望和方差分别是μ,
i 1
ln
L(,
2
)
n 2
ln(
2
)
n 2
ln
2
1
2
2
n
( xi
i 1
)2
ln L
1
2
[
n i 1
xi
n ]
0
ln L
2
n
2
2
1
2( 2
)2
n
( xi
i 1
n)2
0
ˆ
1 n
n i 1
xi
ˆ 2
1 n
n i 1
( xi
x
x )2
ˆ X
ˆ
2
n 1S2 n
求极大似然估计量的步骤：