参数的点估计与区间估计

解得 E(X), 2E (X 2) [E (X )2 ],
总体矩用相应的样本矩代替, 得矩估计量:
E(X)
1
n
Xi
Biblioteka Baidu
X
,
n i1
2E(X2)[E(X)2 ]
1 n Xi2
2
X
S
2 0
.
n i1
例: 设总体 X ~ U (a, b) , ( X1 , X2 ,…, Xn ) 为一样本,
求 a, b 的矩估计量.
n i1
Xi2
2
X)
X
3S0
bX
3(n1in1Xi2X2)
X
3S0
例: 设 ( X1 , X2 ,…, Xn ) 为总体 X 的一样本, X 的概率密度
f(x) 6x(0,x)其 3, .0它 x, 求 的矩估计量.
解:
6x(x)
E(X)xf(x)dx0x 3 dx
2
,
解得 2E (X),
求
时,
通常对 lnL()求导, 令其为 0,
来获取结果.
若总体 X 为离散型, 则
L()中的 f(xi;)以 P{Xi xi}代.
综述之,
的极大似然估计
的求法如下:
设 ( X1 , X2 , …, Xn ) 为总体 X 的一样本, ( x1 , x2 , …, xn )为样本值:
若总体 X 为连续型, 概率密度为 f ( x; ),
则称( 1 , 2 )是 的置信度(置信水平, 置信概率)为
1 的双侧置信区间.
注: 对连续型总体 X , 一般按
P{12}1求置信区间.
而对离散型总体 X ,
应求
(
1
,
2
)
使
P{12}至少为 1, 且尽可能地接近 1 .
由于我们主要讨论正态总体, 属连续型， 故取等号处理.
二、置信区间的求法
极大似然估计原理：
设总体 X 为连续型, 其概率密度为 f(x;)
( 是待估参数), ( X1 , X2 , …, Xn )为一样本, 相应
的样本值为( x1 , x2 , …, xn ) :
则 Xi 落在[ xi , xi + d xi )中的概率约为 f(xi;)dxi ,
( X1 , X2 , …, Xn ) 落在( x1 , x2 ,…, xn )旁边的概率
所以 d1 , d2 都是 的无偏估计.
例: 设总体 X~N(,2), ( X1 , X2 , X3 ) 为一样本, 验证
d11 5X11 30 X21 2X3,d21 3X11 6X21 2X3
都是 的无偏估计, 并分析哪个更好?
续解: D (d1)D (1X 13X 21X 3)
5 10 2
1
去求出未知参数的估计量. (若未知参数有 k 个, 则一般取 l = 1, …, k )
由矩估计法求得的估计量叫矩估计量, 相应的 估计值叫矩估计值.
例: 设 ( X1 , X2 ,…, Xn ) 为总体 X 的一样本, 求总体均值
和总体方差 2 的矩估计量.
解: E(X),
E (X 2) D (X ) [E (X )2 ]2 2,
解:
E(X)(ab) 2,
E (X2)D (X)[E (X)2 ](ba)2
(ab)2
,
12
4
解得 a E (X )3 {E (X 2 ) [E (X )]2 },
b E (X )3 {E (X 2 ) [E (X )]2 },
总体矩用相应的样本矩代替, 得 a 与 b 的矩估计量:
a
X
3(
1 n
9
1
D (X 1) D (X 2)D (X 3)
25 100 4
19 D( X )
19
2
,
50
50
同理得 D(d2 ) 7 2 ,
18
D (d1)D (d2),
所以 d1 比 d2 有效, d1 更好.
§4 & §5 参数的区间估计
参数点估计是用一个确定的值去估计未知参数, 得到的是未知参数的近似值.
k!
设( X1 , X2 , …, Xn )为一样本, 样本值为( x1 , x2 ,…, xn ),
n
似然函数
n
L() P{Xi
i1
xi}
xi
i1
x1 ! x2 !L
en ,
xn !
n
两边取对数得 lnL xilnln(x1!x2!Lxn!)n,
i1
n
续解: lnLxi•lnln(x1!x2!Lxn!)n,
1i n
b max{xi }
1i n
问题讨论: 如何估计湖中的鱼数? 我们可用极大似然法估计湖中的鱼数.
为估计湖中的鱼数N, 第一次捕上r条鱼, 做上记号后放回. 隔一段时间后, 再捕出 S 条鱼, 结果发现这 S 条鱼中有 k 条 标有记号. 根据这个信息, 如何估计湖中的鱼数呢？
第二次捕出的有记号的鱼数 X 是随机变量, X的分布为：
P{Xk}CrkCCN SN Skr , 0kmiSn ,r)(
把上式右端看作 N 的函数，记作 L(N; k) .
应取使 L(N; k) 达到最大的N, 作为 N 的极大似然估计.
但用对 N 求导的方法相当困难, 我们考虑比值：
L( N ; k ) (NS)(Nr) L( N 1; k ) N(NrSk)
i1
d
ln d
L
n i1
xi
1
令
n 0 ,
1 n
n i1
xi
x.
有时用求导方法无法最终确定未知参数的 极大似然估计, 此时用极大似然原则来求 .
例: 设总体 X ~ U [a, b] , ( x1 , x2 ,…, xn ) 为一样本值,
求 a, b 的极大似然估计.
解:
X 的概率密度
1(ba), axb,
有效性:
若
1
及
2
都是 的无偏估计,
且 D(1)D(2), 则称 1 较 2 有效.
一致性: 若对 0, 有 limP{||}1, n 则称 是 的一致估计.
叫
依概率收敛于 ,
记作
P
● 设总体 X 的均值为 , 方差为 2 ,
( X1, X2, …, Xn ) 是它的一个样本, 因
E(X), E(S2)2.
同样是无偏估计量, 有的取值较集中, 有的 取值较分散. 自然是: 取值越集中的越好. 由此 引入了有效性这个标准 .
估计量与样本容量有关, 我们希望: 随着样 本容量的无限增大, 估计量与被估计量任意接近 的可能性越来越大. 由此引入了一致性这个标准.
无偏性: 若 E( ) , 则称 是 的无偏估计.
ln L
1
2
2
n
i1
2(xi) (1)12
n
[xi
i1
令
n]
0,
ln L 2
n
2 2
1
2( 2)2
n
(xi
i1
令
)2
0,
1
n
xi
x
,
n i1
2
1 n (xi
ni1
)2
1 n
n
( xi
i1
x)2
s02
例: 设总体 X ~ P(λ), 求 λ 的极大似然估计.
解: X 的分布律为 P{Xk}ke,k0,1,2,L
2
22
n
似然函数 L(,2)f(xi;,2)
i1
(2)n/2(2 )n
/
2
exp[212in1(xi
)2]
两边取对数得
l nL
n 2
ln(
2)
n 2
ln(2
)
1
2
n
2 (xi i1
)2
续解: ln L n 2ln 2( )n 2ln 2 ) (2 12 i n 1(x i )2
lnL 分别对 与2求导并令其为 0 得
使n
概率
f
(
xi; )dxi
达到最大的参数
作为 的估计；
i 1
n
n
即求
使 f (xi;
i1
)dxi
max
i1
f
(xi;)dxi
,
n
n
i1
f
( xi ;
)
max
i1
f
( xi ; )
;
n
记 L() f (xi;), 叫做样本的似然函数,
i1
则求 使 L()maxL(),
如此求出的 作为的估计, 叫 的极大似然估计.
例 设X1, …, Xn是取自正态总体 N(,2)的样本，
2 已知, 求参数 的置信度为 1的置信区间.
解：求一区间 _(_ˆ1,ˆ2)使 P {ˆ1ˆ2} 1 ,
由于样本均值 X 是 的无偏估计,
而U
P { 1 X 2 } 1 ,
构造点估计 的常用方法
矩估计法(moment method of estimation)
极大似然估计法(method of
maximum likelihood)
一、 矩估计法
矩估计法的基本思想是用样本矩估计总体矩 . 理论依据是大数定律.
矩估计法:
用样本的
l
阶原点矩
1 n
n
X
l i
i1
作为总体的 l 阶原点矩 E( X l ) 的估计,
总体矩用相应的样本矩代替, 得矩估计量:
2
1
n
Xi
2X .
n i1
二、 极大似然估计法 是在总体类型已知的条件下使用的一种参数
估计方法 . 其基本思想是概率最大的事件最可能发生 .
例如: 某位同学与一位猎人一起外出打猎 .一只野兔 从前方窜过 . 只听一声枪响，野兔应声倒下 . 是谁打中的呢？
你很自然地想到: 只发一枪便打中, 猎人命中的 概率一般大于这位同学命中的概率. 这一枪应该 是猎人射中的 .
它们也是 一致估计
表明: 样本均值 X 是总体均值 的无偏估计.
样本方差 S 2 是总体方差 2 的无偏估计.
注:
S
2 0
不是
2 的无偏估计,
E(S02)
E[1n (Xi
ni1
X)2]E[n1S2]
n
n 1
n
2
例: 设总体 X~N(,2), ( X1 , X2 , X3 ) 为一样本, 验证
f(x;a,b)
0,
其.它
n
似然函数 L(a,b) f(xi;a,b)
i1
1 (ba)n, a x 1 ,x 2 , ,x n b ,
0,
其它.
利用求导方法无法确定未知参数的极大似然估计,
由 L (a, b) 的表达式知: 若 b −a 取最小, 则 L (a, b) 达到最大,
故得 a min {xi},
n
引入似然函数 L( )f(xi; ),
i1
求 使 L ( ) 最大.
若总体 X 为离散型, 则
L()中的 f(xi;)以 P{Xi xi}代.
例: 设 ( x1 , x2 ,…, xn ) 为取自正态总体 N(, 2)
的一样本值, 求总体均值 和总体方差 2 极大似然估计.
解: X 的概率密度 f(x;,2) 1 exp(x[)2],
参数估计又分点估计与区间估计.
§1 参数的点估计
设总体 X 的分布中含未知参数 ,
( X1 , X2 , …, Xn ) 是一样本, 要构造一统计量
(X1,,
Xn)作为
的估计
(
叫做
的点估计量);
对应样本值( x1 , x2 , …, xn ), (x1,, xn) 可作为
的估计值，叫做 的点估计值.
第七章 参数估计
进行统计推断的一般步骤为: 总体 随机抽样 样本
统计量
作出推断
统计推断的
基本问题
参数的点估计 参数估计问题
参数的区间估计
参数假设检验 假设检验问题
非参数假设检验
参数估计问题: 就是要利用样本, 对总体 分布中包含的未知参数或未知参数的某些函数 作出估计.
如: 估计产品的废品率; 估计湖中鱼的数量; 估计降雨量等等.
经过简单的计算知, 这个比值大于或小于1,
由 N Sr 或 N Sr 而定 .
k
k
这就是说, 当 N 增大时, 序列 L(N; k) 先是上升而后下降;
当N 为小于 Sr k 的最大整数时, 达到最大值 .
故 N 的极大似然估计为 Nˆ [ Sr ]. k
请看演示 —— 捕鱼问题
§3 估计量的评选标准 求估计量的方法很多, 用不同的方法求出
的估计量会不一样. 我们希望用较好的估计量 去估计未知参数. 因而有必要讨论: 如何评价 一个估计量的好坏?
常用的几条标准是：无偏性, 有效性, 一致性
估计量是随机变量, 其取值随样本值的不同 而不同. 我们希望估计量的取值在被估参数附近 摆动, 即它的期望值等于被估参数. 由此引入了 无偏性这个标准 .
但在很多实际问题中, 我们不但需要求出未知 参数的近似值, 还需知道近似值的精确程度;
数学上的处理方法是: 确定一个范围(区间), 使我们 能以比较高的可靠程度相信它包含参数真值.
这就是参数的区间估计.
一、置信区间
设总体 X 的分布中含未知参数 , 若有统计量
1
与 2,
使对给定的(01),有
P{12}1,
n
近似为 f (xi;)dxi , 其取值随 而变;
i1
既然在一次抽样中就得到了样本值(x1 , x2 , …, xn) , 因而我们有理由认为: 样本 ( X1 , X2 , …, Xn ) 在 ( x1 , x2 , …, xn ) 旁边取值的概率比较大;
根据“概率最大的事件最可能发生”，我们可取
d11 5X1130 X21 2X3,d21 3X11 6X21 2X3
都是 的无偏估计, 并分析哪个更好?
解: X1 , X2 , X3 独立与 X 同分布, 故
131 E (d1)E ( X 1 X 2X 3)
5 10 2
1E (X 1)3E (X 2)1E (X 3)E(X),
5
10 2
同理得 E(d2),