概率论与数理统计(浙大版)第七章第八章

,k
A2
M
k
1,2 ,L ,k
Ak
解此方程即得 1,2 ,L ,k 的一个矩估计量 $1,$2 ,L ,ˆk
例 1 ： 设 总 体 X 的 均 值 和 方 差 2 都 存 在 ， 且 2 0 ， ,2 均 未 知 ， X 1 ,X 2 ,L ,X n 是 取 自 X 的 一 个 样 本 ， 试 求 , 2 的 矩 估 计 。
则有：E X v v 1,2 ,L ,k v 1, 2,L , k , 对于样本X X1, X 2 ,L , X n ,
其 v阶 样 本 矩 是 ： Av
1 n
n i 1
X
v i
v 1, 2,L , k
1
1,2 ,L
,k
A1
用样本矩作为总体矩的估计，即令：
2
1,2 ,L
独立
P ( X 1 x 1 ) P ( X 2 x 2 ) P ( X n x n )
Xi与X 同分布
P ( X x 1 ) P ( X x 2 ) P ( X x n )
p(x1,)p(x2,) p(xn,)
n
p(xi,)
i1
n
对给定的样本值(x1,x2,...x,n), p( xi , )
回忆：
(1) f(x)0,lnf([x)单]调性相同，从而最大值 点相同.
n
(2) L()p(xi;) n项连乘, 求导麻烦
i1
ln[L()]n项相加，求导简单 对数似然函数
从而，
求L 的 ()最大值点ln就 L([)转 的 ] 为 最求 大值
方法二：解方 dln d 程 L ([)]0, 得ˆ到
n
f(x 1 ,)f(x 2 ,) f(x n ,) f (xi ,) i1
于是，样本 (X1,X2,,Xn)落入点(x1,x2,,xn)
n
邻域内的概率为 f (xi,)xi ，由极大似然原
i1
理，最合理的 的估计值 ˆ 应该是使
n
f (xi,)xi 达到最大，由于 xi 是不依赖于
i1
的增量，所以我们只需求使
设(X1,X2,…,Xn)是来自总体X的样本。
似然函数为：
n
n
L(p) P(Xi, p) pXi (1p)1Xii1i1n Nhomakorabean
Xi
n Xi
pi1 (1p) i1
n
n
ln L (p ) ( x i)ln p (n x i)ln 1 ( p )
i 1
i 1
d
1n
1
n
dlpn L (p)pi 1xi1p(ni 1xi)0
解： 1 矩估计
EXxkpk 2 2 3 (1 3 2 )35 2
X 2.2
令 E(X)=X ˆ0.32
2极 大 似 然 估 计
L () (2 ) ( 1 3 2 ) (2 )( 1 3 2 )
1163(23)2
l n L () l n 1 6 3 l n 2 l n ( 2 3 )
n
似然函数 L()f(xi,) 达到最大 i1
求ˆ 的步骤：
(1) 写出L() (2) 取对数 lnL() (3) 解方程dlnL[()]0, 得到ˆ
d
例1 : 设总体X的分布律为：
X
0
1
pk
1-p
p
0<p<1, p未知 , 求参数p 的极大似然估计量. 解:总体X的分布律为：
P { X x } p x ( 1 p ) 1 x ,x 0 ,1 .
第七章 参数估计
﹜点估计 关键词： 矩估计法 极大似然估计法 ﹜区间估计 置信区间 置信度
问题的提出：
参数估计是统计推断的基本问题之一，实际工作中碰到的总体X , 它的分布类型往往是知道的，只是不知道其中的某些参数，
例如：产品的质量指标X服从正态分布，其概率密度为：
x 2
f x; , 2
1
2
n 2
212i n1(xi)2
lL n (,2 ) n 2 ln 2 ) ( n 2 ln 2 ) ( 2 1 2 i n 1 ( x i ) 2
lnL
1
22
n
2
i1
(xi
)
0
ln2L2n2
1
24
n
(xi
i1
)2
0
解 得 ˆX , ˆ2n 1i n 1(X iX )2
例 4 ： 设 总 体 X 服 从 0 ,上 的 均 匀 分 布 ， 0 未 知 ， 试 由 样 本 x 1 ,x 2 ,L ,x n 求 出 的 极 大 似 然 估 计 和 矩 估 计 。
dlndL()32630 ˆ0.4
.
27
三、 衡量估计量好坏的标准
的点估计量ˆ 一般是不唯一的, 如何选择好
的 ˆ ? 首先我们要对估计量提出衡量其好坏
的标准.
标准: 无偏性, 有效性, 一致性
1、无偏性
定 义 ：E[若 (X1,X2,,Xn)],
则 称 为的 无 偏估 计 量 。
即ˆ 取值在真值 附近来回摆动
一. 矩估计法
矩思想: 利用样本矩作为相应总体矩的估计量
1 n
n i1
X
k i
估计
EXk (n)
矩估计法: 总 X ~ 体 f(x ;1 , ,k ), 1 , ,k 未 , 知
一 矩估计法：
设总体X的分布函数为F x;1,2 ,L ,k , 1,2 ,L ,k 是待
估计的未知参数，假定总体X的k阶原点矩E X k 存在，
(2)E(S2)En1 1i n1
XiX2
1 n
n1Ei1
Xi X2
n1 1E i n1(Xi22XiXX2)
n1 1Ei n1Xi22nX2nX2
1 n
n1Ei1
Xi2nX2
n11i n1E(Xi2） nE (X2)
利 用E 公 (X 2)式 D (X ： )[E (X )2 ]
n
L(1,,k) f(xi;1,,k)
i1
解方程
ln L
1
0
ln
L
0
k
得到 ˆ1 , , ˆk
例3: X~N (,2)其 , , 中 0 未,知
给定一组样本 (X1,X2,,Xn), 求 , 2
的极大似然估计量．
解
n
L(,2)
1 e(x2i 2)2
i1 2
n
(2) ( ) e 2
例16:总体 X,EX,DX2存在 , 但未知
给 定 样(X本1, X2,, Xn),
试 证(1：)X1, X2,, Xn, X都 是的 无 偏 估 计 量 (2)S2是2的无偏估计量。
证明: (1)
E X i E X ,i 1 ,2 , ,n
E (X )E (n 1i n 1X i)n 1i n 1E (X i)n 1n
其他
X1,X2， L,Xn为取自X的样本，求的矩估计。
解 ： EXxfxdx 1 x dx
0
1
令EXX X ˆ X 2
1
1X
二、 极大似然估计法 极大似然估计法是在总体的分布类型已知的
条件下所使用的一种参数估计方法. 它首先是由德国数学家
高斯在1821年提出的 . 然而，这个方法常归功于
E ( X i2 ) D ( X i) [ E ( X i)2 ] 2 2
__
__
__
E(X)2 D(X)[E(X)]2 n2 2
__
(X~N(,n2))
E S 21[n 2 n 2 n (2 2) ]2
n 1
n
例 7 ： 检 验 例 4 的 矩 估 计 量 $ 2 X 与 极 大 似 然 估 计 量 ˆ L X n 的 无 偏 性 。
i1
f(Xi; ) i n1 Xi1(0Xi
1)
n(X 1X 2Xn)1 1in
取对数
n
l n L()nl n (1)l nXi i1
求导并令其为0
dlnL() n n
d i1lnXi 0
从中解得
n
n lnXi , 即为θ的极大似然估计量。
i1
推广：X ~f(x ;1, ,k) ,1, ,k 未 知
i 1
是参数 的函数，称为似然函数，记做 L( ).
n
即 L()p(xi;) i1
结构：n 项连乘，总体分布 p(x,) 改 p(xi,)
i1,2,,n
P(A)L(),随变而 , A变 已经发生，由极大
似然原理， L() 达到最大，所以 的最合理 估计值ˆ 应满足：L(ˆ)为最大值
定义 对给定的样本值 x1,x2,,xn，若
解得p的极大似然估计量为：
pˆ
1 n
n i 1
Xi
说明：p的极大似然估计值为：
pˆ 1 n n i1
xi
例2: 设(X1,X2,…Xn )是来自总体X的一个样本,
X~f(x;) x 0 , 1,0其 x1 ,它 其 中 0 未, 知
求θ的极大似然估计量．
解： θ的似然函数为：
n
L()
e 2 2
x
2
但 参 数 , 2的 值 未 知 ， 要 求 估 计 , 2， 有 时 还 希 望 以 一 定 的 可 靠 性 来
估计值是在某个范围内或者不低于某个数。
参数估计问题就是要求通过样本估计总体分布所包含的未知参数的值。
参数估计的两种方法：点估计法和区间估计法
§1 参数的点估计
解 ： Q X U 0 ,,E X 2, 由 于 X 1,L,X n 与 X 同 分 布
解 ： 因 1 X极 的 概 大 率 似 密 然 度 估 为 计 ： fx; 1 0x 0 其 它