数理统计 参数估计

2.罗—克拉美(Rao-Cramer)不等式
定理7.2.1 设总体X为连续型随机变量，密度函数为f(x; ),
为未知参数， ，X1, …, Xn为来自该总体得一个样本。 T(X1, …, Xn)为可估计函数g( )的无偏估计量。如果满足下列
正则条件：
(1)I()E [ln f(X;)]20;
( 2 ) f( X ;) 存 且 在 有 f( x ； ， ) d x f( X ;)d , x
[g'()]2 D(T) nI() .
特别，当g’()
=
时，上式可简化为
D
(T)
1
nI()
.
性质 则
若
f( X ;)d x 2f (X 2;)d,x
I() E [ ln f ( X ;)]2 E [ 2l n f(2 X ;)].
3. 有效估计
若不等 Dˆ式 n1(I)成为等 ,即E式 ˆ,且Dˆn1(I),
不过 x(n) xi, i1,2,,n. 故
^
MLEX(n) m 1ina{Xxi}.
回顾 此 E(X时 )2令 X 可解 ˆM 得 2X. 可,见 本例 ˆM中 LEˆM.
注解：若概率函数中含有多个未知参数，比如
iid
X 1 , ,X n ~ f( x 1 , ,x n ;1 , ,m )( ,1 , ,m )
则可解方程组
L 0, 或lnL0
j
j
得出 j的MLˆEj, j1,,m.
若碰到用似然方程解不出MLE，则可用直接法推求.
若u=g(x)的反函数单值, 则u =g()的MLE为
uˆMLE g(ˆMLE).
7.2 估计量的评选标准
一、均方误差
设 ˆ ˆ ( X 1 , ,X n ) 为 的,估 若 E [ˆ 2 ] 存 计在 量
事实上，由柯西不等式可知：对任意实向量a, b, 都有
|[a,b]| [a,a]b [,b]
n
1 (
i 1
n
n
i) 2 ( 1 i) 2 n
i 1
i 1
2 i
i n 1 i2 1 n .
故
D (n 1 i n 1X i) D (X ) n 22 i n 1
n
i2 D (
ab a 2
12
解方程D组 E(X(X))(ba12a2b)2XB2
^
^
可a 得 M X 3 B 2, b M X 3 B 2 .
三、极大似然估计法
1、极大似然思想 你从河海大学校本部去火车站赶火车，25分钟后列车就
要开了，你是坐公共汽车去还是坐出租车去？答案是坐出租 车去。这是因为坐出租车在25分钟内赶到火车站的把握大 。
i1
由ddlnL1
n i1
xi
n0
可解得
^
MLE
1 n
n i1
xi
x;
^
其极大似然估计量 MLE是 X.
iid
^
例 7设 X 1 , ,X n~ U (0 , ),试M 求 LE
解 L() n 1 n,
i1
0xi ,i 1, 2,,n
L'()nn1 0, 其似然方程无解。
但分析L()可发现 越小L越大.
例 1设 X 1, ,X ni~ iU d(0 , )试 , 讨 ˆM 与 ˆM 论 的 LE 无 . 偏
解已知 ˆM2X,ˆMLEX(n)
EˆME(2X)2EX2(2),ˆM是 的无偏 . 估
X(n) ~fn(z)n(z)n11,0z
0,
其它
EˆML EEX (n) 0znznn 1dznn1
ˆML不 E 是 的无偏 . 估计
三、有效性
1. 最小方差无偏估计
设 ˆi ˆi(X1,,Xn)i,1,2分别是 的参 两数 个
无偏,若 估 D ˆ1 计 D ˆ2,则ˆ称 1比 ˆ2有.效
易知，样本X1, … , Xn的加权平均值
n
n
iXi, 0i 1,i 1
i1
i1
都是EX的无偏估计。但当i=1/n时，其方差最小。
m2n 2
0,
(n )
pˆMLE是p的一致性估计量。
7.3 充分性与完备性
一、充分性
iid
定义7.3.1 设X1,,Xn~f(x;),T(X1, …, Xn)是统计量
若
n
L ( x 1 ,L ,x n ;) f( x i; ) ( T ( x 1 ,L ,x n ) ;) h ( x 1 ,L ,x n )
令E(X)X, D(X)1nin1(Xi X)2B2,即可解得
^
MX,
^
2MB2
1nin1(Xi X)2.
iid
^^
例 4 .设 X 1 , ,X n~ U (a ,b )a , b ,试 a M 和 求 b M .
解 E (X ) b x1d a x b ,D (X ) E (X ) 2 ( b a ) 2 ,
L ( x 1 , ,x n ； ) d 1 d x n x L ( x 1 , ,x n ； ) d 1 d x n ;x
(3) g’()存在， 且有
则有
g '() T ( x 1 , ,x n ) L ( x 1 , ,x n ； ) d 1 x d n .x
i 1
其中f (x; )是总体的概率函数，是 T(x1, …, xn)的概率函数依
赖于，h(x1, …, xn)非负且不依赖于. 则称T(X1, …, Xn)是的
充分统计量。
iid
例1 设 X 1，L ，X n ~ B( 1 , p ), 已知 0 p 1,
试求出 p 的充分统计量。
解 ： Q T n X i~ B ( n ,p ) ,f ( x i ;p ) p x i( 1 p ) 1 x i,x i 0 , 1 i 1
iid
^
例 1 .设 X 1 , ,X n ~ b ( m ,p )m ,固 ,0 p 定 1 ,试 p M .求
解E(X)xm 1xm xpx(1p)mx mp,
令E(X)X, 即可解p^M得 m 1X.
例 2 .设 X 1 , ,X ni~ ifd (x ;) e x, x 0
(1) 解似然方程法
d [L () ]d L 0 , od r [L l(n ) ]d lL n 0
d d
dd
称为未知参数的似然方程。若该方程有解，则其解就是
ˆM LˆE M(L X 1 E , ,X n)
(2) 直接法
由似然方程解不出的似然估计时，可由定义通过分
析直接推求。
事实 ˆML 上 满 E 足
设 ˆ ˆ(X 1 ,L ,X n )是 的估计量，若 则称 ˆ是 的一致性估计量。
ˆ P ，
若ˆ a.e.,则称 ˆ为的强一致.估计量
例3
设
iid
X1,,Xn~B(m,p),m已知，0
<
p
<
1，试求出
pˆ MLE
.
并讨论其一致性。
n
解 ：L(p) (m xi )pxi (1p)mxi
一般说，事件A与参数有关，取值不同，则P(A) 也不同。若A发生了，则认为此时的值就是的估计值。
这就是极大似然思想。
例5 设袋中装有许多黑、白球，不同颜色球的数量比 为3:1，试设计一种方法，估计任取一球为黑球的概率p。 解 易知p的值无非是1/4或3/4。现从袋中有放回地任取 3只球，用X表示其中的黑球数，则X~b(3, p)，要估计p 的值。
^
0 ,试M .求
0 , x 0
解E(X) xexdx1/, 0
^
令 E(X)X, 即可解 M1得 /X.
iid
^^
例 3 .设 X 1 , ,X n ~ N (,2 ) , , 0 ,试 M 和 求 2 M .
解 E (X ) x1e (x 2 2 )2 d x ,D (X ) E (X )22 , 2
对p的不同取值，X取k=0, 1, 2, 3的概率可列表如下:
X
0
1
2
3
(p=1/4) 27/64
P (p=3/4) 1/64
27/64 9/64 1/64 9/64 27/64 27/64
故根据极大似然思想即知
pˆ 31//44,,
k0,1 k2,3
2、似然函数与极大似然估计
设 X 1,,Xni~ id f(x;), ,x1,,xn为样本 ,则观 称
随机误差
系统误差
二、无偏性
^^
^
设 (X1,,Xn)为 的估,若 计 E量
^
则称 是 的无偏. 估计量
易知，样本均值和样本方差分别是总体均值和总体
方差的无偏估计。事实上，
1n
1n
E (X )E (ni 1X i)ni 1Ei XE (X ),
E (S2)E [n 1 1i n 1(X iX )2]2D (X ).
第七章 参数估计
点估计 估计量的评价标准 充分性与完备性 区间估计 正态总体参数的区间估计
7.1 点估计
一、参数估计的概念
定义 设X1， … ， Xn是总体X的一个样本，其概率函
数为f(x; ), 。其中为未知参数, 为参数空间, f (x; )可表示分布律或密度函数. 若统计量g(X1, … , Xn) 可作为的一个估计，则称其为的一个估计量，记为ˆ ,
知参数的方法称为矩估计法或矩法。 的矩估计可记为 ˆM
矩估计
ˆM
应满足方程：
E(Xk)Ak
1 n ni1
Xik.
或
E [XE (X )k]B kn 1i n 1[X i X ]k.
k的取值取决于f (x; )中未知参数的维数。若维数为1，即
仅有一个参数，则可在第一个方程中让k取1；若维数为2，
则可让k取1和2，解联立方程即可得ˆ1与ˆ2. 余类推。
即 ˆg(X 1 ,,X n).
若x1， … ， xn是样本的一个观测值，则称
ˆg(x1,,xn)为 的估.计值
由于g(x1， … ， xn) 是实数域上的一个点，现用它
来估计， 故称这种估计为点估计。
点估计的经典方法是矩估计法与极大似然估计法。
二、矩估计法(简称“矩法”)
定义 用样本矩作为总体同阶矩的估计，从而解出未
或
L(ˆML ) Em L a(x)S uL(p).
iid
^
例 6设 X 1 , ,X n ~ P (), 0 , 试 M 求 LE
n
解 L ()i n 1x x i! i e [i n 1(x i!)] 1 i 1x ie n
n
n
lnLln(xi!)xi lnn
i1
i 1
iX i) .
定义 设 ˆ0 为的一个无偏估计，若对的任何无偏估计ˆ
都有
D (ˆ0)D (ˆ),
则称ˆ 0为的最小方差无偏估计(MVUE)。
显然，根据均方误差准则，最小方差无偏估计是无偏估计
类中最好的估计。那么，如何寻求最小方差无偏估计呢？究
竟方差小到什么程度才可达到最小值呢？
罗—克拉美不等式给出了无偏估计的方差下界。
n
L()L(x1,,xn;) f(xi;) i1
为该总体的似然函数。它实际上代表样本 (X1,L,Xn)
取其观测值 (x1,,xn)时的概率。
定义 若ˆ有 ,使得
或
L(ˆ)mL a(x)SuL(p ),
则称 ˆ为 的极大似 ,记 然为 ˆM 估 L.E或计 ˆL .
3、极大似然估计的推求
设 X 1 , ,X n i ~ i f( d x ;), ,试 ˆ M ˆ L M 求 ( E X 1 L , ,E X n )
n
n
T X i xi y, y0 ,1 ,,n
i 1
i 1
n
L(x1,L
,xn;
p)
f
i1
(xi;
p)
(T; p)
P{T xi}
n
pxi (1p)1xi
i1
nxipxi (1p)nxi
则称
M (ˆ,)E[ˆ]2
为 的均方误差。
易知
M(ˆ,)D[ˆ].
事实上，M ( ˆ ,) E [ ˆ ] 2 E [ ˆ E ˆ E ˆ ] 2
E [ ( ˆ E ˆ ) 2 2 ( ˆ E ˆ ) ( E ˆ ) ( E ˆ ) 2 ]
E [(ˆ E ˆ)2 ] (E ˆ)2 D [ˆ].
则称ˆ为的有效估计量或达到方差界的无偏估计量.
e(ˆ)nI1() D(ˆ)称为无偏估计ˆ 的有效率。
iid
例2 设X1,L , X n ~ N ( , 2 ), 则 X是的有效估计量 , S 2不
是 2的有效估计量
,
而
S
2
1 n
n i 1
(Xi
)2
(已知)却是 2的
有效估计量 .
四、一致性
i1
n
n
xi
[ (m xi )]pi1 (1 p)n(mx)
i1
n
n
lnLln[ (m xi )] mxi ln pn(mx)ln(1p)
i1
i1
令
dlnL
dp
1 p
n i1
xi
n(mx) 1 p
0
可解得
pˆMLE
1 m
X.
0， P{ 1 X m
p
D( 1 X )
}
m
2
mpFra Baidu bibliotek1 p)