概率论参数估计

n
( xi ) 2 2 2

n 2 2

EX X 解： EX 2 A 2
EX EX 2 DX ( EX )2 2 2
X ˆ 2 ˆ 2 A2 ˆ
1 n ˆ Xi X n i 1
2 1 n 2 1 n ˆ A 2 X X i X ( X i X )2 B2 n i 1 n i 1 2 2
和 2 =T2(X1, X2, …, X n ) (1<2) 用区间(1, 2 )作为 可能取值范围的估计
5.1
参数的点估计
构造点估计的估计量的具体方法有多种，在此，介绍两种方法。
一、矩估计法
矩估计法的思想是：用样本的各阶矩去估计总体相应的各阶矩， 而总体各阶矩都是总体分布中未知参数的函数，从而，通过估计 总体矩来达到估计总体分布中未知参数的目的。 设总体分布为F(x,1, 2…… ,k), i未知，样本(X1, X2, …, X n ) m 1 n m 来自总体 X，计算 EX Am X i n i 1 令 EX X 解未知量 1, 2…… ,k EX 2 A
为（1, 2…… ,k )∈Θ的函数。因为(x1, x2, …, x n )在一次观察 中就出现了，应出现在概率最大的地方。即求函数
i 1
n
n
L( 1 2 , , k ) F ( xi , 1 , 2 , k )
取得最大值的最大值点，以此作为（1, 2…… ,k )的估计。
2 2 x 例4： 设X ~ N ( , )；已知， 为未知参数，1 , , xn 是来自 的一个样本值， 2的极大似然估计量。 X 求 （ x ） X的概率密度为： 解： 1 2 f ( x; ) e 2 2 似然函数为 :
2 2
2 xi 1 2 2 i 1 L( , 2 ) e 2 e 2 i 1 n 1 n n 2 ln L ln( 2 ) ln( ) ( xi ) 2 2
二、极大似然估计
思想： 设总体分布(以离散型为例)为P(X=x)=F(x,1, 2…… ,k), （1, 2…… ,k )∈Θ未知，样本(X1, X2, …, X n )来自总体 X， 则样本(X1, X2, …, X n )的概率分布函数为： n n
i 1 i 1
L( x1 , x2 , , xn , 1 , 2 , , k ) P ( X i xi ) F ( xi , 1 , 2 , k )
P X 解： 的分布律为： { X x }
故似然函数为
求参数 的极大似然估计。 x

x!
e
n
L( )
i 1
n
n
x
i
e xi !

1 n xi ( )e i 1 i 1 x i !
n
n 1 ) n ( xi ) ln 而 ln L( ) ln( n i 1 xi ! i 1 xi d 令 ln L( ) 0 , 即 i 1 n 0. d
问题的提出:
一、参数估计
参 数 估 计
总体X的估计有两类：
总体X的分布形式已知，未知的只是分布中的参数，要估计的 只是参数或参数的某一函数。
二、非参数估计 总体X的分布形式未知，要估计的是总体的分布形式。
参数估计
点估计
区间估计
设总体X的分布函数为F(x, ), 未知， 的取值 范围称为 参 数空间 。记作 。现估计 。步骤如下：
1 n 2 1 n 2 ˆ ˆ EX 2 X 2 X n i 1 n i 1 2 2 1 n 2 1 n ˆ A2 X X X ( X X )2 B2 n i 1 n i 1
此例说明：矩估计可以不唯一。 此时，一般取低阶矩得到的那一个。
称其为参数 的 极大似然估计值 。

ˆ 。 ( X 1 , , X n )称为参数 的 极大似然估计量
这种求未知参数 的方法称为极大似然法 。
极大似然估计基本思想： 找出使样本观察值出现的概率为最大的参数值，将它作为未知参 数的估计值。
1、极大似然估计（离散型总体）
若总体 属离散型，其分布列为 X
1 n ˆ 解得的极大似然估计值 xi x n i 1 1 n p 的极大似然估计量为 ˆ n X i X i 1
2、极大似然估计（连续型总体）
若总体X 属连续型，其概率密度( x ; 1 , 2 , , k ), f
( 1 , 2 , , k ) 的形式已知， , 2 , , k ) 为待估参数。 (1
例3：设样本(X1, X2, …, X n )来自总体 X~P( )， 求 的矩估计量。 解：
令EX X
1 EX , X X i n i 1
n
1 n ˆ Xi X n i 1
一阶样本原点矩作为 的矩估计量 另一方面：EX2 = DX + (EX)2 = + 2 ，所以：
故似然函数为
L( p ) C p ( 1 p )
i 1 xi n xi
m i 1
m
n xi
m
( C nxi ) p i 1 ( 1 p )
i 1
m i 1
m
xi
m
nm
xi
i 1
m
,
x ln( Cn i ) ( xi ) ln p ( nm xi ) ln( 1 p ). 而 lnL( p) i 1
从总体 X 中抽取样本(X1, X2, …, X n ) 构造合适的统计量 =T(X1, X2, …, X n )
估参 计数 量的
估参 计数 值的
将样本观察值(x1, x2, …, x n )代入估计量 计算出估计量的观察值 =T(x1, x2, …, x n ) 或构造 1 = T1(X1, X2, …, X n )
(3)令 ln L 0; 1 ln L 0; 2
( 4 ) 解 方 程 组 求 得1 , , k 的极大似然估计值。
ln L 0; k
(X 例3： 设X ~ N( , 2 )； , 2为未知参数，1 , X 2 , , X n )
求 , 2的极大似然估计量。 是来自 的样本， X
进行一次具体的抽样之后， (X1, X2, …, X n ) 得到一组观察值 (x1, x2, …, x n )。 事件 X x , , X x }发生的概率为： {
1 1 n
L( x1 , x2 , , xn , 1 , 2 , , k ) F ( xi , 1 , 2 , k )
(1 ) 建立似然函数 L( 1 , 2 , , k )
n i 1
设 ( X 1 , , X n )是 来自总体 的样本, 求( 1 , 2 , , k )的极大似然估计量。 X
f ( x ;
i 1 i
n
1
, 2 , , k )
( 2 ) 取对 数： L ln f ( xi , 1 , 2 , , k ); ln
例4：设样本(X1, X2, …, X n )来自总体 X，X服从[1, 2]上的 均匀分布，求1和 2 的矩估计量。 解：这是两个参数的矩估计问题。 1 EX X 因 EX ( 1 2 ),
DX 1 ( 2 1 ) 2 12
EX 2 A 2
令
d lnL( p) 0, dp
即
x
i 1
m
i
p

nm xi
i 1
m
1 p
0.
1 m x p 解得p的极大似然估计值 ˆ xi n nm i 1 1 m X ˆ p的极大似然估计量为p Xi n nm i 1
X 例2： 设X ~ P ( );( X 1 , , X n )是 来 自 的 样 本 ，
2
EX2 = DX + (EX)2
由
1 ˆ ˆ 2 (1 2 ) X 1 1 ˆ ˆ ˆ ˆ ( 2 1 ) 2 [ (1 2 )]2 A 2 12 2
1 X - 3A 2 ˆ ˆ 2 X 3A 2
解得
另见书例5.10、5.11
ln L 0; k
X 例1： 设X ~ B( n , p );( X 1 , , X m )是 来 自 的 样 本， 参 数p( 0 p 1 )未 知 试求参数p的极大似然估计量
P X 解： 的分布律为： { X x } Cnx p x ( 1 p )n x
P{ X x } p( x ;1 , 2 ,, k ), (1 , 2 ,, k )
的形式为已知， 为待估参数，属于参数 。 空间
设 ( X 1 , , X n )是 来自总体 的样本, 求( 1 , 2 , , k )的极大似然估计量 X
(1 ) 建立似然函数 L( 1 , 2 , , k )
i 1
n
固 定x1 , , xn , 挑 选 使 概 率 ( x1 , , xn ; ) L ˆ ˆ 达 到 最 大 的 参 数， 作 为 的 估 计 值 ， 即 取 使 得 ：
ˆ L( x1 , , xn ; ) max L( x1 , , xn ; )
ˆ 与x1 ,, xn有关，记为ˆ ( x1 ,, xn );
n i 1
p( x ;
i 1 i
n
1
, 2 , , k )
( 2 ) 取对 数： L ln P ( xi , 1 , 2 , , k ); ln