应用数理统计第二章参数估计(1)点估计

罐中黑球数
解：设 p=黑球所占比例= 罐中全部球的数目 则 p=1/4或 p=3/4
又设X=“取出的3只球中黑球的数目” 则 X ~ b(3, p)
P{X 1, p 1/ 4} C1 1 (3)2 27 3 4 4 64
P{X 1, p 3 / 4} C1 3 (1)2 9 3 4 4 64
2
a1 ,
2
a2
ˆ A1 X ˆ 2 A2 A12
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X
)2
s2
上述结果表明，总体均值与方差的矩估计量的表达式不
因不同的总体分布而不同． 9
例2.3 设总体X服从[θ1,θ2]上的均匀分布，θ1,θ2未知 ，X1, X2 , …,Xn为来自总体X的样本,试求θ1,θ2的矩估 计量．
22
§2．2 估计量的评价准则
由例2.3和例2.10的结果看出，对均匀分布 总体参数的估计不一样，哪个好？
aˆ X bˆ X
3 n ( X X )2 ,
n
i 1
3 n ( X X )2
n
i 1
aˆ
min
1in
X
i
,
bˆ
max
1in
X
i
例2.12 若总体X~ (), 则未知参数 的矩估计量为
式未用到（如例2.2），较粗糙。
13
2.1.2 极大似然估计法（MLE）
极大似然法的原理: 例如有一个事件,若知道它出 现的概率只能是0.01或0.99,而在一次观测中,此事件 出现,此时自然会说它的概率应为0.99,因此,极大似 然法是要选取这样的值来作为参数的估计值,使得当 参数取这一数值时,观测结果出现的可能性为最大.
解
a1 E( X ) 1
a2 E(X 2)
2
2
D( X
, )
[E(
X
)]2
( 2
1
12
)2
(1
2 )2
4
由矩估计法,得
ˆ1 A1 3( A2 A12 )
ˆ2 A1 3( A2 A12 )
ˆ1 X 3S , ˆ2 X 3S
10
➢【例2.4】 贝努利试验
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
回顾
数理统计：由部分信息（带有随机性的数据） 推断出合理的结果——统计推断。
样本与总体 总体的分布——统计模型，统计建模的目的即
确定X的分布、参数等 参数与参数空间 直方图与经验分布函数 统计量及其分布 三种重要的抽样分布
1
参数估计与非参数估计
参数估计：先假定研究的问题具有某种数学模型， 如正态分布，二项分布，再用已知类别的学 习样本估计里面的参数。如:
点估计： (X1, X 2 ,..., X n )，这是一个统计量，此 处称为估计量，而 (x1, x2 ,..., xn ) 称为估计值。
区间估计：由两个统计量 ˆ1 ˆ1(X1, X 2,...,X n )
和ˆ2 ˆ2 (X1, X 2 ,...,X n )构成一个区间，使
P{ˆ1 ˆ2} 1 ，其中 事先给定。
若是总体的原点矩，则相应的样本矩是其矩估计量。 8
例2.2 设总体X的均值E(X)=, 方差D(X)=2 都存在,
且2>0.但 ,2均为未知. X1, X2 , …,Xn为来自总体X的
样本, 求,2的矩估计量.
解
a1a2
E(X)
E(X 2)
D( X )
[E( X )]2
2
2
由矩估计法,令
依据（原理）：
柯尔莫哥洛夫强大数定理：
如果 E( X ) , X1, X 2 ,..., X n为相互独立且与X
同分布，则
1 n
n i 1
Xi
, (a.s.)
5
注：随机序列的收敛定义
Xn a.e. X , 是指
P{lim n
Xn
，X} 1
（以概率1收敛，或几乎处处收敛a.s）；
Xn P X , 是指依概率P收敛；
在不致混淆的情况下,估计量和估计值统称估为估计,
并都简记为
.
参数
的估计量
是样本X1, X2 ,..,Xn的函数.
➢点估计常用方法: 矩估计法; 极大似然估计法.
4
通过总体的一个样本来估计总体未知参数的值
的问题称为参数的点估计问题。．
2.1.1．矩法估计
样本矩是描述随机变量的最简单的数字特征，它在 一定程度上反映总体的特征．这种用样本(原点)矩作为 总体(原点)矩的估计量的方法称为矩估计法．
词义：最像什么就取什么。 原理（概率论）：在一次试验中，已经发生（产
生），则其事件发生的概率应该很大！ 小概率原理：小概率事件，在一次试验中（几乎）
不可能发生。如乘飞机旅行。
14
引例 设在罐中放有许多白球和黑球,已知两种球的数目之比 为1:3, 但不知哪种颜色的球多, 若采用有放回方式从罐中 取3个球, 发现有一只黑球,问在此情况下应估计哪种颜色的 球多?
似然估计值
似然估计量
19
例2.10 设总体X~U(a, b), a, b 均未知，又设X1, 2,...,Xn 为总体X 的样本, x1, x2 ,…, xn为X的一组样本观测值， 试求a, b 的极大似然估计值量.(用定义)
aˆ
min
1in
X
i
,
bˆ
max
1in
X
i
例2.11 设总体X服从参数为 的柯西分布，求 的 极大似然估计值量（MLE）.
m为待估参数,如果 ak=E(X k) (k=1,2,..,m)存在, ak为 1,
2 , …, k的函数,记ak= ak( 1, 2 , …, k) (k=1,2,..,m), X1,
X2 , …,Xn为总体X的样本,用Ak来估计E(X k),建立m个方程:
用i作为 i的估计量------矩估计量.
设总体 X 是服从参数为 的指数分布，其中参数 未知， 0 ．
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
非参数估计：不假定数学模型，直接用已知类别
的学习样本的先验知识直接估计数学模型。
2
第二章 参数估计
总体X的分布形式已知，但含有未知参数。
由样本来推断（估计）其中的未知参数——参数 估计。
S2 X
,
Nˆ
X2 X S2
11
【例2.5】 设总体的密度函数为
f
( x,1 , 2
)
2 (1 1
2
)
x 1
exp( x 2
),
0,
x0
x0
1 1 ,2 0
得不到解析解，求数值解。
【例2．6】 柯西分布，
f
(
x,
)
(1
1 (x
)
2
)
,
x
各阶矩不存在，不能用矩估计法。 12
评述：
a1 E( X ) p pˆ A1 X
(2)若总体X~b(N, p), 则未知参数p ,N的矩估计量为
a1 E( X ) Np a2 E( X 2 ) D( X ) [E( X )]2 Np(1 p) N 2 p2
Nˆ pˆ X , Nˆ pˆ (1 pˆ ) S 2
pˆ 1
A1= a1( 1, 2 , …, m)
A2= a2( 1, 2 , …, m) …………….
Am= am( 1, 2 , …, m)
1=
1(A1,
A2
,
…,
A
m)
2= 2(A1, A2 , …, A m)
……………. m = m(A1, A2 , …, A m)
▪ 例2．1 （P30）
n
n
故似然函数为
L( p)
n
p xi (1 p)1 xi
xi
n xi
p i1 (1 p) i1
n
i 1
n
ln L( p) ( xi ) ln p (n xi ) ln(1 p)
i 1
令
d dp
ln L( p)
0
i 1
pˆ 1 n
n
xi x
i1
pˆ 1 n
n
Xi X
i1
试求,2 的极大似然估计值量.
解
f ( x; , 2 )
1
2
e xp
(x )2 2 2
似然函数为
n
L(, 2 )
i 1
1
2
exp
(xi )2 2 2
似然方程为
(
1
2 )n
exp
1
2 2
n
(xi
)2
i 1
L(, 2 ) 1 2
n
(xi
i1
) 0
2
L(, 2 )
求L( ) 与 lnL( )的最大值点可以改为求 lnL( )的
最大值点. 当lnL( )关于 可微时,必满足方程:
lwenku.baidu.com L(
i
)dl0n, (Li (1),2,...0,k-)----对数似然方程 d
组
17
例2.8 设总体X~N(,2),,2均未知，又设X1, X2,...,Xn
为总体X 的样本, x1, x2 ,…, xn为X的一组样本观测值，
则称
L( x1 , x2 ˆ( x1 , x
,
2 ,
,
x n ;ˆ )
max
L(
x1
,
x2 ,
,
xn; )
, xn ) 为 的极大似然估计值，
称 ˆ( X 1 , X 2 , , X n )为 的极大似然估计量.
如何求 L( )的最大值?
由于L( )与 lnL( )在上有相同的最大值点,所以
2 有单值反函数 2
1n n i1 (X i
g2 (g
X
0)
)
2
根据上述性质，得到标准差 的极大似然估计为
ˆ
1 n
n
(Xi X)2
i 1
21
极大似然法克服了矩法的一些缺点, 它利用总体 的样本和分布函数表达形式所提供的信息建立未知 参数的估计量； 它也不要求总体原点矩存在, 因此极大似然估计 量有比较良好的性质； 但求极大似然估计量一般要解似然方程,而有时解 似然方程很困难, 只能用数值方法求似然方程的近 似解.
3
2.1 点估计
设总体X的分布函数的形式为已知,为总体的待估计的参
数. X1, X2 ,..,Xn是X的一个样本,x1, x2, …,xn是相应的样本值.
计未称量知点参(估x数1(计,Xx问12的,, X…题近2,就,x似…n是)值,X为用.n)的样,称用本它估X1的计,(XX观值21,,察.X…2值,,X…n构,(X造xn1),一为x2个,…适的,x当估n)的计作统量为.
0, lim P{| n
Xn
X
|
} 1
还有依分布F收敛 Xn W X , （弱收敛） 以概率1收敛一定依概率收敛，但反之不一定成
立。
6
若 E( X k ) ak（X的k阶矩存在），也有
1
n
n i1
X
k i
a.e.
ak
亦即，当n较大时，样本原点矩与总体矩非常接
近。据此可得：
矩估计法：若总体X中含有m个参数
1, 2 ,..., m
X的真实k阶矩 (k m) 存在，且为 ak ，
显然，ak ak (1,2,..., m ), k 1,2,..., m为θ的函数。
7
k价样本矩
Ak
1 n
n
X
k i
i 1
ak E(X k )
设总体X的分布函数为F(x; 1, 2, ...,m),其中 1, 2,...
点估计的矩法是由皮尔逊提出的，它直观、简 便，特别对总体期望合方差进行估计时不需要知 道总体的分布。但它要求总体原点矩存在，而有 些随机变量的原点矩不存在，就不能用此法进行 参数估计。此外，矩估计有时不唯一；再者它没 有利用总体分布函数所提供的信息，因此很难保 证它有优良的性质。
（1）方法基于n趋于无穷大时的情形； （2）只用到了总体的数字特征的信息，而分布形
d
ln L( ) d
n
i 1
2( Xi ) 1 (Xi )2
0
得不到解析解，求数值解。
20
似然估计具有下述性质:
如果 ˆ 为参数 的极大似然估计量，又函数 g g( ) 具有
单值反函数，则 g(ˆ) 是 g( ) 的极大似然估计量．
例如在例2.8中已得到
函数 g g( 2
2
)
的极大似然估计为 ˆ 2
L( ) L(x1,x2 , xn; ) n p(xi; ) ,
为样本的似然函数.
i1
(2)如果总体X是连续型随机变量，其概率密度为f(x;),
样本的似然函数为:
n
L( ) L( x1, x2 , xn ; ) f ( xi ; ) , i 1 16
定义 若有ˆ ,使得 L(ˆ) max L( ) ,即
认为 p=1/4 15
似然函数
(1)设总体X是离散型随机变量，其分布律P{X=x}=p(x;)的
形式为已知, 为待估参数, 是可能取值的范围。设
X1, X2 , …,Xn是来自X的样本，则 (X1, X2 , …,Xn )的联合分布
律为
n
p( xi , ) ,
i 1
又设 x1, x2 , …,xn为样本 X1, X2 , …,Xn的观察值,称
1 2 4
n
(xi
i 1
)2 n 2 2
0
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
18
例2.9 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本 ,求参数p的最大似然估计量.
解 设x1, x2 , …,xn是相应于X1, X2 , …,Xn一个样本值,
X的分布律为 P{X=x}=px(1-p)1-x, x=0,1,