总体均值与方差的矩估计量的表达式

若在一次试验中，结果 A出现，则一般 认为 A 出现的概率最大。
定义6.1 设总体 的分布密度（或分布律）为
p(x; ) ，其中 （1，2，..., m ) 为未知参
数。又设（x1, x2,... xn） 是总体 的一个样
本值，如果似然函数
L
n
pxi ;
i 1
（6.1）
在ˆ ˆ1,ˆ2,...,ˆm 处达到最大值，则称
称为参数 i 的最大似然估计量。
n
由于 ln L ln pxi , i 1
而 ln L 与L 在同一 处达到最大值，
因此，ˆ 为最大似然估计的必要条件为
ln L
0 i 1,2,..., m （6.2）
i
i ˆi
称它为似然方程，其中 1,2 ,..., m
求最大似然估计量的一般步骤为：
n
似然函数 L( ) L( x1, x2 , , xn; ) p( xi ; )
i 1
选择=结果
汇报结束 谢谢观看！ 欢迎提出您的宝贵意见！
计量.
解：由于 p(x; )只含有一个未知参数 ，一般
只需求出E 便能得到 的矩估计量，但是
E
xp(x; )dx
x
1
x
e dx 0
2
即 E 不含有 ,故不能由此得到 的矩估 计量.为此, 求
E( 2)
x2 p(x; )dx
x e dx 2 1
|x|
2
1
x
2
e
x
解 记 x(1) min( x1, x2 , , xn ),
x(n) max( x1, x2 , , xn ),
的概率密度为
p(
x;
a,
b)
b
1
a
,
0,
a xb 其它
因为a x1, x2 , , xn b 等价于a x(1) , x(n) b,
作为a, b的函数的似然函数为
L(
a,
(2).令 j
j
1 n
n
ij ;
i 1
j
1, 2,L
,k
这是一个包含k 个未知参数1,2 , ,k 的方程组.
(3).解出其中1,2 , ,k , 用ˆ1,ˆ2, ,ˆk表示.
(4).用方程组的解ˆ 1,ˆ 2 , ,ˆ k分别作为1,2 , ,k的 估计量,这个估计量称为矩估计量.
矩估计量的观察值称为矩估计值.
b)
(b
1 a)n
,
a x(1) , b x(n)
0,
其它
于是对于满足条件
a
x(1) ,
b
x(
n
的任意
)
a
,
b有
1
1
L( a, b) (b a)n ( x(n) x(1) )n ,
即似然函数L(a, b)在a x(1) , b x(n) 时 取到最大值( x(n) x(1) )n ,
ˆ 2
2
( )2
1 n
n i 1
(i
)2
Sn2.
1 n
n
i
i 1
上例表明: 总体均值与方差的矩估计量的表达式，不因
不同的总体分布而异.
例 ~ N (, 2 ), , 2未知, 即得, 2的矩估计量
ˆ ,
一般地:
ˆ 2
1 n
n
(i )2.
i 1
用样本均值
1 n
n i 1
i作为总体的均值的矩估计,
3( 2 2 )
3 n
n i 1
(i
)2 ,
例3设总体 的均值 和方差 2 都存在,且有
2
0, 但 和 2
均为未知, 又设1,2 ,L
,
是
n
一个样本, 求 和 2 的矩估计量.
解
1 E ,
2 E 2 (E )2 D 2 2 ,
令
2 2 2
解方程组得到矩估计量分别为 ˆ
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
1.似然函数
设总体的分布律为 P x px; （或分
布密度为 p( x;）) ，其中 1 ,2 ,..., m
是未知参数，1,2,...,n 是总体的一个样本,
则样本1,2,...,n 的分布律 或分布密度 为
n
pxi;
，当给定样本值
a, b 的最大似然估计值
aˆ
x(1)
min
1 i n
xi
,
bˆ
x(n)
max
1 i n
xi
,
a, b 的最大似然估计量
aˆ
min
1in
i
,
bˆ
max
1in
i
.
三、小结
两种求点估计的方法:
矩估计法 最大似然估计法
在统计问题中往往先使用最大似然估计法,
在最大似然估计法使用不方便时, 再用矩估计法.
n
( xi
i 1
)2
0 解得
ˆ 2
1 n
n
(
i 1
xi
x )2 ,
故 和 2 的最大似然估计量分别为
ˆ ,
ˆ 2
1 n
n
(i
i1
)2.
它们与相应的矩 估计量相同.
例3 设总体在[a,b]上服从均匀分布,其中a, b未知, x1, x2,L , xn是来自总体的一个样本值,
求a, b的最大似然估计量.
点估计问题就是要构造一个适当的统计量
ˆ(1,2 ,L ,n ),用它的观察值ˆ(x1, x2 ,L , xn ) 来估计未知参数 .
ˆ(1,2, ,n )称为 的估计量. 通称估计,
ˆ( x1, x2 ,
,
xn )称为 的估计值.
简记为ˆ.
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 求估 计量的问题是关键问题.
dx
2
2
0
故令
1
n
n
i2
i 1
2ˆ2
n
于是解得 的矩估计量为
ˆ
1 2n
i2
i 1
二、 最大（极大）似然估计法
最大似然法是在总体类型已知条件下使用
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇 . 费歇在1922年重新发现了
用样本二阶中心矩
m2
1 n
n i 1
(i
)2作为总体的
方差的矩估计.
矩法的优点是简单易行, 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
例4 设总体 的分布密度为
p(x;)
1
x
e
( x , 0)
2
(1,2,L n) 为总体 的样本,求参数 的矩估
点估计的求法: (两种) 矩估计法和最大似然估计法.
一、 矩估计法 它是基于一种简单的“替换” 思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 其基本思想是用样本矩估计总体矩 .
理论依据: 大数定律
设1 , 2 , ...n是来自总体的一个样本，
设的k阶矩k E k 存在.
则当j<k时，存在含有1，2..k的函数
（j 1，2..k）
我们设
子样的j阶矩为
j (1,2,...k ) j ,
j
j
1
n
1,
n
i
i 1
2...k
j
从而得到k个含未知数1,2 , ...k的方程，
求解可得1,2,...k的一组解：ˆj ˆj (1, ,k )
矩估计法的具体步骤:
(1).求出E j (1,2, ,k ) j 1, 2, k
例1 设 ~ B(1, p), 1,2,L ,n是来自 的一
个样本,求 p的最大似然估计量.
解 设 x1, x2,L , xn为相应于样本1,2,L ,n 的
一个样本值,
的分布律为 P{ x} px (1 p)1x , x 0,1
n
似然函数 L( p) pxi (1 p)1xi
i 1
n
ˆ1，ˆ2，...,ˆm 分别为 1, 2 ,..., m 的最大
似然估计值。
需要注意的是，最大似然估计值 ˆi
依赖于样本值，即 ˆi ˆi x1, x2 ,...,xn
i 1,2..., m 若将上式中样本值 x1, x2 ,..., xn
替换成样本 1,2,...,n 则所得的 ˆi ˆi 1,2,...,n
例 1 设总体 服从泊松分布 P()， 求参数 的估计量.
解：设 1,2,L n 是总体 的一个 样本,由于 E ,可得
n
ˆ
1 n
i
i 1
例2 设总体 在[a,b]上服从均匀分布,其中a, b未知, (1, 2,L , n ) 是来自总体的样本,求a,
b 的矩估计量.
解
1 2
E E 2
其中 为未知参数. 的范围是已知(称为参数空间）
现从该总体中抽取样本
1 , 2 , ...n
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ).
这类问题称为参数估计.(一般分点估计， 区间估计)
一、点估计问题的提法
设总体的分布函数形式已知, 但它的一 个或多个参数为未知, 借助于总体的一个样 本来估计总体未知参数称为点估计问题.
n
xi
n xi
p i1 (1 p) i1 ,
ln
L(
p)
n
xi
i 1
ln
p
n
n
xi
i 1
ln(1
p),
n
n
令
d
ln L( p)
xi
i 1
n xi
i 1
0,
dp
p 1 p
解得 p 的最大似然估计值
pˆ
1 n
n
xi
i1
x.
p 的最大似然估计量为
pˆ
1 n
n
i 1
X
i
X.
（1）求似然函数 L
（2）一般地，求出 ln L 及似然方程
ln L
0
i
ˆ
i 1,2,..., m
（3）解似然方程得到最大似然估计值
ˆ i ˆ i x1, x2 ,..., xn
i 1,2,..., m
（4）最后得到最大似然估计量
ˆi ˆi 1,2,...,n
i 1,2,..., m
x1 ,
x2 ,...,
xn
i1
后，它只是参数 的函数，记为 L
即
L
n
pxi ;
i1
则称 L 为似然函数。似然函数实质上
是样本的分布律或分布密度。
2.最大似然估计法 最大似然估计法，是建立在最大似然 原理的基础上的求点估计量的方法。最 大似然原理的直观想法是：在试验中概 率最大的事件最有可能出现。因此，一 个试验如有若干个可能的结果A, B,C,...,
第六 章
点估计
第6.1节 参数的点估计
一、点估计问题的提法 二、估计量的求法 三、小结
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数.
估计新生儿的平均体重
估计废品率 估计湖中鱼数
估计平均降雨量
… …
参数估计问题的一般提法
设有一个统计总体的分布函数F(x, )，
a b, 2
D
（E）2
a
b2
12
a
b2
4
,
令
a
2
b
1 n
n i1
i ,
(a b)2 (a b)2
12
4
1 n
n
i2 ,
i 1
即
a b 2
b a 12( 2
2)
解方程组得到a, b的矩估计量分别为
aˆ 3( 2 2 )
3 n
n i 1
(i
)2 ,
bˆ
2π
ln L(,
2)
n ln(2π) 2
n ln
2
2
1
2
2
n i 1
( xi
)2
,
令
ln
L(
,
2
)
0
2
ln
L(
,
2
)
0
1
2
n i 1
xi
n
0
,
n
2 2
1
2( 2 )2
n i 1
( xi
)2
0,
由 1
2
n i1
xi
n
0
解得
ˆ
1 n
n
i 1
xi
x,
由
n
2 2
1
2( 2 )2
这一估计量与矩估计量是相同的.
例2 设总体 ~ N (, 2 ), , 2为未知参数,
x1, x2,L , xn 是来自 的一个样本值, 求 和 2
的最大似然估计量.
解 的概率密度为
p( x; , 2 )
1
e ,
(
x )2 2 2
2π
似然函Βιβλιοθήκη Baidu为
n
L( , 2 )
i 1
( xi )2
1 e , 2 2