点估计的几种方法

(2)在内求出使得似然函数L达到最大的参数的估计值
ˆ1 , ˆ 2 , , ˆ m
它们就是未知参数θ1,θ2,…,θm的极大似然估计。
一般地，总体X 的取值范围与未知参数无关,先 将似然函数取对数lnL，然后令lnL关于θ1,θ2,…,θm的 偏导数为0，得方程组
ln L 0 1 ln L 0 2 ln L 0 m
所以μ,σ2的极大似然估计量分别为
ˆ L X
ˆ L
2
1 n

i 1
n
(X i X )
2
思考：当μ已知 时， ˆ L2 ?
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例6.1.8 设 x1, x2 , …, xn 是来自均匀总体 U(0, )的样本，试求 的极大似然估计。
2
6.1.2 极(最)大似然估计
定义6.1.1 设总体的概率函数为P(x; )，是 参数 可能取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合概率函数看成 的函 数，用L( ; x1, x2, …, xn) 表示，简记为 L( )，称为样本的似然函数。有
L ( ) L ( ; x 1 , , x n )
ˆ j ˆ j ( a 1 , , a k ), j 1, , k , j j ( a1 , , a k ) , j 1, , k ,
1 1 j a 其 中 jaj x i n i n 1
n

i 1
n
x i 为 j阶 样 本 原 点 矩 .
j
矩法的步骤：
其一 是如何给出估计，即估计的方法问题； 其二 是如何对不同的估计进行评价，即估 计的好坏判断标准。
§6.1 点估计的几种方法
常用的主要有如下两种： 矩估计法和最大似然估计法.
6.1.1 替换原理和矩法估计
一、矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： • 用样本均值估计总体均值E(X)，即 ； • 用样本方差估计总体方差Var(X)，即 • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。
ˆ b L x ( n ) max( X 1 , X 2 , , X n )
极大似然估计有一个简单而有用的性质：如果
ˆ 是 的极大似然估计，则对任一函数 g( )，
其极大似然估计为g (ˆ ) 。该性质称为极大似然 估计的不变性，从而使一些复杂结构的参数的 极大似然估计的获得变得容易了。
解: 令
1 n ˆ Xi n i 1 1 2 2 ˆ ˆ n
1
n

i 1
n
Xi
2
解得矩法估计量为
ˆ
1 n
n
2
Xi X
1 n
i 1
ˆ
2


i 1
n
ˆ Xi
2


i 1
n
Xi X
2
2

1 n

i 1
n
(X i X )
补例 设X~U[a,b]， a,b未知，(X1,X2,…,Xn)是总体X的一个 样本，求a,b的极大似然估计。
解 X的密度函数为
1 f (x) b a 0
a x b 其它
设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则似然函数
L (a, b)
解 设(x1,x2,…,xn)为样本(X1,X2,…,Xn)的一个观察值，则 似然函数为 n 1 (x ) n (x )
2
n
L ( , )
2
2

i 1
n
1
i
2
ln 2
e
n 2
2
2
( 2
1 2
2
2

)
2
e
2
2

2
i
i 1
ln L ( ,

i 1
n
p ( x i ; ).
极大似然估计法的基本思想 由样本的具体取值，选择参数θ的估计量 使得取该样本值发生的可能性最大。 一般说，事件A发生的概率与参数有关， 取值不同，则P(A)也不同。因而应记事件A发生的概
ˆ
率为P(A|)。若A发生了，则认为此时的值应是在
中使P(A|)达到最大的那一个。这就是极大似然思想
设总体X的分布为F(x;θ1,θ2,…,θk)，k个参数θ1,θ2,…,θk待 估计，(X1,X2,…,Xn)是一个样本 。 (1)计算总体分布的i阶原点矩E(Xi)=μi(θ1,θ2,…,θk)， i=1,2,…,k，(计算到k阶矩为止，k个参数)；
1 n (2)列方程 1 ( 1 , 2 , , k ) E ( X ) X X j n j 1 1 n 2 2 2 ( 1 , 2 , , k ) E ( X ) X X n j 1 1 n k k k ( 1 , 2 , , k ) E ( X ) X X n j 1 从中解出方程组的解，记为 ˆ1， ˆ2， ， ˆk

i 1 n
n
1 ba 1 ba

1 (b a ) 1 (b a )
n n
,
a x1 , , x n b a x (1 ) , b x ( n ) .

i 1

,
由于L(a,b)是 b-a的单调减函数,所以b应尽可能小, a应尽可能 大。所以
ˆ a L x (1 ) min( X 1 , X 2 , , X n )
上一章介绍的抽样和抽样分布已为讨论统计推断
打下了必要的理论基础。何谓统计推断？就是利用资 料提供的信息，做出尽可能精确和可靠的结论。严格
地说，就是从总体中抽取一个样本获得信息后，对
总体做出推断。由于信息的有限性和样本的随机性, 做出的推断不可能绝对准确，总会有一定程度的不确 定性，而所出现的不确定性可以用概率的大小来衡量。 于是，我们称伴有一定概率的推断为统计推断 （statistical inference）
从中解出 ˆ1 , ˆ 2 , , ˆ m
例6.1.6 设一个试验有三种可能结果，其发生 概率分别为
现做了n次试验，观测到三种结果发生的次数 分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)。求的最大 似然估计。
例6.1.7 设(X1,X2,…,Xn)是来自正态总体X~N(μ,σ2)的一 个样本，μ,σ2未知，求μ,σ2的极大似然估计。
。
如果某统计量 ˆ ˆ ( x1 , x 2 , , x n ) 满足
L ˆ m ax L ( ),

则称 ˆ 是 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。
求极大似然估计通常分如下两种情形： 1. 总体X 的取值范围与未知参数无关； 2. 总体X 的取值范围与未知参数有关。
ln ln L ( , )
2Biblioteka Baidu
)
1
n 2
ln
2

i 1
n
(xi )
2
L ( , )
2


2
(x
i 1
i
) 0 1

2

n 2
2

2
4
(x
i 1
n
解得
i
) 0
2
1 n ˆ xi x n i 1 1 n 2 ( x x ) 2 ˆ i n i 1
现在我们来介绍一类重要的统计推断问题 参数估计问题是利用从总体抽样得到的信息 来估计总体的某些参数或者参数的某些函数. 估计新生儿的平均体重 估计废品率 估计湖中鱼数 估计平均降雨量 … …
第六章
参数估计
§6.1 §6.2 §6.3 §6.4 §6.5
点估计的几种方法 点估计的评价标准 最小方差无偏估计 贝叶斯估计 区间估计
例6.1.9 设 x1 , x2 , …, xn是来自正态总体N( , 2) 的样本，则和 2的极大似然估计为 ， 于是由不变性可得如下参数的极大似然估计，它们是: 标准差 的MLE是
；
概率
的MLE是
；
总体0.90分位数 x0.90= + u0.90 的MLE
是 ，其中u0.90为标准正态分布的 0.90分位数。
2
ˆ 1 / s,
s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。
例6.1.3 x1, x2, …, xn是来自(a,b)上的均 匀分布U(a,b)的样本，a与b均是未知参 数， 求a, b的矩估计。
补例1 设总体X的均值为μ，方差为σ2，均未知。 (X1,X2,…,Xn)是总体的一个样本，求μ和σ2的矩估计。

求极大似然估计的步骤
设总体X的分布中，有m个未知参数θ1,θ2,…,θm，它们 的取值范围。
(1)写出似然函数L的表达式
如果X是离散型随机变量，分布律为P(X=k)，则
L
n

i 1
P ( X xi )
如果X是连续型随机变量，密度函数为f(x)，则
L

i 1
n
f (xi )
二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, 1, …, k)， x1, x2 , …, xn 是样本，假定总体的k阶原点矩k存在，若 1, …, k 能够表示成 1, …, k 的函数j = j(1, …,k)，则可给出诸j 的矩法估计为
2 j
k j
则 ˆ1， ˆ2， ， ˆk 分别为参数θ1,θ2,…,θk的矩估计。
例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为
1 x ˆ ˆ1 // x .
1 / V ar ( X ) 另外，由于Var(X)=1/ . 因此，从替换原理来看， 的矩法估计也可取为 ˆ 1 1 / s
• 一般常用 表示参数，参数 所有可能取值组
成的集合称为参数空间，常用表示。参数估 计问题就是根据样本对上述各种未知参数作出
估计。
• 参数估计的形式有两种：点估计与区间估计。
• 设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 的取值作 ˆ ˆ ( x1 , x 2 , , x n ) 为 的估计值， 称为 的点估计（量），简 ˆ 称估计。在这里如何构造统计量 ˆ 并没有明 确的规定，只要它满足一定的合理性即可。 这就涉及到两个问题：
例6.1.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9
由此给出总体均值、方差和中位数的估计 分别为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总 体分布，其理论基础是大数定律。