华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计.

ˆ (a , , a ), j j 1 k
其中
1 n j a j xi n i1
j 1, , k ,
25 November 2018
华东师范大学
第六章 参数估计
第7页
例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为
ˆ 1/ x
华东师范大学
第六章 参数估计
第8页
例 6.1.3 x1, x2, …, xn 是来自 (a,b) 上的均匀分布 U(a,b) 的样本， a 与 b 均是未知参数，这里 k=2 ， 由于
ab EX , 2 (b a ) 2 Var( X ) , 12
不难推出
a EX 3Var( X ), b EX 3Var( X ),
L( ) ( ) [2 (1 )] [(1 ) ]
2 n1 n2 2 n3
2
n2
2 n1 n 2
(1 )
2 n3 n2
其对数似然函数为
ln L( ) (2n1 n2 ) ln (2n3 n2 ) ln(1 ) n2 ln 2
1 n n n 2 2 ln L( , ) 2 ( xi ) ln ln(2) 2 i 1 2 2
2
25 November 2018
华东师范大学
第六章 参数估计
第14页
将 lnL(, 2) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组
ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 ln L( , 2 ) 1 n n 2 4 ( xi ) 2 0 2 2 i 1 2
华东师范大学
第六章 参数估计
第19页
例6.1.9 设 x1 , x2 , …, xn是来自正态总体N( , 2) 2 的样本，则和 2的极大似然估计为 x , 2 s *， 于是由不变性可得如下参数的极大似然估计，它 们是:
ˆ s*； 标准差 的MLE是
25 November 2018
25 November 2018
华东师范大学
第六章 参数估计
第24页
ˆ 看作一个 若把依赖于样本量n的估计量 n ˆ 依概率收敛 随机变量序列,相合性就是 n
于,所以证明估计的相合性可应用依概率
收敛的性质及各种大数定律。
25 November 2018
华东师范大学
第六章 参数估计
第25页
L( ) L( ; x1, , xn ) p( x1; ) p( x2 ; ) p( xn ; )
称为样本的似然函数。
25 November 2018
华东师范大学
第六章 参数估计
第10页
ˆ ˆ( x , , x ) 满足 如果某统计量 1 n ˆ) max L( L( )
第六章 参数估计
第1页
第六章
§6.1 §6.2 §6.3 §6.4 §6.5
参数估计
点估计的几种方法 点估计的评价标准 最小方差无偏估计 贝叶斯估计 区间估计
25 November 2018
华东师范大学
第六章 参数估计
第2页
• 一般常用 表示参数，参数 所有可能取值
组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参

则称 ˆ 是 的极(最)大似然估计，简记为MLE （Maximum Likelihood Estimate）。 人们通常更习惯于由对数似然函数lnL( )出发寻 找 的极大似然估计。 当L( )是可微函数时，求导是求极大似然估计最 常用的方法，对lnL( )求导更加简单些。
25 November 2018
利用二阶导函数矩阵的非正定性可以说明上述 估计使得似然函数取极大值。
25 November 2018
华东师范大学
第六章 参数估计
第16页
虽然求导函数是求极大似然估计最常用的方 法，但并不是在所有场合求导都是有效的。
例6.1.8 设 x1, x2 , …, xn 是来自均匀总体 U(0, )的样本，试求 的极大似然估计。
经计算有
x 28.695,
2 sn 0.9185,
m0.5 28.6
由此给出总体均值、方差和中位数的估计分别 为: 28.695, 0.9185 和 28.6。 矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。
25 November 2018
华东师范大学
第六章 参数估计
由此即可得到a, b的矩估计：
ˆ x 3s, a
25 November 2018
ˆ x 3s b
华东师范大学
第六章 参数估计
第9页
6.1.2 极(最)大似然估计
定义6.1.1 设总体的概率函数为P(x; )，是参 数 可能取值的参数空间，x1, x2 , …, xn 是样本， 将样本的联合概率函数看成 的函数，用L( ; x1, x2, …, xn) 表示，简记为L( )，
第6页
二、概率函数P(x,θ)已知时未知参数的矩法估计 设总体具有已知的概率函数 P(x, 1, …, k)， x1, x2 , …, xn 是样本，假定总体的k阶原点矩k 存在，若1, …, k 能够表示成 1, …, k 的函数 j = j(1, …,k)，则可给出诸j 的矩法估计为
25 November 2018
华东师范大学
第六章 参数估计
第22页
定义6.2.1 设 ∈Θ为未知参数，ˆn ˆn ( x1, , xn ) 是 的一个估计量，n 是样本容量，若对任 何一个ε>0，有
ˆ | ) 0 limn P(| n
ˆ 为 参数的相合估计。 则称 n
25 November 2018
华东师范大学
第六章 参数估计
第18页
极大似然估计有一个简单而有用的性质：如果
ˆ 是 的极大似然估计，则对任一函数 g( )，
ˆ)。该性质称为极大似然 其极大似然估计为 g ( 估计的不变性，从而使一些复杂结构的参数的
极大似然估计的获得变得容易了。
25 November 2018
25 November 2018
华东师范大学
第六章 参数估计
第12页
将之关于 求导，并令其为0得到似然方程
2n1 n2
解之，得
ˆ


2 n3 n 2 1
0
2n1 n2 2(n1 n2 n3 )


2n1 n2 2n
2n3 n2 (1 )
2
由于

2 ln L( )
2
2n1 n2

Hale Waihona Puke 20所以 ˆ 是极大值点。
25 November 2018
华东师范大学
第六章 参数估计
第13页
例6.1.7 对正态总体N(, 2)，θ=(, 2)是二维 参数，设有样本 x1, x2 , …, xn，则似然函数及 其对数分别为
2 ( x ) 1 2 i L( , ) exp 2 2 2 i 1 1 n 2 n / 2 2 (2 ) exp 2 ( xi ) 2 i 1 n
华东师范大学
第六章 参数估计
第20页
3 3 x 概率 P( X 3) 的MLE是 s * ；
总体0.90分位数 x0.90= + u0.90 的MLE
是 x s * u0.90 ，其中u0.90为标准正态分布的 0.90分位数。
其一 是如何给出估计，即估计的方法问题；
其二 是如何对不同的估计进行评价，即估
计的好坏判断标准。
25 November 2018
华东师范大学
第六章 参数估计
第4页
§6.1 点估计的几种方法
6.1.1 替换原理和矩法估计
一、矩法估计 替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： ˆ(X ) x； • 用样本均值估计总体均值E(X)，即 E 2 ˆ X ) sn • 用样本方差估计总体方差Var(X)，即 Var( • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。
25 November 2018
华东师范大学
第六章 参数估计
第21页
§6.2 点估计的评价标准
6.2.1 相合性
我们知道，点估计是一个统计量，因此它是一个随 机变量，在样本量一定的条件下，我们不可能要求 它完全等同于参数的真实取值。但如果我们有足够 的观测值，根据格里纹科定理，随着样本量的不断 增大，经验分布函数逼近真实分布函数，因此完全 可以要求估计量随着样本量的不断增大而逼近参数 真值，这就是相合性，严格定义如下。
(6.2.1)
25 November 2018
华东师范大学
第六章 参数估计
第23页
相合性被认为是对估计的一个最基本要求, 如果一个估计量, 在样本量不断增大时，它 都不能把被估参数估计到任意指定的精度, 那么这个估计是很值得怀疑的。 通常, 不 满足相合性要求的估计一般不予考虑。证明 估计的相合性一般可应用大数定律或直接由 定义来证.
另外，由于Var(X)=1/ ，其反函数为 1/ Var( X ) 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。
25 November 2018
2
ˆ 1/ s 1
(6.1.9) (6.1.10)
25 November 2018
华东师范大学
第六章 参数估计
第15页
解此方程组，由(6.1.9)可得 的极大似然估计为
1 n ˆ xi x n i 1
将之代入(6.1.10)，得出 2的极大似然估计
n 1 ˆ 2 ( xi x )2 s *2 n i 1
25 November 2018
华东师范大学
第六章 参数估计
第5页
例6.1.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下：
29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9
华东师范大学
第六章 参数估计
第11页
例6.1.6 设一个试验有三种可能结果，其发生概率 2 2 分别为 p1 , p2 2 (1 ), p3 (1 )
现做了n次试验，观测到三种结果发生的次数分 别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为
在判断估计的相合性时下述两个定理是很有用的。 定理6.2.1 设ˆn ˆn ( x1, , xn )是 的一个估计量，若 ˆ ) , lim Var( ˆ )0 lim E(
n n n n
ˆ 是 的相合估计， 则
n
ˆ , , ˆ 分别是1, …, k 的相合估 定理6.2.2 若 n1 nk 计， =g(1 , …, k) 是1, …, k 的连续函数，则 ˆ , , ˆ ) 是 的相合估计。 ˆn g( n1 nk
25 November 2018
华东师范大学
第六章 参数估计
第17页
解 似然函数
L( ) 1

n
I
i 1
n
{0 xi }

1

n
I{ x
( n ) }
要使L( )达到最大，首先一点是示性函数取值 n n 应该为1，其次是1/ 尽可能大。由于1/ 是 的单调减函数，所以 的取值应尽可能小，但 示性函数为1决定了 不能小于x(n)，由此给出 ˆx 。 的极大似然估计： (n)
数作出估计。
• 参数估计的形式有两种：点估计与区间估计。
25 November 2018
华东师范大学
第六章 参数估计
第3页
• 设 x1, x2,…, xn 是来自总体 X 的一个样本，
ˆ ˆ( x , , x ) 的取值作 我们用一个统计量 1 n 为 的估计值， ˆ 称为 的点估计（量），简 称估计。在这里如何构造统计量 ˆ 并没有明 确的规定，只要它满足一定的合理性即可。 这就涉及到两个问题：