第六章(朱志勇)

2
(2 ) e 2 i1 对L( x1 , x2 , , xn ; , 2 )取对数，便有 n 1 2 2 ln L( x1 , x2 , , xn ; , ) (ln 2 ln ) 2 2 2
© 概率统计教研室
2012
( xi )2
μ2 E X 2 D( X ) [ E ( X )]2 σ 2 μ 2
2 解得 μ μ1 σ 2 μ2 μ1
μ1 E X μ

于是 μ , σ 2 的矩估计量为
1 n 2 1 n 2 ˆ σ A2 A X i X ( X i X )2 n i 1 n i 1
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
例6.4 设总体X ~ N ( , 2 )，X 1 , X 2 , , X n为抽自总体的 iid样本，x1 , x2 , , xn为样本的一个实现，求参数 , 2的极 大似然估计量。
© 概率统计教研室
2012

1
( xi ) 2 0
L( x1 , x2 , , xn ; p) p xi (1 p)1 xi
i 1
n
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
p i1 (1 p) i1 对L( x1 , x2 , , xn ; p)取对数，便有 ln L( x1 , x2 , , xn ; p) ( xi ) ln p ( n xi ) ln(1 p)
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
极大似然原理：如果一个随机试验E所有可能结果为 A，B，C，…，在一次试验中，出现结果A出现，则 随机试验E的条件对结果A出现更为有利，即可认为A 出现的概率最大。 1.似然函数
2 2 1
ˆ μ A1 X
样本矩
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
矩法的优点是简单易行，并不需要事先知道总体是什么分 布；缺点是当总体类型已知时，没有充分利用分布提供的 信息；一般场合下，矩估计量不具有唯一性。其主要原因 在于建立矩法方程时，选取那些总体矩用相应样本矩代替 带有一定的随意性。 二、极大似然估计法(Maximum Likelihood Estimator ) 极大似然估计法的思想源于极大似然原理。 先看一个例子，理解其中的道理。 某位同学与一位猎人一起外出打猎。 只听一声枪响，野兔应声倒下。如果 要你推测，是谁打中的呢？你会如何 想呢? 你就会想，只发一枪便打中， 猎人命中的概率一般大于这位同学 命中的概率，看来这一枪是猎人射 中的。
点估计
由点估计的概念知点估计的关键是由样本出发构造总体 参数得估计量，构造估计量的方法很多，这里我们只介 绍1894年K.Pearson所提出的矩估计法和德国数学家 C.F.Gauss于1821年首次提出，1912年英国的统计学家 R.A.Fisher在一项工作中重新提出的极大似然估计法。 一、矩估计法(the method of moments Estimation ) 1.矩估计法的思想基础 矩估计的思想得益于独立同分布随机变量序列的大数定理。 设总体X 的k 矩E ( X k )存在， X 1 , X 2 ,, X n为抽自总体X 的 iid 样本，由大数定里便有
i 1 n
称为似然函数。
2.极大似然估计法
极大似然估计法： ˆ 参数的估计值 应使样本的实现x1 , x2 , , xn被观 测到的概率最大，即有 ˆ L( x1 , x2 , , xn ; ) max L( x1 , x2 , , xn; )

两点说明： (1)L( x1 , x2 , , xn; )可导时，用求稳定点方法求最大 值点；如行不通，就用分析的方法。
概率论与数理统计 The Probability Theory and Mathematical Statistics
第6章 参数估计
参数的点估计 估计量的评价 区间估计 一个正态总体均值的估计和方差估计 两个正态总体均值差和方差比的估计 大样本下非正态总体参数的估计 样本容量的确定方法
i 1 n
Gauss
称为似然函数。
© 概率统计教研室
2012
Fisher
概率论与数理统计 The Probability Theory and Mathematical Statistics
设总体X 的概率密度函数为f X ( x; )，X 1 , X 2 , , X n为 抽自总体X 的iid 样本，则 L( x1 , x2 , , xn ; ) f ( x1 , x2 , , xn ; ) f X i ( xi ; )
区间估计(Interval Estimation)：对于总体参数 构造两 ˆ ˆ 个统计量1 ( X 1 , X 2 , , X n )， 2 ( X 1 , X 2 , , X n )，以区 ˆ ˆ 间[1 ( X 1 , X 2 , , X n )， 2 ( X 1 , X 2 , , X n )]作为参数 所 在的范围，这种估计称为区间估计。
点估计(Point Estimation)：对于总体参数 构造统计量 ˆ ( X , X ,, X )作为其估计量，并以估计量的实现作
1 2 n
为其估计值，这种估计称为点估计。
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
1 解：因为X ~ N ( , ), 即有f ( x; , ) e 2 从而似然函数为 2 2 ( x )2
2
L( x1 , x2 , , xn ; , )
2 i 1
n
1 e 2 n 2 2
( xi )2 2 2
n
1
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
参数估计的概念
一、参数估计的概念 数理统计基本问题：如何选取样本来对总体的种种统计特 征作出判断。 参数估计问题 由样本对总体参数进行估计，这类统计推断问题为参数估 计（Parametric Estimation）。用于对总体参数进行估计的 统计量称为估计量（Statistic）；估计量的一个实现称为总 体参数的估计值；确定估计量和估计值的方法称为估计法。 二、参数估计的类型
设总体X 概率函数为P X x px， X 1 , X 2 , , X n为抽自总体X 的iid 样本， x1 , x2 , , xn为样本的一个实现，则 L( x1 , x2 , , xn ; ) P ( X 1 , X 2 , , X n ) ( x1 , x2 , , xn ) pxi
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
3 n 3 n aX ( X i X )2 b X ( X i X )2 n i 1 n i 1 样本矩
例6.2 设总体X的均值 μ 和方差 σ 2 ( 0)都存在且未知， 来自X的iid样本X 1 ,, X n ， 试求 μ , σ 2 的矩估计量。 解：由题设条件
n
( xi ) 2
i 1
概率论与数理统计 The Probability Theory and Mathematical Statistics
关于 , 2求偏导，并令其等于零，则有 1 n ( xi n ) 0 2


i 1
n
2 2 2( 2 ) 2 i 1 解得参数 , 2的极大似然估计值为 1 n 1 n 2 ˆ ˆ xi x ( xi x) 2 n i 1 n i 1 所以，参数 , 2的极大似然估计量为 1 n 1 n ˆ ˆ X i X 2 ( X i X )2 n i 1 n i 1
i 1 i 1 n n
xi
n
n
xi
n
关于p求导，并令其等于零，则有 n 1 n 1 xi 1 p (n xi ) 0 p i 1 i 1 1 n ˆ 解得参数p的极大似然估计值为p xi x n i 1 所以，参数p的极大似然估计量为 1 n ˆ p Xi X n i 1
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
1 n P X X i E ( X ) μ n i 1 1 n k P Ak X i E ( X k ) μk ( k 1,2,) n i 1
( b a )2 ( a b )2 12 4 a b 2 μ1 即有 2 b a 12( μ2 μ1 )
总体矩 总体矩
a μ1 3( μ2 μ12 ) b μ1 3( μ2 μ12 )
于是a , b的矩估计量为
© 概率统计教研室
© 概率统计教研室
2012
概率论与数理统计 The Probability Theory and Mathematical Statistics
(2)由对数函数的单调性，求L( x1 , x2 , , xn; )最大值点， 等价与求 ln L( x1 , x2 , , xn ; )最大值点。 3.极大似然估计求解的一般步骤 (1)求似然函数L( x1 , x2 , , xn; )； ˆ (2)求L( x1 , x2 , , xn; )得最大值点； ˆ (3) 角色替换获得加大似然估计量。 例6.3 设总体X ~ B(1, p)，X 1 , X 2 , , X n为抽自总体的 iid样本，x1 , x2 , , xn为样本的一个实现，求参数p的极 大似然估计量。 解：X ~ B(1, p),即有P X x p x (1 p)1 x x 0,1 从而似然函数为
P g( A1 , A2 ,, Ak ) g( μ1 , μ2 ,, μk ) 其中 g为连续函数
K.Pearson
这表明：当样本容量很大时，在统计上，可以用样本矩去 估计总体矩 . 这就是矩估计法的思想。 Def 用样本原点矩估计相应的总体原点矩，用样本原点矩 的连续函数估计相应的总体原点矩的连续函数，这种参数 点估计法称为矩估计法 2.矩估计法得一般步骤 (1)建立待估参数与总体矩的关系式； (2)用矩估计法矩估计进行估计； (3)写出参数的矩估计量。
© 概率统计教研室
2012
பைடு நூலகம்
概率论与数理统计 The Probability Theory and Mathematical Statistics
例6.1 设总体X在[a , b]上服从均匀分布，其中a , b未知， X 1 ,, X n 是来自X的样本 , 试求a , b的矩估计量。 解：由题设条件 ab μ EX 1 2 μ2 E X 2 D( X ) [ E ( X )]2