矩估计法最大似然估计法

2
n 3 2 2 ˆ (Xi X ) . b A1 3( A2 A1 ) X n i 1
2018/10/9
14
例4
设总体 X 的均值 和方差 2 都存在, 且有
2 0, 但 和 2 均为未知, 又设 X 1 , X 2 ,, X n 是
一个样本, 求 和 2 的矩估计量. 解 1 E ( X ) , 2 E ( X 2 ) D( X ) [ E ( X )]2 2 2 , A1 , 令 2 2 A2 . ˆ A1 X , 解方程组得到矩估计量分别为
2018/10/9 2
参数估计的类型
点估计 — 估计未知参数的值. 区间估计 — 估计未知参数的取值范围，
使得这个范围包含未知参数
真值的概率为给定的值.
2018/10/9
3
§7.1 点估计
矩估计法
最大似然估计法
小结
练习
2018/10/9
4
设总体 X 的分布函数形式已知, 但 它的一个或多个参数为未知, 借助于总 体 X 的一个样本来估计总体未知参数的 值的问题称为点估计问题.
n 1 2 2 ˆ X, ˆ (Xi X ) . n i 1 注：若总体的各阶矩不存在，则不能用矩估计法来 估计未知参数。另外，尽管矩估计法简便易行，且 只要 n 充分大，估计的精确度也很高，但它只用到 总体的数字特征的形式，而未用到总体的具体形式， 损失了一部分很有用的信息，因此，在很多场合下 显得粗糙和过于一般。
断头次数 k 断头 k 次的纱锭数 nk
0
1
2
3 4 5 6
45 60 32 9 2 1 1 150
解 因为 X ~ P ( ), 所以 E ( X ). 用样本均值来估计总体的均值 E(X).
1 x xi n i 1
2018/10/9
n
kn
k 0 6
6
k
n
k 0
1.133 . 的估计值为 1.133.

根据矩估计法,
令

2
A1 X ,
ˆ =2 X 是所求 的矩估计量. 所以
2018/10/9 12
例3
设总体 X 在[a , b]上服从均匀分布,其中
a , b 未知, (X 1 , X 2 , , X n ) 是来自总体X的样本,
a b 解 1 E ( X ) , 2 2 2 a b a b 2 E ( X 2 ) D( X ) [ E ( X )]2 , 12 4
i 1
n
2018/10/9
23
ˆ ˆ ( x , x , , x ), 使得 L( ˆ ) max L( ) (2) 求 1 2 n

ˆ 与样本值 x1 , x2 ,, xn有关, 记为 这样得到的 ˆ ( x1 , x2 ,, xn ), 参数 的最大似然估计值 ,
ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
2018/10/9 20
(2) 设总体 X 属连续型
设概的取值范围 )
7
k
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 如何 求估计量是关键问题.
常用构造估计量的方法: (两种) 矩估计法 最大似然估计法
2018/10/9
8
7.1.1 矩估计法
设 X 为连续型随机变量 , 其概率密度为 f ( x;1 , 2 ,, k ), 或 X 为离散型随机变量 , 其分布律为 P { X x } p ( x;1 , 2 ,, k ), 其中 1 , 2 ,, k 为待估参数 ,
n 1 2 1 2 2 2 2 ( X X ) . ˆ A2 A1 X i X i n i 1 n i 1
n
2018/10/9 15
上例表明: 无论总体服从什么分布，总体均值与方差的 矩估计量的表达式相同. 例 X ~ N ( , 2 ), , 2 未知, 即得 , 2 的矩估计量
2018/10/9 10
矩估计法的基本思想
用样本矩来估计总体矩, 用样本矩的连续函数来 估计总体矩的连续函数, 这种估计法称为矩估计法. 矩估计法的步骤
1 1 (1 , 2 , , k ) A1 1 1 ( A1 , A2 , , Ak ) ( , , , ) A 2 2 2 ( A1 , A2 , , Ak ) 2 1 2 k 2 令 , 解出 . k k ( A1 , A2 , , Ak ) k k (1 , 2 , , k ) Ak ˆ1 , ˆ2 ,, ˆk 分别作为 1 , 2 ,, k 的 用方程组的解
求a , b 的矩估计量.
ab 令 A1 , 2 ( a b )2 ( a b )2 A2 , 12 4
2018/10/9
13
a b 2 A1 , 即 2 b a 12( A2 A1 ) .
解方程组得到a, b的矩估计量分别为
3 n 2 ˆ A1 3( A2 A1 ) X a ( X X ) , i n i 1
L( ) L( x1 , x2 ,, xn ; ) p( xi ; ), ,
i 1
n
L( )称为样本似然函数.
注： 视( x1 , x2 , , xn )固定, 变动, 上式看成 的函数.
2018/10/9 19
现已取到样本值 x1 , x2 , , xn , 表示取到这一样本 值的概率L( )比较大.
2018/10/9
5
点估计问题的一般提法
设总体 X 的分布函数 F ( x; )的形式为已 知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点 估 计 问 题 就 是 要 构一 造个 适 当 的 统 计 量 ˆ ( X , X , , X ), 用 它 的 观 测 值 ˆ( x , x , , x )
n
L( ) L( x1 , x2 ,, xn ; ) f ( xi ; ),
i 1
i 1
n
L( )称为样本的似然函数 . ˆ ) max L( x1 , x2 ,, xn ; ). 若 L( x1 , x2 ,, xn ;

ˆ ( x1 , x2 ,, xn ) 参数 的最大似然估计值 , ˆ ( X 1 , X 2 ,, X n ) 参数 的最大似然估计量 .
若 X1 , X 2 ,, X n 为来自 X 的样本，
假设总体 X 的前 k 阶矩存在,
且均为 1 , 2 ,, k 的函数, 即
2018/10/9 9
l E ( X ) x l f ( x;1 , 2 ,, k )dx (X为连续型)
l

或 l E ( X l )
2018/10/9 17
2. 似然函数与最大似然估计
(1) 设总体 X 属离散型
设分布律P{ X x} p( x; ), 为待估参数 , ,
(其中 是 可能的取值范围 ) X1 , X 2 ,, X n是来自总体X 的样本,
则 X 1 , X 2 ,, X n 的联合分布律为 p( xi ; ).
xRX
l x p( x;1 , 2 ,, k ), (X为离散型)
其中 RX 是 x 可能取值的范围, l 1,2,, k 1 n l 因为样本矩 Al X i 依概率收敛于相应的 n i 1
总体矩 l ( l 1, 2,, k ),
Al l
P P
样本矩的连续函数依概率收敛于相应的总体矩 的连续函数. g( A1 , A2 , , Ak ) g( 1 , 2 , , k )
2018/10/9 16
7.1.2 最大似然估计法 (MLE)
1. 直观思想
有两个射手, 一人的命中率为0.9, 另一人的命中 率为0.1, 现在他们中的一个向目标射击了一发, 结 果命中了, 估计是谁射击的？ 一般说, 事件 A 发生的概率与参数 有关, 取 值不同，则 P(A) 也不同. 因而应记事件 A 发生的概 率为 P(A| ). 若 A 发生了, 则认为此时的 值应是在 中使 P(A| ) 达到最大的那一个. 这就是最大似然 估计的直观思想.
2018/10/9 22
3. 求最大似然估计量的步骤
可见求最大似然估计量的问题，即可归结为微 分学中的求最大值问题了.
(1) 写出似然函数
L( ) L( x1 , x2 , , xn ; ) p( xi ; )
i 1
n
或 L( ) L( x1 , x2 , , xn ; ) f ( xi ; );
1 2 n 1 2 n
来估计未知参数 .
ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ 简记为 . ˆ ( x1 , x2 ,, xn )称为 的估计值.
2018/10/9 6
在某纺织厂细纱机上的 断头次数 X 是一个 例1 随机变量, 假设它服从以 0 为参数的泊松分布, 参数 为未知, 现检查了150只纱锭在某一时间段 内断头的次数, 数据如下, 试估计参数 .
由费希尔引进的最大似然估计法, 就是固定样本 值x1 , x2 , , xn , 在 取值的可能范围内, 选取使似然 ˆ 作为未知参数 的估计值, 函数L( )取得最大值的
ˆ使 L( x , x , , x ; ˆ ) max L( x , x , , x ; ). 即取 1 2 n 1 2 n
i 1 n
2018/10/9
18
又设 x1 , x2 ,, xn 为相应于样本 X 1 , X 2 ,, X n 的 一个样本值.
则样本 X1 , X 2 ,, X n 取到观察值x1 , x2 ,, xn 的概率,
即事件 X1 x1 , X 2 x2 ,, X n xn 发生的概率为
X1 , X 2 ,, X n 是来自总体 X 的样本,
则 X 1 , X 2 , , X n 的 联 合 概 率 密 度 为 f ( xi ; ).
i 1
n
又设 x1 , x2 ,, xn 为相应于样本 X 1 , X 2 ,, X n 的 一个样本值.
2018/10/9 21
则随机点 ( X 1 , X 2 ,, X n ) 落在点( x1 , x 2 ,, x n )的 邻域 (边长分别为dx1 , dx 2 ,, dx n的n维立方体)内 的 概率近似地为 f ( xi ; )dx i ,
第7章 参数估计
点估计 估计量的评选标准 区间估计 正态总体参数的区间估计
2018/10/9 1
什么是参数估计？ 参数是刻画总体某方面的概率特性的数量. 当这个数量是未知的时候，从总体抽出一个样本， 用某种方法对这个未知参数进行估计就是参数估计 . 例如，X ~N ( , 2). 若 , 2未知，通过构造样本的函数，给出 它们的估计值或取值范围就是参数估计的内容.
估计量, 这个估计量称为矩估计 量. 2018/10/9矩估计量的观测值称为矩估计值.
11
例2
设总体 X 在[0, ]上服从均匀分布, 其中
( 0) 未知,(X 1 , X 2 , , X n ) 是来自总体 X 的样本, 求 的矩估计量.
解
因为 1 E ( X ) , 2