概率论第七章课件

极大似然估计法也适用于分布中含有多个 未知参数的情况. 此时只需令 ln L 0, i 1,2,, k . 对数似然方程组 i
解出由 k 个方程组成的方程组, 即可得各未知参 ˆ 数 (i 1,2, , k ) 的极大似然估计值 .
i i
例6 设 X ~ B(1, p), X 1 , X 2 ,, X n是来自X 的一
X1 , X 2 ,, X n 是来自总体 X 的样本,
则 X 1 , X 2 ,, X n 的联合密度为 f ( xi ; ).
i 1 n
又设 x1 , x2 ,, xn 为相应于样本 X 1 , X 2 ,, X n 的 一个样本值.
则随机点 ( X 1 , X 2 ,, X n ) 落在点( x1 , x 2 ,, x n )的 邻域 (边长分别为dx1 , dx 2 ,, dx n的n维立方体)内 的 概率近似地为 f ( xi ; )dxi ,
二、估计量的求法
由于估计量是样本的函数, 是随机变量, 故 对不同的样本值, 得到的参数值往往不同, 如何 求估计量是关键问题.
常用构造估计量的方法: (两种) 矩估计法和极(最)大似然估计法.
1. 矩估计法
设 X 为连续型随机变量 , 其概率密度为 f ( x;1 , 2 ,, k ), 或 X 为离散型随机变量 , 其分布律为 P { X x } p ( x;1 , 2 ,, k ), 其中 1 , 2 ,, k 为待估参数 ,
若 X1 , X 2 ,, X n 为来自 X 的样本， 假设总体 X 的前 k 阶矩存在,
且均为 1 , 2 ,, k 的函数, 即
l E ( X ) x l f ( x;1 , 2 ,, k )dx (X为连续型)
l

或 l E ( X l )
a b 2 A1 , 即 2 b a 12( A2 A1 ) .
解方程组得到a, b的矩估计量分别为
3 n ( X i X )2 , ˆ a A1 3( A2 A1 ) X n i 1
2
3 n ˆ A1 3( A2 A12 ) X ( X i X )2 . b n i 1
个样本 求 p的极大似然估计量 , .
解 设 x1 , x2 ,, xn为相应于样本X 1 , X 2 ,, X n 的
一个样本值,
X的分布律为 P{ X x} p x (1 p)1 x , x 0,1,
似然函数 L( p) p xi (1 p)1 xi
i 1
n
例5
设总体 X 的均值 和方差 2 都存在, 且有
2 0, 但 和 2 均为未知, 又设 X 1 , X 2 ,, X n 是
一个样本, 求 和 2 的矩估计量. 1 E ( X ) , 解 2 E ( X 2 ) D( X ) [ E ( X )]2 2 2 , A1 , 令 2 2 A2 . ˆ 解方程组得到矩估计量分别为 A1 X ,
矩估计量的观察值称为矩估计值.
例3 设总体 X 服从几何分布, 即有分布律
P { X k } p(1 p )k 1 体 X 的样本, 求 p的估计量 . ( k 1,2,), 其中 p (0 p 1) 未知, ( X 1 , X 2 ,, X n ) 是来自总
解
1 E ( X ) k p(1 p)
i 1 n
L( )称为样本似然函数 .
极大似然估计法
得到样本值x1 , x2 ,, xn时, 选取使似然函数 ( ) L
ˆ 取得最大值的 作为未知参数 的估计值, ˆ 即 L( x1 , x2 ,, xn ; ) max L( x1 , x2 ,, xn ; ).
( 其中 是 可能的取值范围 )
i 1 n
又设 x1 , x2 ,, xn 为相应于样本 X 1 , X 2 ,, X n 的 一个样本值.
则样本 X1 , X 2 ,, X n 取到观察值x1 , x2 ,, xn 的概率,
即事件 X1 x1 , X 2 x2 ,, X n xn 发生的概率为
L( ) L( x1 , x2 ,, xn ; ) p( xi ; ), ,
i 1 n
L( ) L( x1 , x2 ,, xn ; ) f ( xi ; ),
n
L( )称为样本的似然函数 . ˆ 若 L( x1 , x2 , , xn ; ) max L( x1 , x2 , , xn ; ).
i 1
ˆ , ( x1 , x2 ,, xn ) 参数 的极大似然估计值
1 n 解得p 的极大似然估计值 p n i1 xi x . 1 n p 的极大似然估计量为 p X i X . ˆ n i 1
n
n
这一估计量与矩估计量是相同的.
例7
设 X 服 从 参 数 为 ( 0) 的 泊 松 分 布 ,
X 1 , X 2 ,, X n 是 来 自X 的 一 个 样 本 求 的 极 大 , 似然估计量 .

ˆ ( X 1 , X 2 ,, X n ) 参数 的极大似然估计量 .
极大似然估计法是由费舍尔引进的. 求极大似然估计量的步骤:
费舍尔
(一) 写出似然函数 L( ) L( x1 , x2 ,, xn ; ) p( xi ; )
i 1 n
或
L( ) L( x1 , x2 ,, xn ; ) f ( xi ; );
着火次数 k 发生 k 次着 火的天数nk
解
0
1
2
3
4
5
6 250
75 90 54 22 6
2 1
因为 X ~ π( ),
所以 E ( X ).
用样本均值来估计总体的均值 E(X).
1 x 6 (0 75 1 90 2 54 3 22 250 nk 4 6 5 2 6 1) 1.22. k 0
knk k 0
6
故 E ( X ) 的估计为1.22 .
点估计问题的一般提法 设总体 X 的分布函数 F ( x; )的形式为已
知, 是待估参数 . X 1 , X 2 ,, X n 是 X 的一个样 本, x1 , x2 ,, xn 为相应的一个样本值 .
点估计问题就是要构造 一个适当的统计量 ˆ ˆ ( X 1 , X 2 ,, X n ), 用它的观察值 ( x1 , x2 ,, xn ) 来估计未知参数 . ˆ ( X 1 , X 2 ,, X n )称为 的估计量. 通称估计, ˆ ˆ ( x1 , x2 ,, xn )称为 的估计值 . 简记为 .
xRX
x l p( x;1 , 2 ,, k ), (X为离散型)
其中 RX 是 x 可能取值的范围, l 1,2,, k 1 n l 因为样本矩 Al X i 依概率收敛于相应的 n i 1
总体矩 l ( l 1, 2,, k ),
样本矩的连续函数依概 率收敛于相应的总体矩 的连续函数于是得矩估计的方法如 : . 下
k 1

k 1
1 , p
1 令 A1 X , ˆ p 1 ˆ 所以 p 为所求 p的估计量. X
例4
设总体 X 在[a , b]上服从均匀分布 其中a , ,
b 未知, ( X 1 , X 2 ,, X n ) 是来自总体X的样本, 求a , b 的估计量.
ab 1 E ( X ) 解 , 2 a b2 a b2 , 2 E ( X 2 ) D( X ) [ E ( X )]2 12 4 n ab 1 令 A1 X i , 2 n i 1 1 n 2 (a b)2 (a b)2 A2 X i , n i 1 12 4
第一节
参数的点估计
一、点估计问题的提法
二、估计量的求法 三、小结
一、点估计问题的提法
设总体 X 的分布函数形式已知, 但它的一个 或多个参数为未知, 借助于总体 X 的一个样本来 估计总体未知参数的值的问题称为点估计问题. 例1
在某炸药制造厂, 一天中发生着火现象的
次数 X 是一个随机变量 假设它服从以 0 为参 , 数的泊松分布, 参数 为未知, 设有以下的样本值 , 试估计参数 .
X的方差的矩估计 .
2. 极(最)大似然估计法
(1) 设总体 X 属离散型
似然函数的定义
设分布律 P{ X k } p( x; ), 为待估参数, , (其中 是 可能的取值范围 )
X1 , X 2 ,, X n是来自总体X 的样本,
则 X 1 , X 2 ,, X n 的联合分布律为 p( xi ; ).
i 1
n
(二) 取对数
n i 1
ln L( ) ln p( xi ; ) 或 ln L( ) ln f ( xi ; );
i 1
n
d ln L( ) d ln L( ) (三) 对 求 导 , 并令 0, 对数似 然方程 d d ˆ 解 方 程 即 得 未 知 参 数 极 大 似 然 估 计 值. 的
1 n 1 2 2 A2 A1 X i 2 X 2 ( X i X )2 . ˆ n i 1 n i 1
n
上例表明: 总体均值与方差的矩估计量的表达式不因不 同的总体分布而异. 例 X ~ N ( , 2 ห้องสมุดไป่ตู้, , 2 未知, 即得 , 2 的矩估计量 1 n 2 X, ˆ ( X i X )2 . ˆ n i 1 一般地, 1 n 用样本均值X X i作为总体X的均值的矩估计 , n i 1 1 n 用样本二阶中心矩B2 ( X i X )2 作为总体 n i 1
ˆ 这样得到的 与样本值 x1 , x2 ,, xn有关, 记为 ˆ ( x1 , x2 ,, xn ), 参数 的极大似然估计值 ,

ˆ ( X 1 , X 2 , , X n ) 参数 的极大似然估计量 .
( 2) 设总体 X 属连续型
似然函数的定义
设概率密度为 f ( x; ), 为待估参数, , ( 其中 是 可能的取值范围 )
n
p i 1 (1 p)
xi
n
xi
i 1
n
,
n n x ln p n x ln(1 p), ln L( p) i i i 1 i 1
xi n xi d i 1 令 ln L( p) i 1 0, dp p 1 p
解
因为X 的分布律为
P{ X x }

x
x! 所以 的似然函数为
n xi
e , ( x 0, 1, 2,, n)
xi
n
n i 1 L( ) , x !e e n i 1 i xi !
矩估计法的定义 用样本矩来估计总体矩,用样本矩的连续函 数来估计总体矩的连续函数,这种估计法称为矩 估计法. 令 l Al , l 1, 2,, k . 具体做法是:
这是一个包含k 个未知参数1 , 2 ,, k 的方程组,
解出其中1 , 2 ,, k .
ˆ ˆ ˆ 用方程组的解 1 , 2 ,, k 分别作为 1 , 2 ,, k 的 估计量, 这个估计量称为矩估计 量.