2-似然估计和无偏性

例1 设总体X 的 k 阶矩 k E ( X )存在 ( X 1 , X 2 , , X n ) 是总体X 的样本,
k
证明: 不论 X 服从什么分布, 是 k 的无偏估计.
1 n k Ak X i n i 1
证 由于 E ( X ik ) k i 1,2 , , n 因而
P ( X 1 x1 , X 2 x2 , , X n xn ) f ( x1 ; ) f ( xn ; ) L( )
2、若总体是连续型，样 ( X 1 ,, X n )落入 本 ( x1 ,, xn )的领域中之概率度量
p( x1 , x2 ,, xn ) f ( x1 ; ) f ( xn ; ) L( )
ˆ ˆ 故 a x(1) , b x( n ) 是 a , b 的最大似然估计值. ˆ ˆ a X , b X 分别是 a , b 的最大似然估计量.
(1) ( n)
例3 设X 1 , X 2 ,, X n为取自Cauchy分布的样本， Cauchy分布的密度函数为
1 p( x; ) , 为未知参数 2 [1 ( x ) ]
§6.2 点估计的评价标准
对于同一个未知参数,不同的方法得到的 估计量可能不同,如
例 设总体 X ~ U (a, b), a, b 未知
ˆ ˆ a矩 X 3 S b矩 X 3 S
ˆ ˆ aMLE X (1) , bMLE X ( n )
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
1 n ln L 2 ( xi ) 0 i 1 1 n n 2 ln L ( xi ) 0 2 2 2 2 2( ) ( ) 2( ) i1
1 n ˆ xi x n i 1
则称

定义
设 ( X 1 , X 2 , , X n ) 是总体X 的样本
ˆ 是
ˆ E ( )
的无偏估计.(unbiased estimator)
注：无偏性既可看为对 估计量的一种限制，也 可看 为是一种合理要求。因 为无偏性表示在多次使 用同 一估计时，其估计值的 平均应该与真值十分接 近， 没有系统的偏差 .
1 n k 1 n E ( Ak ) E ( X i ) E ( X ik ) n i 1 n i 1
1 n k k n
特别地
(1) 样本均值 X是总体期望 E( X ) 的 无偏估计
(2) 样本二阶原点矩
二阶原点矩
1 n 2 A2 X i是总体 n i 1
2
2 E ( X ) 的无偏
估计
例2 设总体 X 的期望 与方差存在, X 的
样本为 ( X 1 , X 2 , , X n )(n > 1) . 证明 2 1 n * (1) S n ( X i X )2不是 Var( X )的无偏估计; n i 1
1 n 2 Sn ( X i X )2是 Var( X ) 的无偏估计. (2) n 1 i 1
称 L( ) 为样本的似然函数
利用最大似然法的思想
选择适当的 = ˆ ,使 L( )取最大值, 即
ˆ L( ) max L( )

ˆ 称这样得到的 g( x1 , x2 , , xn )
为参数 的最大似然估计值. 称统计量 g( X 1 , X 2 , , X n ) 为参数 的最大似然估计量. MLE(Maximu m Likelihood Estimator)
似然函数只有当 a < xi < b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. ˆ ˆ 取 a x , b x
(1) ( n)
则对满足 a x(1) x( n ) b 的一切 a < b ,
1 1 都有 (b a )n ( x x )n ( n) (1)
n
因而
n 1 2 2 n 1 n 2 2 故 E (Xi X ) n 1 i 1
1 n 1 n 2 2 2 E ( X i X ) E( X i ) E( X ) n n i 1 i 1 2 2 2 2 ( ) ( ) n
2
ˆ
1 n 2 ( xi wk.baidu.comx ) n i 1
lg 的极大似然估计值为
1 n lg lg ( xi x ) 2 n i 1

矩方法与最大似然方法 的比较
注：与矩方法相比，最 大似然估计法比对分布 函数族要了解更多。矩 方法只需要知道前几阶 矩关于参数的函数形式 ，而最大似然估计法必 须知道概率或分布密度 的函数形式.
2
1 n 2 ( xi x ) n i 1 , 2 的最大似然估计量分别为
1 n 1 n X i X , ( X i X ) 2 S n2 n i 1 n i 1
2、似然函数关于 有间断点，求导法不适 用， 具体问题具体分析比如L( )是否是的增函数 . 或减函数等等 .
最大似然估计
问题：已知总体分布函 F ( x; )，密度函数 数 或分布列为f ( x; ), 其中 ( 1 , , k )是未知参数,
的参数空间，来自总体的样本为 X 1 , , X n )， ( 样本观察值( x1 , , x n ), 求的最大似然估计 .
1、若总体是离散型，样 ( X 1 , , X n )落入 本 ( x1 , , x n )的领域中之概率度量
求的最大似然估计 .
一些特殊场合下似然估 计的求解，如离散参数 情形， 经常考虑参数取相邻值 时似然函数的比值或差 .
例3 要估计鱼池中有多少条 鱼，先在鱼池中捉住 条 500 鱼，做上记号再放入池 .待充分混合后，再捉住 中 1000条 鱼，发现其中 条鱼带记号.请估计池中有多少条鱼 100 ？
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量.
3、但对于许多估计问题 ，求最大似然估计或似 然方程 的解，往往无法得到明 显的表达式。这时若已 知样本观 察值( x1 , , xn ), 可用各种最优化算法求 得最大似然估计 量的值.

ˆ L( ) max L( ), 即L( )最大值点的求法

其中 (1 ,, k )
常见有一下三种情形 :
1、求导法
似然函数L( )为的连续函数，且关于 各分量的 偏导数存在.
L( 1 , 2 , , k ) 0 1 L( 1 , 2 , , k ) 0 k
— —称为似然方程组
由于ln L( )与L( )的最大值点相同，故可 采用下式
ln L( 1 , 2 , , k ) 0 1 — —称为对数似然方程组 ln L( 1 , 2 , , k ) 0 ln L( )称为对数似然函数 k
时, L 取最大值 1, 即
1 1 ˆ x( n ) a x(1) 2 2
显然, a 的最大似然估计值可能不存在, 也 可能不惟一.
不仅如此, 任何一个统计量
g ( X 1 , X 2 ,, X n )
若满足
1 1 x( n ) g ( x1 , x2 ,, xn ) x(1) 2 2
怎么制定标准？？
由于样本是随机变量， 估计量也随之取到各种 各样的估计值，因此衡 量一个估计量的好坏， 需要 综合考虑到估计量的所 有取值及其相应的可能 性， 换言之，要从估计量的 分布出发考虑它的优良 . 性
常用 标准
(1) 无偏性 (2) 有效性 (3) 相合性
1、无偏性
ˆ ( X 1 , X 2 ,, X n ) 是总体参数的估计量 ˆ E ( ) 存在, 且对于任意 都有
分析：将该问题一般化设池中鱼N条，其中r条鱼有记号 . 随机捉s条鱼发现有x条带有记号，要估计 . N 设X为捉住的s条鱼 中带有记号的鱼数 ,
N r r s x s 则P ( X x ) N s
问题
1) 待估参数的最大似然估计是否一定存在? 2) 若存在, 是否惟一?
我们可以看下例：
例3 设 X ~ U ( a – ½, a + ½), x1, x2,…, xn 是 X的一个样本, 求 a 的最大似然估计值. 解 由上例可知, 当
1 1 ˆ ˆ a x(1) x( n ) a 2 2
都可以作为 a 的估计量.
最大似然估计的不变性
ˆ 设 是 的最大似然估计值, u( )
( )是 的函数, 若u是一一映射，
ˆ ˆ 则 u u( ) 是 u( ) 的最大似然估计值.
如 在正态总体N (, 2)中, 2的最大 似然估计值为
1 n ( xi x )2 n i 1 2 是 2的函数,故 的最大似然估计值为
例2 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量. 解 X 的密度函数为
1 , a xb f ( x; a , b) b a 0, 其它
似然函数为
a x i b, 1 , n L( x1 , x2 , , xn ; a , b) (b a ) i 1,2, , n 0, 其它
注：由最值的必要条件 知最大似然估计一定是 似然 方程组的解，但未必似 然方程组的所有解都是 最大 似然估计.严格的讲，解经过验证 才能确定是否是最 大似然估计量 .
例1 设总体 X ~ N (, 2), x1, x2,…, xn 是 X 的样本值, 求 , 2 的极大似然估计. 解 L( x1 , x2 , , xn ; , )
证毕.
设总体为N ( , 2 ), X 1 , , X n 是样本，由上 例3 例知S n 是 的无偏估计，但 n不是的无偏估计. S 2 ( n 1) S n 证 已知Y ~ 2 ( n 1)，可知密度函数 2
2 2
n 1 2 2 n 1 y 1 1 EY 1 / 2 y 1 / 2 n- 1 y 2 e 2 dy 0 n 1 2 2 n 2 n n 2 2 n y 1 1 2 2 2 2 n 1 y e dy n 1 2 0 n 1 n 1 n 1 2 2 2 2 2 2 2
1 n 1 n 2 2 2 证 前已证 ( X i X ) X i X n i 1 n i 1
E ( X i ) E ( X ) , Var( X i ) Var( X ) 2 2 E ( X ) E ( X ) , Var( X )
2
n

i 1
n
1 e 2
n

( xi ) 2
2
2

1 ( 2 ) ( )
n 2 n 2 2

e

i 1
( xi )2 2 2
( xi ) n n 2 ln L ln(2 ) ln( ) 2 i 1 2 2 2
2
似然 方程 组为