统计计算2-参数估计

k 1
P( A) L(1 , 2 ,来自百度文库.., m ) p( xk ,1 , 2 ,..., m )
第二章 参数估计
称 L(1 , 2 ,..., m ) 似然函数 使 L(1 , 2 ,..., m ) 达到最大的1, 2,,m的取值 称为1, 2,,m的极大似然估计
费歇尔（Fisher）信息量 设X f ( x, （密度函数或分布律）， ) 2 2 ln f ( X , ) ln f ( X , ) 记I ( ) E E 2 称I ( )为分布f ( x, )中参数的费歇尔信息量。
2 2 ln f ( X ; , ) 1 2 1 I ( ) E 2 2 4 ( ) 2 1 n 1 2 en ( S ) 1, n 2 2 D( S )nI ( ) n
故S 2是渐进有效的。
第二章 参数估计
例： 设总体X
第二章 参数估计
2.1参数的点估计
1. 矩估计 2. 极大似然估计 3. 点估计量的评价
武汉理工大学应用数学系模式分析研究室王展青
点估计的定义
点估计就是通过样本信息,用某个数值来估计参数. 设总体X的分布F ( x, θ1, θ2 ,…, θm )已知，但其参数θ1, θ2 ,…, θm 未知。 X1, X2 , , Xn 为其样本, 构造合适的统计量
由此m个方程求出1, 2,,m , 得其估计为
k E ( X ) k (1 , 2 ,..., m ), k 1, 2,..., m
k
ˆ g (X , X , k k 1 2
, X n ), k 1, 2,..., m
参数估计
称为1, 2,,m矩估计量
解：样本均值X 是总体均值 =EX 的无偏估计， 样本方差S 2是总体方差 2 =DX 的无偏估计.

D( X )

4

1
2
第二章 参数估计
1 1 en ( X ) 2 1, 故X 是有效的。 1 D( X )nI ( ) n 2 n ln f ( X ; , 2 ) 1 ( X )2 2 2 ( ) 2 2 4 2 ln f ( X ; , 2 ) 1 ( X )2 2 2 4 ( ) 2 6
参数估计
最小方差无偏估计问题
设T ( X 1 , X 2 , , X n )是g( )的一个无偏估计量， 若对g( )的任一无偏估计量T '( X 1 , X 2 , , X n ) 及任意，都有D(T ) D(T ')， 则称T ( X 1 , X 2 , , X n )是g( )的一致最小方差 无偏估计，或者称为最优无偏估计。
第二章 参数估计
例：设总体X ~ E ( )，X 1 , X 2 , , X n是X 的一个样本， ˆ X, ˆ nZ n[min{ X , X , , X }] 证明： 1 2 1 2 n 都是的无偏估计，并比较其有效性。
证明：
ˆ ) E ( X ) E ( X ) ，所以 ˆ 是的无偏估计。 E ( 1 1 而Z min{ X 1 , X 2 , , X n )服从参数是 / n的指数分布， ˆ ) E (nZ ) , 所以 ˆ 是的无偏估计。 E ( Z )= / n, E ( 2 2
第二章 参数估计
克拉美-劳(Cramer-Rao)不等式
设总体X X1, X 2 , T ( X1, X 2 , f ( x, （密度函数或分布律）， ) , X n是X 的一个样本， , X n )是g( )的一个无偏估计，
[g '( )]2 则D(T ) nI ( ) [g '( )]2 称en 为g( )的无偏估计T ( X 1 , X 2 , nI ( ) D(T )
ln p( X ; ) EX 1 I ( ) E 2 2 2 1 1 en ( X ) 1 D( X )nI ( ) n 1 n X 是的有效估计。
2
第二章
参数估计
3) 相合性 ˆ是的一个估计量，若 设 ˆ 1 lim P
一般方法,令
(ln L) 0, k 1, 2,..., m k
解得的极大似然估计为
ˆ g (x , x , k k 1 2
第二章
, xn ), k 1, 2,..., m
参数估计
对连续型总体,可得类似结果…
3) 求导方法计算极大似然估计的步骤
①写出似然函数
p ( xi , 1 , 2 ,..., m ) 离散型 i 1 L(1 , 2 ,..., m ) n f ( xi , 1 , 2 ,..., m ) 连续型 i 1
n
n







nt n 1

n
dt
ˆ是的相合估计。 故
第二章 参数估计
2.2 参数的区间估计
1. 2. 3. 4. 5. 区间估计的定义及计算步骤 正态总体均值的区间估计 正态总体方差的区间估计 单侧置信区间 非正态总体参数的区间估计
武汉理工大学应用数学系模式分析研究室王展青
g ( X1 , X 2 ,
, X n ) 作为参数 的估计量
ˆ 称
g ( X1 , X 2 ,, X n ) 是 的点估计量 ˆ g ( x , x ,, x ) 是 的点估计值 称 1 2 n
常用的点估计方法有: 矩估计法和极大似然估计法。
第二章 参数估计
1.矩估计法
第二章 参数估计 2.1 参数的点估计 2.2 参数的区间估计
在实际问题中，我们常常需要估计一些未知参数θ， 这些参数可能是总体分布中的参数；或者当总体分 布未知时，总体的某些数字特征，如：均值、方差 等。
值估计
0
样本集 θ
范围估计 0
点估计
ˆ
θ1
θ2
θ
区间估计
点估计方法 区间估计方法 估计好坏的评判 常用总体参数的区间估计 其它类型的估计,如 贝叶斯估计…
第二章 参数估计
2)极大似然估计法
设总体X为离散型随机变量，其分布律为
P( X x) p( x,1 , 2 ,,,,. m )
其中1, 2,,m未知,为待估参数
样本
X 1 , X 2 ,..., X n
x1 , x2 ,..., xn
n
样本观测值 事件
A { X 1 x1 , X 2 x2 ,..., X n xn }
的效率，显然0 en 1 若en 1，则称T 是有效的。 若 lim en 1，则称T 是渐近有效的。
n
, Xn)
第二章
参数估计
显然，有效估计量必是最小方差无偏估计量，反过 来则不一定正确，因为可能在某参数函数的一切无 偏估计中，找不到达到C-R 下界的估计量．
我们常用到的几种分布的参数估计量多是有效或渐近
的相合性。
ˆ是的相合估计量。 则称 例：设总体X U (0, ), X 1 , X 2 , , X n是X 的一个样本， ˆ X max{ X , X , , X } 讨论的极大似然估计 (n) 1 2 n
ˆ P X 解：P (n) P X ( n ) 1 1
n
②求对数 ③解方程
ln[ L(1 , 2 ,..., m )]
(ln L) 0, k 1, 2,..., m k
第二章 参数估计
3.点估计量的评选标准
1) 无偏性 ˆ是的一个估计量， 设 ˆ) 称 ˆ是的无偏估计量 若E ( ˆ) 称 ˆ是的渐近无偏估计量 若 lim E (
有效的．从下面的例子，我们可以体会出验证有效性 的一般步骤．
第二章
参数估计
例： 设总体X
N ( , 2 ), X 1 , X 2 ,
, X n是X 的一个样本，
讨论 , 2的无偏估计X ，S 2的有效性。
2 1 ( X ) f ( X ; , 2 ) exp{ } 2 2 2 ln f ( X ; , 2 ) X 2 2 2 2 ln f ( X ; , ) X I ( ) E E 2
1) 总体矩的估计:
设总体为X ,而X1, X2 , , Xn为其样本 总体的k阶原点矩： k E ( X )
k
1 n k 样本的k阶原点矩： Ak X i n i 1
P 显然 E ( Ak ) k , Ak k n
因此可用Ak作为 μk的估计量
ˆ k Ak
n
2) 有效性 ˆ ， ˆ 是的两个无偏估计量，若D( ˆ ) D( ˆ) 设 1 2 1 2 ˆ比 ˆ 有效。 则称 1 2
第二章
参数估计
例：设总体X 的k阶原点矩k E ( X k ) (k 1)
1 n 证明：不论X 服从什么分布，Ak X i k n i 1 是k的无偏估计。 X1, X 2 , , X n是X 的一个样本，
ˆ ) D( X ) 又 D( X ) 2 , D( 1
2
n
,
2
2 2 ˆ D( 2 ) D(nZ ) n D( Z ) n 2 n ˆ ) D( ˆ ), 故 ˆ比 ˆ 有效。 当n 1时，显然D( 1 2 1 2
第二章
（） , X1, X 2 ,
, X n是X 的一个样本，
讨论的无偏估计X 的有效性。
X 解：lnp ( X , ) ln e X ln ln( X !) X! 2 lnp ( X , ) X lnp ( X , ) X 1, 2 2
第二章
2 极大似然估计
1)极大似然原理：在随机试验中，许多事件都有可 能发生，概率大的事件发生的概率也大，若在一次 试验中，某事件A发生了，则有理由认为事件A比其 它事件发生的概率大，进一步,可假设事件A发生的 概率在所有事件中概率是最大的。 如: 袋中有红球、白球10个和5个，但不知其颜色的 球具体有多少个，从袋中任取一球，结果为白，有理 由认为有10个白球。 又如: 两种型号元件A，B寿命分别为1000小时，50 小时各取一只在同一系统中使用，有理由认为先坏 的元件为B型。
矩法估计就是用样本矩作为相应的总体矩的估计量。
第二章 参数估计
2) 一般参数的矩估计法:
设总体X的分布函数中包含m个未知参数 1, 2,,m 总体的k阶原点矩：
1 n k A X 样本的k阶原点矩： k i n i 1 令 k (1 , 2 ,..., m ) Ak , k 1, 2,..., m
1.区间估计的定义及计算步骤
1) 区间估计问题
用区间( a, b )作为参数θ的范围估计, 需要考虑 两个问题 可信度 即区间( a, b )包含参数θ的概率, 越大越好 精 度 即区间( a, b )的长度, 越小越好 默认原则 可信度和精度都尽可能高 矛盾,二者不可兼得 解决方法 在一定的可信度下,求最短的区间
证明：
由于X 1 , X 2 , , X n与X 同分布，E(X i k ) E(X k ) k n 1 n 1 E ( Ak ) E ( X i k ) k k n i 1 n i 1 所以Ak 是k的无偏估计。
注：样本均值X 是总体均值 =EX 的无偏估计， 样本方差S 2是总体方差 2 =DX 的无偏估计.