05北航数理统计课件

有
′(θ ) |= Cov T ( x ), ln p( x ,θ ) | θ
≤ Var (T ( X )) Var ln p( x ,θ ) θ
而
ln p( x ,θ ) ln p( x ,θ ) Var = E = I (θ ) θ θ
2
所以有 | ′(θ ) |≤ Var (T ( X )) I (θ ) 即就是
1 n 1 n 2 又 S2 = ( xi x )2 = x i nx 2 ∑ ∑ n 1 i =1 n 1 i =1
的无偏估计, 是σ 的无偏估计,且是 完全充分统计量 T ( x )
2
的函数, 的函数, 故当未知时, σ 2的UMVUE为样本 未知时,
方差S 方差 S 2.
已知时, S σ 注:当已知时, 不是 的UMVUE.
注意:( ) 注意:(1)在以上三个不等式中 :(
I (θ ) = nI 1 (θ ) 其中I1 (θ ) = E ( ln p( X 1 ,θ ))2 , p( x1 ,θ )为总体 θ 的密度函数或分布率. 的密度函数或分布率.
通常将 I1 (θ ) 看成一次观察所能获得的关于 的信息, 参数 θ 的信息,即一个观测值 X 1所含θ 的信息, 的信息, 的信息. 那么 I (θ ) 就表示样本 X 1 ,, X n 所含θ 的信息.
+∞
+∞
这样就有
ln p( x ,θ ) E = 0. θ
从而有 ′(θ ) = E T ( x ) ln p( x ,θ ) θ = Cov T ( x ), ln p( x ,θ ) . θ 由Schwarz Inequality
| E ( XY ) |≤ E | XY |≤ E ( X 2 ) E (Y 2 )
+∞ +∞
+∞
+∞
有 又因为对所有的 θ ∈ Θ,
∫∞ ∫∞ p( x ,θ )dx1 dxn = 1
等式两边对求导可得 +∞ +∞ ∫∞ ∫∞ θ p( x ,θ )dx1 dxn = 0.
ln p( x ,θ ) 即就是 ∫∞ ∫∞ p( x ,θ )dx1 dxn = 0. θ
+∞ +∞
n1
也是完全的. 因而 x( n )也是完全的. 时才能成立, 有在 g ( t ) ≡ 0时才能成立,
又因为
Eθ ( x( n ) ) =
∫ θ
n
θ
n 0
nθ t dt = , n +1
n
所以 θ 的无偏估计为 = ( n + 1) x( n ) , θ n 的函数, 且是完全充分统计量 x( n )的函数,故它就是 θ的 UMVUE. .
估计量的优良性准则( 第五讲 估计量的优良性准则(续)
一,一致最小方差无偏估计(续) 一致最小方差无偏估计( 二,信息不等式 三,相合估计
一,一致最小方差无偏估计(续) 一致最小方差无偏估计(
定理4.3(Lehmann-Scheffe) 定理
是完全充分统计量, 设S ( x )是完全充分统计量, ( x )是q(θ )的
(2) 若UMVUE存在,那么它的方差是否可以 ) 存在, 存在 达到这个下界? 达到这个下界? 问题( )已由Cramer-Rao不等式(信息不 不等式( 问题(1)已由 不等式 等式)揭示;问题( )不一定成立, 等式)揭示;问题(2)不一定成立,我们举例 予以阐述. 予以阐述. 为了使问题简化,在这一小节中, 为了使问题简化,在这一小节中,我们仅讨 单参数和连续总体情况. 单参数和连续总体情况.对多参数及离散总体 也有相应结论,可参看《高等数理统计学》 也有相应结论,可参看《高等数理统计学》
I(θ ) = E ln p( x,θ ) θ
2
(0 ≤ I(θ ) ≤ ∞)
例4.7 设总体分布是Poisson分布族,即 设总体分布是 分布族, 分布族
p( x ,θ ) =
θ
x
x!
e , x = 0,1,.
θ
则 因而
x ln p( x ,θ ) = 1, θ θ x x 1 2 I (θ ) = E ( 1) = Var ( ) = .
(2) 在将定理4.4应用于无偏估计类 U q时, ) 在将定理 应用于无偏估计类 一定要注意定理的条件是否满足. 一定要注意定理的条件是否满足.Cramer 年举例说明当定理的条件不满足时, 在1946年举例说明当定理的条件不满足时, 年举例说明当定理的条件不满足时 存在这样的无偏估计,其方差小于信息不等 存在这样的无偏估计, 式的下界.这个例子为: 设 式的下界.这个例子为: X 1 , X 2 ,, X n是来
分可交换次序, 分可交换次序,即 +∞ +∞ ∫∞ ∫∞ T ( x ) p( x ,θ )dx1 dxn θ +∞ +∞ = ∫∞ ∫∞ T ( x ) p( x ,θ )dx1 dxn θ 当仅有( )成立时, 当仅有(1)成立时,我们可以定义所谓的 Fisher 信息量(Fisher Information Number) 信息量( )
T ( x ) = ( ∑ xi , ∑ x ).
i =1 i =1 2 i
n
n
1 n 的无偏估计, 而我们已经知道 x = ∑ xi是的无偏估计, n i =1 σ 2未 的函数, 且是完全充分统计量 T ( x )的函数, 故当
知时, 知时, 的UMVUE为 x . 为
x 无论 σ 2 是已知或未知, 都是的UMVUE. 是已知或未知, 注:
1 ( x )2 p( x ,θ ) = exp 2 2π σ 2σ 1 = e 2π σ
2 2 2σ
x 1 x2 exp 2 2 2σ σ
1 的值域包含内点, 由于w = 2 , 2 的值域包含内点,所以由 2σ σ 定理4.2可知完全充分统计量为 定理 可知完全充分统计量为
E ( ( x ) | T ( x ))就是q(θ )的UMVUE.
例4.5 设总体 X 服从正态分布 N ( , σ 2 ),
未知, θ = ( ,σ )未知, x1 , x2 ,, xn是来自总体的
2
求参数 和σ 2的UMVUE. 样本. 样本.
解
首先求完全充分统计量. 由于 首先求完全充分统计量.
对参数 q(θ )的任一无偏估计 T ( X ) ∈ U q , 有 2 (q′(θ )) Varθ (T( X)) ≥ . I(θ )
特别地, 特别地,当q(θ ) = θ时,对任一 T ( X ) ∈ Uθ , 有
1 Var (T( X)) ≥ . θ I(θ ) 1 下界. 通常称量 为Cramer-Rao下界. 下界 I(θ )
道完全充分统计量 T ( x ).
无偏统计量, (1)若h(T ( x ))是q(θ )无偏统计量,则 h(T ( x )) )
也是 q(θ )的UMVUE.即寻找完全充分统
的无偏估计. 计量的函数使之成为 q(θ ) 的无偏估计. (2) 若能获得 q(θ )的一个无偏估计量 ( x ),则 )
无关, (1) 支撑A = { x : p( x ,θ ) > 0}与θ无关,且对任 ) 存在. 一x ∈ A,θ ∈ Θ, 偏导数 ln p( x ,θ )存在. θ (2)如果对所有 θ ∈ Θ,T ( x )是满足 Eθ | T |< ∞ )
任一统计量,则对 T ( x ) p( x ,θ ),积分和微 任一统计量,
′(θ ))2 ( Var (T( X)) ≥ . θ I(θ )
证明
由于对所有 θ ∈ Θ , 有
(θ ) = ∫∞ ∫∞ T ( x ) p( x ,θ )dx1 dxn
等式两边对求导可得
′(θ ) = ∫∞ ∫∞ T ( x ) p( x ,θ )dx1 dxn θ +∞ +∞ = ∫∞ ∫∞ T ( x ) (ln p( x ,θ )) p( x ,θ )dx1 dxn θ = E T ( x ) ln p( x ,θ ) . θ
θ
θ
θ
是来自总体的样本, 如果 X 1 , X 2 ,, X n是来自总体的样本,可以证 2 明 I (θ ) = nI 1 (θ ) , 其中 I1 (θ ) = E ( ln p( X 1 ,θ )) . θ
定理4.4(Cramer-Rao or Information Inequality ) 定理
设T ( X )是对所有 θ ∈ Θ满足Varθ (T ( X )) < +∞
的统计量, (θ ) = Eθ (T ( X )). 如果分布族是 的统计量, 记 Cramer-Rao正则族,且0 < I (θ ) < ∞, 则对所 正则族, 正则族
是可微的, 有的 θ ∈ Θ, (θ )是可微的,且
的样本, 自总体 X 的样本, X 的密度函数为
e p( x ,θ ) = 0
( x θ )
. otherwise
x >θ
的估计, 取充分统计量 T ( X ) = X (1 ) 作为参数 θ 的估计, 通过取其数学期望可获得参数的无偏估计为 ( X ) = X (1) 1 , θ n ( X )) = 1 < 1 = 1 则有 Varθ (θ ( n > 1). 2 n n I (θ ) 其具体证明过程课后自己完成. 其具体证明过程课后自己完成. 对无偏估计类而言, 对无偏估计类而言,既然信息不等式给出 了方差的下界, 那么UMVUE方差是否一定取 方差是否一定取 了方差的下界, 那么
n
nθ t p( t ;θ ) = 0 Eθ ( g ( x( n ) )) = nθ
n n1
, otherwise
0 ≤ t ≤θ
对任何函数 g ( t )及θ > 0,由
n θ
∫0 g( t )t
θ
n 1
dt = 0
可得对所有的 θ > 0, 有 ∫0 g ( t )t dt = 0, 这个只
( ′(θ )) Varθ (T ( X )) ≥ . I (θ )
2
在信息不等式中,下界通过 T ( X ) 依赖于 在信息不等式中, (θ ), 因它是的 T ( X ) 数学期望, 也就是说对 数学期望, 不同的统计量而言,下界是变化的. 不同的统计量而言,下界是变化的.如果将此
定理应用于参数 q(θ )的无偏估计类 U q 就有 :
(茆诗松),或《线性统计推断及应用》 茆诗松),或 线性统计推断及应用》 ), (C.R.Rao). ).
设分布族为{ Pθ ,θ ∈ Θ},密度函数为 p( x ,θ ),
Θ为直线上的一个开区间 . 满足下述条件的分布
正则族: 正则族 族{ Pθ ,θ ∈ Θ}称为 Cramer-Rao正则族:
无偏估计, 无偏估计,则T ( x ) = Eθ ( ( x ) | S ( x ))是q(θ )的 UMVUE,进一步,如果对所有 θ ∈ Θ, ,进一步,
Varθ (T ( x )) < ∞, 则T ( x )是q(θ )唯一的 UMVUE.
注: Lehmann-Scheffe定理实际上给出了两 定理实际上给出了两 种寻找UMVUE的方法,但首先必须知 的方法, 种寻找 的方法
Baidu Nhomakorabea
=
1
θ
n
I ( x( n ) ≤θ ) I{0≤ x(1) } ( x)
由因子分解定理可知 x( n ) = max{ x1 , x2 ,, xn } 它是充分统计量.下证它也是完全的. 它是充分统计量.下证它也是完全的.
由P { x( n ) ≤ t } = ( P { x1 ≤ t }) 可知 x( n )的密度函数为
2 2
上服从均匀分布, 例4.6 设总体 X在[0,θ ]上服从均匀分布,其中
θ是未知参数 , x1 , x2 ,, xn是来自总体的样本 , 试求参数 θ的UMVUE.
解 由于
1 n , 0 ≤ x( 1 ) ≤ x( n ) ≤ θ , p( x1 , x2 ,, xn ;θ ) = θ 0, otherwise.
二,信息不等式
在上一节,我们知道如果 存在, 在上一节,我们知道如果UMVUE存在, 存在 则它在无偏估计类中是最好的, 则它在无偏估计类中是最好的,且其方差不可 能是零 能是零,因为参数 q(θ ) 的方差为零的平凡估计 不是无偏估计. 那么,现在的问题是: 不是无偏估计. 那么,现在的问题是: 在一定的条件下, 对 q(θ ) 的无偏估计类 U q,在一定的条件下, (1) 既然无偏估计的方差不是零, 则必存在 ) 既然无偏估计的方差不是零, 一个下界, 这个下界到底是多少? 一个下界, 这个下界到底是多少?