最小方差无偏估计UMVUE
参数估计习题解答
参数估计习题与习题解答6.11.从一批电子元件中抽取8个进行寿命测试,得到如下数据(单位:h ):1 050, 1 100, 1 130, 1 040, 1 250, 1 300, 1 200, 1 080试对这批元件的平均寿命以及分布的标准差给出矩估计。
解:样本均值 75.11438108011301101050=++++=x样本标准差 ∑=-=812)(71i i x x s []22)75.11431080()75.11431050(71-++-=0562.96= 因此,元件的平均寿命和寿命分布的标准差的矩估计分别为1143。
75和96.05622. 设总体),0(~θU X ,现从该总体中抽取容量为10的样本,样本值为0。
5,1.3,0。
6,1.7,2.2,1.2,0。
8,1。
5,2.0,1.6试对参数θ给出矩估计.解:由于E(X )=2θ,即θ=2E(X ),而样本均值106.13.15.0+++=x =1.34,故θ的矩估计为68.22ˆ==x θ3. 设总体分布列如下,n x x ,1是样本,试求未知参数的矩估计.10,,3,2,)1()1()()2(,1,,2,1,0,1)()1(22<<=--==-===-θθθ k k k X P N N k Nk X P k ;(正整数)是未知参数 解:(1) 总体均值E (X )=21110-=-+++N N N ,解之可得N =2E (X )+1故N 的矩估计量12ˆ+=x N,其中x 为样本均值,若x 2不是整数,可取大于x 2的最小整数代替.2x(2) 总体均值E (X )==---+∞=∑222)1()1(k k k k θθ∑+∞=---222)1)(1(k k k k θθ,由于3222)1)(1(θθ=--∑+∞=-k k k k ,故有E(X )θθθ2232=⨯=,即θ)(2X E =,从而参数的 θ 矩估计为.2ˆx=θ 4.设总体密度函数如下,n x x ,,1 是样本,试求未知参数的矩估计.0,,1),;()4(;0,10,);()3(;0,10,)1();()2(;0,0),(2);()1(12>>=><<=><<+=><<-=---θμθμθθθθθθθθθθθθθμθθx ex p x x x p x x x p x x x p x解:(1) 总体均值E (X )==-⎰dx x x )(22θθθθθθθ31)(222=-⎰dx x x ,即即)(3X E =θ,故参数θ的矩估计为.3ˆx =θ(2)总体均值E(X )=dx x x ⎰+1)1(θθ=21++θθ,所以1E(X)E(X)21--=θ,从而参数θ的矩估计.121ˆ--=x xθ (3)由E (X )=dx x x 11-⎰θθ=1+θθ可得2)(1)(⎪⎪⎭⎫ ⎝⎛-=X E X E θ,由此,参数θ的矩估计.1ˆ2⎪⎭⎫⎝⎛-=x x θ(4)先计算总体均值与方差E (X )=dx ex x θμμθ--∞+⎰1=dt e t tθθ-∞+⎰01+dt e tθμθ-∞+⎰1=μθ+)(2X E =dx ex x θμμθ--∞+⎰12=dt e t tθθμ-∞+⎰+1)(02=dt e ttθθ-∞+⎰12+dt e t tθθμ-∞+⎰012+dt e tθθμ-∞+⎰12=.2222μμθθ++V a r(X )=22))(()(X E X E -=2θ由此可以推出)()(,)(X Var X E X Var -==μθ,从而参数μθ,的矩估计为.ˆ,ˆs x s -==μθ 5.设总体为)1,(μN ,先对该总体观测n 次,发现有k 次观测为正,使用频率替换方法求μ的矩估计。
最小方差无偏估计
xi 2
−
5s
2
,
ϕ
=0
,所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
,满足定义
6.3.1
的条件,若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在,证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计,如果对另外任意一个θ 的无偏估计θ~ ,在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计,简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 , Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项,有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2
dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ,由此可得到 E s2ϕ = 0 ,因而
注意到 g = E(gˆ | T ) ,这说明
充分完全统计量法求umvue
一、概述最小方差无偏估计(UMVUE)是统计学中一种重要的参数估计方法,它具有估计准确性高、无偏性等优点。
充分完全统计量法是一种用于求解UMVUE的方法,通过找到一个充分完全统计量,就可以得到一个UMVUE。
本文将介绍充分完全统计量法求UMVUE的原理、步骤和应用。
二、充分完全统计量的定义充分完全统计量是指在给定参数下,包含了样本全部信息,且不含冗余信息的统计量。
具体而言,设X1,X2,…,Xn为来自总体分布函数Pθ(x)的一个样本,则T = t(X1, X2, …, Xn)为统计量,若对任意θ∈Θ,Pθ(x1, x2, …, xn|T = t)只依赖于θ,而不依赖于概率分布函数的任何其他的信息,则称T为总体分布的一个充分完全统计量。
三、充分完全统计量法求UMVUE的步骤1. 确定总体分布和要估计的参数。
2. 推导出总体分布的概率密度函数或概率质量函数。
3. 确定充分统计量。
4. 利用充分统计量构造UMVUE。
四、充分完全统计量法在正态分布下的应用以正态分布N(θ, σ^2)为例,其中θ为均值,σ^2为方差,我们希望求得均值的UMVUE。
1. 总体分布的概率密度函数为f(x|θ) = (1/√(2πσ^2)) * exp[-(x-θ)^2/(2σ^2)]。
2. 根据充分完全统计量的定义,我们可以知道样本的均值和方差并不是充分完全统计量。
3. 经过推导和分析,我们发现样本的平方和为充分完全统计量,即T= Σ(xi - x̄)^2。
4. 利用T构造UMVUE,即求E[g(T)], 其中g(T)为一个关于T的函数,使得g(T)是T的UMVUE。
通过数学推导,我们可以得到g(T) = (n-1)S^2/σ^2,其中S^2为样本的方差。
五、结论通过上述步骤和应用实例,我们可以看到充分完全统计量法求UMVUE的方法。
通过确定充分完全统计量,我们可以得到UMVUE,从而实现参数的准确估计。
在实际应用中,我们可以根据不同的总体分布和参数,利用充分完全统计量法来求得UMVUE,从而提高参数估计的准确性和可靠性。
小方差无偏估计UMVUE
UMvue方法在某些特定情况下可能无法提供准确的方差估计。例如,当数据存在异常值或离群点时,该方法的 效果可能会受到影响。此外,对于一些复杂的数据结构和模型,UMvue方法的适用性和性能可能需要进行进一 步的研究和验证。
04
小方差无偏估计
定义与性质
定义
小方差无偏估计(UMvue)是指估计量不仅无偏,而且具有较小的方差。
重要性及应用领域
重要性
umvue方法在统计学中具有重要地位,因为它能够提供更精 确的参数估计,尤其是在样本量较小的情况下。通过最小化 方差,umvue方法有助于提高估计的准确性和可靠性。
应用领域
umvue方法广泛应用于各种统计领域,如回归分析、线性模 型、方差分析等。它对于处理小样本数据、非线性和非正态 分布的情况特别有用,能够提供更稳健和可靠的估计结果。
实例三:复杂统计模型的小方差无偏估计
复杂统计模型
实例分析
复杂统计模型是指包含多个变量和复 杂关系的统计模型,例如时间序列分 析、多元回归分析等。
我们可以使用实际数据或模拟数据来 估计复杂统计模型的参数,并评估小 方差无偏估计的准确性和效率。
小方差无偏估计
在复杂统计模型中,小方差无偏估计 需要使用更高级的算法和技术来实现, 例如贝叶斯推断、马尔科夫链蒙特卡 罗等方法。
02
无偏估计
定义与性质
定义
无偏估计是指一个估计量的期望值等于被估计参数的真实值。
性质
无偏估计具有一致性、无偏性和有效性的性质,即随着样本量的增加,无偏估 计量逐渐趋近于真实值,且其方差最小。
无偏估计的优缺点
优点
无偏估计能够提供被估计参数的较准 确的估计,特别是在样本量较大时, 其估计精度较高。
最小方差无偏估计
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义:最小方差无偏估计定义为约束估计是无偏的条件下,使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的,且方差达到CRLB,所以有效估计量是最小方差无偏估计。
如果有效估计量不存在,如何求最小方差无偏估计呢?这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量,那么是:(1) θ的一个可用的估计(a valid estimator);(2) 无偏;(3) 对所有的θ,方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的,则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1:高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解:首先找一个无偏估计,很显然是无偏。
1A z =其次,求A 的充分统计量,由前面的例题可知,是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论:1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏,所以最小方差无偏估计量也可以通过下面的方法求解:假定T(z)是完备的充分统计量,那么ˆ(())g T θ=z 在刚才的例题中,10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声,且,求均值θ=β/2的最小方差无偏估计。
数理统计求umvue
在数理统计中,UMVUE(最小方差无偏估计量)是一种非常重要的概念,它描述的是一种最优的统计量,即具有最小方差的无偏估计量。
UMVUE在很多统计推断问题中都有广泛的应用,例如线性回归模型的参数估计、方差分量估计等等。
要找到UMVUE,我们需要满足两个条件:无偏性和最小方差性。
无偏性意味着估计量的期望值等于参数的真实值,而最小方差性则要求估计量的方差达到所有无偏估计量中的最小值。
具体来说,假设我们要估计一个参数θ,一个无偏估计量是所有可能的估计量中的一个,如果它的期望值等于参数的真实值,即E(θ^)=θ。
而UMVUE则是所有无偏估计量中方差最小的那个。
对于一些特定的分布,UMVUE是已知的,例如正态分布的均值和方差的UMVUE分别是样本均值和样本方差。
然而,对于更一般的分布,找到UMVUE通常是一个复杂的问题,可能需要使用优化算法或者数值计算方法来解决。
在实践中,我们通常会使用一些常见的估计量作为UMVUE的近似值,例如在回归模型中,我们通常使用普通最小二乘估计量作为参数的估计值,这个估计量是线性无偏的,并且在大多数情况下具有相对较小的方差。
4-一致最小方差无偏估计
例 设总体为泊松分布 ( ), 计算Fisher信息量. P 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ,且
于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
关于相合性的两个常用结论
1. 样本 k 阶原点矩是总体 k 由大数定律证明 阶原点矩的相合估计.
ˆ 2. 设 n是 的无偏估计 ˆ 量, 且 lim Var( n ) , 则 0
ˆ n 是 的相合估计.
n
用切比雪夫不 等式证明
ˆ ˆ 定理 设θn θn ( x1 ,x2 , xn )是的一个估计量, ˆ ˆ lim E (θn ) θ, lim Var( θn ) 0 , 若
注:定理说明若无偏估 计不是充分统计量的函 数, 则将其对充分统计量求 条件期望可以得到一个 新 的无偏估计,从而降低 了无偏估计的方差 .
统计的一个基本原则: 在充分统计量存在时, 任何统计推断可以基于 充分 统计量进行,这可以简 化统计推断的程序,通 常将该原 则称为充分性原则 .
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本,则X是p 的充分统计量.求 p 2的无偏估计.
推广
ˆ ˆ 定理 若 n1, , nk 分别是 1, , k的相合估计, g( 1, , k )是 1, , k的连续函数,则 ˆ ˆ ˆ g( , , )是的相合估计.
n1 nk
注: 样本均值是总体均值的 相合估计
样本方差是总体方差的 相合估计 样本标准差是总体标准 差的相合估计
相合估计量仅在样本容量 n 足够大时,才显示其优越性.
数理统计8:点估计的有效性、一致最小方差无偏估计(UMVUE)、零无偏估计法
数理统计8:点估计的有效性、⼀致最⼩⽅差⽆偏估计(UMVUE)、零⽆偏估计法在之前的学习中,主要基于充分统计量给出点估计,并且注重于点估计的⽆偏性与相合性。
然⽽,仅有这两个性质是不⾜的,⽆偏性只能保证统计量的均值与待估参数⼀致,却⽆法控制统计量可能偏离待估参数的程度;相合性只能在⼤样本下保证统计量到均值的收敛性,但却对⼩样本情形束⼿⽆策。
今天我们将注重于统计量的有效性,即⽆偏统计量的抽样分布的⽅差。
由于本系列为我独⾃完成的,缺少审阅,如果有任何错误,欢迎在评论区中指出,谢谢!⽬录Part 1:⼀致最⼩⽅差⽆偏估计⾸先考虑这样的问题:如何刻画⼀个统计量的有效程度?注意到,⼀个统计量的取值既可能⾼于待估参数,亦可能低于待估参数,要综合考虑统计量对待估参数误差,需要⽤平⽅均衡这种双向偏差,因此,提出均⽅误差的概念:若ˆg(X)是g(θ)的估计量,则ˆg(X)的均⽅误差定义为MSE(ˆg(X))=E[ˆg(X)−g(θ)]2.对于确定的统计量ˆg(X)⽽⾔,MSE(ˆg(X))是θ的函数。
显然,⼀个统计量的均⽅误差越⼩,它就越在待估参数真值附近环绕,由此,⽤统计量的⼀次观测值作为待估参数的估计就有着越⼤的把握。
如果对于g(θ)的两个估计量ˆg1(X)和ˆg2(X),恒有MSE(ˆg1(X))≤MSE(ˆg2(X)),且严格不等号⾄少在某个θ处成⽴,就称ˆg1(X)在均⽅误差准则下优于ˆg2(X)。
如果我们能找到均⽅误差最⼩的统计量ˆg(X),就相当于找到了均⽅误差准则下的最优统计量。
不过,均⽅误差是θ的函数,这就导致了某些统计量在θ=θ1时均⽅误差⼩,在θ=θ2时均⽅误差⼤,⼀致最⼩均⽅误差估计量便不存在,需要增加约束条件,找到更可能存在的“最优”。
基于此,我们提出⼀致最⼩⽅差⽆偏估计(UMVUE)的概念,它将g(θ)的估计量限制在了⽆偏估计之中,这使得UMVUE的存在可能性得以提⾼。
并且,由于E(ˆg(X))=g(θ),所以MSE(ˆg(X))=E(ˆg(X)−g(θ))2=E[ˆg(X)−E(ˆg(X))]2=D(ˆg(X)),即⽆偏估计的均⽅误差就是⽆偏估计的⽅差。
第四讲 估计量的优良性准则
2
0
即T ( x ) q( 0 ). 由 0的任意性,因此这样 T ( x )
不存在。
平凡估计
(Trivial Estimate)
由此可见,均方误差一致达到最小的
最优估计并不存在,那么应如何评判和寻找
2 2
E ( ( x ) T ( x )) E (T ( x ) q( )) E (T ( x ) q( ))2 Var (T ( x ))
由此定理可知,利用充分统计量可以降低
无偏估计量的方差。因此,为了寻找UMVUE,
可以通过取充分统计量的条件期望(它是充分 统计量的函数且是无偏的)来缩小无偏估计类。
这是因为
E [(( ( x ) T ( x )) | S ( x )]
E [ ( x ) | S ( x )] E [T ( x ) | S ( x )]
T ( x) T ( x) 0
这样
Var ( ( x )) E ( ( x ) q( ))
2
方差,即
R( ,T ) Var (T ( X )).
在均方误差准则下,既然最好的估计不存
在, 那么现在的问题是对无偏估计类 U q 而
言,同样在均方误差(方差)准则下,最好 的无偏估计(一致最小方差无偏估计)是否 存在? 若存在,它是否是唯一的? 如何求? 这些就是我们下面需要讨论的主题。
二、一致最小方差无偏估计
2
n ˆ2
Байду номын сангаас
注意: (1) 无偏估计可能不存在。 如果参数q( )的无偏估计存在,则称q( ) 是可估的。
一致最小方差无偏估计的判断
一致最小方差无偏估计的判断一致最小方差无偏估计(Uniform Minimum Variance Unbiased Estimator, UMVUE)是统计学中一种重要的估计方法。
它在许多实际问题中具有广泛应用,可以有效地对未知参数进行估计,并且满足无偏性和方差最小的要求。
UMVUE的判断需要满足以下几个要素。
首先,一个无偏估计是指估计量的期望值与真实参数值相等。
也就是说,对于任意一个未知参数θ,UMVUE的期望值应该恰好等于θ。
无偏性是估计方法的一个重要性质,它确保了估计结果的准确性和可靠性。
一般来说,UMVUE的无偏性是通过数学推导和证明得出的,具有较高的可信度。
其次,UMVUE还要求具有最小的方差。
方差是对估计量精确性的度量,方差越小,估计结果越准确。
UMVUE的方差要比其他估计方法的方差小,这意味着UMVUE相对于其他估计方法更具优越性。
通过比较不同估计方法的方差,可以选择出UMVUE,从而得到更准确的估计结果。
UMVUE的判断还需要满足一致性的要求。
一致性是指当样本容量逐渐增大时,估计结果逐渐接近真实参数值。
UMVUE在大样本情况下应该是一致的,即当样本容量趋于无穷大时,UMVUE将趋于真实参数值。
这意味着UMVUE的估计结果在大样本情况下更加可靠和稳定。
判断一个估计方法是否为UMVUE,一般需要通过数学推导和证明进行验证。
然而,在实际应用中,我们可以根据具体问题的特点和数据的特性来选择合适的估计方法。
一般来说,如果一个估计方法已经被证明是无偏的,并且在方差上具有较小的表现,那么它很可能是一个UMVUE。
UMVUE作为一种重要的估计方法,为我们解决实际问题提供了有力的工具。
它不仅可以提供准确可靠的估计结果,还能够为我们提供关于未知参数的更多信息。
在统计建模、实验设计、市场调研等领域,UMVUE的应用非常广泛。
它能够帮助我们更好地了解事物的本质和规律,为决策和预测提供科学的依据。
总之,UMVUE是一种重要的统计估计方法,具有无偏性、最小方差和一致性的特点。
UMVUE判定
定理4已知分布族 ,设 是它的一个充分完备统计量, 为可估参数,那么 的UMVUE存在,它是 的函数并且在几乎处处意义下是唯一的。
UMVUE的判定方法一(充分完备统计量法):由于降低无偏估计的方差是充分统计量的一个非常重要的作用,因此,通过上述讨论我们可以知道,只要充分完备统计量存在,那么可估参数UMVUE一定存在。所以,UMVUE的判定方法一即为充分完备统计量法。定理3,4分别为我们提供了充分完备统计量法中的两种判定UMVUE的方法:
这个定理给了我们一个寻找较优良估计的方法,如果已知一个未知参数 ,它有一个充分统计量 ,且 是未知参数 的一个无偏估计,我们可以先从 出发,此时需要注意这个 不单单是 的函数,接着我们求出 ,此时若以 作为估计量必定会比原来的 有更小的方差;此外我们也可以限制在充分统计量 的函数中去寻找,先在充分统计量 的函数中找出 的一个无偏估计,然后比较它的方差。
1
1.1
定理1(Rao-Blackwell定理)设 与 是两个随机变量,且 , ,设 条件下 的条件期望 ,则
.
拉奥-勃拉克维尔定理对于我们寻找未知参数的较优良的估计有很大的帮助,且它可以引出下面这个定理。
定理 2设 是取自一个母体 的子样, 有概率函数 , , 是 的一个充分统计量, 不仅是 的函数,且 ,则 是 的充分统计量的函数,其均值 ,方差 。
证明:令
,
;
设 是 的UMVUE,任取 及 ,则 ,且有
,
取 ,由 的任意性知: , ;反之,设 都有 , 。要证 是 的UMVUE,若 ,则有 ,由假设条件得:
,
,ቤተ መጻሕፍቲ ባይዱ
.
由施瓦茨不等式得:
,
从而 ,又因为 ,所以 ,由 之任意性可知, 是 的UMVUE。
数理统计:最小方差无偏估计
2
Eˆ
2
2E
ˆ
Eˆ
Eˆ
=E
ˆ Eˆ
2
Eˆ
2
注意: 和Eˆ都是定值.
Var ˆ [Bias(ˆ)]2
定义:Bias(ˆ)=E(ˆ)
方差
随机误差 (有效性)
偏倚平方 系统误差 (无偏性)
7
为了说明UMVUE的计算方法,需要用到条件期望, 回顾如下。
1. 条件期望定义
若随机变量Y 在 X x 条件下的分布为 f ( y | x) ,且
则称
y f (y | x) , 或者 y f ( y | x)dy - y
E Y | X x y f ( y | x) (离散型)
ci为任意常数,i 0,1, , n
E
c0
n
ci
Xi
|
T
c0
n
ciE Xi | T
i1
i1
(2) E E X T EX . (重期望公式)
内层:给定T时,关于X求条件期望.
外层:是T的函数,关于T求期望。
11
(3) E[g(T)X|T]=g(T) E[X|T], 其中g(t)是任何实值函数;
E(X |Y y)
E(X |Y )
Y取确定值y的条件下
Y取值随机的条件下
若记 g( y) E( X |Y y), 则 g(Y ) E( X |Y ) 作为随机变量Y
的函数, 我们可称之为在给定Y的条件下X的条件期望, 它是随机变量.
5-一致最小方差无偏估计
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
2 p( x; θ ) 1 p( x; θ ) p( x; θ )dx dx 2 θ θ p( x; θ )
2
2 p( x; θ ) ln p( x; θ ) dx p( x; θ )dx 2 θ
2
ln p( X ; ) E I ( )
2
2ln p( X ; ) I ( ) E 2
ln p 2 (3) ,0 I ( ) ( ) p( x; )dx
若X 1, ,X n 是取自总体的样本,则 存在未知参数 ˆ ˆ 的最大似然估计ˆ θ ( X , ,X ), 且θ 具有相合性 θ
n n 1 n n
对任意一个满足 ( ( X )) 0的 ( X ),都有 E ˆ Cov ( , ) 0, ,
定理给出了一致最小方 差无偏估计的充要条件 .
无偏估计的最小方差到 底能小到什么程度呢? 下面将介绍著名的 ramer Rao不等式. C
0 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在,则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 R正则分布族, - (5)称为正则条件 C (1) .
p( x; ) (5) 若 亦存在,且进一步有 2 2 p( x; ) dx 2 p( x; )dx 0
最小方差无偏估计UMVUEPPT幻灯片25页PPT
6、最大的骄傲于最大的自卑都表示心灵的最软弱无力。——斯宾诺莎 7、自知之明是最难得的知识。——西班牙 8、勇气通往天堂,怯懦通往地狱。——塞内加 9、有时候读书是一种巧妙地避开思考的方法。——赫尔普斯 10、阅读一切好书如同和过去最杰出的人谈话。——笛卡儿
Thank you
最小方差无偏估计UMVUEPPT幻灯片
56、极端的法规,就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要,人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益, 而是为 了公共 的利益 ;一部 分靠有 害的强 制,一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ,那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
2-3 最小方差无偏估计和有效估计
i 1 i 1
n 1 2 2 ( x i x ) exp ( x i ) dx 0 , 2 L 2 i 1 i 1 n
用G 表示 所有可能估计组成的类,如果
在G 中存在一个元 使得对任一 G ,有
MSE( , ) MSE( , )
对所有的 成立,则 ( x)应是的最好
估计。
4
遗憾的是,这样的估计 并不存在。因为
倘若这样的估计 ( x) 存在, 那么对任一 0 ,
MSE( , X ) Var ( X )
2 2 2
2
n
,
2
b( , ˆ ) E ( ˆ )
n
,
4 (2n 1)
n
2
ˆ 2 ) Var ( ˆ 2 ) b2 ( , ˆ2) MSE( ,
.
3
从均方误差可知,我们自然希望估计的MSE 越小越好。
n
n
n 1 X (n) 即 n 是 的一个无偏估计,故由定理 2.9,
n 1 n 1 E X (n) | X (n) X (n) n n
是 的最小方差无偏估计。
23
2、有效估计
1) 定义
24
2 L exp ( x ) dx 0 。 i 2 2 i 1 1
n
(2.15)
上式关于 求导,得
2 L ( x ) exp ( x ) dx 0 , i i 2 2 i 1 i 1
最小方差无偏估计
^
是 g(θ) 的 UMVUE 的充要条件为:
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3:假如参数的无偏估计存在,则称此参数为
可估参数。 定义2.3.4:设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数,Ug 是 g(θ) 的无偏估计类。 假如 g ( x) 是这样的一个无偏估计,对一切 g ( x) U ( g ), 有
^*
上式左端作为a的二次多项式,可求得: ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0, U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。 则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时,一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知,一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。 由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。 这里我们将参数 θ 用其函数 g(θ) 代替,g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3:设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个
5-一致最小方差无偏估计
p( x; ) (5) 若 亦存在,且进一步有 2 2 p( x; ) dx p( x; )dx 0 2
2
2ln p( X ; ) 则 I ( ) E 2
证明 ln p( X ; θ )
二、Cramer-Rao 不等式 p( x; ), 满足 定义2 设总体概率密度函数是 下列条件: (1)参数空间是直线上的一个开区间 ; (2)支撑集S { x : p( x; ) 0}与无关; (3)导数 p( x; )对一切 都存在; (4)对p( x; ),积分与微分运算可交 换次序,即
对任意一个满足 E( ( X )) 0的 ( X ),都有 ˆ , ) 0, , Cov (
定理给出了一致最小方 差无偏估计的充要条件 .
无偏估计的最小方差到 底能小到什么程度呢? 下面将介绍著名的 Cramer Rao不等式.
0 p( x; )dx p( x; )dx 2 (5)期望E[ ln p( X ; )] 存在,则称 2 I( ) E[ ln p( X ; )] 为总体分布的费希尔 (Fisher) 信息量. 称该分布族为 C R正则分布族, (1) - (5)称为正则条件 .
一、最小方差无偏估计 ˆ 对于参数估计问题,设 是的一个无偏估 定义1 ~ 计,如果对另外任意一 个的无偏估计 ,在参数 空间上都有 ~ ˆ Var ( ) Var ( ) ˆ是的一致最小方差无偏估 则称 计,简记为UMVUE .
Uniform Minimun Variance Unbiased Estimator
Var( X ) 1 X I ( ) E 2. 2 4
一致最小方差无偏估计量和最小方差无偏估计量
一致最小方差无偏估计量(UMVUE)和最小方差无偏估计量(MVUE)是统计学中重要的概念,它们在参数估计中起着关键的作用。
本文将针对这两个概念展开讨论,并探究它们在统计学中的重要性。
一、一致最小方差无偏估计量(UMVUE)1.1 UMVUE的定义一致最小方差无偏估计量是指在无偏估计量的基础上,使得方差达到最小的估计量。
在统计学中,我们常常需要对未知参数进行估计,而UMVUE则是通过对参数进行无偏估计的使得估计的方差达到最小。
1.2 UMVUE的重要性UMVUE具有很强的有效性,它不仅是无偏估计量,而且在一定的条件下,它的方差是所有可能的估计量中最小的。
UMVUE在统计学中具有非常重要的地位,它可以帮助我们更准确地估计未知参数,提高统计分析的精度。
1.3 UMVUE的计算UMVUE的计算需要依赖于样本分布和参数的性质,通常会涉及到一些复杂的数学推导和统计推断。
对于不同的参数和分布,需要针对具体情况来进行计算,这也是统计学中的一个研究热点。
二、最小方差无偏估计量(MVUE)2.1 MVUE的定义最小方差无偏估计量是指在所有无偏估计量中,使得方差达到最小的估计量。
与UMVUE类似,MVUE也是在保持无偏性的基础上,尽可能减小估计的方差。
2.2 MVUE的重要性MVUE在统计学中具有非常重要的作用,它可以帮助我们更准确地估计未知参数,并且提供了估计的方差的下限。
MVUE在参数估计的理论研究和实际应用中都具有重要的地位。
2.3 MVUE的计算MVUE的计算也需要依赖于具体的样本分布和参数的性质,通常需要借助于一些复杂的数学方法和统计推断。
针对不同的参数和分布,需要采用不同的计算方法,并且有时候需要进行一些特殊的推导。
三、UMVUE与MVUE的关系3.1 UMVUE与MVUE的一致性UMVUE与MVUE的概念在很大程度上是一致的,它们都是在无偏性的基础上,寻求使得估计的方差达到最小的估计量。
从某种程度上来说,UMVUE和MVUE是一致的,并且在一定的条件下,它们可能是等价的。
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
泊松分布 X ~ P( ), 0. 指数分布
I ( )
1
X ~ Exp( ),
I ( ) 2
正态分布 X ~ N ( ,1),
X ~ N (0, ),
2
I ( ) 1
I ( )
2
1 2 4
0 1 2 4
X ~ N ( , ),
第六章 第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
一、Rao-Blackwell 定理
优良的无偏估计都是充分统计量的函数.
定理1: 则有
设X和Y是两个r.v.,EX=μ,VarX>0,令 ( y) E ( X | Y y)
注:如果ˆ是的有效估计, 则它也是一致最小方差无偏
估计. 反之, 却不一定成立.
综上, 求证T是g()的有效估计的步骤为:
(1) 验证T 是g( )的无偏估计,即E(T ) g ( );
(2) 计算VarT ;
(3) 计算I ( ); 而计算I ( )又可分为下面几个步骤 : I : 对总体X 的密度函数或分布列函数p( x; )求对数 ln p( x; ); ln p( x; ) II : 求 ; ln p( x; ) 2 ] 或其等价公式计算I ( ); III : 利用I ( ) E[ 2 [ g ( )] [ g ( )]2 (4) 求方差下界 : ; 比较VarT 与 nI ( ) nI ( )
所以, x是的有效估计.
例8. 设x1 ,….xn 为取自总体为正态分布N(μ,σ2)的样本, 验证 x 是μ的有效估计.
解:已证过 x 为U.E, 下求μ的C-R下界,由于 p( x, )
2
1 2 2
e
x 2
2 2
dlnp x, x x 1 2 lnp x, ln 2 , 2 2 2 d 2 2 1 1 2 X 因此, 4 X 2 2
L( ) 1
e n
i 1
n
xi
ln L( ) n ln i1
xi
n
n 1 ˆ xi x 经检验知 的最大似然估计为 n i 1 2 ˆ) Var ( ˆ E 所以它是 的无偏估计量,且
d n i 1 ln L( ) 2 d
C-R下界为
1 p(1 p) nI ( p) nN
1 1 1 Np ˆ ) E( X ) E( X ) 又 E( p E( X ) p N N N N
1 1 1 Var ( X ) p(1 p) ˆ ) Var ( x) 2 Var ( x) 2 Var ( p N n Nn N N 1 ˆ) 所以 Var ( p nI ( p ) 1 ˆ 即 p x 是p 的有效估计. N
例7 ( x1 , x2 ,
, xn )是P( )( 0)的一个样本,
证明 : x是 的有效估计
证明 : 因为x是样本均值, 故, E x EX , x是的U .E Var ( X ) Var ( x) n n
总体X的分布律为 : P{ X x}
x
i 1
ˆ | T t ), 其中t (t )=E ( xi 1
t (t 1)
故 =
T (T 1) n( n 1)
n ( n 1)
为θ的无偏估计.且 Var ( ) Var ( 1 )
二、最小方差无偏估计
ˆ是的一个无偏估计量, 若对于的任一方差 定义: 设 存在的无偏估计量 , 都有 ˆ) Var ( ) , Var ( ˆ是 的一致最小方差无偏估计, 记为UMVUE. 则称
的微分可在积分号下进行,即
g ( )
i 1
T ( x1 , x2 ,
n , xn ) ( p( xi ; ))dx1 i 1 n
dxn
i 1
T ( x1 , x2 ,
n , xn )[ ln( p( xi ; ))] i 1
x1 ,
, xn
注:定理2表明:
若无偏估计不是充分统计量的函数,则将之对充分 统计量求条件期望可得一个新的无偏估计,且它为充分统计量的函
即, 考虑点估计只需在充分统计量的 函数中进行, 这就是 — 充分性原则. 例1.设 ( x1 , , xn ) 为来自b(1,p) 的样本, 求p2的U.E
数且方差会减小.
2
1
2
1 2 nI ( ) n
Var ( x)
故 x 是达到方差下界的无偏估计.
例6 设总体X ~ b( N , p), x1 , x2 , 1 ˆ x是p的有效估计. 试证 : p N
证明: 总体X的分布为 P{ X x} C p (1 p)
x N x
, x n 为总体X 的一个样本,
p( x ; )dx
i 1
dxn
2 则有 Var (T ) [ g ( )] nI ( )
特别地对θ的无偏估计有
1 Var (T ) nI ( )
上述不等式的右端称为C-R下界, I() 为Fisher信息量.
注: (1) 定理对离散型总体也适用.只需改积分号为求和号。 (2) 在定理4条件下, 若g( ) 的无偏估计量T 的方差VarT
T 为θ的UMVUE. x n
三、罗-克拉美(Cramer–Rao )不等式
1、 Fisher信息量的定义. 设总体X 的概率函数为p(x; ),,且满足条件: (1)是实数轴上的一个开区间;
正 则 条 件
ln p( x; ) 2 则称 I ( ) E ( ) 为总体分布的Fisher信息量.
例5. 设总体 X~Exp(1/θ),密度函数为
x 1 e p( x; ) 0
x 0, x0
0 为参数
( x1 , x2 , , xn ) 为 X 的一个样本值.
求 的最大似然估计量, 并判断它是否为达到方 差下界的无偏估计,即有效估计.
解: 由似然函数
x
x!
e , x 0,1, 2.....
.
例4: 设总体为指数分布Exp(1/θ),即
p ( x; )
则 I ( )
1
1
.
exp{ }, x 0, 0.
x
2
注: 常见分布的信息量 I()公式
1 两点分布X ~ b(1,p) I ( p) p (1 p ) P( X x) p x (1 p)1 x , x 0,1
ln p( x; ) x ln ln x !
x!
e p( x; )
2 d ln p( X ; ) 2 X E ( X ) 1 2 I ( ) E[ ] E[ 1] 2 d 1 故 , nI ( ) n
1 可见, Var ( x) , nI ( )
1 n
如果对任一个满足 E ( x1 , , xn ) 0 的 ( x1 , , xn ), 都有
Cov ( , ) 0, ˆ是的UMVUE. 反之亦成立. 则
例2: n 设x1 ,
i 1
T xi 为θ 的充分统计量,证明:
, xn
为来自Exp(1/θ) 的样本,则
注: 一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE. Problem: 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么?
定理3: (UMVUE准则) 设 x1 , , xn 是总体X的样本, ˆ ( x , , x ) 是θ的任一无偏估计, Var
1 def nI ( ) ˆ的效率. e( ) 为估计量 ˆ) Var (
ˆ) 1 注:显然的任一无偏估计量的效率满足 0 e(
定义:
如果的无偏估计量的效率e( ) 1, 则称为的有效估计. ˆ) 1则称 ˆ为的渐近有效估计. 如果 lim e(
n
注:
(1)I(θ)越大,总体分布中包含未知参数的信息越多。 (2) I()的另一表达式为
2 ln p( x; ) I ( ) E ( ), 2 2 p( x; ) ( 存在,满足正则条件) 2
例3:设总体为Poisson分布,即
p( x; )
则 I ( ) 1
def
(2) 支撑S {x | p( x; ) 0}与 无关; p ( x; ) (3) 存在且对中一切 有 p ( x; ) p ( x; )dx dx ln p( x; ) 2 (4) E ( ) 存在
N x
def
P( x; p)
ln P( x; p) ln C x ln p ( N x)ln(1 p)
x N
d ln P( X ; p) 2 X NX 2 所以, I ( p) E[ ] E[ ] dp p 1 p
1 Var ( X ) Np(1 p) N 2 2 E[ X Np] 2 2 2 2 2 p (1 p) p (1 p) p (1 p) p(1 p)
达到下界, 则T必为g( ) 的最小方差无偏估计. 但 是它不一定存在, 也就是说, C-R不等式有时给出 的下界过小.