第六章第三节 最小方差无偏估计
华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计.
ˆ (a , , a ), j j 1 k
其中
1 n j a j xi n i1
j 1, , k ,
25 November 2018
华东师范大学
第六章 参数估计
第7页
例6.1.2 设总体服从指数分布，由于EX=1/， 即 =1/ EX，故 的矩法估计为
ˆ 1/ x
华东师范大学
第六章 参数估计
第8页
例 6.1.3 x1, x2, …, xn 是来自 (a,b) 上的均匀分布 U(a,b) 的样本， a 与 b 均是未知参数，这里 k=2 ， 由于
ab EX , 2 (b a ) 2 Var( X ) , 12
不难推出
a EX 3Var( X ), b EX 3Var( X ),
L( ) ( ) [2 (1 )] [(1 ) ]
2 n1 n2 2 n3
2
n2
2 n1 n 2
(1 )
2 n3 n2
其对数似然函数为
ln L( ) (2n1 n2 ) ln (2n3 n2 ) ln(1 ) n2 ln 2
1 n n n 2 2 ln L( , ) 2 ( xi ) ln ln(2) 2 i 1 2 2
2
25 November 2018
华东师范大学
第六章 参数估计
第14页
将 lnL(, 2) 分别关于两个分量求偏导并令 其为0, 即得到似然方程组
ln L( , 2 ) 1 n 2 ( xi ) 0 i 1 ln L( , 2 ) 1 n n 2 4 ( xi ) 2 0 2 2 i 1 2
最小方差无偏估计
xi 2
−
5s
2
,
ϕ
=0
，所以
1 n
n i =1
xi 2
− 5s2
是
µ 2 − 4σ 2 的ቤተ መጻሕፍቲ ባይዱ小方差无偏估计。
7.
设总体的概率函数为
p(x;θ
)
，满足定义
6.3.1
的条件，若二阶导数
∂2 ∂θ 2
p(x;θ ) 对一
切的θ ∈ Θ 存在，证明费歇信息量
I (θ ) = −E( ∂2 ln p(x;θ )) ∂θ 2
2.3 节 最小方差无偏估计 内容概要
1、一致最小方差无偏估计
设θˆ 是θ 的一个无偏估计，如果对另外任意一个θ 的无偏估计θ~ ，在参数空间 Θ = {θ}
上都有
Varθ (θˆ) ≤ Varθ (θ~)
则称θˆ 是θ 的一致最小方差无偏估计，简记为 UMVUE。
2、判断准则
设 θˆ = θ (x1, , xn ) 是 θ 的 一 个 无 偏 估 计 ， Var(θˆ) < ∞ 。 如 果 对 任 意 一 个 满 足
分为 0 的项，有
∫ ∫ ∑ ( ) ∑ ∞ −∞
ϕ x ⋅ ∞ n 2
−∞ i=1 i
2πσ 2
−n 2
exp
−
1 2σ
2
n i=1
xi2
+
nx σ2
µ
−
nµ 2 2σ 2
dx1
dxn = 0
∑ ( ) n
这表明 E(ϕ ⋅ xi2 ) = 0 ，由此可得到 E s2ϕ = 0 ，因而
注意到 g = E(gˆ | T ) ，这说明
无偏估计方差
无偏估计方差无偏估计方差是统计学中一个重要的概念，其意义在于通过一定的数据采样，能够准确地估计出总体的方差。
在实际应用中，无偏估计方差被广泛地应用于各种数据分析、统计建模和实证研究等领域，尤其是在样本量较小、总体分布未知或难以获取的情况下，更具有实际意义和价值。
首先，我们需要明确无偏估计方差的定义和含义。
在统计学中，方差是指一组数据与其平均值之差的平方的平均值，用来反映数据的离散程度。
然而，在实际应用中，我们往往不能直接计算总体的方差，而只能通过样本数据来进行估计。
而无偏估计方差就是指通过样本数据来估计总体方差时，所得结果的期望值等于总体方差的数值。
也就是说，无偏估计方差是一种无偏性良好的估计方法，能够准确地反映总体方差的大小和变异程度。
其次，我们需要了解无偏估计方差的计算方法和应用场景。
在实际应用中，无偏估计方差的计算方法有多种，例如样本方差、修正样本方差等。
其中，样本方差的计算公式为：S^2 = Σ(xi- x̄)^2 / (n-1)其中，xi表示第i个样本数据的数值，x̄表示样本均值，n表示样本量。
而修正样本方差的计算公式为：S’^2 = Σ(xi- x̄)^2 / n-1显然，无偏估计方差的计算方法与样本量、样本分布等因素密切相关，需要根据具体的数据特点和应用场景进行选择和调整。
最后，我们需要注意无偏估计方差的局限和应用注意事项。
无偏估计方差虽然具有较好的性质和可靠性，但也存在一定的局限和风险。
例如，当样本量过小时，无偏估计方差容易产生较大的方差和偏差，从而导致估计结果失真或不可信。
此外，由于样本分布的不确定性和偏斜性，无偏估计方差在实际应用中也需要注意其有效性和适用性，避免产生误导或错误的结论。
综上所述，无偏估计方差是统计学中一种重要的估计工具，能够帮助我们准确地估计总体方差和数据变异性。
在实际应用中，我们需要灵活选择和调整估计方法，注意样本量、样本分布和应用场景的特点和差异，以保证估计结果的可靠和有效。
最小方差无偏估计
UMVUE。
例6.3.6
设总体为指数分布Exp(1/ )，它满足定
义6.3.2的所有条件，例6.3.4中已经算出该分布
的费希尔信息量为I( ) = -2，若x1, x2, …, xn 是
样本，则 的C-R下界为(nI( ))-1= 2/n。而
两端对 求导得
这说明
，从而
由定理6.3.3，它是 的UMVUE。
6.3.3 Cramer-Rao不等式
定义6.3.2 设总体的概率函数 P(x, ), ∈Θ满足下列条件： (1) 参数空间Θ是直线上的一个开区间； (2) 支撑 S={x: P(x, )>0}与 无关； (3) 导数 对一切∈Θ都存在； (4) 对P(x, )，积分与微分运算可交换次序； (5) 期望 存在；则称
一个无偏估计， 存在，且对一切 ∈Θ ，微分可在积分号下进行，则有
上式称为克拉美-罗（C-R）不等式; [g’(θ)]2/(nI( ))称为g( )的无偏估计的方差 的C-R下界，简称g( )的C-R下界。 特别，对 的无偏估计 ,有
如果等号成立，则称 T=T(x1, …, xn) 是 g( )的有效估计，有效估计一定是UMVUE。
费希尔信息量的主要作用体现在极大似然估计。
定理6.3.5 设总体X有密度函数 p(x; )，∈Θ， Θ为非退化区间，假定 (1) 对任意的x，偏导数 ， 和
对所有∈Θ都存在；
(2) ∀∈Θ, 有
，
其中函数F1(x) , F2(x), F3(x)可积.
(3) ∀∈Θ, 若 x1, x2 , …, xn 是来自该总体的样本，则存在 未知参数 的极大似然估计 且 具有相合性和渐近正态性: ，
小方差无偏估计UMVUE
UMvue方法在某些特定情况下可能无法提供准确的方差估计。例如，当数据存在异常值或离群点时，该方法的 效果可能会受到影响。此外，对于一些复杂的数据结构和模型，UMvue方法的适用性和性能可能需要进行进一 步的研究和验证。
04
小方差无偏估计
定义与性质
定义
小方差无偏估计（UMvue）是指估计量不仅无偏，而且具有较小的方差。
重要性及应用领域
重要性
umvue方法在统计学中具有重要地位，因为它能够提供更精 确的参数估计，尤其是在样本量较小的情况下。通过最小化 方差，umvue方法有助于提高估计的准确性和可靠性。
应用领域
umvue方法广泛应用于各种统计领域，如回归分析、线性模 型、方差分析等。它对于处理小样本数据、非线性和非正态 分布的情况特别有用，能够提供更稳健和可靠的估计结果。
实例三：复杂统计模型的小方差无偏估计
复杂统计模型
实例分析
复杂统计模型是指包含多个变量和复 杂关系的统计模型，例如时间序列分 析、多元回归分析等。
我们可以使用实际数据或模拟数据来 估计复杂统计模型的参数，并评估小 方差无偏估计的准确性和效率。
小方差无偏估计
在复杂统计模型中，小方差无偏估计 需要使用更高级的算法和技术来实现， 例如贝叶斯推断、马尔科夫链蒙特卡 罗等方法。
02
无偏估计
定义与性质
定义
无偏估计是指一个估计量的期望值等于被估计参数的真实值。
性质
无偏估计具有一致性、无偏性和有效性的性质，即随着样本量的增加，无偏估 计量逐渐趋近于真实值，且其方差最小。
无偏估计的优缺点
优点
无偏估计能够提供被估计参数的较准 确的估计，特别是在样本量较大时， 其估计精度较高。
有效估计和一致最小方差无偏估计
如何选择有效估计和一致最小方差无偏估计在统计学中，估计是一项常见的任务。
估计是用样本数据来推断
一个或多个总体参数的过程。
通常需要比较不同的估计方法，以选择
最好的估计方法。
本文将介绍有效估计和一致最小方差无偏估计的定义、特点和使用方法。
1. 有效估计
有效估计是指一个估计方法产生的估计值的方差最小。
方差是估
计误差的度量，估计误差是真实参数值与估计值之差的绝对值。
因此，方差越小，估计误差越小。
有效估计被广泛用于无偏估计和最小方差
无偏估计的选择。
2. 一致最小方差无偏估计
一致最小方差无偏估计是指估计值与参数真值的差别尽可能小，
而方差也保持尽可能小。
一般而言，一致最小方差无偏估计需要满足
以下条件：
① 无偏性：估计值的期望值等于真实参数值；
② 一致性：随着样本量增加，估计值接近于真实参数值；
③ 最小方差性：估计值方差最小。
3. 如何选择估计方法
当我们需要选择估计方法时，我们需要考虑估计方法的特点和适用场景。
任何估计方法没有绝对优劣，它们的优缺点和适用条件都需要考虑。
对于无偏估计和最小方差无偏估计，我们应该选择有效估计和一致最小方差无偏估计。
如果数据分布不确定，我们可以使用参数估计法进行估计。
4. 总结
在统计学中，估计是一项重要的任务，我们可以利用不同的估计方法进行不同的推断。
有效估计和一致最小方差无偏估计是常见的估计方法，在选择估计方法时，我们需要考虑估计方法的特点和适用场景。
方差的无偏估计
方差的无偏估计什么是方差？方差是统计学中常用的一个概念，它是衡量一组数据的离散程度的量。
在概率论和统计学中，方差是随机变量的离散程度的度量。
方差越大，表示数据越分散；方差越小，表示数据越集中。
方差公式：对于一组有n个元素的数据集合，它们的平均值为μ，则这组数据的方差σ²可用以下公式来计算：其中xi表示第i个数值，n表示总数。
无偏估计在统计学中，我们常常需要通过样本来推断总体参数。
而样本所得到的参数通常有两种估计方法：无偏估计和有偏估计。
无偏估计指的是样本所得到的参数与总体参数之间没有系统性偏差，即期望值等于总体参数。
而有偏估计则指样本所得到的参数与总体参数之间存在系统性偏差。
在实际应用中，我们更倾向于使用无偏估计方法来推断总体参数。
因为无偏估计方法得到的结果更加接近真实情况，并且具有更高的精度和可信度。
方差的无偏估计对于方差的无偏估计，我们需要使用样本方差s²来代替总体方差σ²。
但是，由于样本方差是根据n-1个自由度计算得到的，因此它会存在一个偏差。
为了消除这个偏差，我们需要对样本方差进行修正，得到无偏估计的样本方差s'²。
具体地，我们可以使用以下公式来计算：其中xi表示第i个数值，n表示总数。
推导过程如下：首先，我们可以将样本方差s²展开为：然后，我们可以将分子中的每一项拆开，并对每一项进行平方和展开：接着，我们可以将每一项中的xi²拆成xi(xi - x) + xi·x，并且对每一项进行合并和化简：最后，我们将分母中的(n - 1)替换成n，并且对分子中的每一项进行合并和化简：因此，无偏估计的样本方差s'²就是通过将原始样本方差s²乘以修正系数(n - 1)/n来得到的。
第六章点估计教案要点
第六章参数估计在实际问题中, 当所研究的总体分布类型已知, 但分布中含有一个或多个未知参数时, 如何根据样本来估计未知参数，这就是参数估计问题.参数估计问题分为点估计问题与区间估计问题两类.点估计就是用某一个函数值作为总体未知参数的估计值；区间估计就是对于未知参数给出一个范围，并且在一定的可靠度下使这个范围包含未知参数.参数估计问题的一般提法:设有一个统计总体, 总体的分布函数为),(x F ,其中为未知参数(可以是向量). 现从该总体中随机地抽样, 得一样本nX X X ,,,21,再依据该样本对参数作出估计, 或估计参数的某已知函数).(g 第一节点估计问题概述一、点估计的概念设n X X X ,,,21是取自总体X 的一个样本, n x x x ,,,21是相应的一个样本值. 是总体分布中的未知参数, 为估计未知参数, 需构造一个适当的统计量),,,,(?21n X X X 然后用其观察值),,,(?21n x x x 来估计的值.称),,,(?21n X X X 为的估计量. 称),,,(?21n x x x 为的估计值. 在不致混淆的情况下,估计量与估计值统称为点估计,简称为估计, 并简记为?.注: 估计量),,,(?21n X X X 是一个随机变量, 是样本的函数，即是一个统计量, 对不同的样本值,的估计值?一般是不同的.例1设X 表示某种型号的电子元件的寿命(以小时计)，它服从指数分布：.0,00,1),(~/xx ex f X x 为未知参数, 0. 现得样本值为168, 130, 169, 143, 174, 198, 108, 212, 252,试估计未知参数.二、评价估计量的标准估计量的评价一般有三条标准:无偏性; 有效性; 相合性（一致性）.1．无偏性定义1设),,(?1n X X 是未知参数的估计量, 若,)?(E 则称?为的无偏估计量.注: 无偏性是对估计量的一个常见而重要的要求, 其实际意义是指估计量没有系统偏差，只有随机偏差. 在科学技术中, 称)?(E 为用?估计而产生的系统误差.定理1 设n X X ,,1为取自总体X 的样本,总体X 的均值为, 方差为2.则(1) 样本均值X 是的无偏估计量;(2) 样本方差2S 是2的无偏估计量;(3) 样本二阶中心矩ni iX X n12)(1是2的有偏估计量.2．有效性定义2设),,(??111n X X 和),,(??122n X X 都是参数的无偏估计量, 若)?()?(21D D ,则称1?较2?有效.注:在数理统计中常用到最小方差无偏估计, 其定义如下:设n X X ,,1是取自总体X 的一个样本, ),,(?1n X X 是未知参数的一个估计量,若?满足:(1) ,)?(E 即?为的无偏估计;(2) ),?()?(E ?是的任一无偏估计.则称?为的最小方差无偏估计(也称最佳无偏估计).3．相合性(一致性) 定义 3 设),,(??1n X X 为未知参数的估计量, 若?依概率收敛于, 即对任意0, 有,1}|?{|lim P n或,0}|?{|lim P n则称?为的(弱)相合估计量.例2设总体),0(~2N X ,n x x x ,,,21是来自这一总体的样本.(1) 证明ni ix n1221?是2的无偏估计;(2) 求).?(2D 例3设n X X X ,,,21为来自总体X 的样本, X ,),,2,1(n i X i 均为总体均值)(X E 的无偏估计量, 问哪一个估计量有效?例4 设总体),(~2N X ,n X X ,,1为其样本. 试证样本方差2S 是2的相合估计量.课堂练习设总体X 的k 阶矩)1)((kX E kk存在, 又设nX X X ,,,21是X 的一个样本. 试证明不论总体服从什么分布, k 阶样本矩ni k ikXnA 11是k 阶总体矩k的无偏估计量.课后作业：P137 T 3、4第二节点估计的常用方法（1）一、矩估计法矩估计法的基本思想是用样本矩估计总体矩. 因为由在大数定理知, 当总体的k 阶矩存在时,样本的k 阶矩依概率收敛于总体的k 阶矩.例如, 可用样本均值X 作为总体均值)(X E 的估计量, 一般地, 记总体k 阶矩);(kkX E 样本k 阶矩ni kik X n A 11;总体k 阶中心矩;)]([kk X E X E V 样本k 阶中心矩.)(11ni kikX X nB 用相应的样本矩去估计总体矩的方法就称为矩估计法. 用矩估计法确定的估计量称为矩估计量. 相应的估计值称为据估计值. 矩估计量与矩估计值统称为矩估计.求矩估计的方法：设总体X 的分布函数),,;(1k x F 中含有k 个未知参数k,,1, 则(1) 求总体X 的前k 阶矩k,,1，一般都是这k 个未知参数的函数, 记为k i g ki i,,2,1),,,(1（*）(2) 从（*）中解得kjh kj j,,2,1),,,(1(3) 再用),,2,1(k ii 的估计量i A 分别代替上式中的i,即可得),,2,1(k i j的矩估计量:.,,2,1),,,(?1k j A A h k j j注：求,,,1k V V 类似于上述步骤，最后用kB B ,,1代替k V V ,,1，求出矩估计j?),,2,1(k I。
概率论与数理统计第6章参数估计
设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 ˆ ˆ(x1,的,取xn值) 作为 的 估计值， 称为ˆ的点估计（量），简称估计。 在这里如何构造统计量 并没有明ˆ确的规定，
只要它满足一定的合理性即可。这就涉及到 两个问题：
k阶原点矩 k的无偏估计。但对中心矩则不一样， 譬如，由于 E(s *2 ) ，n 样1本2 方差s*2不是总体方差 2
的无偏估计，对此，有n 如下两点说明：
(1) 当样本量趋于无穷时，有E(s*2) 2，
我们称 s*2 为 2的渐近无偏估计。
(2)
若对s*2作如下修正：
s2
个无偏估计为1
2X ,2
n 1 n
Xn
，判别1与2哪个有效 n
2时？
解：Var
1
Var
2X
4 n
2
12
2
3n
由
f
n
x
nxBiblioteka n1 n 00 x
其它
E
X
2
n
0
nxn1
n
dx
n
n
2
2
于是Var
第六章 参数估计
§6.1 点估计的概念与无偏性 §6.2 矩估计及相合性 §6.3 最大似然估计与EM算法 §6.4 最小方差无偏估计 §6.5 贝叶斯估计 §6.6 区间估计
一般常用 表示参数，参数 所有可能取值
组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
最小方差无偏估计
最小方差无偏估计⏹最小方差无偏估计的定义⏹RBLS定理⏹计算实例1. 最小方差无偏估计的定义对于未知常数的估计不宜采用最小均方估计,但可以约束偏差项为零的条件下,使方差最小。
定义：最小方差无偏估计定义为约束估计是无偏的条件下，使方差{}{}22ˆˆˆˆ()[()]()minVar E E E θ=θ-θ=θ-θ→估计的均方误差为22ˆˆˆˆ(){[]}()[()]Mse E Var E θ=θ-θ=θ+θ-θ偏差项估计方差在前面讨论的有效估计量是无偏的，且方差达到CRLB，所以有效估计量是最小方差无偏估计。
如果有效估计量不存在，如何求最小方差无偏估计呢？这时可利用RBLS定理求解。
2. RBLS(Rao-Blackwell-Lehmann-Scheffe)定理如果是一个无偏估计、是一个充分统计量，那么是：(1) θ的一个可用的估计(a valid estimator)；(2) 无偏；(3) 对所有的θ，方差小于等于的方差。
θ()T z ˆ(|())E T θ=θz θ如果充分统计量是完备的，则是最小方差无偏估计。
()T z ˆ(|())E T θ=θz 完备: 只存在唯一的T (z)的函数,使其无偏。
例1：高斯白噪声中未知常数的估计0,1,...,1i iz A w i N =+=-iw 其中是均值为零、方差为σ2高斯白噪声序列。
求最小方差无偏估计。
解：首先找一个无偏估计，很显然是无偏。
1A z =其次，求A 的充分统计量，由前面的例题可知，是A 的充分统计量。
1()N i i T z -==∑z 3. 计算举例接着求条件数学期望()ˆ|()AE A T =z 由高斯随机变量理论：1(|)()(,)(())(())E x y E x Cov x y Var y y E y -=+-2()~(,)T N NA N σz 而1121100(,())()N N i i i i Cov A T E z A z NA E w w --==⎧⎫⎧⎫⎛⎫=--==σ⎨⎬⎨⎬ ⎪⎩⎭⎝⎭⎩⎭∑∑z ()11221001ˆ|()()N N i i i i A E A T A N z NA z N ---==⎛⎫==+σσ-= ⎪⎝⎭∑∑z由于完备的充分统计量只存在一个唯一的函数使其无偏，所以最小方差无偏估计量也可以通过下面的方法求解：假定T(z)是完备的充分统计量，那么ˆ(())g T θ=z 在刚才的例题中，10()N ii T z -==∑z 2.1.3 计算举例例2: 假定观测为其中为独立同分布噪声，且,求均值θ=β/2的最小方差无偏估计。
2-3 最小方差无偏估计和有效估计
由定理 2.9
ˆ E(X |T ) X
ˆ 2 E (Sn | T ) Sn
2 2
，
。
分别是
2 和 惟一的最小方差无偏估计。
13
例 2.21
设 ( X1 , X 2 ,, X n ) 是来自总体 X 服从区间 (0, )
上均匀分布的一个样本。求 的最小方差无偏估计。
由式（2.19）得
ˆ1 | T ) E ( ˆ2 | T )] 0 ，对一切 。 E [ E (
由于T 是完备统计量，由定义 1.5 得
ˆ1 | T ) E ( ˆ2 | T )) 1，对一切 ， P ( E (
ˆ * E ˆ1 | T 是 的最小方差无偏估计。
ˆ1 ( X ) D[ L( X ) ˆ ( X )] DL( X ) D ˆ( X ) D ˆ ( X ) E ˆ ( X )] 2 E [ L( X ) EL( X )][
ˆ ( X ) D ˆ( X ) ， DL( X ) D
ˆ( X ) 是 的 MVUE。 故
是 的最小方差无偏估计。
16
1.最小方差无偏估计提供了一种优良的估计， 然而一个更深入的问题是：无偏估计的方差是否可 以任意小？如果不可以，那么它的下界是多少？这 个下界等否达到？
2. 要直接验证某个估计量是最小方差无偏估计量 是困难的. 若能求出无偏估计中方差的下界, 而且又 能说明参数 的一切无偏估计中存在某个估计 的 方差能达到这个下界，那么 就是 的最小方差无 偏估计. 下面给出一个判别准则：
即 的 充 分 偏 估 计 是 惟 一 的 。 再 由 定 理 2.8 知 ，
11
第三节一致最小方差无偏估计
I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念， 很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中性质显示，“
的信息越多
例1 设X 1 , X 2 , , X n 是来自b(1, p)的样本，则X是p 的充分统计量.求 p 2的无偏估计.
解
1, X 1 1, X 2 1; ˆ 构造估计 1 0, 其他.
ˆ ) P ( x 1, x 1) p p E ( 1 1 2 ˆ E ( ˆ | T t ) P ( ˆ 1| T t)
xp( x , y )dxdy EX
[ x ( y )]{ [ ( y ) ]h( x | y )dx } pY ( y )dy 0
[ x ( y )][ ( y ) ] pY ( y )h( x | y )dxdy
证明 2ln p( X ; θ )
E θ
2
2ln p( x; θ ) θ 2 p( x; θ )dx
1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )
1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
数理统计：最小方差无偏估计
2
Eˆ
2
2E
ˆ
Eˆ
Eˆ
=E
ˆ Eˆ
2
Eˆ
2
注意： 和Eˆ都是定值.
Var ˆ [Bias(ˆ)]2
定义：Bias(ˆ)=E(ˆ)
方差
随机误差 （有效性）
偏倚平方 系统误差 （无偏性）
7
为了说明UMVUE的计算方法，需要用到条件期望， 回顾如下。
1. 条件期望定义
若随机变量Y 在 X x 条件下的分布为 f ( y | x) ，且
则称
y f (y | x) , 或者 y f ( y | x)dy - y
E Y | X x y f ( y | x) (离散型)
ci为任意常数,i 0,1, , n
E
c0
n
ci
Xi
|
T
c0
n
ciE Xi | T
i1
i1
（2） E E X T EX . (重期望公式)
内层：给定T时，关于X求条件期望.
外层：是T的函数，关于T求期望。
11
(3) E[g(T)X|T]=g(T) E[X|T], 其中g(t)是任何实值函数；
E(X |Y y)
E(X |Y )
Y取确定值y的条件下
Y取值随机的条件下
若记 g( y) E( X |Y y), 则 g(Y ) E( X |Y ) 作为随机变量Y
的函数, 我们可称之为在给定Y的条件下X的条件期望, 它是随机变量.
最小方差无偏估计
最⼩⽅差⽆偏估计Last edited timeTags⽆偏估计量⽆偏估计意味着估计量的平均值为未知参数的真值：估计量的⽆偏性只是最优估计需要具备的其中⼀种性质，并不意味着⽆偏估计就是好的估计。
但是估计量有偏的话意味着永远⽆法收敛到真值。
例⼦如下：对于同⼀参数的多个可⽤估计，可以采⽤求平均的⽅式来获得⼀个性能更好的估计：⽐较⼀下⽆偏估计和有偏估计的不同结果：1. 如果每个估计量都⽆偏且⽅差相同互不相关:显⽽易⻅，随着可⽤估计数量n 的增多，估计值的⽅差和期望都将趋近于真实值。
2. 如果每个估计量都是有偏的：@March 4, 2023 4:24 PM E ()=θ^θ{,,…,}θ^1θ^2θ^n =θ^n 1i =1∑nθ^iE ()=θ^θvar ()=θ^var ()=n 21i =1∑nθ^i nvar ()θ^1意味着⽆论对多少估计量求平均都⽆法收敛到真值，这样的估计就是不好的估计。
最⼩⽅差准则寻找最佳估计量过程中除了⽆偏性以外，还需要其它⼀些评判准则，例如均⽅误差（mean square error, MSE ）:为了⽅便理解，将mse 写成单⼀变量的函数：说明mse 是由估计量的⽅差和偏差共同决定的。
要使得mse 最⼩需要对估计进⾏修正，但是修正系数与对应的估计量有关，任何与偏差有关的准则都推导不出可实现的估计量，因此我们通常需要限定在⽆偏性的条件下进⾏估计。
E ()=θ^i θ+b (θ)→E ()=θ^θ+b (θ)mse()=θ^E [(−θ^θ)]2mse ()θ^=E {[(−E ())+(E ()−θ)]}θ^θ^θ^2=var()+[E ()−θ]θ^θ^2=var()+b (θ)θ^2最⼩⽅差⽆偏估计（minimum variance unbiased, MVU ）：放弃最⼩MSE 估计，约束偏差为零，从⽽求出使⽅差最⼩的估计量，称为最⼩⽅差⽆偏估计量。
⽆偏估计量的MSE 正好是⽅差：最⼩⽅差⽆偏估计的存在性求最⼩⽅差⽆偏估计量即使MVU 存在，也有可能⽆法求出。
最小方差无偏估计
^
是 g(θ) 的 UMVUE 的充要条件为：
ˆ ,U ) E ( g ˆ U ) 0, U U 0 , Cov ( g
上述条件等价于 g(θ) 的 UMVUE g ( x) 与任意一个 0的无偏估计都不相关。
定义2.3.3：假如参数的无偏估计存在，则称此参数为
可估参数。 定义2.3.4：设 F ={p(x; θ): θ∈Θ}是一个参数分布族。 g(θ) 是 Θ 上的一个可估参数，Ug 是 g(θ) 的无偏估计类。 假如 g ( x) 是这样的一个无偏估计，对一切 g ( x) U ( g )， 有
^*
上式左端作为a的二次多项式，可求得： ˆ ( )) Cov 2 (U , g 左端最小值为 0 Var (U )
ˆ ( )) 0. 因此Cov (U , g
(充分性“” ) 设g ˆ ( )满足Cov ( g ˆ ,U ) 0， U U 0 , .
~( ) - g ˆ ( ), 对任意一个其它的无偏估计g ( ), 令U g ~( ) - g ˆ ( )为0的无偏估计。 则U g ~( )) Var (U g ˆ ( )) 则 : Var( g
但当估计类缩小时，一致最小均方差估计有可能存在。
三、一致最小方差无偏估计
由上一节知，一致最小均方误差估计不存在。我们现在把
范围缩小到无偏估计来考虑。 由 MSE 的定义可知无偏估计的均方误差就是方差。所以最
好的无偏估计就是方差最小的无偏估计。 这里我们将参数 θ 用其函数 g(θ) 代替，g(θ) 的估计用
均方误差要求系统偏差和随机误差越小越好
例2.3.3：设 x1, x2, …, xn是来自正态分布 N(μ, σ2) 的一个
补充：最小方差无偏估计和有效估计
1
ˆ ˆ ˆ D( L( X ) D ( X ) 2E( L( X ) EL( X ))( ( X ) E ( X )) ˆ ˆ D( L( X ) D ( X ) D ( X )
ˆ 因而， ( X )是的MVUE .
注
1 此定理是最小方差无偏估计的判别法，但无 法寻求最小方差无偏估计的存在性.
二、优效估计
• 统计量的方差不可以无限的小，存在下界。当其 方差达到下界，它一定是MVUE. 但最小方差无偏估 计不一定达到下界.
ˆ 如果 是的有效估计，则它也是最小方差无 偏估计。但反之却不成立。
定义2.8
ˆ 设 (或T ( X ))是 (或g( ))的一个无偏估计，若 1 [ g ' ( )]2 ˆ D( ) （或D(T ( X )) ） ) nI ( ) nI ( )
ˆ (或T ( X ))是 (或g( ))的有效估计
定义2.9
ˆ是的任一无偏估计，称e( ) (1 nI ( )) ˆ 设 ˆ D( ) ˆ ˆ 为估计量 的效率。显然0 e( ) 1.
ˆ ˆ 如果的无偏估计量 的效率满足 lim e ( ) 1
n
定义2.10
ˆ 则 ( X )是的MVUE, 其中X ( X1 , X 2 ,, Xn )T .
ˆ ˆ ˆ 设1( X )是的一个无偏估计，令L( X ) 1( X ) ( X ) ˆ ˆ 显然EL( X ) E(1( X ) ( X )) 0,同时 ˆ ˆ D ( X ) D( L( X ) ( X ))
设总体X的分布函数为F ( x , ), 是
未知参数，X ( X1 , X 2 , , X n )T 是来自总体X的一 个样本，如果T T ( X 1 , X 2 , , X n )是的充分完备 ˆ ˆ ˆ 统计量， 是的任一无偏估计，记 * E ( | T 此种估计，将变得非常有意 义.
小方差无偏估计和有效估计
04
比较与讨论
小方差无偏估计与有效估计的异同
定义
小方差无偏估计是指估计量不仅 无偏，而且具有最小方差的估计； 有效估计则是指具有最小均方误 差的估计。
性质
小方差无偏估计强调的是无偏性 和方差最小，而有效估计则关注 均方误差的最小化。
条件
小方差无偏估计要求估计量必须 是无偏的，而有效估计则要求在 所有无偏估计中具有最小均方误 差。
研究背景与意义
研究背景
在实际应用中，我们常常需要估计未知参数，而估计的准确性对于后续分析和决策至关重要。因此，寻找更优的 估计方法一直是统计学研究的重点。小方差无偏估计和有效估计作为两种重要的估计方法，在理论研究和实际应 用中都具有重要的地位。
研究意义
通过对小方差无偏估计和有效估计的研究，我们可以深入理解参数估计的本质，探索更优的估计方法，提高估计 的准确性和可靠性。这不仅有助于推动统计学理论的发展，还能为实际问题的解决提供更有效的工具。
小方差无偏估计和有效估 计
• 引言 • 小方差无偏估计 • 有效估计 • 比较与讨论
01
引言
定义与概念
小方差无偏估计
指估计量在所有无偏估计量中方差最 小，即除了要估计的参数真值外，其 它所有无偏估计量与该估计量的方差 之差达到最小。
有效估计
指在所有无偏估计量中，该估计量的 方差小于或等于其他任何无偏估计量 的方差，且与真实值之差的平方的期 望值最小。
未来研究方向与展望
研究方向
展望
未来研究可以进一步探讨小方差无偏估计和 有效估计的理论基础、性质和应用，以及如 何在实际问题中应用和改进这两种估计方法。
随着统计学和数据分析的不断发展，小方差 无偏估计和有效估计的应用范围将更加广泛， 理论体系将更加完善，为解决实际问题提供 更加有效的工具。
一致最小方差无偏估计量和最小方差无偏估计量
一致最小方差无偏估计量（UMVUE）和最小方差无偏估计量（MVUE）是统计学中重要的概念，它们在参数估计中起着关键的作用。
本文将针对这两个概念展开讨论，并探究它们在统计学中的重要性。
一、一致最小方差无偏估计量（UMVUE）1.1 UMVUE的定义一致最小方差无偏估计量是指在无偏估计量的基础上，使得方差达到最小的估计量。
在统计学中，我们常常需要对未知参数进行估计，而UMVUE则是通过对参数进行无偏估计的使得估计的方差达到最小。
1.2 UMVUE的重要性UMVUE具有很强的有效性，它不仅是无偏估计量，而且在一定的条件下，它的方差是所有可能的估计量中最小的。
UMVUE在统计学中具有非常重要的地位，它可以帮助我们更准确地估计未知参数，提高统计分析的精度。
1.3 UMVUE的计算UMVUE的计算需要依赖于样本分布和参数的性质，通常会涉及到一些复杂的数学推导和统计推断。
对于不同的参数和分布，需要针对具体情况来进行计算，这也是统计学中的一个研究热点。
二、最小方差无偏估计量（MVUE）2.1 MVUE的定义最小方差无偏估计量是指在所有无偏估计量中，使得方差达到最小的估计量。
与UMVUE类似，MVUE也是在保持无偏性的基础上，尽可能减小估计的方差。
2.2 MVUE的重要性MVUE在统计学中具有非常重要的作用，它可以帮助我们更准确地估计未知参数，并且提供了估计的方差的下限。
MVUE在参数估计的理论研究和实际应用中都具有重要的地位。
2.3 MVUE的计算MVUE的计算也需要依赖于具体的样本分布和参数的性质，通常需要借助于一些复杂的数学方法和统计推断。
针对不同的参数和分布，需要采用不同的计算方法，并且有时候需要进行一些特殊的推导。
三、UMVUE与MVUE的关系3.1 UMVUE与MVUE的一致性UMVUE与MVUE的概念在很大程度上是一致的，它们都是在无偏性的基础上，寻求使得估计的方差达到最小的估计量。
从某种程度上来说，UMVUE和MVUE是一致的，并且在一定的条件下，它们可能是等价的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
达到下界, 则T必为g( ) 的最小方差无偏估计. 但
是它不一定存在,也就是说,C-R不等式有时给出的 下界过小.
(3)当等号成立时， T 为达到方差下界的无偏估计, 此时称T 为g(θ)的有效估计。 有效估计一定是 UMVUE.（反之不真）
(2) I()的另一表达式为
I
(
)
E(
2
ln p(x; 2
)
),
(若
2
p(x; 2
)
存在)
例3 设总体为Poisson分布，即
p(x; ) x e , x 0,1, 2.....
x!
则 I ( ) 1 .
例4 设总体为指数分布Exp(1/θ)，即
p(x; ) 1 exp{ x}, x 0, 0.
(1)是实数轴上的一个开区间
(2) 支撑S {x | p(x; ) 0}与无关;
(3) p(x; ) 存在且对中一切 有
p(x; )dx
p( x; )
dx
(4) E( ln p(x; ))2 存在
则称
I
(
)
def
E(
ln
p(x;
)
)2
为总体分布的Fisher信息量.
注：
(1)I(θ)越大,总体分布中包含未知参数的信息越多。
估计. 反之,却不一定成立.
由此, 求证T是g()的有效估计的步骤为:
(1) 验证T是g( )的无偏估计,即E(T ) g( );
第六章第三节
最小方差无偏估计
一、Rao-Blackwell定理 二、最小方差无偏估计 三、 Cramer-Rao不等式
一、Rao-Blackwell 定理 优良的无偏估计都是充分统计量的函数.
定理1: 设X和Y是两个r.v.,EX=μ,VarX>0,令
(y) E(X | Y y) 则有
E(Y ) ,Var((Y )) Var(X )
其中等号成立的充要条件为X与 (Y)几乎处处相等.
将之应用在参数估计中可得:
定理2: 设总体的概率函数为p(x;θ), x1,L , xn
是样本,T T (x1,K , xn ) 是θ的充分统计量,
对θ的任一无偏估计 ˆ $(x1,K , xn ),令% E(ˆ | T ),则
% 也是的无偏估计,且Var% Varˆ
且对中一切有
n
g( ) L
T (x1, x2 ,L , xn )
p(xi ; )dx1 L dxn
的微分可在积分号下进行，即 i1
g '( ) L
T (x1, x2 ,L
,
xn
)
n
(
i 1
p(xi ; ))dx1 L
dxn
L
T (x1, x2 ,L
, xn )[
Cov ($,) 0,
则ˆ是的UMVUE. 反之亦成立.
例2
设 n
x1
,L
, xn 为来自Exp(1/θ) 的样本,则
T xi 为θ 的充分统计量,证明:
i1
x T 为θ的UMVUE. n
三、罗-克拉美（Cramer–Rao ）不等式
1、 Fisher信息量的定义.
设总体X 的概率函数为p(x; ),,且满足条件:
X ~ N(, 2),
I () 2
I() 1
I ( 2 ) 1 2 4
1
I
(,
2
)
2
0
0
1
2
4
2、定理4 (Cramer-Rao不等式)
设总体X 的概率函数为p(x ; ),, 满足上面定义中的
条g(件)的；一x1,个…无.,x偏n 是估来计自. 总体gX (的 )一个g样(本) 存, T在(x,1,….,xn )是
t(t 1)
n(n 1)
Var ($1 )
二、最小方差无偏估计
定义 设ˆ是的一个无偏估计量,若对于的任一方差 存在的无偏估计量°, 在参数空间,都有
Var(ˆ) Var(%) 则称ˆ是 的一致最小方差无偏估计,记为UMVUE.
注：一致最小方差无偏估计是一种最优估计.由定理2, 只要它存在.它一定是充分统计量的函数.一般地,若依赖 于充分统计量的无偏估计只有一个,它一定是UMVUE.
n
ln(
i 1
p(xi ; ))]
n
p(xi ; )dx1 L dxn
i 1
则有 Var(T ) [g特'(别)]地2 对θ的无偏估计有
nI ( )
Var(T ) 1
nI ( )
上述不等式的右端称为C-R下界, I() 为Fisher信息量.
注
(1) 定理对离散型总体也适用.只需改积分号为求和号。
注:定理2表明:若无偏估计不是充分统计量的函数,则将之
对充分统计量求条件期望可得一个新的无偏估计且为充分
统计量的函数,且方差会减小. 即, 考虑点估计只需在充
分统计量的函数中进行, 这就是 — 充分性原则.
例1: 设 (x1 ,L , xn ) 为来自b(1,p) 的样本, 求p2的U.E
解：前已求过: x(或T nx) 为p 的பைடு நூலகம்分统计量
则
I
(
)
1
2
.
注： 常见分布的信息量 I()公式
两点分布X ~ b(1,p)
I ( p) 1
P(X x) px (1 p)1x , x 0,1
p(1 p)
泊松分布 X ~ P(), 0.
I () 1
指数分布 X ~ Exp(), 正态分布 X ~ N(,1),
X ~ N(0, 2 ),
3. 有效估计
定义 设ˆ是的任一无偏估计量, 称
1
e($)
def
nI ( ) Var(ˆ)
为估计量ˆ的效率.
注:显然 得任一无偏估计量ˆ的效率满足 0 e(ˆ) 1
定义
如果的无偏估计量$的效率e($) 1则称$为的有效估计.
如果lim e(ˆ) 1则称ˆ为的渐近有效估计. n
注:如果ˆ是的有效估计,则它也是一致最小方差无偏
令θ=p2 ,则
进一步改进：
ˆ1
1
x1
0
1, x2 else
1
为θ的无偏估计.
n
因为 T xi是充分统计量 ,由定理2, 从而可令
i1 $=E($1 | T ) (T ),
(t
故
)=E(ˆ1 | T
$= T (T 1)
n(n 1)
n
t), 其中t xi 可得 (t)=
i 1
为θ的无偏估计.且 Var($)
Problem： 无偏估计的方差是否可以任意小? 如果不能任意小, 那么它的下界是什么?
定理3: (UMVUE准则)设 x1,L , xn是总体X的样本,
ˆ $(x1,K , xn ) 是θ的任一无偏估计, Var$
如果对任一个满足 E(x1,K , xn ) 0的(x1,K , xn ),都有