6.2点估计的评价标准
§6.2 估计量的评价标准 演示文稿3
所以
ES=E S E(
2
n ( ) n n 2 n 1 2 2 ( ) 2 n 1 2 n 1 2 ( ) 2 ( ) 2 2 2
n 1
Y)
EY1/ 2
注意到 当 n 时，Cn 1
所以， S 是的渐近无偏估计量。从而当样本容量 很大时，不经修正，S 也是 很好的估计量。
n n 1 2 n
ˆ 若对任意 0, lim P( n ) 1 成立，
n
ˆ 则称 n为的相合估计量。(一致估计量)
由定义可知， 估计量
P ˆ (未知参数） n
依据贝努里大数定律： 由辛钦大数定律
频率
i
n
是概率P的相合估计量，
1 n 样本均值 X i 是 EX的相合估计量。 n i 1
要使似然函数取最大值，要求的取值越小越好，
n
0 x i i 1, 2,.....n.
ˆ max X1 , X 2 .......Xn 的密度函数为
ˆ y n( y ) n 1 1 dy n E 0 n+1 ˆ max X1 , X2 .......Xn 不是的无偏估计量。
n 1 2 n (n 1) 2 2 ( ) n n2 n(n 2) 2 2 ˆ2 E 2 E 2 (n 1) 2 2 ˆ ˆ D n(n 2) n(n 2)
2
ˆ n+1 E( x ) n+1 n E (n ) n n n 1 ˆ 2 ( n+1) 2 E( x ) 2 ( n 1) 2 y 2 n( y ) n 1 1 dy E (n ) 0 n n
点估计法优劣评价标准
点估计法优劣评价标准点估计法是一种常见的统计方法，用于估计某个未知的参数。
在评价点估计法的优劣时，我们可以考虑以下标准：1. 准确性：准确性是衡量点估计法估计结果与真实值之间的差异大小的标准。
如果估计结果与真实值之间的差异很小，则说明该方法准确性高。
为了评估准确性，我们可以使用如均方误差（MSE）、均方根误差（RMSE）等指标。
2. 可靠性：可靠性是指点估计法在多次重复估计时能够稳定地得到合理结果的特性。
如果一个方法在多次重复估计时得到的结果不稳定，那么这个方法的可靠性就比较低。
为了评估可靠性，我们可以使用如置信区间、偏差和方差等指标。
3. 鲁棒性：鲁棒性是指点估计法在面对异常数据、缺失数据或错误假设时的稳健性。
如果一个方法在面对这些情况时结果仍然合理，那么它的鲁棒性就比较高。
为了评估鲁棒性，我们可以使用如Z-score、IQR等指标来衡量数据分布的异常值。
4. 效率：效率是指点估计法在计算上的复杂度和速度。
如果一个方法需要大量的计算资源和时间来得到结果，那么它的效率就比较低。
为了评估效率，我们可以使用如计算时间、所需的计算资源等指标。
5. 解释性：解释性是指点估计法得到的结果能够被理解和解释的程度。
如果一个方法得到的结果难以理解和解释，那么它的解释性就比较低。
为了评估解释性，我们可以考虑如结果呈现的清晰度、直观性等指标。
综上所述，对于点估计法的优劣评价，我们需要综合考虑准确性、可靠性、鲁棒性、效率和解释性等多个方面。
通过对这些标准的评估，我们可以全面了解点估计法的性能，并选择最适合我们数据和需求的点估计法。
6.2 决策的概念与决策过程——学习材料
决策的概念和作用（一）决策的概念随着管理科学的发展，人们对现代决策的认识越来越趋于一致。
所谓决策，就是为了实现某一目的而制定行动方案并从若干个可行方案中选择一个满意方案的分析判断过程。
这一定义表明：1、决策要有明确的目的决策或是为了解决某个问题，或是为了实现一定的目标，没有问题就无需决策，没有目标就无从决策。
因此，决策所要解决的问题必须是十分明确的，要达到的目标必须有一定的标准可资衡量比较。
2、决策要有着若干可行的备选方案如果只有一个方案，就无法比较其优劣，更没有可选择的余地，因此，“多方案抉择”是科学决策的重要原则。
决策时不仅要有若干个方案相互比较，而且决策所依据的各方案必须是可行的。
3、决策要进行方案的分析评价每个可行方案都有其可取之处，也存在一定的弊端，因此，必须对每个方案进行综合分析与评价，确定各方案对目标的贡献程度和所带来的潜在问题，比较各方案的优劣。
4、决策的结果是选择一个满意方案决策理论认为，最优方案往往要求从诸多方面满足各种苛刻的条件，只要其中有一个条件稍有差异，最优目标便难以实现。
所以，决策的结果应该是从诸多方案中选择一个合理的满意方案。
5、决策是一个分析判断过程决策有一定的程序和规则，同时它也受价值观念和决策者经验的影响。
因此，管理者要做出科学的决策，就必须不断提高自身素质，以提高自己的决策能力。
（二）决策的作用决策是管理者从事管理工作的基础，是衡量管理者水平高低的重要标志之一，它在管理活动中具有十分重要的地位和作用。
1、决策是管理的核心一切管理工作都是围绕管理目标进行的，而目标的选取要靠决策。
没有决策，就没有目标，管理活动就没有目的性错误，管理就会受挫。
所以，决策是管理的核心。
2、决策贯穿于管理的全过程首先，计划工作的每一个环节都涉及决策，如目标的确立、预测方法和分析方法的选取、行动方案的选择等都离不开决策；其次，组织、领导、控制等管理职能的发挥也离不开决策，如组织结构形式、领导方式的选取以及如何控制等，都需要通过决策来解决。
点估计的评价标准
点估计的评价标准在统计学中，点估计是利用样本数据来估计总体参数的方法。
在实际应用中，我们经常需要评价点估计的好坏，以确定其是否可靠。
本文将从准确性、一致性、有效性三个方面来评价点估计的质量。
首先，准确性是评价点估计的重要标准之一。
准确性指的是点估计的期望值与真实参数值的接近程度。
一个好的点估计应该是无偏的，即其期望值等于真实参数值。
此外，点估计的方差应该尽可能小，这意味着点估计的波动越小越好。
在实际应用中，我们可以通过模拟抽样来评价点估计的准确性，观察其抽样分布是否接近于总体分布，以及点估计的抽样分布是否集中在真实参数值附近。
其次，一致性是评价点估计的另一个重要标准。
一致性指的是当样本容量逐渐增大时，点估计逐渐接近真实参数值的性质。
换句话说，随着样本容量的增大，点估计的抽样分布应该逐渐集中在真实参数值附近。
一致性是评价点估计长期稳定性的重要标准，一个好的点估计应该是一致的，即在样本容量充分大时，能够准确地估计出真实参数值。
最后，有效性是评价点估计的另一个重要标准。
有效性指的是点估计的方差达到了克拉美罗下界，即在所有无偏估计中，方差最小的估计。
在实际应用中，我们可以通过计算不同点估计的方差来评价其有效性，方差越小，说明点估计的效率越高，估计结果越稳定。
综上所述，点估计的评价标准主要包括准确性、一致性和有效性三个方面。
在实际应用中，我们可以通过模拟抽样和计算方差等方法来评价点估计的质量。
只有在准确性高、一致性好、有效性强的情况下，我们才能够相信点估计的结果，从而进行科学的决策和预测。
因此，在实际应用中，我们需要充分考虑这些评价标准，选择合适的点估计方法，以确保估计结果的可靠性和准确性。
统计学 第 6 章 抽样与参数估计
第6章抽样与参数估计第6章抽样与参数估计6.1抽样与抽样分布6.2参数估计的基本方法6.3总体均值的区间估计6.4总体比例的区间估计6.5样本容量的确定学习目标理解抽样方法与抽样分布估计量与估计值的概念点估计与区间估计的区别评价估计量优良性的标准总体均值的区间估计方法总体比例的区间估计方法样本容量的确定方法参数估计在统计方法中的地位统计推断的过程6.1抽样与抽样分布什么是抽样推断概率捕样方法抽样分布抽样方法抽样方法概率抽样(probabilitysampling)也称随机抽样特点按一定的概率以随机原则抽取样本抽取样本时使每个单位都有一定的机会被抽中每个单位被抽中的概率是已知的，或是可以计算出来的当用样本对总体目标量进行估计时，要考虑到每个样本单位被抽中的概率简单随机抽样(simplerandomsampling)从总体N个单位中随机地抽取n个单位作为样本，每个单位入抽样本的概率是相等的最基本的抽样方法，是其它抽样方法的基础特点简单、直观，在抽样框完整时，可直接从中抽取样本用样本统计量对目标量进行估计比较方便局限性当N很大时，不易构造抽样框抽出的单位很分散，给实施调查增加了困难没有利用其它辅助信息以提高估计的效率分层抽样(stratifiedsampling)将抽样单位按某种特征或某种规则划分为不同的层，然后从不同的层中独立、随机地抽取样本优点保证样本的结构与总体的结构比较相近，从而提高估计的精度组织实施调查方便既可以对总体参数进行估计，也可以对各层的目标量进行估计系统抽样(systematicsainplmg)将总体中的所有单位(抽样单位)按一定顺序排列，在规定的范闱内随机地抽取一个单位作为初始单位，然后按爭先规定好的规则确定其它样本单位先从数字1到k之间随机抽取一个数字r作为初始单位，以后依次取r+k,r+2k…等单位优点：操作简便，可提高估计的精度缺点：对估计量方差的估计比较困难整群抽样(clustersampling)将总体中若干个单位合并为组(群)，抽样时直接抽取群，然后对中选群中的所有单位全部实施调查特点抽样时只需群的抽样框，可简化工作量调查的地点相对集中，节省调查费用，方便调查的实施缺点是估计的精度较差抽样分布总体中各元素的观察值所形成的分布分布通常是未知的可以假定它服从某种分布总体分布(populationdistribution)一个样本中各观察值的分布也称经验分布当样本容屋n逐渐增大时，样本分布逐渐接近总体的分布样本分布(sampledistribution)抽样分布的概念(samplingdistribution)抽样分布是指样本统计屋的分布，即把某种样本统计量看作一个随机变量，这个随机变屋的全部可能值构成的新的总体所形成的分布即为某种统计量的抽样分布.统计量:样本均值，样本比例，样本方差等样本统计量的概率分布是一种理论概率分布随机变量是样本统计量样本均值，样本比例，样本方差等结果来自容量相同的所有可能样本提供了样本统计量长远稳定的信息，是进行推断的理论基础，也是抽样推断科学性的重要依据对抽样分布的理解抽样分布:即不是总体分布，也不是样本分布，是根据所有可能样本计算的统计量的全部可能取值形成的分布样本均值的抽样分布容量相同的所有町能样本的样本均值的概率分布一种理论概率分布进行推断总体均值的理论基础样本均值的抽样分布样本均值的抽样分布（例题分析）【例】设一个总体，含有4个元素（个体），即总体单位数N=4。
点估计的评价标准
点估计的评价标准在统计学中，点估计是指利用样本数据对总体参数进行估计的方法。
点估计的评价标准是统计学中一个非常重要的问题，因为它直接关系到所得到的估计结果的准确性和可靠性。
在实际应用中，我们常常需要对总体参数进行估计，比如平均值、方差、比例等，而点估计就是用来解决这个问题的。
对于点估计的评价标准，主要有无偏性、有效性和一致性三个方面。
首先，无偏性是评价点估计的重要标准之一。
无偏性是指在重复抽样的情况下，样本估计量的数学期望等于总体参数的真值。
换句话说，就是样本估计量的平均值等于总体参数的真值。
如果一个估计量是无偏的，那么它的抽样分布的中心值将会接近总体参数的真值。
无偏性是一个估计量的一个重要性质，因为它能够保证在大量重复抽样的情况下，估计结果不会出现系统性的偏差。
其次，有效性是评价点估计的另一个重要标准。
有效性是指在所有可能的总体分布下，一个估计量的方差最小。
换句话说，就是在所有可能的估计量中，方差最小的那个估计量是最有效的。
有效性是一个估计量的一个重要性质，因为它能够保证在给定样本量的情况下，估计结果的精确度最高。
最后，一致性是评价点估计的另一个重要标准。
一致性是指当样本量逐渐增大时，估计量趋向于总体参数的性质。
换句话说，就是当样本量足够大的时候，估计结果将会越来越接近总体参数的真值。
一致性是一个估计量的一个重要性质，因为它能够保证在大样本量的情况下，估计结果的稳定性和可靠性。
综上所述，无偏性、有效性和一致性是点估计的评价标准。
在实际应用中，我们需要根据具体的情况来选择合适的估计方法，并且对所得到的估计结果进行评价。
只有在估计结果具有无偏性、有效性和一致性的情况下，我们才能够对总体参数进行准确和可靠的估计。
因此，对于点估计的评价标准，我们必须严格把关，确保所得到的估计结果是具有统计学意义的。
6.2点估计的评价标准
6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。
6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。
相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。
通常，不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证。
若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。
例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计；2s 也是2σ的相合估计。
由此可见参数的相合估计不止一个。
在判断估计的相合性时下述两个定理是很有用的。
点估计的评价标准
例6.2.7 均匀总体U(0, )中 的极大似然估计是x(n) 由于 ，所以x(n)不是 的无偏估计，而是 的渐近无偏估计。经过修偏后可以得到 的一个无 偏估计： 。且
另一方面，由矩法我们可以得到 的另一个无偏 估计 ，且 由此，当n>1时， 比 有效。
6.2.4
均方误差
无偏估计不一定比有偏估计更优。 评价一个点估计的好坏一般可以用：点估计值 与参 数真值 的距离平方的期望，这就是下式给出的均方 误差
量序列,相合性就是 依概率收敛于,所以证明
估计的相合性可应用依概率收敛的性质及各种
大数定律。
在判断估计的相合性时下述两个定理是很有用的。 定理6.2.1 设ˆn ˆn ( x1 , , x n ) 是 的一个估计量， ˆn ˆn ( x1 , , x n ) 若 lim E ˆn , lim Var ˆn 0,
由定理6.2.1可知，x(n)是 的相合估计。
由大数定律及定理6.2.2，我们可以看到： 矩估计一般都具有相合性。比如：
样本均值是总体均值的相合估计；
样本标准差是总体标准差的相合估计；
样本变异系数是总体变异系数的相合估计。
6.2.2
无偏性
定义6.2.2
设 ˆ ˆ ( x , , x ) 是 的一个估计， 1 n 的参数空间为Θ，若对任意的∈Θ，有
均方误差是评价点估计的最一般的标准。我们希望 估计的均方误差越小越好。
注意到
MSE ( ) Var( ) ( E )
ˆ )=Var( ˆ )+(E ˆ - )2 . MSE(
2
(1)
若 ˆ是 的 无 偏 估 计 , 则 M SE ((ˆ ) Var) (ˆ ), ) Var( ˆ M SE
六西格玛 第6章 分析(含补充参考答案)
第6章 分析
LSL -6σ
Cp: 2.0 cpk: 1.5
USL
x-
+6σ
分析阶段概述
6 Sigma
1．分析阶段工作内容
（1）流程分析。流程步骤的详细分析，如绘制微观流程图，明晰每 一个关键步骤的KPIV和KPOV。区分出哪些是 增用基本描述性统计图表，如直方图、柏拉图 、散点图、饼图、雷达图等，对输入变量的影响做初步评价；运用多 变异图比较多个X的影响，直观的看哪些关键X重要，哪些不重要。
6.2.2 点估计和区间估计
6 Sigma
置信水平：如果将构造置信区间的步骤重复多次，置信区间中包含总体 参数真值的次数所占的比率，称为置信水平，或称为置信系数。
在构造置信区间时，比较常用的置信水平为90%、95%、99%三种， 分别对应显著性水平α 为0.1、0.05、0.01。
置信区间的宽度随置信系数的增大而增大。
X
μ
σ X Z1α / 2 n
σ X Z1α / 2 n
9
6.2.2 点估计和区间估计
如果抽取的样本均值如
X
图所示，则以
样本均值 X 为中心， σ
以 Z1α / 2 n 为半区
间宽度构造的置信区间 没有包含总体均值μ。
6 Sigma
σ X Z1α / 2 n
μσ X Z1α / 2 n
10
σ Z1α / 2 n
μ Z1α / 2
σ n
μ
1-α
σ Z1α / 2 n
μ Z1α / 2
σ n
8
6.2.2 点估计和区间估计
实际工作中，只进行一 次抽样，如果抽取的样 本均值如图所示，则以
样本均值 X 为中心，
62 点估计的评价标准
通过此例题,我们看到,要证明一个估计量具有相 合性,必须证明它依概率收敛,这有时很麻烦.因此,我们 下面我们不加证明的给出一个相合性的判定定理.
17
ˆ 是的 定 理 6 .1 设 个 估 计 量 ,若 n 一 ˆ ) ˆ )0 lim E ( , 且 lim V a r (
2 C (X X ) i 1 i i 1 n 1
为Var (X)的无偏估计. 分析 需选择C，使
2 E [ C ( X X )] V a rX ( ) i 1 i i 1 n 1
6
2 2 C E ( X X ) E [ C ( X X ) ] 解 i1 i i 1 i
证
k k 故有 E ( X ) E ( X ) ,i 1 , 2 , , n . i k
因为 X , X , , X 与 X 同分布， 1 2 n
1n k k. 即 E ( A ) E ( X k i) n i 1
故 k 阶 样 本 矩 A 是 k 阶 总 体 矩 的 无 偏 估 计 . k k
16
故B A X 2 2
2
2 2 依概率收敛于 E ( X ) [ E ( X )] 2,
所 以 B 是 的 相 合 估 计 量 . 2 n 又 lim 1 , n n 1 n 2 2 所 以 S B 也 是 的 相 合 估 计 量 . n 2 n 1
2
V a r ( X X ) V a r ( X ) V a r ( X ) 2 V a r ( X ) i 1 i i 1 i
E ( X X ) E ( X ) E ( X ) 0 i 1 i i 1 i
华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计
13 January 2016
华东师范大学
第六章 参数估计
第17页
解 似然函数
L( ) 1
n
I
i 1
n
{0 xi }
1
n
I{ x
( n ) }
要使L( )达到最大，首先一点是示性函数取值 n n 应该为1，其次是1/ 尽可能大。由于1/ 是 的单调减函数，所以 的取值应尽可能小，但 示性函数为1决定了 不能小于x(n)，由此给出 ˆx 。 的极大似然估计： (n)
由此即可得到a, b的矩估计：
ˆ x 3s, a
13 January 2016
ˆ x 3s b
华东师范大学
第六章 参数估计
第9页
6.1.2 极(最)大似然估计
定义6.1.1 设总体的概率函数为P(x; )，是参 数 可能取值的参数空间，x1, x2 , …, xn 是样本， 将样本的联合概率函数看成 的函数，用L( ; x1, x2, …, xn) 表示，简记为L( )，
华东师范大学
第六章 参数估计
第19页
例6.1.9 设 x1 , x2 , …, xn是来自正态总体N( , 2) 2 ， 的样本，则和 2的极大似然估计为 x , s *2 于是由不变性可得如下参数的极大似然估计，它 们是:
ˆ s*； 标准差 的MLE是
另外，由于Var(X)=1/ ，其反函数为 1/ Var( X ) 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的， 这是矩法估计的一个缺点，此时通常应该尽量采 用低阶矩给出未知参数的估计。
13 January 2016
统计推断包括参数估计和假设检验(精)
有lim P{ m p } 1
n n
这个定理说明了：当观察次数n很大时，用 某随机现象在大量观察中发生的实际频率来 代替该现象发生的真实概率差别是很小的。
定理6.3：设X
1
,
X
2
.
.
..
.
..X.
是独立同分布变量，
n
且每个随机变量服从正态分布N (, 2 ).
若有：E[(1 )2]<E[(2 )2]
1 比2 好
1为无偏估计量，3的方差最小， ˆ3的抽样分布
但MSE(ˆ2 )最小
（Var(ˆ3 )最小）
ˆ2的抽样分布
（有偏的估计量）
ˆ1的抽样分布
(无偏估计量)
E（ˆ1）E（ˆ2）
Bias(ˆ3 )
估计量
E（ˆ3）
n i 1
E( X i )
1 n
nE( X )
E( X )
E(S 2 )
E( 1 n 1
n i 1
(Xi
X
)2 )
1 [E n 1
n i 1
(Xi
X
)2]
D(X )
如果统计量为Sn2
1 n
n i1
(Xi
X
)2 , 则E(Sn2 )
D( X
)
此时，E(Sn2
我们把被观察对象的全体称作总体，把从总 体中按照随机原则抽出的个体组成的小群体 称为样本，而样本中所包含的个体数称为样 本容量。
1.总体和样本
设X是一个随机变量，X1，X2 ,......,Xn是一组相互独立与X 具有相同分布的随机变量，称X为总体.X1，X2 ,......,Xn为 来自总体的简单随机样本，简称样本，n为样本容量， 称样本观察值为样本值。
点估计的评价标准
点估计的评价标准点估计是统计学中的一个重要概念，它是指通过样本数据估计总体参数的值。
在实际应用中，我们经常需要对总体参数进行估计，以便做出合理的决策。
而如何评价点估计的好坏，是统计学中的一个关键问题。
本文将从准确性、一致性、有效性等方面，对点估计的评价标准进行探讨。
首先，我们来谈谈点估计的准确性。
准确性是评价一个点估计方法好坏的重要标准。
一个好的点估计方法应该能够尽可能接近真实的总体参数值。
在评价准确性时，我们通常使用均方误差、偏差、方差等指标来进行评估。
均方误差是指估计值与真实值之间的平方差的期望值，偏差是指估计值与真实值之间的差值的期望值，方差则是用来衡量估计值的离散程度。
因此，一个准确的点估计方法应该具有较小的均方误差、偏差和方差。
其次，我们来谈谈点估计的一致性。
一致性是指当样本容量趋于无穷大时，点估计值趋于总体参数值的性质。
在评价一致性时，我们通常使用渐进性、相合性等指标来进行评估。
渐进性是指当样本容量趋于无穷大时，点估计值以概率1收敛于总体参数值，相合性则是指当样本容量趋于无穷大时，点估计值以概率收敛于总体参数值。
因此，一个一致的点估计方法应该具有较强的渐进性和相合性。
最后，我们来谈谈点估计的有效性。
有效性是指在所有可能的估计方法中，具有最小的方差的性质。
在评价有效性时，我们通常使用克拉美洛-拉奇下界等指标来进行评估。
克拉美洛-拉奇下界是指在所有无偏估计中，方差最小的下界。
因此，一个有效的点估计方法应该具有较小的方差。
综上所述，点估计的评价标准包括准确性、一致性和有效性。
一个好的点估计方法应该在这三个方面都具有较好的性能。
在实际应用中，我们需要根据具体的问题和数据特点，选择合适的点估计方法，并通过准确性、一致性和有效性等指标对其进行评价，以便得到合理的估计结果。
希望本文对点估计的评价标准有所帮助。
参数估计
第六章 参数估计一、教材说明本章内容包括参数估计中基本的概念、参数估计的两种方法及评价估计量的四个标准.它们是参数估计最基本的内容,是以后学习参数估计其他内容的基础.1、 教学目的与教学要求(1) 使学生了解参数估计中最基本的点估计及相关概念; (2) 使学生掌握矩估计及最大似然估计的方法;(3) 使学生掌握评价估计量优劣的四个标准,尤其是前三个标准; (4) 使学生了解矩估计、最大似然估计的原理. 2、 本章的重点本章重点是求未知参数的矩估计与最大似然估计的方法以及如何对求出的估计量的优良性进行评价.二、教学内容本章主要分2节来讲述.一、参数估计问题这里所指的参数是指如下三类未知参数：1、 类型已知的分布中所含的未知参数θ.如二点分布b(1, p )中的概率p ；正态分布),(2σμN 中的μ和2σ;2、 分布中所含的未知参数θ的函数：如正态分布),(2σμN 的变量X 不超过给定值a 的概率)()(σμ-Φ=≤a a X P 是未知参数σμ,的函数；3、 分布的各种特征数也都是未知参数，如均值EX ，方差VarX ，分布中位数等等. 一般场合，常用θ表示参数，参数θ所有可能取值的集合称为参数空间，记为Θ.参数估计问题就是根据样本对上述各种参数做出估计.二、概率函数总体X 的概率函数),(θx p 是指：当X 为离散型总体时，),(θx p 就是总体的分布列；当X 为连续性总体时，),(θx p 就是总体的密度函数.三、参数估计形式分为点估计与区间估计.设n x x x ,,,21 是来自总体的样本，我们用一个统计量),,(1^^n x x θθ=的取值作为θ的估计值，^θ称为θ的点估计量，简称估计.若给出参数θ的估计是一个随机区间),(θθ，使这个区间),(θθ包含参数真值的概率大到一定程度，此时称),(θθ为参数θ的区间估计.§6.1点估计的几种方法教学目的：要求学生了解参数点估计的基本思想，理解参数点估计的基本概念，熟练运用替换原理、矩法估计和最大似然估计对参数进行估计.教学重点：矩法估计、最大似然估计.教学难点：运用矩法估计、最大似然估计对参数进行估计.教学内容：本节内容包括替换原理及矩法估计，最大似然估计.6.1.1 替换原理及矩法估计用样本矩去替换总体矩（矩可以是原点矩也可以是中心矩），用样本矩的函数去替换总体矩的函数，这就是替换原理.用替换原理得到的未知参数的估计量称为矩法估计.注 矩法估计适用于总体分布形式未知场合，因此只要知道总体相应的矩即可，而不必知道其具体分布. 一 矩法估计在总体分布位置的情况下，用样本矩去替换总体矩 如 用样本均值x 估计总体均值()E X ，即^()=E X x . 用样本方差2n s 估计总体方差Var()X ，即^2ar()=s n V X用事件A 出现的频率 估计事件A 发生的概率用样本p 分位数估计总体的p 分位数,特别地，用样本中位数去估计总体中位数. 例6.1.1 对某型号的20辆汽车记录其每5L 汽油的行驶里程，观测数据如下： 29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0 27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0 29.1 29.8 29.6 26.9经计算可得=28.695x ，2=0.9185n s ，0.5=28.6m ，由此给出总体均值，方差和中位数的估计分别为28.695,0.9185,28.6.二 概率函数),(θx p 已知时未知参数的矩法估计设总体的概率函数)(1k x p θθ，，； ，Θ∈),,(1k θθ 是未知参数，n x x x ,,,21 是 总体X 的样本，若）（kX E 存在，则）（jX E k j ,<∀存在.设k j X E k j j j ,,2,1),,,(1 ===θθνμ）（，如果k θθ,,1 也能够表示成k μμ,,1 的函数k j k j j ,,2,1),,,(1 ==μμθθ，则可给出j θ的矩估计量为k j a a k j j ,,2,1),,,(ˆˆ1 ==θθ，其中k j x n a n i ji j ,,2,1,11==∑=设),,(1k g θθη =是k θθ,,1 的函数，则利用替换原理可得到η的矩估计量)ˆ,,ˆ(ˆ1kg θθη =，其中j θˆ是j θ的矩估计，k j ,,2,1 =. 例6.1.2 设总体为指数分布，其密度函数为0,);(>=-x e x p xλλλ，n x x x ,,,21 为样本，0>λ为未知参数，求λ的矩估计.解 λλ1),(~=∴EX Exp X ，EX 1=∴λ，x1ˆ=∴λ为λ的矩估计. 注 21),(~λλ=∴VarX Exp X ，VarX1=∴λ SS 11ˆ2==∴λ也为λ的矩估计.因此矩估计不唯一，此时，尽量采用低阶矩给出未知参数的估计.例6.1.3 设总体],[~b a U X ，n x x x ,,,21 为样本，求b a ,的矩估计.解 12)(,2],,[~2a b VarX b a EX b a U X -=+=∴ 由⎪⎩⎪⎨⎧-=+=12)(22a b VarX b a EX ，得⎩⎨⎧+=-=VarX EX b VarX EX a 33， 所以b a ,的矩估计为ˆˆax b x ⎧=-⎪⎨=⎪⎩三 矩估计的步骤（1）计算总体的各阶矩jEX ，k j ,,2,1 =，令k j EX k j j j ,,2,1),,,(1 ===θθνμ；（2）解出j θ，即k j k j j ,,2,1),,,(1 ==μμθθ；（3）令k j a a k j j ,,2,1),,,(ˆˆ1 ==θθ，其中k j x n a n i ji j ,,2,1,11==∑=；（4）若),,(1k g θθη =，则)ˆ,,ˆ(ˆ1k g θθη =为η的矩估计量. 6.1.2 最大似然估计最大似然原理一个试验有若干个可能的结果A ，B ，C ， ，若在一次试验中结果A 出现，则一般认为试验条件对结果A 出现有利，也即A 出现的概率最大.例6.1.4 设有外形完全相同的两个箱子，甲箱有99个白球和一个黑球，乙箱有99个黑球和一个白球，今随机抽取一箱，并从中随机抽取一球，如果取出白球，问这球是从哪一箱取出的？解 从甲乙两箱均可取出白球，但计算得P （取出白球甲箱）10099=〉〉P （取出白球乙箱）1001= 据最大似然原理，则认为该球是从甲箱取出的.例 6.1.5 产品分为合格品和不合格品两类，用随机变量X 表示某个产品是否合格，0=X 表示合格品，1=X 表示不合格品，从而),1(~p b X ，其中p 未知是不合格品率，现抽取n 个产品看是否合格，得到样本n x x x ,,,21 ，这批观测值发生的概率为：∑-∑=-=========-=-=∏∏ni ini iiix n x ni x x ni i i n n p pp p x X p x X x X x X p p L 11)1()1()(),,,()(1112211当n x x x ,,,21 已知时，)(p L 仅是p 的函数，既然一次抽样观测到n x x x ,,,21 ，此时应认为试验条件对该组样本的出现有利，即该组样本出现的概率最大，从而可求出当p =？时)(p L 达到最大，此时把求出的p =？做为参数p 的估计就得到p 的最大似然估计，问题转化为求)(p L 的最大值点.如果总体为连续型的，求未知参数的最大似然估计仍可转化为求)(p L 的最大值点问题.为此给出似然函数与最大似然估计的定义. 似然函数与最大似然估计定义 6.1.1 设总体X 的概率函数为Θ∈θθ),;(x p 是一个未知参数或几个未知参数组成的参数向量, n x x x ,,,21 为来自总体X 的样本，称样本的联合概率函数为似然函数，用),,;(1n x x L θ表示，简记为)(θL ，即∏===ni i n x p x x L L 11),(),,;()(θθθ如果统计量),,,(ˆˆ21nx x x θθ=满足 )(max )ˆ(θθθL L Θ∈= 则称),,,(ˆˆ21nx x x θθ=是θ的最大似然估计，简记为MLE. 由于x ln 是x 的单调增函数，因此对数似然函数)(ln θL 达到最大与似然函数)(θL 达到最大是等价的.求最大似然估计的两种方法 (1)似然方程法当)(θL 是可微函数时，)(θL 的极大值点一定是驻点，从而求最大似然估计往往借助于求下列似然方程（组）0)(ln =∂∂θθL 的解得到，而后利用最大值点的条件验证求出的是最大值点.例6.1.6 设一个试验有三种可能结果，其发生概率分别为23221)1(),1(2,θθθθ-=-==p p p ，现做了n 次实验，观测到三种结果发生的次数分别是321,,n n n ，求θ的最大似然估计.解 略.例6.1.7对正态总体),(2σμN ，),(2σμθ=是二维参数, n x x x ,,,21 为其样本，求2,σμ的最大似然估计.解：R x ex f X x ∈=--222)(21),;(~σμσπσμ所以似然函数为：∏=----∑===-ni x ni i ni x eeL 1)(22122212222)()2(21),(μσσμπσσπσμ取对数：∑=--+-=ni ixn L 12222)(21)ln 2(ln 2),(ln μσσπσμ分别对μ，2σ求导数：⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==n i i ni i x n L x L 12422120ˆ)(212)(ln 0ˆ)(1)(ln μσσσμσμ )2()1(由（1）11n i i x x n =⇒μ==∑，代入（2）2221111()()n n i i i i x x x n n ==⇒σ=-μ=-∑∑∴2,σμ的极大似然估计值分别为： x x n n i i ==∑=11ˆμ；∑=-=n i i x x n 122)(1ˆσ 2,μσ的极大似然估计量分别为：11ˆn i i X x n μ===∑，222*11ˆ(-)n i i x x s n σ===∑ （2）定义法虽然求导函数是求最大似然估计量最常用的方法，但并不是所有场合求导都是有效的. 例6.1.8 设n x x x ,,,21 是均匀分布),0(~θU X 的样本，求θ的最大似然估计. 解：由已知X 概率函数为10(,)=0x p x θθθ⎧<≤⎪⎨⎪⎩，，其它（θ＞0）设n x x x ,,,21 为取自X 的样本则，()11,0<()=;0,ni ni i x L f x θθθθ=⎧≤⎪=⎨⎪⎩∏其它⎪⎩⎪⎨⎧≤≤<=≤≤≤≤其它,0}{}{min 0111θθi ni i ni n x man x ，由于(,)p x θ与θ有关，不存在易解的似然方程，我们由定义，找)(θL 的最大值点，由)(θL 的表达式，θ越小nL θθ1)(=就越大因)(}{max n i L x x =≥θ，所以)(n x =θ时)(θL 达极大. 最大似然估计的不变性性质 如果θˆ是θ的最大似然估计，则对任一函数)(θg ，)ˆ(θg 是)(θg 的最大似然估计. 注 上述性质称为最大似然估计的不变性，从而使求复杂结构的参数的最大似然估计变得容易，具体应用略.例6.1.9 对正态总体),(2σμN ，),(2σμθ=是二维参数, n x x x ,,,21 为其样本，已知2,σμ的最大似然估计：11ˆn i i X x n μ===∑，222*11ˆ(-)n i i x x s n σ===∑，有最大似然估计的不变性可得标准差σ的MLE 为2*ˆs σ=， 概率3-(<3)=()P X μσΦ的MLE 为*3-()xsΦ， 总体0.90分位数0.900.90=+x u μσ⋅的MLE 为*0.90+x s u ⋅.§6．2点估计的评价标准教学目的：要求学生了解相合性、无偏性、有效性和均方误差的基本思想，理解相合性、无偏性、有效性和均方误差的基本概念，熟练掌握相合性、无偏性和有效性的判别方法.教学重点：相合估计、无偏估计和有效性.教学难点：如何确定相合估计、无偏估计和有效性.教学内容：本节内容包括相合性，无偏性，有效性和均方误差.我们已经看到，点估计有各种不同的求法，为了在不同的点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量使用不同的评价标准可能会得到完全不同的结论，因此，在评价某一个估计好坏时，首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准是所有的估计都应该满足的，它是衡量估计是否可行的必要条件，这就是估计的相合性.6.2.1 相合性定义6.2.1 设Θ∈θ为未知参数，),,,(ˆˆ21nn n x x x θθ=是θ的一个估计量，n 是样本容量，若对任一0>ε 有0)ˆ(lim =>-∞→εθθnn P 即),,,(ˆˆ21n n n x x x θθ=依概率收敛于θ，则称),,,(ˆˆ21nn n x x x θθ=为θ的相合估计. 相合性被认为是对估计的一个最基本要求，如果一个估计量在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计是很值得怀疑的，通常，不满足相合性要求的估计一般不予考虑.注 证明估计的相合性一般可应用大数定律或直接用定义来证，有时借助于依概率收敛的性质.例6.2.1设n x x x ,,,21 是来自正态总体),(2σμN 的样本，则由辛钦大数定律及依概率收敛的性质知 ：x 是μ的相合估计，*2s 是2σ的相合估计，2s 也是2σ的相合估计.相合性的判别定理定理6.2.1 设),,,(ˆˆ21nn n x x x θθ=是θ的一个估计量，若 0ˆlim ,ˆlim ==∞→∞→nn n n Var E θθθ 则),,,(ˆˆ21nn n x x x θθ=是θ的相合估计. 证明 由切比雪夫不等式知：0>∀ε有22)ˆ()ˆ(εθθεθθ-≤≥-nnE P222ˆ2ˆ)ˆ(θθθθθθ+-=-）（）（n n n E E E 22ˆ2)ˆˆθθθθθ+-+=）（（）（n n n E E Var=-∴∞→2)ˆ(lim θθn n E ]ˆ2)ˆ(ˆ[lim 22θθθθθ+-+∞→nn n n E E Var 02022=+⨯-+=θθθθ 所以 0)ˆ(lim )ˆ(lim 022=-≤≥-≤∞→∞→εθθεθθn n n n E P 所以0)ˆ(lim =≥-∞→εθθnn P .例 6.2.2 设n x x x ,,,21 是均匀分布),0(~θU X 的样本，证明：θ的最大似然估计)(ˆn x =θ是θ的相合估计. 分析 直接验证定理6.2.1的条件.证明 略.定理 6.2.2 若nk n n θθθˆ,,ˆ,ˆ21 分别是k θθ,,1 的相合估计，),,(1k g θθη =是k θθ,,1 的连续函数，则)ˆ,,ˆ(ˆ1nkn n g θθη =是),,(1k g θθη =的相合估计， 证明 略.例 6.2.3 设一个试验有三种可能结果，其发生概率分别为23221)1(),1(2,θθθθ-=-==p p p ，现做了n 次实验，观测到三种结果发生的次数分别是321,,n n n ，n n n n =++321证明：n n 11ˆ=θ，,1ˆ32n n -=θnn n 2ˆ213+=θ均是θ的相合估计.分析 直接验证定理6.2.2的条件. 证明 略.6.2.2 无偏性定义6.2.2 ),,,(ˆˆ21nx x x θθ=是θ的一个估计，Θ∈θ，若对Θ∈∀θ，有θθ=ˆE ，则称),,,(ˆˆ21nx x x θθ=是θ的无偏估计，否则称为有偏估计. 注 相合性是大样本所具有的性质，而无偏性对一切样本均可以用.无偏性可以改写成0)ˆ(=-θθE ，这表明无偏估计没有系统偏差，当我们使用),,,(ˆˆ21n x x x θθ=估计θ时，由于样本的随机性，),,,(ˆˆ21nx x x θθ=与θ总是有偏差的，这种偏差时而正，时而负，时而大，时而小，无偏性表示，把这些偏差平均起来其值为零，这就是无偏性的含义.例6.2.4 对任一总体而言，当总体的k 阶矩k μ存在时，样本的k 阶原点矩k a 是总体的k 阶矩k μ的无偏估计.当总体的2阶矩存在时，样本方差∑=--=ni i x x n S 122)(11是总体方差VarX 的无偏估计，但∑=-=ni i x x n S122*)(1不是总体方差VarX 的无偏估计. 注 无偏性不具有不变性，即若),,,(ˆˆ21nx x x θθ=是θ的一个无偏估计，一般而言)ˆ(θg 不是)(θg 的无偏估计，除非)ˆ(θg 是θˆ的线性函数.例6.2.5 设正态总体~X ),(2σμN ，,n x x x ,,,21 为其样本，∑=--=ni i x x n S 122)(11是2σ的无偏估计，证明：2S S =不是σ的无偏估计.证明 略.注 （1）无偏估计可以不存在；（2）无偏估计可以不唯一；（3）无偏估计未必是一个好的估计.具体例子略.6.2.3 有效性参数的无偏估计可以有很多，如何在无偏估计中进行选择？直观的想法是希望该估计围绕在参数真值的波动越小越好，波动大小可用方差来衡量，因此人们常用无偏估计的方差的大小作为度量无偏估计优劣的标准，这就是有效性.定义6.2.3 设21ˆ,ˆθθ是θ的两个无偏估计，如果对任意的Θ∈θ，有 )ˆ()ˆ(21θθVar Var ≤ 且至少有一个Θ∈θ使得上述不等式严格成立，则称1ˆθ比2ˆθ有效.例 6.2.6 设n x x x ,,,21 为取自某总体的样本，记总体均值为μ，总体方差为2σ，则11ˆx =μ，x =2ˆμ都是μ的无偏估计，且1ˆμ比2ˆμ有效. 证明 略.例 6.2.7 设n x x x ,,,21 为取自),0(~θU X 总体的样本，对θ的两个无偏估计)(211ˆ,2ˆn x nn x +==θθ，证明：1ˆθ比2ˆθ有效. 证明 略.6.2.4 均方误差无偏估计是估计的一个优良性质，对无偏估计我们还可以通过其方差进行有效性的比较，然而不能由此认为：有偏估计一定是不好的估计，在有些场合，有偏估计比无偏估计更优，这就涉及如何对有偏估计进行评价.一般而言，在样本量一定时，评价一个点估计的好坏使用的度量指标总是点估计值),,,(ˆˆ21nx x x θθ=与参数真值θ的距离的函数，最常用的函数是距离的平方.由于具有随机性，可以对该函数求期望，这就是下式给出的均方误差2)ˆ()ˆ(θθθ-=E MSE 简单的推导可得到2)ˆ()ˆ()ˆ(θθθθ-+=E Var MSE 若θθ=ˆE ，则)ˆ()ˆ(θθVar MSE =.当),,,(ˆˆ21n x x x θθ=不是θ的无偏估计时，对均方误差)ˆ(θMSE ，不仅要看其方差的大小，还要看偏差大小.在均方误差的标准下，有些有偏估计优于无偏估计.例 6.2.8 设n x x x ,,,21 为取自),0(~θU X 总体的样本，在均方误差的标准下，)(012ˆn x n n ++=θ是θ的有偏估计，但)(012ˆn x n n ++=θ要优于)(11ˆn x nn +=θ这个无偏估计. 证明 略.§6.3 最小方差无偏估计教学目的：要求学生了解最小方差无偏估计的基本思想，理解最小方差无偏估计的基本概念，能用零无偏估计法判别最小方差无偏估计.能计算总体分布的Fisher 信息量和待估参数的C-R 下界，能用C-R 不等式判别有效估计.掌握最大似然估计相合渐近正态性.教学重点：最小方差无偏估计、C-R 不等式.教学难点：零无偏估计法判断最小方差无偏估计和C-R 不等式.教学内容：本节内容包括：Rao-Blackwell 定理，最小方差无偏估计，Cramer-Rao 不等式.6.3.1 Rao-Blackwell 定理定理6.3.1 （Rao-Blackwell 定理）设X 和Y 是两个随机变量，(X)=,(X)>0E Var μ，我们用条件期望构造一个新的随机变量()Y ϕ，其定义为()=E(X|Y=y)Y ϕ，则有(())=,Var((Y))Var(X)E Y ϕμϕ≤.其中等号成立的充分必要条件是X 和()Y ϕ 几乎处处相等. 将定理6.3.1应用到参数估计问题中可得定理 6.3.2 设总体概率密度函数是(;)p x θ，12,,,n x x x 是其样本，12=(,,,)n T T x x x 是θ的充分统计量，则对θ的任一无偏估计^^12=(,,,)n x x x θθ，令~^=(|)E T θθ，则~θ也是θ的无偏估计，且~^Var()Var()θθ≤. 6．3.2 最小方差无偏估计定义6.3.1 对参数估计问题，设^θ是θ的无偏估计，若对θ的任一个无偏估计量~θ，在参数空间Θ上都有~~()()Var Var θθθθ≤则称^θ为θ的一致最小方差无偏估计，简记为UMVUE.如果UMVUE 存在，则它一定是充分统计量的函数.一般来说，如果依赖充分统计量的无偏估计只有一个，则它就是UMVUE. 下面给出一个UMVUE 的判断准则.定理6.3.3 设12=(,,,)n X x x x 是来自某总体的一个样本，^^=)X θθ（是θ的一个无偏估计，^<+Var θ∞（），若对任意一个满足(()=0E X ϕ）的()X ϕ都有 ^(,)=0,Cov θθϕθ∀∈Θ，则^θ是θ的UMVUE.例6.3.26.3.3 Gramer-Rao 不等式定义6.3.2 设总体的概率函数(;),,p x θθ∈Θ满足下列条件： （1） 参数空间Θ是直线上的一个开区；（2） 支撑{:(;)>0}S x p x θ=与θ无关； （3） 导数(;)p x θθ∂∂对一切,θ∈Θ都存在； （4） 对(;),p x θ积分与微分运算可交换次序，即(;)(;)p x dx p x dx θθθθ+∞+∞-∞-∞∂∂=∂∂⎰⎰（5） 期望2[ln (;)]E p x θθ∂∂存在.则称2()[ln (;)]I E p x θθθ∂=∂为总体分布的费希尔（Fisher ）信息量. 例6.3.3定理6.3.4 (Gramer-Rao 不等式) 设定义6.3.2的条件满足，12,,,n x x x 是来自该总体X 的一个样本，12=(,,,)n T T x x x 为()g θ的任一无偏估计，若'()()=g g θθθ∂∂存在，且对一切,θ∈Θ对11--=1()=,,);)nn i n i g T x x p dx dx θθ∞∞∞∞∏⎰⎰（（x 的微分可在积分号下进行，即'11--=1111--=1=1()=,,)(;))=,,)[ln ;)];))nn i ni nnn i i ni i g T x x p dx dx T x x p p dx dx dx θθθθθθ∞∞∞∞∞∞∞∞∂∂∂∂∏⎰⎰∏∏⎰⎰（（x （（x （x对离散总体，则将上述积分改为求和符号后，等式仍然成立，则有'2[()]()()g Var T nI θθ≥ （6.3.9）该式称为克拉美-罗（C-R ）不等式，'2[()]()g nI θθ称为()g θ的无偏估计的方差的C-R 下界，简称()g θ C-R 下界.特别，对θ的无偏估计^θ，有^1()()Var nI θθ≥.§6.4 贝叶斯估计教学目的：要求学生了解贝叶斯估计的相关内容. 教学重点：贝叶斯估计的思想和简单贝叶斯估计的计算.教学难点：贝叶斯估计的思想.教学内容：本节内容包括统计推断的基础，贝叶斯公式的密度函数形式，贝叶斯估计，共轭先验分布6.4.1 统计推断的基础统计推断是根据样本信息对总体分布或总体的特征数进行推断.统计推断用到两种信息：总体信息和样本信息，而贝叶斯学派则认为统计推断还用到第三种信息：先验信息. （1） 总体信息总体信息即总体分布或总体所属分布族提供的信息. （2） 样本信息样本信息即抽取样本所得观测值提供的信息.（3） 先验信息先验信息就是抽样之前有关统计问题的一些信息.例6．4.1基于上述三种信息进行统计推断的统计学称为贝叶斯统计学.贝叶斯学派的基本观点是：任一未知量θ都可看作随机变量，可用一个概率分布去描述，这个分布称为先验分布.6.4.2 贝叶斯公式的密度函数形式（1）总体依赖于参数θ的概率函数在经典统计中记为(;)p x θ，它表示参数空间Θ中不同的θ对应不同的分布.在贝叶斯统计学中记为(|)p x θ，它表示在随机变量θ取某个给定值时总体的条件概率函数.（2）根据参数 θ的先验信息确定先验分布πθ（）. （3）从贝叶斯观点来看，样本的产生要分两步，首先设想从先验分布)(θπ产生一个样本0θ.第二步从)|(0θX p 中产生一组样本，这时样本),,(1n x x X =的联合条件概率函数为)|()|,()|(01010θθθi ni n x p x x p X p =∏== ，这个分布综合了总体信息和样本信息.(4) 由于0θ是设想出来的，故要用πθ（）进行综合，样本X 和参数θ的联合分布为)()|(),(θπθθX p X h =.(5)有了样本观察值),,(1n x x X =后，对),(θX h 作如下分解：)()|(),(X m X X h θπθ=，)(X m 是X 的边际概率函数：⎰⎰ΘΘ==θθπθθθd X p d X h X m )()|(),()(，⎰Θ==θθπθθπθθθπd X p X p X m X h X )()|()()|()(),()|(，称为θ的后验分布.6.4.3 贝叶斯估计由后验分布)|(X θπ估计θ有三种常用方法：（1） 使用后验分布的密度函数最大值点作为θ的点估计的最大后验估计； （2） 使用后验分布的中位数作为θ的点估计的后验中位数估计； （3） 使用后验分布的均值作为θ的点估计的后验期望估计. 用的最多的是后验期望估计，一般简称贝叶斯估计，记为^B θ.例6.4.2 例6.4.36.4.4 共轭先验分布定义6.4.1 设θ是总体参数，)(θπ是其先验分布，若对任意的样本观测值得到的后验分布)|(X θπ与)(θπ属于同一分布族，则称该分布族是θ的共轭先验分布族。
6.2点估计的评价标准
Var ( x( n ) ) ?
三、有效性
ˆ ˆ 比较参数 的两个无偏估计量1 和 2 , 如果 ˆ 在样本容量 n 相同的情况下 , 1 的观察值在真值 ˆ ˆ ˆ 的附近较 2 更密集 , 则认为1 较 2 有效 .
由于方差是随机变量取值与其数学期望的 偏离程度, 所以无偏估计以方差小者为好.
又因为 E ( X 2 ) D( X ) [ E ( X )]2
2 2
2
n
2,
2
所以 E ( ) E ( A2 X ) E ( A2 ) E ( X ) ˆ
n 1 2 2 2 , 所以 是有偏的. ˆ n
( n 1) 2 ˆ E ( ) n
2
n 2 若以 乘 , 所得到的估计量就是无 偏的. ˆ n 1
(这种方法称为无偏化).
n n 2 E E ( 2 ) 2 . ˆ ˆ n 1 n 1 1 n n ( X i X 2 ), 因为 2 S 2 ˆ n 1 i 1 n 1
n n n n
ˆ 则 n 是的相合估计
n
证明 lim E(ˆn ) , 当n充分大时, | E(ˆn ) |
ˆ ˆ 如果有 | n - E( n ) | ，则 2
n
ˆ lim P(| n | ) 0
X 总是总体 X 的数学期望 1 E ( X ) 的无偏 估计量.
练习：299页1（1）
例3
对于均值 , 方差 2 0 都存在的总体, 若
1 n , 2 均为未知, 则 2 的估计量 2 ( X i X )2 ˆ n i 1 是 有偏的(即不是无偏估计). 1 n 2 证 2 X i X 2 A2 X 2 , ˆ n i 1 因为 E ( A2 ) 2 2 2 ,
6-2点估计的评价标准
的总体, 例12. 设x1,x2 ,… ,xn为抽自均值为 的总体,考
里 表示去掉第i个样品 这 i表示去掉第 个样品
后,对其余n-1个样品所求的样 对其余 个样品所求的样 本均值. 本均值.
显然两个估计都是的无偏估计.再计算其方差: 显然两个估计都是的无偏估计.再计算其方差:
设一个试验有三种可能结果, 例3. 设一个试验有三种可能结果, 其发生的概率分别为
p1 = θ 2 , p2 = 2θ (1 θ ) , p3 = (1 θ )2 ,
现做了n次试验， 现做了 次试验，观测到三种结果发生的次数分别 次试验 则用频率替换法得到的θ 为n1， n2， n3，则用频率替换法得到的θ的估计为相 合估计. 合估计. ( P295)
2
1 ∑c > n i=1
2 i
n
1 2 Var() = σ < Var(1 ) n 例如 X ~ N( ,σ 2 ) , ( x 1, x 2 ) 是一个样本.
2 1 1 = x1 + x2 3 3 1 3 2 = x1 + x2 4 4 1 1 3 = x1 + x2 2 2
都是 的无偏估ቤተ መጻሕፍቲ ባይዱ量
i k
的无偏估计( 有偏). 注1: x和 2是和σ2的无偏估计(而S*2有偏).因此 S n
称为无偏方差. S2称为无偏方差. 样本二阶原点矩a2 =
n 1 2 1 n * 2 前面已证 E(x) = E(S ) = E ∑(xi x) = σ n n i=1 n 1 2 2 E(S ) = E (xi x) = σ 2 ∑ n 1 i=1
二、无偏性
(Unbiasssed Estimate)
无偏性的意义是：用一个估计量去估计未知参数θ 无偏性的意义是：用一个估计量去估计未知参数θ, 有 时候可能偏高,有时候可能偏低 但是平均来说它等于θ 有时候可能偏低, 时候可能偏高 有时候可能偏低 但是平均来说它等于θ.
概率论与数理统计教案参数估计
概率论与数理统计教学教案第6章参数估计二.最大似然估计法1 .最大似然估计的步骤：若总体X 的分布中含有k 个未知待估参数0 1, 0 2,…，0 k ，则似然函数为a L .一 . a ln L 一一 .解似然方程组10- = 0, i = 1,2<..,k ，或者对数似然方程组焉一=0,i = 1,2,・・・,k ，即可得到参数的最大似然 i i八 八 八 估计0 ,0， 012 k2.定理：若0为参数0的最大似然估计，g (®)为参数0的函数，则g (®)是g (0)的最大似然估计. 三.点估计的评价标准1 .无偏性：设=(X1,X2,…,X)是未知参数。
的估计量,若E (0 )=0,则称为0的无偏估计。
八 八八八八 八2 .有效性：设0 ,0均为参数0的无偏估计量，若D (0 )< D (0 ),则称0比0有效。
121212,3 .相合性(一致性)：设0为未知参数0的估计量，若对任意的s > 0,都有lim P 卜-0 <£ n fsn fs四.例题讲解4 1.设X 为某零配件供应商每周的发货批次，其分布律为X 0 1 23P 0 2 20 (1-0) 0 2 1-20其中0是未知参数，假设收集了该供应商8周的发货批次如下：3, 1, 3,0, 3, 1, 2, 3,求0的矩估计值.—^―, X > 1,例2.设某种钛金属制品的技术指标为X 其概率密度为f (X )=《X B+1其中未知参数P > 1,0, X V 上X ,X ，…,X 为来自总体X 的简单随机样本，求P 的矩估计量.12n例3.已知某种金属板的厚度X 在(a , b)上服从均匀分布，其中a , b 未知，设抽查了 口片金属板，厚 度分别为X 1,X 之,…,r 试用矩估计法估计a , b .例4.设袋中放有很多的白球和黑球，已知两种球的比例为1:9,但不知道哪种颜色的球多，现从中有放 回地抽取三次，每次一球，发现前两次为黑球，第三次为白球，试判断哪种颜色的球多。
6.2点估计的常用方法
以此分别估计参数i ，i=1,...,m，并称其为
i 的矩估计。
例1 设总体X的概率密度为 其中 1 ( 1) x , 0 x 1 f ( x) 是未知参数, 其它 0, X1,X2,…,Xn是取自X的样本,求参数 的矩估计.
2 X 1 即为 的矩估计. 从中解得 ˆ , 1 X
用相应的样本矩去估计总体矩的估计方法
就称为矩估计法.
n
设总体分布含有个m未知参数 1 ，…， m 令
k (1 ,, m ) Ak , k 1, , m (or vk (1 ,, m ) Bk )
解此方程组得其根为
ˆ (X ,, X ),i 1,, m i 1 n
其中 >0,求 , 的矩估计. 解:由密度函数知
故 E(X- )=
X 具有均值为 的指数分布
D(X- )= 2
即
E(X)=
D(X) = 2
由于
E(X)=
D (X) = 2
令
X
n 1 2 ( X i X )2 n i 1
^ __ u X ^ 1 n __ 2 2 2 X i X n i 1
即
所以，
^ __ u X __ ^2 1 n 2 ( X i X ) n i 1
总体均值与方差的矩估计量对任 何分布的总体都是一样的。
例4. 设总体X 的概率密度函数为,
估计。
（3）最大似然估计的求法
即求多元函数 在
L(1 ,, m ; x1 ,, xn )
内关于
(1 ,, m )
(1 ,, m )
求最大值点。
概率论与数理统计教程(茆诗松)第6章厦大版
连续型总体的似然函数(likelihood function)
若总体 X 属连续型，其概率密度函数的形式已知为 p ( x q), q Î Q ;
则样本 ( X 1 , L , X n ) 的联合概率密度函数为 ：
Õ p ( x ; q) ， q Î Q
i i =1
n
在θ固定时，它是(X1 , ,X n )在 (x1 , ,xn )处的密度，它的大小 L L 与(X1 , ,X n )落在(x1 , ,xn )邻域内的概率成正比。 L L
设
(
X1， L , X n
) 为来自总体
X 的样本，X
的 分布类型已知，但参数 θ 未知，且θÎΘ .
在已经得到样本值( x1,…,xn)的情况下，我们应该 寻找使这个样本值出现的可能性最大的那个分布所 对应的θ作为真θ的估计.
离散型总体的似然函数(likelihood function)
若总体 X 属离散型，其概率分布 的形式已知为
设 X1,…,Xn i.i.d.~ U (0 q ，其中θ>0为未知参数， , ) 试求参数θ的ML估计。
估计量和估计值统称为点估计(point estimate)，简称为 ˆ 估计，并简记为 q 。 在点估计中，对如何构造估计量并没有明确的规定，只 要它满足一定的合理性即可。这就涉及到两个问题： 1.构造点估计量的方法 2.点估计量的评价 本章的内容是这样安排的，我们先介绍一些估计方法， 再讨论估计的评价标准和几个专题，最后讲述区间估 计。
最大似然估计与充分统计量的关系
定理6.1.1 设T为任一充分统计量，则ML估计一定可 表示为T的函数。
对数似然函数
称似然函数的对数
l (q = log L q) ) (
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
6.2点估计的评价标注我们已经看到，点估计有各种不同的求法，为了在不同点估计间进行比较选择，就必须对各种点估计的好坏给出评价标准.数理统计中给出了众多的估计量评价标准，对同一估计量实用不同的评价标准可能会得到完全不同的结论，因此在评价某一个估计好坏时首先要说明是在哪一个标准下，否则所论好坏则毫无意义.但不管怎么说，有一个基本标准时所有的估计都应该满足的，它是衡量一个估计是否可行的必要条件，这就是估计的相合性，我们就从相合性开始。
6.2.1 相合性我们知道，点估计是一个统计量，因此它是一个随机变量，在样本量一定的条件下，我们不可能要求它完全等同于参数的真实取值。
但如果我们有足够的观测值，根据格里文科定理，随着样本量的不断增大，经验分布函数逼近真实分布函数，因此完全可以要求估计量随着样本量的不断增大而逼近参数真值，这就是相合性，严格定义如下：定义6.2.1 设θ∈Θ为未知参数，()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，n 是样本容量，若对任何一个0ε>，有()ˆlim 0nn P θθε→∞->= 则称ˆnθ为参数θ的相合估计。
相合性被认为是对估计的一个最基本的要求，如果一个估计量，在样本量不断增大时，它都不能把被估参数估计到任意指定的精度，那么这个估计值是很值得怀疑的。
通常，不满足相合性要求的估计一般不予考虑。
证明估计的相合性一般可应用大数定律或直接由定义来证。
若把依赖于样本量n 的估计量ˆn θ看作一个随机变量序列，相合性就是ˆnθ依概率收敛于θ，所以证明估计的相合性可应用依概率收敛的性质以及各种大数定律。
例6.2.1 设12,,x x 是来自正态总体()2,N μσ的样本，则有辛钦大数定律及依概率收敛的性质知：x 是μ的相合估计；*2s 是2σ相合估计； 2s 也是2σ的相合估计。
由此可见参数的相合估计不止一个。
在判断估计的相合性时下述两个定理是很有用的。
定理 6.2.1 设()12,,,n n n x x x θθ∧∧= 是θ的一个估计量，若ˆˆlim ()lim ()0,n nn n E Var θθθ→+∞→+∞==， 则ˆnθ是θ的相合估计。
证明：对任意的0ε>，由切比雪夫不等式有()()24ˆˆˆ/2n n n P E Var θθεθε-≥≤ 另一方面，由ˆlim ()nn E θθ→∞=可知，当n 充分大时有 ˆ/2nE θθε-< 注意到此时如果ˆˆ/2n nE θθε-<，就有 ˆˆˆˆn n n nE E θθθθθθε-≤-+-< 故{}{}ˆˆˆ/2n nnE θθεθθε-<⊂-< {}{}ˆˆˆ/2nnnE θθεθθε-≥⊃-≥ 由此即有{}{}()()24ˆˆˆˆ/20,n n n n P P E Var n θθεθθεθε->≤-≥≤→→+∞ 定理得证。
例 6.2.2 设12,,,n x x x 是来自均匀总体(0,)U θ的样本，证明θ的最大似然估计是相合估计。
证明 在例6.1.8中我们已经给出θ的最大似然估计是()n x 。
由次序统计量的分布，我们知道()ˆn x θ=的分布密度函数为 1()/,n n p y ny y θθ-=<故有0ˆ/1n n nE ny dy n θθθθθ==→+⎰2120ˆ/2n n n E ny dy n θθθθ+==+⎰ ()2222ˆ021(1)(2)n n n Var n n n n θθθθ⎛⎫=-=→ ⎪++++⎝⎭ 由定理6.2.1可知，()n x 是θ的相合估计。
定理 6.2.2 若1ˆˆ,,n nk θθ 分别是1,,n θθ 的相合估计，1(,,)k g ηθθ= 是1,,k θθ 的连续函数，则1ˆˆˆ(,,)n n nkg ηθθ= 是η的相合估计。
证明 有函数g 的连续性，对任意给定的0ε>，存在一个0δ>，当ˆ,1,,j jj k θθδ-<= ，有11ˆˆ(,,)(,,)k kg g θθθθε-< （6.2.3） 又由1ˆˆ,,n nkθθ 的相合性，对给定的δ，对任意给定的0v >，存在正整数N ，使得N n ≥时,,/)ˆ(k v P jnj <≥-δθθk j ,,1 =. 从而有{}{}⎪⎪⎭⎫⎝⎛≥--=⎪⎪⎭⎫ ⎝⎛<-== k j j nj k j j nj P P 11ˆ1ˆδθθδθθ ∑=≥--≥kj jnj P 1)ˆ(1δθθ .1/1v k v k -=⋅->根据（6.2.3）,{}{}εηηδθθ<-⊂<-=n k j j njˆˆ1,故有 v P n -><-1)ˆ(εηη, 由v 的任意性，定理得证.由大数定律及定理6.2.2,我们可以看到，矩估计一般都具有相合性.比如： ·样本均值是总体均值的相合估计； ·样本标准差是总体标准差的相合估计；·样本变异系数x s /是总体变异系数的相合估计.例 6.2.3 设一个试验有三种可能结果，其发生概率分别为.)1(),1(2,23221θθθθ-=-==p p p现做了n 次试验，观测到三种结果发生的次数分别为 321,,n n n ，可以采用频率 替换方法估计θ.由于可以有三个不同的θ的表达式：.2/,1,2131p p p p +=-==θθθ从而可以给出θ三种不同的频率替换估计，它们分别是：./)2/(ˆ,/1ˆ,/ˆ2133211n n n n n n n +=-==θθθ 由大数定律，n n n n n n /,/,/321分别是321,,p p p 的相合估计，由定理6.2.2知， 上述三个估计都是θ的相合估计.6.2.2 无偏性相合性是大样本下估计量的评价标准，对小样本而言，需要一些其他的评价 标准，无偏性便是一个常用的评价标准 .定义 6.2.2 设),,(ˆˆ1nx x θθ=是θ的一个估计，θ的参数空间为Θ，若对 任意的 Θ∈θ,有θθ=)ˆ(E , 则称θˆ是θ的无偏估计，否则称为有偏估计.无偏性要求可以改写为0)ˆ(=-θθE ，这表示无偏估计没有系统偏差.当我们使用θˆ估计θ时,由于样本的随机性,θˆ与θ总是有偏差的,这种偏差时而（对某些样本观测值）为正,时而（对另一些样本观测值）为负,时而大,时而小.无偏性表示，把这些偏差平均起来其值为0，这就是无偏估计的含义.而若估计不具有无偏性，则无论使用多少次，其平均也会与参数真值有一定距离，这个距离就是系统误差.例 6.2.4 对任一总体而言，样本均值是总体均值的无偏估计.当总体k 阶 矩存在时,样本k 阶原点矩k a 是总体k 阶原点矩k μ的无偏估计.但对k 阶中心 矩则不一样,譬如,样本方差2*s 就不是总体方差2σ的无偏估计,因为在定理 5.2.1中已经指出 ：22*n1n )(σ-=s E . 对此，有如下两点说明：（1） 当样本趋于无穷时，有22*)(σ→s E ，我们称2*s 为2σ的渐近无偏估计，这表明当样本量较大时，2*s 可近似看作2σ的无偏估计.（2） 若对2*s 作如下修正：∑=--=-=ni i x x n n ns s 122*2)(111 ， (6.2.5) 则2s 是总体方差的无偏估计.这种简单的修正方法在一些场合被采用.（6.2.5）定义的2s 也称为样本方差，它比2*s 更常用.这是因为在2≥n 时，2*s <2s ，因此用2*s 估计2σ有偏小的倾向，特别在小样本场合要使用2s 估计2σ.无偏性不具有不变性.即若θˆ是θ的无偏估计，一般而言，)ˆ(θg 不是)(θg 的无偏估计，除非)(θg 是θ的线性函数.譬如，2s 是2σ的无偏估计，但s 不是σ的无偏估计.下面我们以正态分布为例加以说明.例 6.2.5 设总体为n x x N ,,),(1 2,σμ是样本，我们已经指出2s 是2σ的无偏估计.由定理5.3.1,),1(~)1(222--=n s n Y χσ其密度函数为0,)21(21)(212121>-Γ=----y e yn y p yn n .从而⎰+∞=02/12/1)()(dy y p y Y E⎰∞+----Γ=021221)21(21dy e yn y n n)21()2(2)21(2)2(2212-ΓΓ=-ΓΓ=-n nn n n n由此，我们有1/2()2()1()2n n Es E Y n c σσΓ==⋅≡-Γ 这说明s 不是σ的无偏估计，用修正技术可得s c n ⋅是σ的无偏估计，其中n c =)2()21(21n n n Γ-Γ⋅-是修偏系数，表6.2.1给出了n c 的部分取值。
可以证明当n +∞→时有1→n c ，这说明s 是σ的渐近无偏估计，从而在样本容量较大时,不经修正的s 也是σ的一个很好的估计。
6.2.3 有效性参数的无偏估计可以有很多，如何在无偏估计中进行选择？直观的想法是希望该估计围绕参数真值的波动越小越好，波动大小可以用方差来衡量，因此人们常用无偏估计的方差的大小作为度量无偏估计优劣的标准，这就是有效性。
定义 6.2.3 设1ˆθ，2ˆθ是θ 的两个无偏估计，如果对任意的θΘ∈有 Var(1ˆθ)≤Var(2ˆθ), 且至少有一个θΘ∈使得上述不等号严格成立，则称1ˆθ比2ˆθ有效。
例6.2.6 设n x x ,,1 是取自某总体的样本，记总体均值为μ，总体方差为2σ,则1ˆμ=1x ,2ˆμ=x 都是μ的无偏估计，但 Var(1ˆμ)=2σ,Var(2ˆμ)=n2σ.显然,只要1n >，2ˆμ比1ˆμ有效。
这表明，用全部数据的平均估计总体均值要比只使用部分数据更有效。
例6.2.7 在例6.2.2中，我们指出均匀总体(0,)U θ中θ的极大似然估计是)(n x ，由于θ1)(+=n nEx n ，所以)(n x 不是θ的无偏估计，但是θ的渐近无偏估计。
经过修偏后可以得到θ的一个无偏估计： 1()1ˆn n x n θ+=。
且 ())2()2(11)(1)ˆ(2222)(21+=++⎪⎭⎫ ⎝⎛+=⎪⎭⎫ ⎝⎛+=n n n n nn n x Var n n Var n θθθ.另一方面，由矩法，我们可以得到θ的一个无偏估计2ˆθ=2x ，且 nn X Var n x Var Var 3124)(4)(4)ˆ(222θθθ=⋅===由此，当1n >时, 1ˆθ比2ˆθ更有效。
6.2.4 均方误差无偏性是估计的一个优良性质，对无偏估计我们还可以通过其方差进行有效性比较。
然而不能由此认为：有偏估计一定是不好的估计。