第5章 参数估计及点估计

第5章参数估计及点估计5.1考点归纳一、点估计1．矩估计法（1）定义设X为连续型随机变量，其概率密度为，或X为离散型随机变量，其分布律为，其中为待估参数，，，，是来自X的样本，假设总体X的前k阶矩或（X离散型）存在，其中，＝1，2，…，k．一般来说，它们是的函数，基于样本矩依概率收敛于相应的总体矩（＝1，2，，k），样本矩的连续函数依概率收敛于相应的总体矩的连续函数，我们就用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量，这种估计方法称为矩估计法．（2）矩估计法的具体做法设这是一个包含k个未知参数的联立方程组，一般来说，可以从中解出，得到以分别代替上式中的，i＝1，2，…，k，就以，i＝1，2，…，k，分别作为，＝1，2，…，k的估计量，这种估计量称为矩估计量，矩估计量的观察值称为矩估计值．2．克拉默-拉奥（Cramer-Rao）不等式（1）克拉默一拉奥不等式克拉默一拉奥不等式设ξ1，ξ2，…，ξn为取自具有概率函数f（x；0），θ∈Θ={θ：a<0<b}的母体ξ的一个子样，a，b为已知常数，a可以取－∞，b可以取＋∞。

又η=u（ξ1，ξ2，…，ξn）是g（θ）的一个无偏估计，且满足正则条件：①集合{x：f（x；0）>0}与0无关；②与存在，且对一切θ∈Θ，；③令称为信息量，则等式成立的充要条件为存在一个不依赖于但可能依赖于θ的K，使得等式依概率1成立。

特别当g（θ）=θ时，上式可化为：称它为克拉默—拉奥不等式。

也称为信息不等式。

（2）重要性质及定义①性质：若则②定义a．若θ的一个无偏估计使克拉默一拉奥不等式中等式：成立，则称的有效估计。

b．若的一个无偏估计，且克拉默一拉奥不等式下界存在，则称下界与的比为估计的有效率，这里。

c．若当时，一个估计的有效率则称为参数的渐近有效估计。

3．拉奥-勃拉克维尔（Rao-Blackwell）定理（1）拉奥-勃拉克维尔定理设ξ与η是两个随机变量，且Eη＝μ，Dη＞0．设ξ＝x条件下叼的条件期望，则（2）相关定理设ξ1，ξ2，…，ξn是取自一个母体ξ的子样，ξ有概率函数，且是θ的一个充分统计量，不仅是η的函数，且Eη2＝θ，则是θ的充分统计量的函数，其均值＝0，方差。

4．最大似然估计法（1）样本似然函数①离散型随机变量若总体X属离散型，其分布律的形式为已知，为待估参数，是可能取值的范围，设是来自X的样本，则的联合分布律为又设是相应于样本的一个样本值，易知样本取到观察值的概率，亦即事件发生的概率为这一概率随的取值而变化，它是的函数，称为样本的似然函数．注意：这里是已知的样本值，它们都是常数．②连续型随机变量若总体X属连续型，其概率密度的形式已知，为待估参数，是可能取值的范围.设是来自X的样本，则的联合密度为设是相应于样本的一个样本值，则随机点（）落在点（）的邻域（边长分别为的n维立方体）内的概率近似地为其值随的取值而变化，我们取的估计值使概率取到最大值，但因子不随而变，故只需考虑函数的最大值，这里L（）称为样本的似然函数．（2）最大似然估计值的求法①在很多情形下，和关于可微，这时常可从方程解得．②L（）与lnL（）在同一处取到极值，因此，的最大似然估计也可以从方程求得，该方程称为对数似然方程．（3）最大似然估计法的推广最大似然估计法也适用于分布中含多个未知参数的情况，这时，似然函数L是这些未知参数的函数．分别令或令解上述由k个方程组成的方程组，即可得到各未知参数的最大似然估计．（4）最大似然估计不变性设的函数，θ∈Θ具有单值反函数，又假设是X的概率分布中参数θ的最大似然估计，则是的最大似然估计，这一性质称为最大似然估计的不变性．二、基于截尾样本的最大似然估计1．截尾寿命试验（1）定时截尾寿命试验假设将随机抽取的n个产品在时间t＝0时同时投入试验，试验进行到事先规定的截尾时间停止，如试验截止时共有m个产品失效，它们的失效时间分别为，此时m是一个随机变量，所得的样本称为定时截尾样本．（2）定数截尾寿命试验假设将随机抽取的挖个产品在时间t＝0时同时投入试验，试验进行到有m个（m是事先规定的，）产品失效时停止．m个失效产品的失效时间分别为，这里是第m个产品的失效时间，是随机变量，所得的样本称为定数截尾样本．2．截尾样本的最大似然估计（1）定数截尾寿命试验的最大似然估计量为其中称为总试验时间，它表示直至时刻为止，n个产品的试验时间的总和．（2）定时截尾寿命试验的最大似然估计为其中称为总试验时间，它表示直至时刻为止n个产品的试验时间的总和．三、估计量的评选标准1．无偏性设是总体X的一个样本，是包含在总体X的分布中的待估参数，这里是的取值范围．若估计量的数学期望存在，且对于任意则称是的无偏估计量．2．有效性设（X1，X2，…，X n）与（X1，X2，…，X n）都是θ的无偏估计量，若对于任意θ∈Θ，有，且至少对于某一个θ∈Θ上式中的不等号成立，则称较有效．3．相合性设（X1，X2，…，X n）为参数θ的估计量，若对于任意θ∈Θ，当n→∞时（X1，X2，…，X n）依概率收敛于θ，则称为θ的相合估计量．即，若对于任意θ∈Θ都满足：对于任意ε＞0，有，则称是θ的相合估计量．四、最小方差无偏估计1．均方误差（1）使用条件：小样本，有偏估计。

（2）均方误差为：，常用来评价点估计。

将均方误差进行如下分解：由分解式可以看出均方误差是由点估计的方差与偏差的平方两部分组成。

如果是的无偏估计，则。

（3）一致最小均方误差设有样本，对待估参数有一个估计类，如果对该估计类中另外任意一个的估计，在参数空间上都有，称是该估计类中的一致最小均方误差估计。

2．一致最小方差无偏估计定义：设是的一个无偏估计，如果对另外任意一个的无偏估计.在参数率间上都有，则称是的一致最小方差无偏估计，简记为UMVUE。

关于UMVUE，有如下一个判断准则：设是来自某总体的一个样本，是的一个无偏估计，，则是的UMVUE的充要条件是：对任意一个满足和的都有。

这个定理表明UMVUE的重要特征是：的最小方差无偏估计必与任一零的无偏估计不相关，反之亦然。

3．充分性原则定理：总体概率函数是是其样本，是的充分统计量，则对的任一无偏估计；令，则也是的无偏估计，且。

定理说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差.换言之，在考虑的估计问题只需要在基于充分统计量的函数中进行，这就是充分性原则。

4.Cramer-Rao不等式（1）费希尔信息量定义：设总体的概率函数满足下列条件：①参数空间是直线上的一个开区间；②支撑与无关；③导数对一切都存在；④对，积分与微分运算可交换次序，即；⑤期望存在，则称为总体分布的费希尔信息量。

（2）定理（Cramer-Rao不等式）设总体分布满足费希尔信息里，是来自该总体的样本，是的任一个无偏估计，存在，且对中一切，对的微商可在积分号下进行，即对离散总体，则将上述积分改为求和符号后，等式仍然成立。

则有，称为克拉默-拉奥（C-R）不等式，其中称为的无偏估计的方差的C-R下界，简称的C-R下界。

特别，对的无偏估计有。

注意：大多数场合无偏估计都达不到其C-R下界。

五、贝叶斯估计1．统计推断的基础（1）总体信息：总体分布或总体所属分布族提供的信息；（2）样本信息：抽取样本所得观测值提供的信息；（3）先验信息：抽样（试验）之前有关统计问题的一些信息。

2．贝叶斯公式的密度函数形式公式：3．贝叶斯估计由后验分布估计有三种常用的方法：（1）使用后验分布的密度函数最大值点作为的点估计的最大后验估计；（2）使用后验分布的中位数作为的点估计的后验中位数估计；（3）使用后验分布的均值作为的点估计的后验期望估计。

用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为。

4．共轭先验分布（确定先验分布最常用的）定义：设是总体分布中的参数，是其先验分布，若对任意来自的样本观测值得到的后验分布与属于同一个分布族，则称该分布族是的共轭先验分布（族）。

六、区间估计1．置信区间设总体X的分布函数F（x；θ）含有一个未知参数θ，θ∈Θ（Θ是θ可能取值的范围），对于给定值α（0＜α＜1），若由来自X的样本X1，X2，…，X n确定的两个统计量和，对于任意θ∈Θ满足则称随机区间是θ的置信水平为1－α的置信区间，和分别称为置信水平为1－α的双侧置信区间的置信下限和置信上限，1－α称为置信水平．2．置信区间的具体求法（1）寻求一个样本X1，X2，…，X n和θ的函数W＝W（X1，X2，…，X n；θ）使得W的分布不依赖于θ以及其他未知参数，称具有这种性质的函数W为枢轴量．（2）对于给定的置信水平1－α，定出两个常数a，b使得3．大样本置信区间对给定，利用标准正态分布的分位数可得。

4．（0-1）分布参数的区间估计设X1，X2，…，X n是一个样本，因样本容量n较大，由中心极限定理，知近似地服从N（0，1）分布，于是得到参数p的置信水平为1－的置信区间为此处5．单侧置信区间（1）单侧置信下限对于给定值α（0＜α＜1），若由样本X1，X2，…，X n确定的统计量（X1，X2，…，X n），对于任意θ∈Θ满足称随机区间是θ的置信水平为1－α的单侧置信区间，称为θ的置信水平为1－α的单侧置信下限．（2）单侧置信上限若统计量（X1，X2，…，X n），对于任意θ∈Θ满足称随机区间是θ的置信水平为1－α的单侧置信区间，称为θ的置信水平为1－α的单侧置信上限．七、正态总体均值与方差的区间估计1．单个总体的情况设已给定置信水平为1－α，并设X1，X2，…，X n为总体的样本．，S2分别是样本均值和样本方差．（1）均值μ的置信区间①σ2为已知，此时采用的枢轴量，已得到μ的一个置信水平为1－α的置信区间为②σ2为未知，因其中含未知参数σ，考虑到S2是σ2的无偏估计，将σ换成，知于是得μ的一个置信水平为1－α的置信区间（2）方差σ2的置信区间σ2的无偏估计为S2，，取作为枢轴量，即得方差σ2的一个置信水平为1－α的置信区间标准差σ的一个置信水平为1－α的置信区问2．两个总体，的情况设已给定置信水平为1－α，并设是来自第一个总体的样本；是来自第二个总体的样本，这两个样本相互独立，且设，分别为第一、第二个总体的样本均值，，分别是第一、第二个总体的样本方差．（1）两个总体均值差的置信区间①均为已知．因分别为的无偏估计，故是的无偏估计，由的独立性以及，得或取Z为枢轴量，即得的一个置信水平为1－α的置信区间②，但σ2为未知，此时取T为枢轴量，可得的一个置信水平为1－α的置信区间为此处（2）两个总体方差比的置信区间并且分布F（n1－1，n2－1）不依赖任何未知参数，取为枢轴量得的一个置信水平为1－α的置信区间为5.2典型题（含考研真题）详解一、选择题1．假设总体X的方差DX存在，X1，…，X n是取自总体X的简单随机样本，其均值和方差分别为，S2，则EX2的矩估计量是（）。