参数估计理论

目录
第五章参数估计 __________________________________________________________________________ 2
第一节统计推断的基本问题、概念和原理 __________________________________________________ 3
一、简单随机抽样和抽样误差 ___________________________________________________________ 3
二、统计量及其抽样分布 _______________________________________________________________ 6
三、参数估计的主要内容 _______________________________________________________________ 8
第二节总体参数的点估计 ________________________________________________________________ 9
一、矩估计 ___________________________________________________________________________ 9
二、极大似然估计 ____________________________________________________________________ 10
三、点估计的评价标准 _________________________________________________________________11
第三节正态总体均值的区间估计 _________________________________________________________ 12
一、总体参数的区间估计的概念和基本思想 ______________________________________________ 12
二、单正态总体均值的区间估计 ________________________________________________________ 13
三、两正态总体均值之差的区间估计 ____________________________________________________ 17
*四、单侧区间估计问题 _______________________________________________________________ 19
第四节一般总体均值和成数的大样本区间估计 _____________________________________________ 21
一、非正态总体均值的大样本区间估计 __________________________________________________ 21
二、总体成数(比例)的大样本区间估计___________________________________________________ 22
*三、单侧区间估计 ___________________________________________________________________ 24
*第五节正态总体方差的区间估计 ________________________________________________________ 25
一、单正态总体方差的区间估计 ________________________________________________________ 25
二、两正态总体方差之比的区间估计 ____________________________________________________ 26
第六节样本容量的确定 _________________________________________________________________ 28
一、总体均值估计的必要样本容量 ______________________________________________________ 28
二、总体成数估计的必要样本容量 ______________________________________________________ 29
三、影响必要样本容量的因素 __________________________________________________________ 30
英文摘要和关键词 ______________________________________________________________________ 31习题 _______________________________________________________________错误！未定义书签。

第五章参数估计
通过本章的学习，我们应该知道：
1.统计推断的基本问题、概念与原理
2.参数点估计的方法与评价
3.正态总体均值、方差的区间估计
4.一般总体的均值、成数的区间估计
5.参数估计所需的样本容量的确定
统计抽样推断是统计学研究的重要内容，它包括两大核心内容：参数估计（Parameter Estimation）和假设检验（Hypothesis Testing）。

两者都是根据样本资料，运用科学的统计理论和方法对总体的参数进行推断；参数估计对所要研究的总体参数，进行合乎数理逻辑的推断；假设检验对提出的关于总体或总体参数
的某个陈述进行检验，判断真伪。

2005
是中国消费者协会的官员，负责治理缺斤少两的不法行为。

包装上标明其净含量是
瓶，测得到其平均含量为
拿着这些数据可能做两件事：
装的雪碧平均含量在
写份报告；二是你做一个裁决：说“可口可乐公司有欺骗消费者的行为”的证据不足。

前者是参数估计；后者是假设检验。

学习参数估计和假设检验要注意：（1）明确要研究的问题，并给出正确的提法；（2）确定合适的统计量，统计量也可以认为是统计推断模型，不论是参数估计还是假设检验，都要通过统计量来进行，构造的统计量是否可行，直接关系到统计推断的效果，因此要仔细研究和比较统计量的性质；（3）统计参数估计和假设检验是根据样本资料对总体进行认识的，这就要求样本资料必须要有代表性，否则不可能客观反映总体的情况；（4）参数统计与非参数统计方法的主要区别，在于前者在处理问题的时候总是从已确知的分布出发，所以在进行统计参数推断时，要能够掌握统计量的精确分布即统计量的抽样分布；（5）给出推断结果的合理解释。

本章首先集中说明抽样推断中的常用术语，然后主要介绍参数估计的基本原理，点估计和区间估计的方法，以及必要样本容量的测算。

第一节统计推断的基本问题、概念和原理
在统计学中，我们往往把所研究的问题或现象视为随机变量，有自己的概率分布。

正是该随机变量及其概率分布全面描述了我们要研究的现象的统计规律性。

因此，如果知道了要研究的随机变量的概率分布，我们就可以在其基础上进行计算和推断从而比较清楚地了解了要研究的现象，但在现实中，往往情况并非如此。

绝大多数情况下，要研究的随机现象（或变量）究竟服从什么分布可能完全不知道，或者由于现象的某些事实而知道其服从什么类型的分布，比如正态分布族、指数分布族等，但不知道分布中所含的参数。

怎样才能知道一个随机现象的分布或其参数呢？这正是统计推断所要解决的基本问题。

由于总体包含个体的大量性，研究者很难得到全部个体的信息和资料，即使有时可以得到但也不经济，所以统计推断通常是从所要研究的对象全体中抽取一部分进行观测或试验以获取信息，对总体作出推断。

（如果总体容量不大且很容易就可以得到全部数据，则不需要做统计推断。

）由于抽取部分个体观测和试验是随机进行的，依据有限个体的数据对总体作出的推断不可能绝对准确，总是含有一定程度的不确定性，而不确定性用概率表示比较恰当，概率大，所做的推断就比较可靠，概率小推断的准确性就低。

如何根据观测或试验所得到的有限信息对总体作出推断，并同时指出所作的这种推断有多大的可靠性（用概率表示），是统计推断的基本问题。

一、简单随机抽样和抽样误差
由于种种原因，现实中很多现象不可能进行全面调查，如对具有破坏性或消耗性的产品进行质量检验，象炮弹杀伤半径的检验、笔记本电脑使用寿命的检验、人体白血球的检验等，都是不可能进行全面调查的；再如对无限总体或总体容量过大的现象进行研究，也很难进行全面调查，象对海洋中鱼的种群、大气或海洋的污染情况等。

在这些情况下，人们只能从研究的总体中抽取部分个体进行观测或实验（或者是根据现有能够收集到的数据），根据这部分个体的数据对总体作统计推断。

另外，某些现象即使理论上可以进行全面调查，但为了节省大量的人力、物力、财力和时间，在不影响精度和可靠度的前提下，采用抽样推断可以达到事半功倍的效果。

在实际中我们所研究的往往是总体中个体的各种数值指标，如要研究我国家庭的消费支出情况，根据
第二章介绍的概念，我国全部家庭就是总体，但此时我们真正感兴趣的是家庭的消费支出X ，它是一个随机变量，有自己的分布，假设X 的分布函数是)(x F 。

为方便起见，我们也常常把这个数值指标X 的可能取值的全体看作总体，)(x F 就是总体X 的分布函数。

这样就把总体和随机变量联系起来了，这种联系可以推广到二维及以上的情形。

假如我们从总体中按机会均等的原则随机地抽取了n 个个体，然后对这n 个个体就我们关心的数值指标X 进行观测，这一过程称为随机抽样。

同样为方便起见，我们把这n 个个体的该数值指标),,,(21n X X X 称为一个样本，它是一个随机向量。

在一次抽样以后，观测到),,,(21n X X X 的一组确定的值或数据),,,(n 21x x x 称为该样本的观测值或样本数据，也称作该样本的一个实现。

样本所有可能观测值的全体就构成了样本空间。

现在看来，前面各章尤其是第四章的描述性分析实际上只是对样本的观测值进行的操作和分析。

由于样本中每一个个体i X 都来自总体X ，所以样本中的任一个体i X 的分布函数和总体相同，即i X 的分布函数为)(i x F ；如果n X X X ,,,21 相互独立，则样本),,,(21n X X X 的联合分布函数为
∏===n i i n n x F x F x F x F x x x F 1
2121)()()()(),,,(~ 。

如无特别说明，一般用大写英文字母或希腊字母表示随机变量，而用小写英文字母表示随机变量的观测值或数据。

要想由抽到的样本对总体作出比较可靠的推断，抽取的样本就应该能够很好的代表总体，这需要对抽样方法提出一些要求，避免在抽样时引入偏差，给本来就困难的推断带来新的困难。

从总体中抽取样本有多种不同的方法，最简单的、应用很普遍的抽样方法是简单随机抽样，它满足以下两个条件：（1）总体的每一个体都有同等机会被选入样本；（2）样本的分量n X X X ,,,21 是相互独立的随机变量，即样本中任一个
体的取值不影响其它个体的取值。

满足这两个条件的抽样方法称为简单随机抽样，也称纯随机抽样，由此得到的样本称为简单随机样本。

容易看出，简单随机样本n X X X ,,,21 独立同分布（有时用...d i i 表示）。

从总体中抽样有多种方法和技术，除以上介绍的简单随机抽样外，分层抽样、系统抽样和整群抽样也是常用的抽样方法，不同的抽样方法得到不同的样本，进而所用的统计推断方法也不尽相同,以后如无特别说明，所提到的样本都是指简单随机样本。

我们不知道整个总体的真实情况到底如何，但可以利用上面介绍的抽样方法从总体中抽取样本，根据样本提供的信息和数据来推断总体的特征。

然而样本毕竟只是总体的部分个体，即使其代表性较好，也不能完全包含总体的全部信息。

无论抽样方法多么先进、抽样过程多么仔细，总体的信息在样本中总会有损失。

因此，不管采用什么推断方法，由样本推断总体的真实情况时，必定会存在差异，这种总体未知参数（或数学特征）和相应的基于样本的统计量之间的差异称为抽样误差（sampling error ）。

抽样误差是抽样推断方法所固有的，我们只能采用一些措施（如提高样本的代表性、增加样本容量等）减少抽样误差，但无法完全消除；只要利用抽样推断方法，抽样误差就一定存在，在参数的点估计、区间估计和假设检验等统计推断过程中都伴有抽样误差。

如在参数的点估计中，假设总体的未知参数是θ，其真实值为0θ，我们用
统计量),,(1n X X T 来估计它，即),,(ˆ1n
X X T =θ，不管如何抽样，不管采用哪个统计量，只要n X X ,,1 不是整个总体，),,(ˆ1n
X X T =θ就不可能等于未知参数θ的真实值0θ，010),,(ˆθθθ-=-n X X T 就是此时的抽样误差。

更具体一点，如果我们感兴趣的是总体均值μ（即未知参数μ=θ），用样本均值X 来估计μ，则抽样误差为μ-X ；类似的，当由样本成数p 估计总体成数π时抽样误差为π-p ，用修正的样本方差∑=--=n i i n X X n S 1
22)(11估计总体方差2σ时抽样误差是22σ-n S ，等等。

每一次抽样得到一个具体的样本后，就可以计算出抽样误差的值。

接下来以样本均值估计总体均值为例，看一下抽样误差的存在。

为了说明问题，所以假定我们已经知道了整个总体，实际问题中并不会如此，既然知道总体就没必要作统计推断了。

【例5.1】 某建筑公司共参与建设了12个销售中心项目，这12个项目的建筑面积（单位：平方米）数据列在表5.1中；某房产开发商欲聘用该建筑公司开发另一销售中心项目，要了解该公司过往建设过的项目的建筑面积以决定是否把新的工程承包给该建筑公司。

考虑以样本均值（部分项目的平均面积）估计总体均值（全部项目的平均面积）时带来的抽样误差。

表5.1 某建筑公司建设的12个项目的面积
【解】 在本例中，这12个项目的建筑面积就是总体，因此总体均值即该建筑公司建设的所有项目的平均面积为15897212
156900114560=++= μ平方米。

如果房产开发商从该建筑公司建设的12个项目中随机地抽取5个项目，去调查其设计和建筑质量且对其商户进行访谈了解情况。

若抽到了项目5、4、1、8、9，则样本均值155072=x ，抽样误差为3900-=-μx ，这5个样本的平均面积比总体均值小3900平方米；若抽样抽到项目9、6、5、12、10，则样本均值179540=x ，抽样误差20568=-μx ，由这个5个样本计算得到的样本均值去估计总体均值，要比总体均值的真实值大20568平方米。

可见抽样误差的大小依赖于所抽到的样本；它可能为正，也可能为负；由不同的样本计算出的样本均值是不同的，即使样本容量相同也是如此。

由样本均值去估计总体均值时，可能会低估也可能会高估。

当样本容量5=n 时，经计算最小、最大的抽样误差分别为-50740和51928，当3=n 时，最小、最大的抽样误差分别为-65185和81128，说明样本容量较小的最小、最大抽样误差比容量较大的都要大。

但值得注意的是样本容量较大的抽样误差未必都比容量较小的抽样误差小，如3=n 抽到项目12、4、8时，抽样误差是-2672158972-156300=，比5=n 抽到项目5、4、1、8、9时的抽样误差要大。

后面将指出：在平均意义上，较大的样本产生的抽样误差要小于较小样本带来的抽样误差。

抽样误差是客观存在的，但要计算出抽样误差是一件困难的任务。

事实上，我们并不知道总体的详细情况，所以也无法计算抽样误差。

一般地，θ是总体的未知参数，用统计量),,(1n X X T 来估计它，即),,(ˆ1n X X T =θ，无法计算抽样误差θθθ-=-),,(ˆ1n
X X T ，比如不知道总体均值μ，用样本均值估计总体均值时，怎样计算抽样误差μ-X 呢？即使抽取了具体的样本，也无法计算出抽样误差。

注意到θ
ˆ是随机变量n X X ,,1 的函数，因此θ
ˆ也是随机变量。

假设θθ=)ˆ(E ，那么22)ˆ()ˆˆ()ˆ(θθθθθ-=-=E E E V a r
就刻画了统计量θˆ到其均值θθ=)ˆ(E 的离散程度。

理论研究中，在θθ
=)ˆ(E 的条件下，常用标准差)ˆ(θVar 来计算抽样误差θθ-ˆ。

对于样本均值X ,利用数学期望和方差的性质我们很容易得到如下结论。

这一结果说明在上述条件下，样本均值的均值等于总体均值，样本均值的方差是总体方差的n 分之一；不管我们如何抽样，得到的样本均值总是在μ的上下波动，用样本均值估计总体均值，抽样误差就是
n X Var σ=)(，这说明此时抽样误差受样本容量和总体变异程度因素的影响，在平均意义上，在其他条件不变的情况下，样本容量越大，抽样误差就越小。

二、统计量及其抽样分布
统计量是不依赖于任何未知参数的样本的可测函数1，它是一个随机变量。

在由样本信息推断总体信息的时候，往往是通过统计量把样本信息加工浓缩起来，进而解决要研究的问题。

样本均值∑==n i i X n X 1
1和样本方差∑=--=n i i X X n S 122)(11
是常见的统计量，∑=n i i X 1和∑=-=-n i i X X S n 1
22)()1(等也是常用的统计量，另外，k 阶原点矩∑==n i k i k X n 11μ和中心矩∑=-=n i k i k X X n 1
)(1ν是统计量，经验分布函数)(x F n 也是统计量。

要提醒大家的是，虽然统计量不含有任何未知参数，但是其分布可能包含未知参数。

若n x x x ,,,21 是样
本n X X ,,1 的一组观测值，则可以计算出以上统计量的观测值。

如∑==n i i x n x 1
1和∑∑==---=--=n i i n i i x n n x n x x n s 122122
111)(11分别为样本均值和样本方差的观测值。

第四章讲的算术平均数、标准差、方差、原点矩、中心矩以及偏度、峰度等都是统计量的观测值公式。

区分样本和样本观测值，统计量和统计量的观测值有时是由好处的，这样比较容易把经济统计和数理统计统一起来。

一般而言，统计量是随机变量，它也有自己的分布密度和分布函数；统计量的分布称为抽样分布。

由样本推断总体的特征时正是依据统计量的抽样分布。

由于正态分布在统计学中的应用十分普遍，子样均值和子样方差在统计学中也起着非常重要的作用，接下来我们给出总体为正态分布的样本均值和样本方差的抽样分布，它们是统计推断的理论依据和基础。

因为统计量是样本的函数，所以抽样分布可以由样本的联合分布推导出来。

（一） 一个正态总体时的抽样分布
1 关于可测函数的定义超出了本书的范围，这里用到它只是为了严谨，感兴趣的读者可以查阅一般的高等概率论或测度论的书籍。

一般来讲，我们遇到的函数绝大多数是可测函数。

（二）两个正态总体时的抽样分布
（三）总体不是正态分布时的样本均值的抽样分布
这其实就是中心极限定理，它说明不论总体服从什么分布，连续、离散，对称、不对称，只要n 充分大（一般要30>n ），n
X /σμ-近似地服从)1,0(N 分布。

图5.1给出了各种类型的总体，样本均值X 的抽样分布随样
本容量n 变化的情况，从图上可以看出，当30=n 时，不论原来总体服从什么分布，X 的分布都非常接近于正态分布。

对于两个总体的情况，上述结论仍然成立，即m
n Y X //)(222121σσμμ+---近似服从)1,0(N 分布。

第四章
介绍的总体成数和样本成数实际上就是总体均值和样本均值的特例。

事实上，假定总体X 服从贝努里分布，
即若具有某特征，则1=X ，若不具有该特征，则0=X 且π==)1(X P ，设n X X ,,1 是从该总体抽取的
一个样本，易见π就是总体成数，而∑==n i i X n X 1
1就是样本中具有该特征的个体数占样本总数的百分比，即X 就是样本成数p ，所以p X =，容易计算
π=)(X E ，)1()(ππ-=X Var ；
因此，
π==)()(X E p E ，n
X Var p Var )1()()(ππ-==。

由上面的中心极限定理可得n
p )1(πππ--的渐近分布为标准正态分布)1,0(N ；两个总体类似地可得
m n p p )1()1()
(22112121ππππππ-+----近似服从)1,0(N 分布。

上面给出的这些重要结论在后面的区间估计和参数假设检验中都要用到，大家应熟练掌握。

图5.1样本均值X 的抽样分布随n 变化趋于正态分布的过程
三、参数估计的主要内容
由样本提供的信息对总体的分布和分布的特征进行统计推断是统计推断的基本问题。

如果总体的分布类型已知，而其参数未知，由样本统计量对总体的未知参数作出推断，这就是参数估计。

参数估计主要包括参数的点估计和区间估计。

假设总体包含未知参数θ，n X X ,,1 是从该总体抽取的一个样本，依据合理
的原理构造统计量),,(1n X X T T =，以此作为参数θ的估计，那么这个统计量),,(1n X X T T =就是θ的
一个估计量或点估计量，常常用θˆ表示θ的点估计；若n x x x ,,,21 是样本n
X X ,,1 的一组观测值，带入估计量公式，计算出),,(1n x x T t =就是θ的一个点估计值，即用),,(1n x x T t =这一具体数值近似（代替）未知参数θ的真实值，这也是点估计名称由来的原因。

需要说明的是估计量是随机变量，估计值是具体数
值，估计量常用于理论研究，估计值多用于实际应用和计算。

估计值θ
ˆ虽然给人一个明确的数量概念，但还是不够的，因为它只是参数θ的一种近似值，而点估计本身既没有反映这种近似的精确度，又没有体现误差范围以及在该误差范围内的可能性（即概率）。

解决点估计的这一问题的一种方法是区间估计。

在点估计的基础上，根据样本统计量构造出一个随机区间，该随机区间包含未知参数的概率为某一事先指定的值（研究者可以指定），这样的区间称为参数的置信区间或区间估计，置信区间的一个或两个端点是随机的。

当置信区间的端点由实际样本数据计算出来之后，它就成为一个固定的区间，和前面类似，这个具体的区间就是置信区间观测值或区间估计值。

置信区间可以分为双侧置信区间和单侧置信区间。

双边置信区
间的两个端点都是随机的，而单边置信区间只有一个端点是随机的。

对于未知参数的区间估计问题，我们这里仅仅考虑参数是一维的情况，而对于多维参数（即参数是向量）的置信域，比一维的情况要复杂，本章并未涉及，感兴趣的同学可以在多元统计方面的书籍中找到相关内容。

第二节 总体参数的点估计
假设总体随机变量X 的概率函数);(θx f 的函数表达式是已知的，但是该函数依赖于未知参数θ，只知道它可能的取值范围是某集合Θ，称为θ的参数空间。

这样就有一族函数}:);({Θ∈θθx f ，参数估计的任务是，怎样根据样本中已知的信息，在该分布族中选择一个分布作为总体的分布，即如何根据样本从集合Θ中选定一个具体的数值作为总体概率密度的θ的值，这样总体的分布就从不明确变成明确具体的了，就可以进行其他的统计推断和研究了。

比如，已知总体随机变量X 服从参数为θ的指数分布，其概率密度函数是∞<<⋅=-x e x f x 0,);(θθθ，这里}0:{∞<<=Θ∈θθθ。

只有θ的真实值知道了，总体的密度函数才能完全确定下来，这就需要根据样本信息估计出θ的一个具体数值。

设n X X ,,1 是从该总体抽取的一个样
本，根据某种原理构造统计量),,(1n X X T T =作为参数θ的估计，称统计量),,(1n X X T T =就是θ的一个
点估计量或简称估计量，常用θˆ表示θ的点估计；若n x x ,,,1 是样本n
X X ,,1 的一组观测值，带入估计量公式，计算出),,(1n x x T t =就是θ的一个点估计值或简称点估计，要注意区分估计量和估计值这两个概念的不同。

如果总体分布依赖的参数有k 个，即参数向量),,(1k θθ =θ，),,;();(1k x f x f θθ =θ，Θ∈θ，则需要构造k 个统计量),,(111n X X u u =， ，),,(1n k k X X u u =分别作为n θθ,,1 的点估计量。

构造参数θ的估计量是寻求其估计值的前提。

在研究未知参数的估计值时，不是根据一组样本的具体观测值来确定一个估计值，因为对一组数据所决定的估计值是不可能知道这个估计的好坏的，必须从总体出发，在大量重复抽样下才能评价估计的好坏。

自然的想法是研究参数θ一个估计量与参数θ的真值之间的偏差在统计意义下是大还是小，在统计意义下偏差小的估计量通常被认为是好的。

点估计的优点在于它能够提供总体参数的具体估计值，可以作为行动决策的数量依据。

例如，推销部门对某种产品估计出全年销售额数值，并分出每月销售额，便可传递给生产部门作为制定生产计划的依据，而生产部门又可将每月产量计划传递给采购部门作为制定原材料采购计划的依据等。

点估计也有不足之处，它不能提供误差情况如何、误差程度有多大的这类重要信息。

在构造统计量时，利用不同的原理和思想就可以得到不同的统计量，常用的有矩（法）估计和极（或最）大似然估计。

另外，在统计模型中最小二乘估计也很常见，我们将在第十章相关与回归分析中介绍。

一、矩估计
矩估计法是英国统计学家K. Pearson 提出的。

其基本思想是：总体分布所含的参数一般都是总体矩的函数，如二项分布),(~p n B X 中的参数p 是总体随机变量X 的一阶原点矩（即数学期望）的n 分之一，即
)(1X E n p =（因为np X E =)(）
，正态分布),(2σμN 中的参数μ和2σ分别是该分布的一阶原点矩和二阶中心
矩。

由于样本来源于总体，样本矩在一定程度上反映了总体矩，又由大数定律知道样本矩依概率收敛到总体矩，因此就用样本矩来估计相应的总体矩，从而得到总体分布的参数的估计，这种估计方法称为矩估计。

只要总体的k 阶矩存在，就可以用矩估计来估计总体参数。

矩估计法简单、直观，而且不必知道总体的分布类型，所以矩估计法得到了较多的应用，但目前它的应用不如极大似然估计广泛。

矩估计法也有自身的局限性，如它要求总体的k 阶原点矩存在，否则无法应用。

它不考虑总体分布类型，这既有有利的一面，也有不利的一面，如果研究者并不清楚所研究现象的分布，应用矩估计可以得到比较可靠的结果，但是如果总体的分布类型已知，由于它没有充分利用总体分布函数提供的信息，所以得到的结果并不比极大似然估计来的准确。

设总体X 的概率函数),;(1s x f θθ 已知，其中Θ∈),,(1s θθ 是s 个未知参数。

n X X ,,1 是取自总体X
的一个样本，假设X 的k 阶矩k EX 存在，且是s θθ,,1 的函数),,(1s h θθ 。

样本的i 阶矩为∑==n j i
j i X n X 1
1。

令
s i X EX h i i s ,,1,),,(1 ===θθ， （5.9）
解这s 个方程所组成的方程组就可以得到s θθ,,1 的一组解s i X X n
i i ,,1),,,(ˆˆ1 ==θθ，这就是s θθ,,1 的矩估计。

下面通过一个简单的例子说明这一过程。