华东师范大学茆诗松《概率论与数理统计教程》第6章参数估计资料

合集下载

茆诗松《概率论与数理统计教程》笔记和课后习题(含考研真题)详解(参数估计)【圣才出品】

第6章参数估计6.1 复习笔记一、点估计的概念与无偏性 1．点估计及无偏性（1）定义：设x 1，…，x n 是来自总体的一个样本，用于估计未知参数θ的统计量θ∧＝θ∧（x 1，…，x n ）称为θ的估计量，或称为θ的点估计，简称估计．（2）定义：设θ∧＝θ∧（x 1，…，x n ）是θ的一个估计，θ的参数空间为Θ，若对任意的θ∈Θ，有E θ（θ∧）＝θ，则称θ∧是θ的无偏估计，否则称为有偏估计．注意：①当样本量趋于无穷时，有E （s n 2）→σ2，称s n 2为σ2的渐近无偏估计，这表明当样本量较大时，s n 2可近似看作σ2的无偏估计．②若对s n 2作如下修正：则s 2是总体方差的无偏估计．这个量常被采用．③无偏性不具有不变性．即若θ∧是θ的无偏估计，一般而言，其函数g （θ∧）不是g （θ）的无偏估计，除非g （θ）是θ的线性函数．④并不是所有的参数都存在无偏估计，当参数存在无偏估计时，我们称该参数是可估的，否则称它是不可估的．22211()11nn i i ns s x x n n ===---∑2．有效性定义：设θ∧1，θ∧2是θ的两个无偏估计，如果对任意的θ∈Θ有Var （θ∧1）≤Var （θ∧2），且至少有一个θ∈Θ使得上述不等号严格成立，则称θ∧1比θ∧2有效．二、矩估计及相合性 1．替换原理和矩法估计替换原理指：（1）用样本矩去替换总体矩，这里的矩可以是原点矩也可以是中心矩．（2）用样本矩的函数去替换相应的总体矩的函数．2．概率函数已知时未知参数的矩估计设总体具有已知的概率函数p （x ；θ1，…，θk ），（θ1，…，θk ）∈Θ是未知参数或参数向量，x 1，…，x n 是样本．假定总体的k 阶原点矩u k 存在，则对所有的j （0＜j ＜k ）u j 都存在，若假设θ1，…，θk 能够表示成u 1，…，u k 的函数θj ＝θj （u 1，…，u k ），则可给出θj 的矩估计：θ∧j ＝θj （a 1，…，a k ），j ＝1，…，k ，其中a 1，…，a k 是前k 阶样本原点矩进一步，如果我们要估计θ1，…，θk 的函数η＝g （θ1，…，θ∧k ），则可直接得到η的矩估计η∧＝g （θ∧1，…，θ∧k ）．注：当k ＝1时，我们通常可以由样本均值出发对未知参数进行估计；如果k ＝2，我们可以由一阶、二阶原点矩（或二阶中心矩）出发估计未知参数．11n jj ii a x n ==∑3．相合性定义：设θ∈Θ为未知参数，θ∧n ＝θ∧n （x 1，…，x n ）是θ的一个估计量，n 是样本容量，若对任何一个ε＞0，有则称θ∧n 为参数θ的相合估计．判断相合性的两个有用定理：（1）设θ∧n ＝θ∧n （x 1，…，x n ）是θ的一个估计量，若则θ∧n 是θ的相合估计．（2）若θ∧n1，…，θ∧nk 分别是θ1，…，θk 的相合估计η＝g （θ1，…，θk ），是θ1，…，θk 的连续函数，则η∧＝g （θ∧n1，…，θ∧nk ）是η的相合估计．三、最大似然估计与EM 算法 1．最大似然估计定义：设总体的概率函数为P （x ；θ），θ∈Θ，其中θ是一个未知参数或几个未知参数组成的参数向量，Θ是参数空间，x 1，…，x n 是来自该总体的样本，将样本的联合概率函数看成θ的函数，用L （θ；x 1，…，x n ）表示，简记为L （θ），L （θ）＝L （θ；x 1，…，x n ）＝p （x 1；θ）p （x 2；θ）…p （x n ；θ）ˆlim ()0n n P θθε→∞-≥=ˆlim ()nn E θθ→∞=ˆlim ()0nn Var θ→∞=L （θ）称为样本的似然函数．如果某统计量θ∧＝θ∧（x 1，…，x n ）满足则称θ∧是θ的最大似然估计，简记为MLE ．注意：在做题时，习惯于由lnL （θ）出发寻找θ的最大似然估计，再求导，计算极值．但在有些场合用求导就没用，此时就需要从取值范围中的最大值和最小值来入手．2．EM 算法当分布中有多余参数或数据为截尾或缺失时，其MLE 的求取是比较困难的，这时候就可以采用EM 算法，其出发点是把求MLE 的算法分为两步：（1）求期望，以便把多余的部分去掉；（2）求极大值．3．渐近正态性最大似然估计有一个良好的性质：它通常具有渐近正态性．（1）定义：参数目的相合估计θ∧n 称为渐近正态，若存在趋于0的非负常数序列σn （θ），使得依分布收敛于标准正态分布．这时也称θ∧n 服从渐近正态分布N （θ，σn 2（θ）），记为θ∧n ～AN （θ，σn 2（θ）），σn 2（θ）称为θ∧n 的渐近方差．（2）定理：设总体x 有密度函数p （x ；θ），θ∈Θ，Θ为非退化区间，假定 ①对任意的x ，偏导数∂lnp/∂θ，对所有θ∈Θ都存在； ②∀θ∈Θ有|∂p/∂θ|＜F 1（x ），|∂2p/∂θ2|＜F 2（x ），|∂3lnp/∂θ3|＜F 3（x ）()()ˆmax L L θθθ∈Θ=()ˆn n θθσθ-其中函数F 1（x ），F 2（x ），F 3（x ）满足③∀θ∈Θ，若x 1，x 2，…，x n 是来自该总体的样本，则存在未知参数θ的最大似然估计θ∧n ＝θ∧n （x 1，x 2，…，x n ），且θ∧n 具有相合性和渐近正态性，该定理表明最大似然估计通常是渐近正态的，且其渐近方差σn 2（θ）＝（nI （θ））－1有一个统一的形式，其中，I （θ）称为费希尔信息量．四、最小方差无偏估计 1．均方误差（1）使用条件：小样本，有偏估计．（2）均方误差为：MSE （θ∧）＝E （θ∧－θ）2，常用来评价点估计．将均方误差进行如下分解：MSE （θ∧）＝E[（θ∧－E θ∧）＋（E θ∧－θ）]2＝E （θ∧－E θ∧）2＋（E θ∧－θ）2＋2E[（θ∧－E θ∧）1()d F x x ∞-∞<∞⎰2()d F x x ∞-∞<∞⎰3sup ()(;)d F x p x x ∞-∞∈Θ<∞⎰θθ()()2ln 0;d p p x x ∞-∞∂⎛⎫<I =<∞ ⎪∂⎝⎭⎰θθθ1ˆ~(,)()nAN nI θθθ（E θ∧－θ）]＝Var （θ∧）＋（E θ∧－θ）2由分解式可以看出均方误差是由点估计的方差与偏差|E θ∧－θ|的平方两部分组成．如果θ∧是θ的无偏估计，则MSE （θ∧）＝Var （θ∧）．（3）一致最小均方误差设有样本x 1，…，x n ，对待估参数θ有一个估计类，如果对该估计类中另外任意一个θ的估计θ~，在参数空间Θ上都有MSE （θ∧）≤MSE （θ~），称θ∧（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计．2．一致最小方差无偏估计定义：设θ∧是θ的一个无偏估计，如果对另外任意一个θ的无偏估计θ~．在参数率间Θ上都有Var （θ∧）≤Var （θ~），则称θ∧是θ的一致最小方差无偏估计，简记为UMVUE ．关于UMVUE ，有如下一个判断准则：设X ＝（x 1，…，x n ）是来自某总体的一个样本，θ∧＝θ∧（X ）是θ的一个无偏估计，Var （θ∧）＜∞，则θ∧是θ的UMVUE 的充要条件是：对任意一个满足E （φ（X ））＝0和Var （φ（X ））＜∞的φ（X ）都有Cov θ（θ∧，φ）＝0，∀θ∈Θ．这个定理表明UMVUE 的重要特征是：θ的最小方差无偏估计必与任一零的无偏估计不相关，反之亦然．3．充分性原则定理：总体概率函数是p （x ；θ），x 1，…，x n 是其样本，T ＝T （x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计θ∧＝θ∧（x 1，…，x n ）；令ˆ()E T θθ=。

茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解(参数估计)【圣才出品】

茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解第6章参数估计6.1复习笔记一、矩估计及相合性判断相合性的两个定理：（1）设ꞈθn ＝ꞈθn （x 1，…，x n ）是θ的一个估计量，若ˆlim ()nn E θθ→∞=，ˆlim Var()0n n θ→∞=，则ꞈθn 是θ的相合估计。

（2）若ꞈθn1，…，ꞈθnk 分别是θ1，…，θk 的相合估计，η＝g（θ1，…，θk ），是θ1，…，θk 的连续函数，则ꞈη＝g（ꞈθn1，…，ꞈθnk ）是η的相合估计。

二、最大似然估计（1）求样本似然函数；（2）求对数似然函数；（3）求导；（4）找到ꞈθ＝ꞈθ（x 1，…，x n ）满足()()ˆmax L L θθθ∈Θ=。

三、最小方差无偏估计1．均方误差（1）MSE（ꞈθ）＝E（ꞈθ－θ）2，如果ꞈθ是θ的无偏估计，则MSE（ꞈθ）＝Var（ꞈθ）。

（2）一致最小均方误差如果对该估计类中另外任意一个θ的估计~θ，在参数空间Θ上都有MSE （ꞈθ）≤MSE （~θ），称ꞈθ（x 1，…，x n ）是该估计类中θ的一致最小均方误差估计。

2．一致最小方差无偏估计UMVUE 判断准则：设X＝（x 1，…，x n ）是来自某总体的一个样本，ꞈθ＝ꞈθ（X）是θ的一个无偏估计，Var （ꞈθ）＜∞，则ꞈθ是θ的UMVUE 的充要条件是：对任意一个满足E（φ（X））＝0和Var（φ（X））＜∞的φ（X）都有Cov θ（ꞈθ，φ）＝0，∀θ∈Θ。

3．充分性原则定理：总体概率函数是p（x；θ），x 1，…，x n 是其样本，T＝T（x 1，…，x n ）是θ的充分统计量，则对θ的任一无偏估计ꞈθ＝ꞈθ（x 1，…，x n ）；令~θ＝E（ꞈθ|T），则ꞈθ也是θ的无偏估计，且Var（ꞈθ）≤Var（ꞈθ）。

4．Cramer-Rao 不等式（1）费希尔信息量I（θ）2()=ln (;)I E p x θθθ∂⎡⎤⎢⎥∂⎣⎦（2）定理（Cramer-Rao 不等式）设总体分布P（X；θ）满足费希尔信息里I（θ），x 1，x 2…，x n 是来自该总体的样本，T ＝T（x 1，x 2…，x n ）是g（θ）的任一个无偏估计，g′（θ）∂g（θ）/∂θ存在，且对Θ中一切θ，对1i 11()...(,,)(;)d d nn ni g T x x p x x x θθ∞∞-∞-∞==∏⎰⎰ 的微商可在积分号下进行，即1111111()...(,...,)((;))d d ...(,,)ln(;)(;)d d nn i ni nnn i i ni i g T x x p x x x T x x p x p x x x θθθθθθ∞∞-∞-∞=∞∞-∞-∞==∂'=∂∂⎡⎤=⎢⎥∂⎣⎦∏⎰⎰∏∏⎰⎰ 对离散总体，则将上述积分改为求和符号后，等式仍然成立。

概率论与数理统计第六章

概率论与数理统计第六章一、估计及其性质“估计”在中文里既可以作名词，也可以作动词。

用英文的话，可以表示成不同的单词：estimate：所谓的“估计”（动词）就是根据样本预测总体分布中的未知参数。

例如，已知总体服从正态分布[公式] ，但总体均值[公式] 未知，我们通过某个函数“估计”总体均值，[公式] 。

estimator：“估计量”（名词）[公式] 实际上是一个统计量，它是通过一个不含未知参数的样本函数计算出来的结果。

一般使用[公式] 表示总体的参数，[公式] 表示参数的估计量。

estimation：“估计法”（名词）表示寻找函数[公式] 的过程，可以理解为一种估计方法。

例如：Maximum Likelihood Estimation，最大似然估计法。

随着样本不同，同一估计法得到的结果可能是不一样的，因此“估计量”也是一个随机变量。

对于同一个参数，有不同的估计方法，而且看起来都是合理的。

如何比较它们的优劣呢？（1）均方误差MSE Mean Square Error评价一个估计量的好坏，很自然地会想到：衡量“估计量”与“真实值”之间的距离，距离越小表示估计量的性能越好。

也就是所谓的“均方误差”函数：[公式] 也就是距离平方的期望值，如果将其进一步展开：[公式]注意：[公式] 和[公式] 均为数值，[公式] 表示参数的真实值，[公式] 表示估计量的数学期望。

由此看见，均方误差由两部分组成：一是估计量的方差（Variances），即[公式] ；二是估计量的系统偏差（Bias）的平方，即[公式] 。

从“马同学”处借来此图，它可以帮助理解“方差”与“偏差”：备注：靶心表示“真实值”，红叉表示“估计值”“方差”衡量估计值的分散程度，“偏差”衡量估计值的期望与真实值的距离。

左上图：估计值落在靶心四周，此时“方差”较大但“偏差”较小；右上图：估计值落在靶心邻近，此时“方差”、“偏差”均较小；左下图：估计值离靶心较远，呈分散状，此时“方差”、“偏差”均较大；右下图：估计值离靶心较远，落点集中，此时“偏差”较大但“方差”较小。

华东师范大学-茆诗松-概率论与数理统计教程

24 December 2018
第一章随机事件与概率
第4页
§1.1 随机事件及其运算
1.1.1 随机现象：自然界中的有两类现象 1. 确定性现象
• 每天早晨太阳从东方升起; • 水在标准大气压下加温到100oC沸腾;
2. 随机现象
• 掷一枚硬币，正面朝上？反面朝上？ • 一天内进入某超市的顾客数; • 某种型号电视机的寿命;
第一章随机事件与概率
第12页
1.1.6 事件的运算
• • • • 并： A B 交： A B = AB 差： A B 对立： A A 与 B 至少有一发生 A 与 B 同时发生 A发生但 B不发生 A 不发生
24 December 2018
第一章随机事件与概率
第13页
事件运算的图示
24 December 2018
第一章随机事件与概率
第31页
注意
• 抛一枚硬币三次抛三枚硬币一次
• Ω1={(正正正), (反正正), (正反正), (正正反),
(正反反), (反正反), (反反正), (反反反)}
此样本空间中的样本点等可能. • Ω2={(三正), (二正一反), (二反一正), (三反)} 此样本空间中的样本点不等可能.
24 December 2018
第一章随机事件与概率
第19页
课堂练习
1. 若A 是 B 的子事件，则 AB = ( B )， AB = ( A )
2. 设 A 与B 同时出现时 C 也出现，则( ③ ) ① AB 是 C 的子事件； ② C 是 AB 的子事件； ③ AB 是 C 的子事件； ④ C 是 AB 的子事件.
24 December 2018

茆诗松《概率论与数理统计教程》课后习题

茆诗松《概率论与数理统计教程》课后习题本书是详解研究生入学考试指定考研参考书目为茆诗松《概率论与数理统计教程》的配套题库，每章包括以下四部分：第一部分为考研真题及详解。

本部分按教材章节从历年考研真题中挑选具有代表性的部分，并对其进行了详细的解答。

所选考研真题既注重对基础知识的掌握，让学员具有扎实的专业基础；又对一些重难点部分（包括教材中未涉及到的知识点）进行详细阐释，以使学员不遗漏任何一个重要知识点。

第二部分为课后习题及详解。

本部分对茆诗松编写的《概率论与数理统计教程》（第2版）教材每一章的课后习题进行了详细的分析和解答，并对个别知识点进行了扩展。

课后习题答案经过多次修改，质量上乘，特别适合应试作答和临考冲刺。

第三部分为章节题库及详解。

本部分严格按照茆诗松编写的《概率论与数理统计教程》（第2版）教材内容进行编写，每一章都精心挑选经典常见考题，并予以详细解答。

熟练掌握本书考题的解答，有助于学员理解和掌握有关概念、原理，并提高解题能力。

第四部分为模拟试题及详解。

参照茆诗松编写的《概率论与数理统计教程》（第2版）教材，根据历年考研真题的命题规律及热门考点精心编写了两套考前模拟试题，并提供详尽的解答。

通过模拟试题的练习，学员既可以用来检测学习该考试科目的效果，又可以用来评估对自己的应试能力。

本书提供电子书及打印版，方便对照复习。

目录第一部分考研真题第1章随机事件与概率第2章随机变量与分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第二部分课后习题第1章随机事件与概率第2章随机变量及其分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第三部分章节题库第1章随机事件与概率第2章随机变量与分布第3章多维随机变量及其分布第4章大数定律与中心极限定理第5章统计量及其分布第6章参数估计第7章假设检验第8章方差分析与回归分析第四部分模拟试题茆诗松《概率论与数理统计教程》（第2版）配套模拟试题及详解（一）茆诗松《概率论与数理统计教程》（第2版）配套模拟试题及详解（二）。

概率论与数理统计教程(茆诗松)

2004年7月第1版2008年4月第10次印刷第一章随机事件与概率1.1 随机事件及其运算1.1.1 随机现象在一定的条件下，并不总是出现相同结果的现象称为随机现象.在相同条件下可以重复的随机现象又称为随机试验.1.1.2 样本空间随机现象的一切可能基本结果组成的集合称为样本空间，记为Ω={ω}，其中ω表示基本结果，又称为样本点.样本点是今后抽样的最基本单元.1.1.3 随机事件随机现象的某些样本点组成的集合称为随机事件，简称事件.1.1.4 随机变量用来表示随机现象结果的变量称为随机变量.1.1.7 事件域定义1.1.1 设Ω为一样本空间，ℱ为Ω的某些子集所组成的集合类.如果ℱ满足：(1) Ω∈ℱ；(2)若A ∈ℱ，则对立事件A ∈ℱ；(3)若A n ∈ℱ,n =1,2,…，则可列并⋃A n ∞n=1∈ℱ.则称ℱ为一个事件域，又称为σ代数.在概率论中，又称(Ω,ℱ)为可测空间.1.2 概率的定义及其确定方法1.2.1 概率的公理化定义定义1.2.1设Ω为一样本空间，ℱ为Ω的某些子集所组成的一个事件域.若对任一事件A ∈ℱ，定义在ℱ上的一个实值函数P(A)满足：(1)非负性公理若A ∈ℱ，则P (A )≥0；(2)正则性公理 P (Ω)=1；(3)可列可加性公理若A 1,A 2,…,A n 互不相容，有P (⋃A i ∞i=1)=∑P (A i )∞i=1则称P(A)为事件A 的概率，称三元素(Ω,ℱ,P)为概率空间.第二章随机变量及其分布2.1 随机变量及其分布2.1.1 随机变量的概念定义2.1.1 定义在样本空间Ω上的实值函数X =X(ω)称为随机变量.2.1.2 随机变量的分布函数定义2.1.2 设X 是一个随机变量，对任意实数x ，称F (x )=P(X ≤x)为随机变量X 的分布函数.且称X 服从F (x )，记为X~F (x ).2.1.4 连续随机变量的概率密度函数定义2.1.4 设随机变量X 的分布函数为F (x )，如果存在实数轴上的一个非负可积函数p(x)，使得对任意实数x 有F (x )=∫p(t)dt x −∞则称X 为连续随机变量，称p(x)为X 的概率密度函数，简称为密度函数. 密度函数的基本性质(1)非负性 p (x )≥0；(2)正则性 ∫p(x)dx +∞−∞=1.第三章多维随机变量及其分布3.1 多维随机变量及其联合分布3.1.1 多维随机变量定义 3.1.1 如果X 1(ω),…,X n (ω)定义在同一个样本空间Ω={ω}上的n 个随机变量，则称X (ω)=(X 1(ω),…,X n (ω))为n 维(或n 元)随机变量或随机向量.3.1.2 联合分布函数定义3.1.2 对任意的n 个实数x 1,…,x n ，则n 个事件{X 1≤x 1},…,{X n ≤x n }同时发生的概率F (x 1,…,x n )=P(X 1≤x 1,…,X n ≤x n )称为n 维随机变量(X 1,…,X n )的联合分布函数.3.4 多维随机变量的特征数3.4.5 随机向量的数学期望与协方差阵定义3.4.3 记n 维随机向量为X =(X 1,…,X n )′，若其每个分量的数学期望都存在，则称E (X )=(E(X 1),…,E(X n ))′为n 维随机向量X 的数学期望向量，简称为X 的数学期望，而称E [(X −E (X ))(X −E (X ))′]=[Var(X 1)Cov(X 1,X 2)…Cov(X 1,X n )Cov(X 2,X 1)Var(X 2)…Cov(X 2,X n )…………Cov(X n ,X 1)Cov(X n ,X 2)…Var(X n )] 为该随机向量的方差—协方差阵，简称协方差阵，记为Cov(X).例 3.4.12(n 元正态分布) 设n 维随机变量X =(X 1,…,X n )′的协方差阵为B =Cov(X)，数学期望向量为a =(a 1,…,a n )′.又记x =(x 1,…,x n )′，则由密度函数p (x 1,…,x n )=p (x )=1(2π)n 2(detB)12exp (−12(x −a )′B −1(x −a))定义的分布称为n元正态分布，记为X~N(a,B).第四章大数定律与中心极限定理4.1 特征函数4.1.1 特征函数的定义定义4.1.1 设X是一个随机变量，称φ(t)=E(e itX),−∞<t<+∞为X的特征函数.设p(x)是随机变量X的密度函数，则φ(t)=∫e itx p(x)+∞−∞dx4.2 大数定律4.2.1伯努利大数定律定理4.2.1(伯努利大数定律) 设μn为n重伯努利试验中事件A发生的次数，p为每次试验中A出现的概率，则对任意的ε>0，有lim n→+∞P{|μnn−p|<ε}=14.2.2 常用的几个大数定律4.3 随机变量序列的两种收敛性4.3.1 依概率收敛定义4.3.1(依概率收敛) 设{Y n}为一随机变量序列，Y为一随机变量，如果对任意的ε>0，有limn→+∞P{|Y n−Y|<ε}=1则称{Y n}依概率收敛于Y，记作Y n P→Y.4.4 中心极限定理4.4.2 独立同分布下的中心极限定理定理4.4.1(林德贝格—勒维中心极限定理) 设{X n}是独立同分布的随机变量序列，且E(X i)=μ,Var(X i)=σ2>0.记Y n∗=X+⋯+X−nμσ√n则对任意实数y有lim n→+∞P(Y n∗≤y)=Φ(y)=1√2πe−t22y−∞dt第五章统计量及其分布第六章参数估计第七章假设检验第八章方差分析与回归分析。

概率论与数理统计(茆诗松)第二版课后第六章习题参考答案

第六章参数估计习题6.11．设X 1, X 2, X 3是取自某总体容量为3的样本，试证下列统计量都是该总体均值µ 的无偏估计，在方差存在时指出哪一个估计的有效性最差？（1）3211613121ˆX X X ++=µ；（2）3212313131ˆX X X ++=µ；（3）3213326161ˆX X X ++=µ．证：因µµµµµ=++=++=613121)(61)(31)(21)ˆ(3211X E X E X E E ， µµµµµ=++=++=313131)(31)(31)(31)ˆ(3212X E X E X E E ， µµµµµ=++=++=326161)(32)(61)(61)ˆ(3213X E X E X E E ，故321ˆ,ˆ,ˆµµµ都是总体均值µ 的无偏估计；因2222321136143619141)Var(361)Var(91)Var(41)ˆVar(σσσσµ=++=++=X X X ， 2222321231919191)Var(91)Var(91)Var(91)ˆVar(σσσσµ=++=++=X X X ， 222232132194361361)Var(94)Var(361)Var(361)ˆVar(σσσσµ=++=++=X X X ，故)ˆVar()ˆVar()ˆVar(312µµµ<<，即2ˆµ有效性最好，1ˆµ其次，3ˆµ最差． 2．设X 1, X 2, …, X n 是来自Exp (λ)的样本，已知X 为1/λ的无偏估计，试说明X /1是否为λ的无偏估计．解：因X 1, X 2, …, X n 相互独立且都服从指数分布Exp (λ)，即都服从伽玛分布Ga (1, λ)，由伽玛分布的可加性知∑==ni i X Y 1服从伽玛分布Ga (n , λ)，密度函数为01e )()(>−−ΙΓ=y y n nY y n y p λλ，则λλλλλλλ1)1()(e )(e )(110201−=−Γ⋅Γ=Γ=Γ⋅=⎟⎠⎞⎜⎝⎛=⎟⎠⎞⎜⎝⎛−∞+−−∞+−−∫∫n n n n n dy y n n dy y n y n Y n E X E n n y n n yn n，故X /1不是λ的无偏估计．3．设θˆ是参数θ 的无偏估计，且有0)ˆ(Var >θ，试证2)ˆ(θ不是θ 2的无偏估计．证：因θθ=)ˆ(E ，有2222)ˆVar()]ˆ([)ˆVar(])ˆ[(θθθθθθ>+=+=E E ，故2)ˆ(θ不是θ 2的无偏估计． 4．设总体X ~ N(µ , σ 2)，X 1, …, X n 是来自该总体的一个样本．试确定常数c 使∑=+−ni i i X X c 121)(为σ 2的无偏估计．解：因E [(X i + 1 − X i )2 ] = Var (X i + 1 − X i ) + [E (X i + 1 − X i )]2 = Var (X i + 1) + Var (X i ) + [E (X i + 1) − E (X i )]2 = 2σ 2，则2211211121)1(22)1(])[()(σσ−=⋅−⋅=−=⎥⎦⎤⎢⎣⎡−∑∑−=+−=+n c n c X X E c X X c E n i i i n i i i ，故当)1(21−=n c 时，21121)(σ=⎥⎦⎤⎢⎣⎡−∑−=+n i i i X X c E ，即∑−=+−1121)(n i i i X X c 是σ 2的无偏估计．5．设X 1, X 2, …, X n 是来自下列总体中抽取的简单样本，⎪⎩⎪⎨⎧+≤≤−=.,0;2121,1);(其他θθθx x p证明样本均值X 及)(21)()1(n X X +都是θ 的无偏估计，问何者更有效？证：因总体⎟⎠⎞⎜⎝⎛+−21,21~θθU X ，有)1,0(~21U X Y +−=θ，则21−+=θY X ，21)1()1(−+=θY X ，21)()(−+=θn n Y X ，即21)(21)(21)()1()()1(−++=+θn n Y Y X X ，可得θθθ=−+=−+=21)(21)()(Y E Y E X E ，nY n Y X 121)Var(1)Var()Var(===，因Y 的密度函数与分布函数分别为p Y ( y ) = I 0<y <1，⎪⎩⎪⎨⎧≥<≤<=.1,1;10,;0,0)(y y y y y F Y有Y (1)与Y (n )的密度函数分别为10111)1()()](1[)(<<−−Ι−=−=y n Y n Y y n y p y F n y p ，1011)()]([)(<<−−Ι==y n Y n Y n ny y p y F n y p ，且(Y (1), Y (n ))的联合密度函数为)()1()()()]()()[1(),()()1(2)1()()()1(1n y y n Y Y n Y n Y n n y p y p y F y F n n y y p <−Ι−−=102)1()()()1())(1(<<<−Ι−−=n y y n n y y n n ，则11)2()()2()1()(101)1(+=+ΓΓΓ⋅=−⋅=∫−n n n n dy y n y Y E n ，1)(101)(+=⋅=∫−n n dy ny y Y E n n ， )2)(1(2)3()()3()1()(10122)1(++=+ΓΓΓ⋅=−⋅=∫−n n n n n dy y n y Y E n ，2)(10122)(+=⋅=∫−n n dy ny y Y E n n ， ∫∫∫∫−−−−⋅⋅=−−⋅=11)1()()()1()(1)1(2)1()()()1()()()1()()()()1())(1()(n n y n n n n y n n n n n y y d n y y dy dy y y n n y y dy Y Y E∫∫⎥⎦⎤⎢⎣⎡⋅−+−−=−−100)1()(1)1()(01)1()()()1()()()()()(n n y n n n y n n n n dy y y y n y y y ny dy2121)(102)(10)(1)(100)1()()()()(+=+==⎥⎦⎤⎢⎣⎡−⋅−=++∫∫n y n dy y y y y dy n n n n n y n n n n n ，即)2()1(11)2)(1(2)Var(22)1(++=⎟⎠⎞⎜⎝⎛+−++=n n n n n n Y ，)2()1(12)Var(22)(++=⎟⎠⎞⎜⎝⎛+−+=n n n n n n n Y n ，且)2()1(111121),Cov(2)()1(++=+⋅+−+=n n n nn n Y Y n 可得θθ=−++=⎥⎦⎤⎢⎣⎡+21)]()([21)(21)()1()()1(n n Y E Y E X X E ，)2)(1(21)2()1(422)],Cov(2)Var()[Var(41)(21Var 2)()1()()1()()1(++=+++=++=⎥⎦⎤⎢⎣⎡+n n n n n Y Y Y Y X X n n n ，因θ=(X E ，θ=⎥⎦⎤⎢⎣⎡+)(21)()1(n X X E ，故X 及)(21)()1(n X X +都是θ 的无偏估计；因当n > 1时，)2)(1(21)(21Var 121)Var()()1(++=⎥⎦⎤⎢⎣⎡+>=n n X X n X n ，故)(21)()1(n X X +比样本均值X 更有效． 6．设X 1, X 2, X 3服从均匀分布U (0, θ )，试证)3(34X 及4X (1)都是θ 的无偏估计量，哪个更有效？解：因总体X 的密度函数与分布函数分别为θθ<<Ι=x x p 01)(，⎪⎩⎪⎨⎧≥<≤<=.,1;0,;0,0)(θθθx x x x x F有X (1)与X (3)的密度函数分别为θθθ<<Ι−=−=x x x p x F x p 03221)(3)()](1[3)(，θθ<<Ι==x x x p x F x p 032233)()]([3)(，则443223)(3)(043223032)1(θθθθθθθθ=⎟⎟⎠⎞⎜⎜⎝⎛+⋅−⋅=−⋅=∫x x x dx x x X E ， 43433)(043032)3(θθθθθ=⋅=⋅=∫x dy x x X E ， 1054233)(3)(205432303222)1(θθθθθθθθ=⎟⎟⎠⎞⎜⎜⎝⎛+⋅−⋅=−⋅=∫x x x dx x x X E ， 53533)(25303222)3(θθθθθ=⋅=⋅=∫x dy x x X E ，即803410)Var(222)1(θθθ=⎟⎠⎞⎜⎝⎛−=X ，8034353)Var(222)3(θθθ=⎟⎠⎞⎜⎝⎛−=X ，因θθ=⋅=44)4()1(X E ，θθ=⋅=⎟⎠⎞⎜⎝⎛433434)3(X E ，故4X (1)及)3(34X 都是θ 的无偏估计；因5380316)4Var(22)1(θθ=⋅=X ，1580391634Var 22)3(θθ=⋅=⎟⎠⎞⎜⎝⎛X ，有⎟⎠⎞⎜⎝⎛>)3()1(34Var )4Var(X X ，故)3(34X 比4X (1)更有效． 7．设从均值为µ ，方差为σ 2 > 0的总体中，分别抽取容量为n 1和n 2的两独立样本，1X 和2X 分别是这两个样本的均值．试证，对于任意常数a , b （a + b = 1），21X b X a Y +=都是µ 的无偏估计，并确定常数a , b 使Var (Y ) 达到最小．解：因µµµµ=+=+=+=)()()()(21b a b a X bE X aE Y E ，故Y 是µ 的无偏估计；因22222121222122221212)1()(Var )(Var )(Var σσσ⎟⎟⎠⎞⎜⎜⎝⎛+−+=⋅−+⋅=+=n a n a n n n n n a n a X b X a Y ，令022)(Var 222121=⎟⎟⎠⎞⎜⎜⎝⎛−⋅+=σn a n n n n Y da d ，得211n n n a +=，且02)(Var 2212122>⋅+=σn n n n Y a d d ，故当211n n n a +=，2121n n n a b +=−=时，Var (Y ) 达到最小2211σn n +．8．设总体X 的均值为µ ，方差为σ 2，X 1, …, X n 是来自该总体的一个样本，T (X 1, …, X n )为µ 的任一线性无偏估计量．证明：X 与T 的相关系数为)Var()Var(T X ．证：因T(X 1, …, X n )为µ的任一线性无偏估计量，设∑==ni i i n X a X X T 11),,(L ，则µµ===∑∑==ni i ni i i a X E a T E 11)()(，即11=∑=ni i a ，因X 1, …, X n 相互独立，当i ≠ j 时，有Cov (X i , X j ) = 0，则nanX X n a X a X n X a X n T X ni in i i i i n i i i i ni i i n i i 2121111),Cov(,1Cov ,1Cov ),Cov(σσ===⎟⎠⎞⎜⎝⎛=⎟⎟⎠⎞⎜⎜⎝⎛=∑∑∑∑∑=====，因),Cov()Var(1)Var(2T X nX n X ===σ，故X 与T 的相关系数为)Var()Var()Var()Var()Var()Var()Var(),Cov(),Corr(T X T X X T X T X T X ===．9．设有k 台仪器，已知用第i 台仪器测量时，测定值总体的标准差为σ i （i = 1, …, k ）．用这些仪器独立地对某一物理量θ 各观察一次，分别得到X 1, …, X k ，设仪器都没有系统误差．问a 1, …, a k 应取何值，方能使∑==ki i i X a 1ˆθ成为θ 的无偏估计，且方差达到最小？解：因θθθ⎟⎟⎠⎞⎜⎜⎝⎛===⎟⎟⎠⎞⎜⎜⎝⎛=∑∑∑∑====k i i ki i k i i i ki i i a a x E a x a E E 1111)()ˆ(，则当11=∑=ki i a 时，∑==ki ii x a 1ˆθ是θ 的无偏估计，因∑∑∑=====⎟⎟⎠⎞⎜⎜⎝⎛=ki i i k i i i k i i i a x a x a 122121)(Var Var )ˆ(Var σθ，讨论在11=∑=ki i a 时，∑=ki i i a 122σ的条件极值，设拉格朗日函数⎟⎟⎠⎞⎜⎜⎝⎛−+=∑∑==1),,,(11221ki i ki iik a a a a L λσλL ，令⎪⎪⎪⎪⎩⎪⎪⎪⎪⎨⎧=−=∂∂=+=∂∂=+=∂∂∑=,01,02,02122111ki i k k ka L a a L a a L λλσλσL L L L L 得2212−−++−=k σσλL ，2212−−−++=k i i a σσσL ，i = 1, …, k ，故当2212−−−++=k i i a σσσL ，i = 1, …, k 时，∑==ki ii x a 1ˆθ是θ 的无偏估计，且方差达到最小． 10．设X 1, X 2, …, X n 是来自N (θ, 1)的样本，证明g (θ ) = |θ | 没有无偏估计（提示：利用g (θ )在θ = 0处不可导）．证：反证法：假设T = T (X 1, X 2, …, X n )是g (θ ) = |θ | 的任一无偏估计，因∑==ni i X n X 11是θ 的一个充分统计量，即在取定x X =条件下，样本条件分布与参数θ 无关，则)|(X T E S =与参数θ 无关，且S 是关于X 的函数，||)()()]|([)(θθ====g T E X T E E S E ，可得)(X S S =是g (θ ) = |θ | 的无偏估计，因X 1, X 2, …, X n 是来自N (θ, 1)的样本，由正态分布可加性知X 服从正态分布⎟⎠⎞⎜⎝⎛n N 1,θ，则∫∫∞+∞−+−−∞+∞−−−⋅⋅=⋅=dx x S ndx n x S S E x n x n n x nθθθ22222)(2e)(eπ2eπ2)()(，因E (S ) = |θ|，可知对任意的θ，反常积分∫∞+∞−+−⋅dx x S x n x n θ22e)(收敛，则由参数θ的任意性以及该反常积分在−∞与+∞两个方向的收敛性知∫∞+∞−⋅⋅+−⋅dx x S x n x n ||||22e)(θ收敛，因x n x S x S x n x n x n n ⋅⋅=⎥⎥⎦⎤⎢⎢⎣⎡⋅∂∂+−+−θθθ2222e )(e )(，且| y | ≤ e| y |，有||)1||(2222eex n n x n x n x n ⋅+⋅+−+−≤⋅θθ，则由∫∞+∞−⋅+⋅+−⋅dx x S x n x n ||)1|(|22e)(θ的收敛性知∫∞+∞−+−⎥⎥⎦⎤⎢⎢⎣⎡⋅∂∂dx x S x n x n θθ22e )(一致收敛，可得∫∞+∞−+−−⋅⋅=dx x S nS E x n x n n θθ2222e)(e π2)(关于参数θ 可导，与E (S ) = |θ |在θ = 0处不可导矛盾，故g (θ ) = |θ | 没有无偏估计．11．设总体X 服从正态分布N (µ , σ 2)，X 1, X 2, …, X n 为来自总体X 的样本，为了得到标准差σ 的估计量，考虑统计量：∑=−=ni i X X n Y 11||1，∑==n i i X n X 11，n ≥ 2，∑∑==−−=n i nj j i X X n n Y 112||)1(1，n ≥ 2，求常数C 1与C 2，使得C 1Y 1与C 2Y 2都是σ 的无偏估计．解：设),0(~2θN Y ，有θθθθθθθπ2eπ22e π212e π21|||][|02022222222=−=⋅=⋅=+∞−∞+−∞+∞−⋅−∫∫y y y dy y dy y Y E ，因X X i −是独立正态变量X 1, X 2, …, X n 的线性组合，且0()()(=−=−=−µµX E X E X X E i i ，22211,Cov 21),Cov(2)Var()Var()Var(σσσn n X n X n X X X X X X i i i i i −=⎟⎠⎞⎜⎝⎛−+=−+=−，则⎟⎠⎞⎜⎝⎛−−21,0~σn n N X X i ，σσπ)1(21π2|][|n n n n X X E i −=−⋅=−，可得σσπ)1(2π)1(21|][|1)()(11111111n n C n n n n C X X E n C Y E C Y C E n i i −=−⋅⋅⋅=−⋅==∑=，故当)1(2π1−=n n C 时，E [C 1Y 1] = σ，C 1Y 1是σ 的无偏估计；当i ≠ j 时，X i 与X j 相互独立，都服从正态分布N (µ , σ 2)，有E (X i − X j ) = E (X i ) − E (X j ) = µ − µ = 0，Var(X i − X j ) = Var(X i ) + Var(X j ) = σ 2 + σ 2 = 2σ 2，则X i − X j ~ N (0, 2σ 2)，σσπ22π2|][|=⋅=−j i X X E ，当i = j 时，X i − X j = 0，E [| X i − X j |] = 0，可得σσπ2π2)()1(1|][|)1(1)()(2221122222C n n n n C X X E n n C Y E C Y C E n i nj j i =−⋅−⋅=−−⋅==∑∑==，故当2π2=C 时，E [C 2Y 2] = σ，C 2Y 2是σ 的无偏估计．习题6.21．从一批电子元件中抽取8个进行寿命测试，得到如下数据（单位：h ）：1050，1100，1130，1040，1250，1300，1200，1080，试对这批元件的平均寿命以及寿命分布的标准差给出矩估计．解：平均寿命µ 的矩估计75.1143ˆ==x µ；标准差σ 的矩估计8523.89*ˆ==s µ． 2．设总体X ~ U (0, θ )，现从该总体中抽取容量为10的样本，样本值为：0.5，1.3，0.6，1.7，2.2，1.2，0.8，1.5，2.0，1.6，试对参数θ 给出矩估计．解：因X ~ U (0, θ )，有2)(θ=X E ，即θ = 2 E (X )，故θ 的矩估计68.234.122ˆ=×==x θ． 3．设总体分布列如下，X 1, …, X n 是样本，试求未知参数的矩估计．（1）Nk X P 1}{==，k = 0, 1, 2, …, N − 1，N （正整数）是未知参数；（2）P {X = k } = (k − 1)θ 2 (1 − θ )k − 2，k = 2, 3, …，0 < θ < 1．解：（1）因21)]1(10[1)(−=−+++=N N N X E L ，即N = 2 E (X ) + 1，故N 的矩估计12ˆ+=X N ；（2）因⎥⎦⎤⎢⎣⎡−=−=−−⋅=∑∑∑+∞=+∞=+∞=−22222222222)1()1()1()1()(k k k k k k d d d d k k X E θθθθθθθθ θθθθθθθθθθθ2221)1(1)1(322222222=⋅=⎟⎠⎞⎜⎝⎛+−=⎥⎦⎤⎢⎣⎡−−−=d d d d ，则)(2X E =θ，故θ 的矩估计X2ˆ=θ． 4．设总体密度函数如下，X 1, …, X n 是样本，试求未知参数的矩估计．（1）)(2);(2x x p −=θθθ，0 < x < θ ，θ > 0；（2）p (x ;θ ) = (θ + 1) x θ，0 < x < 1，θ > 0；（3）1);(−=θθθx x p ，0 < x < 1，θ > 0；（4）θµθµθ−−=x x p e1),;(，x > µ ，θ > 0．解：（1）因3322)(2)(032202θθθθθθθ=⎟⎟⎠⎞⎜⎜⎝⎛−⋅=−⋅=∫x x dx x x X E ，即θ = 3 E (X )，故θ 的矩估计X 3ˆ=θ；（2）因212)1()1()(10210++=+⋅+=+⋅=+∫θθθθθθθx dx x x X E ，即)(11)(2X E X E −−=θ，故θ 的矩估计XX −−=112ˆθ；（3）因11)(101101+=+⋅=⋅=+−∫θθθθθθθxdx x x X E ，即2)(1)(⎥⎦⎤⎢⎣⎡−=X E X E θ，故θ 的矩估计21ˆ⎟⎟⎠⎞⎜⎜⎝⎛−=XX θ；（4）因θµθµθµθµµθµµθµµθµµθµ+=−=+−=−⋅=⋅=+∞−−∞+−−+∞−−∞+−−∞+−−∫∫∫x x x x x dx x d x dx x X E eeee)1(e1)(，)(2e2ee)1(e1)(22222X E dx x x d x dx x X E x x x x θµθµθµµθµµθµµθµ+=+−=−⋅=⋅=∫∫∫∞+−−+∞−−∞+−−∞+−−= µ 2 + 2µθ + 2θ 2，则Var (X ) = E (X 2 ) − [E (X )]2 = θ 2，即)Var(X =θ，)Var()(X X E −=µ，故θ 的矩估计*ˆS =θ，*ˆS X −=µ． 5．设总体为N (µ , 1)，现对该总体观测n 次，发现有k 次观测值为正，使用频率替换方法求µ 的估计．解：因p = P {X > 0} = P {X − µ > −µ} = 1 − Φ (−µ) = Φ (µ)，即µ = Φ −1 ( p )，故µ 的矩估计⎟⎠⎞⎜⎝⎛Φ=Φ=−−n k p 11)ˆ(ˆµ．6．甲、乙两个校对员彼此独立对同一本书的样稿进行校对，校完后，甲发现a 个错字，乙发现b 个错字，其中共同发现的错字有c 个，试用矩法给出如下两个未知参数的估计：（1）该书样稿的总错字个数；（2）未被发现的错字数．解：（1）设N 为该书样稿总错别字个数，且A 、B 分别表示甲、乙发现错别字，有A 与B 相互独立，则P (AB ) = P (A ) P (B )，使用频率替换方法，即N b N a p p N c p B A AB ⋅===ˆˆˆ，得cabN =，故总错字个数N 的矩估计cab N=ˆ；（2）设k 为未被发现的错字数，因)()()(1)(1)(AB P B P A P B A P B A P +−−=−=U ，使用频率替换方法，即N cN b N a p p pN k pAB B A B A +−−=+−−==1ˆˆˆ1ˆ，即k = N − a − b + c ，故未被发现的错字数k 的矩估计c b a cab c b a N k+−−=+−−=ˆˆ． 7．设总体X 服从二项分布b (m , p )，其中m , p 为未知参数，X 1, …, X n 为X 的一个样本，求m 与p 的矩估计．解：因E (X ) = mp ，Var (X ) = mp (1 − p )，有)()Var(1X E X p =−，则)()Var(1X E X p −=，)Var()()]([)(2X X E X E p X E m −==，故m 的矩估计22*ˆS X X m −=，p 的矩估计XS p 2*1ˆ−=．习题6.31．设总体概率函数如下，X 1, …, X n 是样本，试求未知参数的最大似然估计．（1）1);(−=θθθxx p ，0 < x < 1，θ > 0；（2）p (x ;θ ) = θ c θ x − (θ + 1) ，x > c ，c > 0已知，θ > 1．解：（1）因1,,,01212110121)()(<<−=<<−Ι=Ι=∏n i x x x n nni x ix x x x L L L θθθθθ，当0 < x 1, x 2, …, x n < 1时，)ln()1(ln 2)(ln 21n x x x nL L −+=θθθ，令0)ln(212)(ln 21=+=n x x x n d L d L θθθθ，得)ln(21n x x x n L −=θ，即221)ln(⎥⎦⎤⎢⎣⎡=n x x x nL θ，故θ 的最大似然估计221)ln(ˆ⎦⎤⎢⎣⎡=n X X X n L θ；（2）因c x x x n n n ni c x i n i x x x c x c L >+−=>+−Ι=Ι=∏,,,)1(211)1(21)()(L L θθθθθθθ，当x 1, x 2, …, x n > c 时，ln L (θ ) = n ln θ + n θ ln c − (θ + 1) ln (x 1 x 2 …x n )，令0)ln(ln )(ln 21=−+=n x x x c n n d L d L θθθ，得c n x x x nn ln )ln(21−=L θ，故θ 的最大似然估计cn X X X nn ln )ln(ˆ21−=L θ．2．设总体概率函数如下，X 1, …, X n 是样本，试求未知参数的最大似然估计．（1）p (x ;θ ) = c θ c x − (c + 1) ，x > θ ，θ > 0，c > 0已知；（2）θµθµθ−−=x x p e1),;(，x > µ ，θ > 0；（3）p (x ;θ ) = (k θ )−1，θ < x < (k + 1)θ ，θ > 0．解：（1）因θθθθθ>+−=>+−Ι=Ι=∏n i x x x c n nc n ni x c i c x x x c x c L ,,,)1(211)1(21)()(L L ，显然θ 越大，nc θ越大，但只有x 1 , x 2 , …, x n > θ 时，才有L (θ ) > 0，即θ = min {x 1, x 2, …, x n } 时，L (θ ) 达到最大，故θ 的最大似然估计},,,min{ˆ21)1(nX X X X L ==θ；（2）因µµθµθµθθµθ>⎟⎟⎠⎞⎜⎜⎝⎛−−=>−−Ι∑=Ι==∏n n i i i i x x x n x nni x x L ,,,11211e1e1),(L ，当x 1, x 2, …, x n > µ 时，⎟⎟⎠⎞⎜⎜⎝⎛−−−=∑=µθθµθn x n L ni i 11ln ),(ln ，令01),(ln 12=⎟⎟⎠⎞⎜⎜⎝⎛−+−=∑=µθθθµθn x n d L d ni i ，解得µµθ−=⎟⎟⎠⎞⎜⎜⎝⎛−=∑=x n x n n i i11，且显然µ越大，⎟⎟⎠⎞⎝⎛−−∑=µθn x n i i 11e 越大，但只有x 1 , x 2 , …, x n > µ 时，才有L (θ, µ) > 0，即µ = min {x 1, x 2, …, x n } 时，L (θ, µ) 才能达到最大，故µ 的最大似然估计},,,min{ˆ21)1(n X X X X L ==µ，θ 的最大似然估计)1(ˆˆX X X −=−=µθ；（3）因θθθθθθθ)1(,,,1)1(121)()()(+<<−=+<<−Ι=Ι=∏k x x x n ni k x n i k k L L ，显然θ 越小，(k θ )−n 越大，但只有θ < x 1 , x 2 , …, x n < (k + 1)θ 时，才有L (θ ) > 0，即},,,max{1121n x x x k L +=θ时，L (θ ) 达到最大，故θ 的最大似然估计为},,,max{111ˆ21)(nn X X X k k X L +=+=θ． 3．设总体概率函数如下，X 1, …, X n 是样本，试求未知参数的最大似然估计．（1）θθθ||e 21);(x x p −=，θ > 0；（2）p(x ;θ ) = 1，θ − 1/2 < x < θ + 1/2；（3）12211),;(θθθθ−=x p ，θ1 < x < θ2．解：（1）因∑===−=−∏ni i i x n n ni x L 1||11||e21e 21)(θθθθθ，有∑=−−−=n i i x n n L 1||1ln 2ln )(ln θθθ，令∑=+⋅−=ni i x n d L d 12||11)(ln θθθθ，得∑==ni i x n 1||1θ，故θ的最大似然估计∑==ni i X n 1||1ˆθ；（2）因2/1,,,2/112/12/121)(+<<−=+<<−Ι=Ι=∏θθθθθn i x x x ni x L L ，即θ − 1/2 < x (1) ≤ x (n ) < θ + 1/2，可得当x (n ) − 1/2 < θ < x (1) + 1/2时，都有L (θ ) = 1，故θ 的最大似然估计ˆθ是 (x (n ) − 1/2, x (1) + 1/2) 中任何一个值；（3）因221121,,,1211221)(11),(θθθθθθθθθθ<<=<<Ι−=Ι−=∏n i x x x n ni x L L ，显然θ 1越大且θ 2越小时，L (θ1, θ 2) 越大，但只有θ1 < x 1 , x 2 , …, x n < θ 2 时，才有L (θ1, θ 2) > 0，即θ 1 = min {x 1, x 2, …, x n }且θ 2 = max {x 1, x 2, …, x n }时，L (θ1, θ 2)达到最大，故θ 1的最大似然估计},,,min{ˆ21)1(1nX X X X L ==θ， θ 2的最大似然估计},,,max{ˆ21)(2nn X X X X L ==θ． 4．一地质学家为研究密歇根湖的湖滩地区的岩石成分，随机地自该地区取100个样品，每个样品有10块石子，记录了每个样品中属石灰石的石子数．假设这100次观察相互独立，求这地区石子中石灰石的比例p 的最大似然估计．该地质学家所得的数据如下：样本中的石子数 0 1 2 3 4 5 6 7 8 9 10样品个数0 1 6 7 23 26 21 12 3 1 0解：总体X 为样品的10块石子中属石灰石的石子数，即X 服从二项分布B (10, p )，其概率函数为xx p p x x p −−⎟⎟⎠⎞⎜⎜⎝⎛=10)1(10)(，x = 1, 2, …, 10，因∑−∑⋅⎟⎟⎠⎞⎜⎜⎝⎛=−⎟⎟⎠⎞⎜⎜⎝⎛===−==−∏∏1001100110001001110)1(10)1(10)(i ii iii x x i i ni x x i p p x p p x p L ，即)1ln(1000ln 10ln )(ln 100110011001p x p x x p L i i i i i i −⋅⎟⎟⎠⎞⎜⎜⎝⎛−+⋅+⎟⎟⎠⎞⎜⎜⎝⎛=∑∑∑===，令01110001)(ln 10011001=−⋅⎟⎟⎠⎞⎜⎜⎝⎛−−⋅=∑∑==p x p x dp p L d i i i i ，得∑==100110001i i x p ，即∑==100110001ˆi i X p 由于49909137261101001=+×+×+×+×+=∑=i i x ，故比例p 的最大似然估计499.049910001ˆ=×=p． 5．在遗传学研究中经常要从截尾二项分布中抽样，其总体概率函数为m k p p p k m p k X P mk m k ,,2,1,)1(1)1(};{L =−−−⎟⎟⎠⎞⎜⎜⎝⎛==−．若已知m = 2，X 1, …, X n 是样本，试求p 的最大似然估计．解：当m = 2时，X 只能取值1或2，且p p p p p X P −−=−−−==222)1(1)1(2}1{2，ppp p X P −=−−==2)1(1}2{22，即pp p p p p p p x X P x x x x−−=⎟⎟⎠⎞⎜⎜⎝⎛−⎟⎟⎠⎞⎜⎜⎝⎛−−==−−−−2)22(2222};{1212，x = 1, 2，因nnx x n ni x x p p p p p p p L ni i ni i i i )2()22(2)22()(112112−∑∑−=−−=−−=−−==∏，即)2ln(ln )22ln(2)(ln 11p n p n x p x n p L n i i ni i −−⋅⎟⎟⎠⎞⎜⎜⎝⎛−+−⋅⎟⎟⎠⎞⎜⎜⎝⎛−=∑∑==，令02112222)(ln 11=−−⋅−⋅⎟⎟⎠⎞⎜⎜⎝⎛−+−−⋅⎟⎟⎠⎞⎜⎜⎝⎛−=∑∑==p n p n x p x n dp p L d n i i ni i ，得x x n p n i i22221−=−=∑=，故p 的最大似然估计Xp22ˆ−=． 6．已知在文学家萧伯纳的“An Intelligent Woman’s Guide to Socialism ”一书中，一个句子的单词数X 近似地服从对数正态分布，即Z = ln X ~ N (µ , σ 2 )．今从该书中随机地取20个句子，这些句子中的单词数分别为52, 24, 15, 67, 15, 22, 63, 26, 16, 32, 7, 33, 28, 14, 7, 29, 10, 6, 59, 30，求该书中一个句子单词数均值22e )(σµ+=X E 的最大似然估计．解：因Z = ln X ~ N (µ , σ 2 )，则µ的最大似然估计09.3)30ln 24ln 52(ln 201ln 11ˆ11=+++====∑∑==L n i in i i x n z n z µ， σ 2的最大似然估计51.0])09.330(ln )09.324(ln )09.352[(ln 201)(12221222=−++−+−=−==∑=∗∧L n i i zz z n sσ，故由最大似然估计的不变性知22e)(σµ+=X E 的最大似然估计31.28e e )(251.009.322*===++∧zs z X E ．7．总体X ~ U (θ , 2θ )，其中θ > 0是未知参数，又X 1, …, X n 为取自该总体的样本，X 为样本均值．（1）证明X 32ˆ=θ是参数θ 的无偏估计和相合估计；（2）求θ的最大似然估计，它是无偏估计吗？是相合估计吗？解：（1）因X ~ U(θ , 2θ )，有θθθ2322)(=+=X E ，2212112)2()Var(θθθ=−=X ，故θθ=⋅===2332)(32)(32)ˆ(X E X E E ，即X 32ˆ=θ是参数θ 的无偏估计；因n n X n X 2712194)Var(94)Var(94)ˆVar(22θθθ=⋅===，有θθ=→∞)ˆ(lim E n ，0)ˆVar(lim =∞→θn ，故X 32ˆ=θ是参数θ 的相合估计；（2）因θθθθθθθ2,,,122111)(<<=<<Ι=Ι=∏n i x x x nni x L L ，显然θ 越小，nθ1越大，但只有θ < x 1 , x 2 , …, x n < 2θ 时，才有L (θ ) > 0，即},,,max{2121n x x x L =θ时，L (θ ) 达到最大，故θ 的最大似然估计为},,,max{2121*ˆ21)(nn X X X X L ==θ；因X 的密度函数为⎪⎩⎪⎨⎧<<=.,0;2,1)(其他θθθx x p ，分布函数为⎪⎩⎪⎨⎧≥<≤−<=.2,1;2,;,0)(θθθθθθx x x x x F则X (n ) 的密度函数⎪⎩⎪⎨⎧<<−==−−.,0;2,)()()]([)(11其他θθθθx x n x p x F n x p nn n n因θθθθθθθθθθθ11)()()()(2121)(+=+−⋅=−⋅−=−+−∫n nn x n dx x n x X E n n nn n ，有θ112)()(++=n n X E n ，且2222122)(22)()()(])[(θθθθθθθθθθθ+=+−⋅=−⋅−=−+−∫n nn x n dx x n x X E n n nn n ，则2222)()()2()1(12)Var()Var(θθθθ++=⎟⎠⎞⎜⎝⎛+−+=−=n n n n n n n X X n n ，因θθθ≠++==)1(212)(21*)ˆ()(n n X E E n ，22)()2()1(4)Var(41*)ˆVar(θθ++==n n n X n ，故)(21*ˆn X =θ不是参数θ 的无偏估计，应该修偏为)(121ˆn X n n ++=θ才是θ 的无偏估计，因θθθ=++=→∞→∞)1(212lim *)ˆ(lim n n E n n ，0)2()1(4lim *)ˆVar(lim 22=++=∞→∞→θθn n n n n ，故θ 的最大似然估计)(21*ˆn X =θ是参数θ 的相合估计． 8．设X 1, …, X n 是来自密度函数为p (x ;θ ) = e − (x − θ), x >θ 的样本．（1）求θ 的最大似然估计1ˆθ，它是否是相合估计？是否是无偏估计？（2）求θ 的矩估计2ˆθ，它是否是相合估计？是否是无偏估计？解：（1）似然函数θθθθθ>+−=>−−Ι∑=Ι==∏n ni i i i x x x n x ni x x L ,,,1)(211ee)(L ，显然θ 越大，θn x ni i +−∑=1e 越大，但只有x 1 , x 2 , …, x n > θ 时，才有L (θ ) > 0，即θ = min {x 1, x 2, …, x n } 时，L (θ ) 达到最大，故θ 的最大似然估计},,,min{ˆ21)1(1nX X X X L ==θ；因X 的密度函数与分布函数分别为⎩⎨⎧≤>=−−.,0;,e )()(θθθx x x p x ⎩⎨⎧≤>−=−−.,0;,e 1)()(θθθx x x F x 则X (1) 的密度函数为⎩⎨⎧≤>=−=−−−.,0;,e )()](1[)()(11θθθx x n x p x F n x p x n n 可得X (1) − θ 服从指数分布Exp (n )，因n X E 1)()1(=−θ，2)1(1)Var(nX =−θ，则θθθ≠+==nX E E 1)()ˆ()1(1，2)1()1(11)Var()Var()ˆVar(n X X =−==θθ，故)1(1ˆX =θ不是θ 的无偏估计；因θθθ=⎟⎠⎞⎜⎝⎛+=→∞→∞n E n n 1lim )ˆ(lim 1，01lim )ˆVar(lim 21==→∞→∞n n n θ，故)1(1ˆX =θ是θ 的相合估计；（2）因总体X 的密度函数为p (x ;θ ) = e − (x − θ), x >θ ，有X − θ 服从指数分布Exp (1)，则E (X − θ ) = E (X ) − θ = 1，即θ = E (X ) − 1，故θ 的矩估计1ˆ2−=X θ；因E (X ) = θ + 1，Var(X ) = Var(X − θ) = θ 2，则θθ=−=−=1)(1)()ˆ(2X E X E E ，nX n X 22)Var(1)Var()ˆVar(θθ===，故1ˆ2−=X θ是θ 的无偏估计；因θθ=∞→)ˆ(lim 2E n ，0lim )ˆVar(lim 22==→∞→∞n n n θθ，故1ˆ2−=X θ是θ 的相合估计． 9．设总体X ~ Exp (1/θ )，X 1, …, X n 是样本，θ 的矩估计和最大似然估计都是X ，它也是θ 的相合估计和无偏估计，试证明在均方误差准则下存在优于X 的估计（提示：考虑X a a=θˆ，找均方误差最小者）．证：因X ~ Exp (1/θ )，有E (X ) = θ ，Var(X ) = θ 2，且X 的密度函数为⎪⎩⎪⎨⎧≤>=−.0,0;0,e 1)(x x x p xθθ故θ = E (X )，即θ 的矩估计为X =θˆ；因似然函数0,,,110211e1e1)(>−=>−Ι∑=Ι==∏n ni ii ix x x x nni x x L L θθθθθ，当x 1, x 2, …, x n > 0时，∑=−−=ni i x n L 11ln )(ln θθθ，令01)(ln 12=+−=∑=ni i x n d L d θθθθ，得x x n ni i ==∑=11θ，故θ 的最大似然估计也为X =θˆ；因θ==)((X E X E ，nX n X 2)Var(1)Var(θ==，故X 是θ 的无偏估计；因θ=→∞)(lim X E n ，0lim)Var(lim 2==∞→∞→nX n n θ，故X 是θ 的相合估计；设X a a =θˆ，有θθa X aE E a ==)()ˆ(，na X a a 222)Var()ˆVar(θθ==，则nnX E X X 2222)(])([)Var()MSE(θθθθθ=−+=−+=，222222212)(])ˆ([)ˆVar()ˆMSE(θθθθθθθθ⎟⎟⎠⎞⎜⎜⎝⎛+−+=−+=−+=a a n a a n a E a a a 2222111111121θθ⎥⎥⎦⎤⎢⎢⎣⎡++⎟⎠⎞⎜⎝⎛+−+=⎟⎠⎞⎜⎝⎛++++−+=n n n a n n n n n a a n n ，故当1+=n n a 时，X n n a 1ˆ+=θ的均方误差1)ˆMSE(2+=n a θθ小于X 的均方误差nX 2)MSE(θ=．10．为了估计湖中有多少条鱼，从中捞出1000条，标上记号后放回湖中，然后再捞出150条鱼，发现其中有10条鱼有记号．问湖中有多少条鱼，才能使150条鱼中出现10条带记号的鱼的概率最大？解：设湖中有N 条鱼，有湖中每条鱼带记号的概率为Np 1000=，看作总体X 服从两点分布b (1, p )，从中抽取容量为150的样本X 1, X 2, …, X 150，有101501=∑=i i x ，似然函数∑−∑=−===−=−∏ni ini iiix n x ni x x p pp p p L 11)1()1()(11，有)1ln(ln )(ln 11p x n p x p L ni i ni i −⋅⎟⎟⎠⎞⎜⎜⎝⎛−+⋅=∑∑==，令0111)(ln 11=−−⋅⎟⎟⎠⎞⎜⎜⎝⎛−+⋅=∑∑==p x n p x dp p L d ni i n i i ，得x x n p ni i ==∑=11，即p 的最大似然估计为X p =ˆ，因pN 1000=，由最大似然估计的不变性知X N1000ˆ=，故湖中有150001015011000ˆ=×=N条鱼时，才能使150条鱼中出现10条带记号的鱼的概率最大． 11．证明：对正态分布N (µ , σ 2 )，若只有一个观测值，则µ , σ 2的最大似然估计不存在．证：若只有一个观测值，似然函数222)(2eπ21),(σµσσµ−−=x L ，对于任一固定的σ，当µ = x 时，L (µ)取得最大值σπ21，但显然σ 越小，σπ21越大，且σ 可任意接近于0，即σπ21不存在最大值，故µ , σ 2的最大似然估计不存在．习题6.41．设总体概率函数是p (x ;θ )，X 1, …, X n 是其样本，T = T (X 1, …, X n )是θ 的充分统计量，则对g (θ )的任一估计gˆ，令)|ˆ(~T g E g =，证明：)ˆMSE()~MSE(g g ≤．这说明，在均方误差准则下，人们只需要考虑基于充分估计量的估计．解：因)|ˆ(~T g E g=，由Rao-Blackwell 定理知)ˆ()~(g E g E =，)ˆVar()~Var(g g ≤，故)ˆMSE()]()ˆ([)ˆVar()]()~([)~Var()~MSE(22g g g E g g g E g g=−+≤−+=θθ． 2．设T 1 , T 2分别是θ 1 , θ 2的UMVUE ，证明：对任意的（非零）常数a , b ，aT 1 + bT 2 是a θ 1 + b θ 2的UMVUE ．证：因T 1 , T 2分别是θ 1 , θ 2的UMVUE ，有E (T 1) = θ 1 ，E (T 2) = θ 2 ，且对任意的满足E (ϕ) = 0的ϕ 都有Cov (T 1 , ϕ) = Cov (T 2 , ϕ) = 0，则E (aT 1 + bT 2) = a E (T 1) + b E (T 2) = a θ 1 + b θ 2 ，且Cov (aT 1 + bT 2 , ϕ) = a Cov (T 1 , ϕ) + b Cov (T 2 , ϕ) = 0，故aT 1 + bT 2是a θ 1 + b θ 2的UMVUE ．3．设T 是g (θ ) 的UMVUE ，gˆ是g (θ ) 的无偏估计，证明，若+∞<)ˆ(Var g ，则0)ˆ,Cov(≥g T ．证：因gˆ和T 都是g (θ ) 的无偏估计，有)()()ˆ(θg T E g E ==，即0)ˆ(=−T g E ，又因T 是g (θ ) 的UMVUE ，有0)ˆ,(Cov =−T g T ，即0),Cov()ˆ,Cov(=−T T g T ，故0),Cov()ˆ,Cov(≥=T T gT ． 4．设总体X ~ N (µ , σ 2)，X 1 , …, X n 为样本，证明，∑==n i i X n X 11，∑=−−=n i i X X n S 122)(11分别为µ , σ 2的UMVUE ．证：因X ~ N (µ , σ 2 )，有X 是µ 的无偏估计，S 2是σ 2的无偏估计，且样本X 1 , …, X n 的联合密度函数为===−−=−−∏ni i ix nni x n x x p 12222)(2112)(21e )π2(1e π21),;,,(µσσµσσσµL ，对任意的满足E (ϕ) = 0的ϕ (x 1 , …, x n )，有0e)π2(1)(1)(21122=∑⋅=∫∫∞+∞−∞+∞−−−=n x ndx dx E ni i L L µσϕσϕ，对E (ϕ) = 0两端关于µ 求偏导数，得∫∫∑∞+∞−∞+∞−−−=⋅−⋅==∂∂=n x ni i ndx dx x E ni i L L 1)(2112122e )(1)π2(10)(µσµσϕσµϕ∫∫∞+∞−∞+∞−−−∑⋅−⋅==n x n dx dx n x n ni i L L 1)(212122e)(1)π2(1µσµσϕσ)()]()([])[(222ϕσϕµϕσϕµσX E nE X E nX E n=−=−=，则0)(=ϕX E ，0)(()(),Cov(=⋅−=ϕϕϕE X E X E X ，故∑==ni i X n X 11是µ 的UMVUE ；对0)(=ϕX E 两端再关于µ 求偏导数，得∫∫∑∞+∞−∞+∞−−−=∑⋅−⋅==∂∂=n x n i i ndx dx x x X E ni i L L 1)(2112122e )(1)π2(10)(µσµσϕσµϕ∫∫∞+∞−∞+∞−−−∑⋅−⋅==n x n dx dx n x n x ni i L L 1)(212122e)(1)π2(1µσµσϕσ )()]()([])[(22ϕσϕµϕσϕµσX E nX E X E nX X E n=−=−=，则0)(2=ϕX E ，对0)()π2(=ϕσE n 两端关于σ 2求偏导数，得∫∫∑∞+∞−∞+∞−−−=∑⋅−⋅==∂∂=n x ni indx dx xE ni i L L 1)(211242122e)(210)]()π2[(µσµσϕσϕσ∫∫∑∞+∞−∞+∞−−−=∑⋅⎟⎟⎠⎞⎜⎜⎝⎛+−⋅==n x n i i dx dx n x n x ni i L L 1)(212124122e 221µσµµσϕ⎥⎦⎤⎢⎣⎡⎟⎟⎠⎞⎜⎜⎝⎛+−=∑=ϕµµσσ21222)π2(n X n X E n i i n ⎟⎟⎠⎞⎜⎜⎝⎛=⎥⎦⎤⎢⎣⎡+−⎟⎟⎠⎞⎜⎜⎝⎛=∑∑==n i i n n i i n X E E n X E n X E 122122)π2()()(22)π2(ϕσσϕµϕµϕσσ，则012=⎟⎟⎠⎞⎜⎜⎝⎛∑=n i i X E ϕ，因⎟⎟⎠⎞⎜⎜⎝⎛−−=−−=∑∑==21212211)(11X n X n X X n S n i i n i i ，有0)(11)(2122=⎥⎦⎤⎢⎣⎡−⎟⎟⎠⎞⎜⎜⎝⎛−=∑=ϕϕϕX nE X E n S E n i i ，则Cov (S 2, ϕ ) = E (S 2ϕ ) − E (S 2) ⋅ E (ϕ) = 0，故∑=−−=ni i X X n S 122)(11是σ 2的UMVUE ． 5．设总体的概率函数为p(x ;θ )，满足定义6.4.2的条件，若二阶导数);(22θθx p ∂∂对一切的θ ∈ Θ 存在，证明费希尔信息量⎟⎟⎠⎞⎜⎜⎝⎛∂∂−=);(ln )(22θθθX p E I ．证：因θθ∂∂⋅=∂∂p p p 1ln ，2222222221ln 111ln θθθθθθθ∂∂⋅+⎟⎠⎞⎜⎝⎛∂∂−=∂∂⋅+⎟⎠⎞⎜⎝⎛∂∂⋅−=⎟⎟⎠⎞⎜⎜⎝⎛∂∂⋅∂∂=∂∂p p p p p p p p p p ，故∫∫∞+∞−∞+∞−∂∂+−=⋅∂∂⋅+−=⎟⎟⎠⎞⎜⎜⎝⎛∂∂⋅+⎟⎠⎞⎜⎝⎛∂∂−=⎟⎟⎠⎞⎜⎜⎝⎛∂∂dx p I pdx p p I p p E p E p E 222222222)(1)(1ln ln θθθθθθθ)()()(22θθθI dx x p I −=⎟⎠⎞⎜⎝⎛∂∂+−=∫∞+∞−．6．设总体密度函数为p (x ;θ ) = θ x θ − 1, 0 < x < 1, θ > 0，X 1 , …, X n 是样本．（1）求g (θ ) = 1/θ 的最大似然估计；（2）求g (θ )的有效估计．解：（1）似然函数1,,,0121110121)()(<<−=<<−Ι=Ι=∏n i x x x n n ni x i x x x x L L L θθθθθ，当0 < x 1, x 2, …, x n < 1时，ln L (θ ) = n ln θ + (θ − 1) ln (x 1x 2…x n )，令0)ln()(ln 21=+=n x x x n d L d L θθθ，得∑=−=−=ni i n x n x x x n 121ln )ln(L θ，即∑=−=ni iX n 1ln ˆθ，故g(θ ) = 1/θ 的最大似然估计为∑=−==ni iX n g 1ln 1ˆ/1ˆθ；（2）因θθθθθθθθ1101ln )(ln ln )(ln 10101010101−=−=⋅−=⋅=⋅=∫∫∫−x dx x x x x x d x dx x x X E ，21102102101222)(ln 2ln 2)(ln )()(ln )(ln )(ln θθθθθθθ=−=⋅−==⋅=∫∫∫−X E dx x x x x x x d x dx x x X E ，则22222112)](ln [)(ln )Var(ln θθθ=⎟⎠⎞⎜⎝⎛−−=−=X E X E X ，可得)(111)(ln 1)ˆ(1θθθg n n X E n gE n i i ==⎟⎠⎞⎜⎝⎛−⋅⋅−=−=∑=，即∑=−=n i i X n g 1ln 1ˆ是g (θ )的无偏估计，且22212111)Var(ln 1)ˆ(Var θθn nn X ngni i =⋅⋅==∑=，因p (x ; θ ) = θ x θ − 1 I 0 < x < 1，当0 < x < 1时，ln p (x ; θ ) = ln θ + (θ − 1) ln x ，则x x p ln 1);(ln +=∂∂θθθ，2221);(ln θθθ−=∂∂x p ，即2221);(ln )(θθθθ=⎥⎦⎤⎢⎣⎡∂∂−=X p E I ，可得g (θ ) = 1/θ 无偏估计方差的C-R 下界为)ˆ(Var 111)()]([22222g n n nI g ==⋅⎟⎠⎞⎜⎝⎛−=′θθθθθ，故∑=−=ni i X n g1ln 1ˆ是g (θ ) = 1/θ 的有效估计． 7．设总体密度函数为2e 2);(3x xx p θθθ−=, x > 0, θ > 0，求θ 的费希尔信息量I (θ )．解：因032e 2);(>−Ι=x x xx p θθθ，当x > 0时，2ln 3ln 2ln );(ln x x x p θθθ−−+=，。

概率论与数理统计教材第六章习题PPT课件

d 2i 1xi 0
参数θ的最大似然估计值为
ˆ
1 n
n
i 1
xi
14
3.
设总体X服从伽玛分布：
f(x;,)()
x1ex,
x0 ,
0,
x0
其中 0,0. 如果取得样本观测值为 x1,x2,,xn,
(1) 求参数α及β的矩估计值;
(2) 已知 0, 求参数β 的最大似然估计值.
解 (1) 矩估计法
定义若E (ˆ)0或 E (ˆ), 则称ˆ为θ的无偏估计量。
结论1 样本均值 X 是总体均值μ的无偏估计量.
结论2 样本方差 S 2是总体方差 2 的无偏估计量.
3
2.有效性
定义 ˆ1X1,X2, ,Xn及 ˆ2X1,X2, ,Xn都是θ的无偏估计量，
如果D(ˆ1)D(ˆ2), 则称ˆ1 较ˆ 2 有效。
23
9、已知高度表的误差 X~N(,0 2) ,01米5，飞机上应该
有多少这样的仪器，才能使得以概率0.98保持平均高度
的误差的绝对值小于30米？
解 PX300.98
PX3
0
P
X
15 n
30 15 n
P2
nX2
15 n
n2 2n10.98
2n0 .99(2.33)0.9901
X
k i
来估计总体原点矩
vk E(Xk).
（1）设总体分布函数 F(x;)含有一个未知参数θ，令
v1()E(X)n1
n i1
Xi
解方程得：ˆˆ(X1,X2, ,Xn)——θ 的矩估计量
1
（2）设总体分布函数 F(x;1,2)含有两个未知参数θ1，θ2，
令

华东师范大学茆诗松《概率论与数理统计教程》第6章参数估计

13 January 2016
华东师范大学
第六章参数估计
第17页
解似然函数
L( ) 1

n
I
i 1
n
{0 xi }

1

n
I{ x
( n ) }
要使L( )达到最大，首先一点是示性函数取值 n n 应该为1，其次是1/ 尽可能大。由于1/ 是的单调减函数，所以的取值应尽可能小，但示性函数为1决定了不能小于x(n)，由此给出 ˆx 。的极大似然估计： (n)
由此即可得到a, b的矩估计：
ˆ x 3s, a
13 January 2016
ˆ x 3s b
华东师范大学
第六章参数估计
第9页
6.1.2 极(最)大似然估计
定义6.1.1 设总体的概率函数为P(x; )，是参数可能取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合概率函数看成的函数，用L( ; x1, x2, …, xn) 表示，简记为L( )，
华东师范大学
第六章参数估计
第19页
例6.1.9 设 x1 , x2 , …, xn是来自正态总体N( , 2) 2 ，的样本，则和 2的极大似然估计为 x , s *2 于是由不变性可得如下参数的极大似然估计，它们是:
ˆ s*；标准差的MLE是
另外，由于Var(X)=1/ ，其反函数为 1/ Var( X ) 因此，从替换原理来看，的矩法估计也可取为 s 为样本标准差。这说明矩估计可能是不唯一的，这是矩法估计的一个缺点，此时通常应该尽量采用低阶矩给出未知参数的估计。
13 January 2016

概率论与数理统计第六章总结

概率论与数理统计第六章总结概率论与数理统计是数理学科中的重要分支，其应用广泛，涉及到许多领域，如工程、物理、自然科学、医学、经济学等等。

第六章主要讲述了离散型随机变量的概率分布、期望值、方差及其应用。

首先我们了解到离散型随机变量是指取值有限或者可以无限但是可以和自然数一一对应的随机变量，即不连续的随机变量。

其中概率分布的概念是很重要的，它告诉我们每种随机变量取值的可能性大小，从而可以计算一些重要的数值。

比如期望值，期望值是随机变量取值的平均值，它可以用概率分布函数计算得到。

期望值可以给我们一个随机变量所处于某个状态的平均位置，或者它对某个事件发生的平均贡献。

方差也是一个非常重要的概念，它是随机变量值与其期望值之差的平方的期望值。

方差表示了随机变量的分布范围，也就是它们取值的变化程度。

方差越大，代表随机变量距离其期望值越远，该随机变量取值的范围也相应较大。

求期望值和方差的过程中有一些公式会显著提高计算效率，比如线性变换的公式、缩放变换的公式、Chebyshev不等式等等。

这些公式的应用有助于简化计算，并且能帮助我们更容易地理解问题。

我们还讨论了一些常见离散型随机变量的概率分布，比如伯努利分布、二项分布、泊松分布等等。

这些分布的出现在实际问题中都有着很重要的意义，比如伯努利分布描述了实验只有两种可能结果的概率分布，比如是/否、头/尾等等。

而二项分布则描述了实验中成功的概率和试验次数的关系，给我们解决实际问题提供了基础。

除了离散型随机变量，我们还可以研究连续型随机变量的概率分布以及相应的数学理论。

这些知识在实际应用中也具有重要意义。

比如在统计财务账目时，需要研究一些连续型随机变量的概率分布，以便预测下一期客户付款时间的分布情况。

又比如在流量预测中，需要研究一些连续型随机变量的概率分布，以便预测某个时间段内的网络流量。

总之，离散型随机变量理论是概率论的核心内容，对于理解整个概率论课程和进行实际应用都有着重要的意义。

概率论与数理统计(茆诗松)第二版课后第六章习题参考解答-1

n
∑ 4．设总体 X ~ N (µ , σ 2)，X1, …, Xn 是来自该总体的一个样本．试确定常数 c 使 c ( X i+1 − X i )2 为σ 2 的无 i=1
偏估计．解：因 E[(Xi + 1 − Xi )2 ] = Var (Xi + 1 − Xi ) + [E(Xi + 1 − Xi )]2 = Var (Xi + 1) + Var (Xi ) + [E(Xi + 1) − E(Xi )]2 = 2σ 2，
( X i+1
−
Xi
)2
是σ
2
的无偏估计．
5．设 X1, X2, …, Xn 是来自下列总体中抽取的简单样本，
p(x; θ ) = ⎪⎨⎧1,
θ − 1 ≤ x≤θ + 1;
2
2
⎪⎩0, 其他.
证明样本均值
X
及
1 2
( X (1)
+
X (n) )
都是θ
的无偏估计，问何者更有效？
证：因总体 X ~ U ⎜⎛θ − 1 , θ + 1 ⎟⎞ ，有 Y = X − θ + 1 ~ U (0, 1) ，
1 6
X1
+
1 6
X
2
+
2 3
X3．
证：因
E ( µˆ1 )
=
1 2
E(X1)
+
1 3
E(X
2)
+
1 6
E(X3)
=
1 2
µ
+
1 3
µ
+1 6来自µ=µ

概率论与数理统计第六章总结

概率论与数理统计第六章总结一、概述在概率论与数理统计的第六章中，主要介绍了随机变量的概率分布以及常见的概率分布模型。

本章内容是概率论与数理统计的重点和难点之一，对于理解和应用概率统计的基本理论和方法具有重要意义。

二、随机变量的概率分布1. 随机变量及其概率分布的概念•随机变量是对随机试验结果的数值化描述，它的取值不仅依赖于随机试验的结果，还受到机会因素的影响。

•概率分布描述了随机变量可能取值的概率大小。

常用的概率分布有离散型和连续型两种。

2. 离散型随机变量及其概率分布•离散型随机变量的取值是有限或可列的，它的概率分布可以用概率质量函数来描述。

•常见的离散型随机变量包括伯努利随机变量、二项分布、泊松分布等。

3. 连续型随机变量及其概率分布•连续型随机变量的取值是无限的，它的概率分布可以用概率密度函数来描述。

•常见的连续型随机变量包括均匀分布、正态分布等。

三、常见概率分布模型1. 二项分布•二项分布是指在 n 重伯努利试验中，成功的次数服从的概率分布。

其概率质量函数为二项式系数与成功概率的乘积。

•二项分布在实际应用中常用于描述成功次数的分布情况，如抽样调查中的样本中某一特征出现的次数。

2. 泊松分布•泊松分布是定义在非负整数集上的概率分布，它描述了在一段时间或空间内事件发生的次数。

其概率质量函数为事件发生率与时间（或空间）长度的乘积。

•泊松分布常用于描述罕见事件发生的次数，如单位时间内电话呼叫次数、一段时间内事故发生次数等。

3. 正态分布•正态分布是最重要的连续型概率分布模型之一，也称为高斯分布。

它的概率密度函数呈钟形曲线，对称于均值。

•正态分布在实际应用中广泛存在，如身高体重、测量误差、考试成绩等符合正态分布的情况较多。

4. 指数分布•指数分布是定义在非负实数集上的连续型概率分布，它描述了连续时间间隔或空间间隔内事件发生的情况。

其概率密度函数呈指数下降曲线。

•指数分布在实际应用中常用于描述无记忆性随机事件的发生情况，如设备失效时间、极端天气事件的间隔等。

概率论与数理统计第六章

今后，我们称X的分布函数和数字特征分别为总体的分布函数和数字特征，并不再区分总体与相应的随机变量X。对总体的称呼: 总体，总体X与总体F。
例6.3（例6.l续）在例6.l中，若农户年收入以万元计, 假定N户中收入X为以下几种取值:
0.5, 0.8, l, 1.2和1.5。取这些值的农户个数分别为：n1, n2, n3, n4, n5, (这里n1+n2+n3+n4+n5=N)。
,
0, x x(1)
Fn
(
x)
k
/
n,
x(k ) x x(k1)
1,
x x(n)
对不同的样本值, 得到的经验分布函数不同。但当样本容量较大时, 经验分布函数Fn(x)是总体分布函数F(x)的良好近似。
统计量的分布称为抽样分布。数理统计中常用到来自正态总体的三个分布：
2—分布、 t —分布和F—分布。
而在数理统计中的随机变量，它的分布是未知的，或者不完全知道，人们通过对所研究的随机变量进行重复、独立的观察，得到许多观察值，对这些数据进行分析，从而对随机变量的分布作出种种判断。
现实世界中存在着形形色色的数据，分析这些数据需要多种多样的方法。因此,数理统计中的方法和支持这些方法的相应理论是相当丰富的，概括起来可以归纳成两大类: 参数估计──根据数据，用一些方法对分布的未知参数进行估计。假设检验──根据数据，用一些方法对分布的未知参数进行检验。它们构成了统计推断的两种基本形式。这两种推断渗透到了数理统计的每个分支。
n i 1
X
2 i
nX
2
)
它反映了总体方差的信息
样本标准差 S S2 ,

茆诗松《概率论与数理统计教程》(第2版)(课后习题参数估计)【圣才出品】

第6章　参数估计一、点估计的概念与无偏性1．设x 1，x 2，x 3是取自某总体的容量为3的样本，试证下列统计量都是该总体均值μ的无偏估计，在方差存在时指出哪一个估计的有效性最差？（1）1123111=236x x x μ∧++（2）2123111=333x x x μ∧++（3）3123112=663x x x μ∧++解：先求三个统计量的数学期望，1123111111()=()()()236222E E x E x E x μμμμμ∧++=++=2123111111()=()()()333333E E x E x E x μμμμμ∧++=++=3123112112()=()()()663663E E x E x E x μμμμμ∧++=++=这说明它们都是总体均值μ的无偏估计，下面求它们的方差，不妨设总体的方差为σ2，则222211231111117()=()()()4936493618Var Var x Var x Var x μσσσσ∧++=++=222221231111111()=()()()9999993Var Var x Var x Var x μσσσσ∧++=++=222231231141141()=()()()36369363692Var Var x Var x Var x μσσσσ∧++=++=不难看出，从而的有效性最差．123()<()<()Var Var Var μμμ∧∧∧3μ∧由此可推测。

当用样本的凸组合估计总体均值时，样本均值是最有效的。

1ni ii a x =∑x 2．x 1，x 2，…，x n 是来自Exp(λ)的样本，已知为1/λ的无偏估计，试说明1/是x x 否为λ的无偏估计．解：因为x 1，x 2，…，x n 服从Exp(λ)，所以y ＝~Ga （n ，λ），相应的密度函数1ni i x =∑为1()exp()y 0()n n p y n y y n λλλ-=->Γ，，，于是20(1/)e y ()n n y E y yn λλ∞--=Γ⎰d所以，．即不是λ的无偏估计，但它是λ的渐近无偏估计，经修偏，是λ的无偏估计．3．设是参数θ的无偏估计，且有，试证不是θ2的无偏估计．证：由方差的定义可知，由于是参数θ的无偏估计，即．因而所以不是θ2的无偏估计．4．设总体，是来自该总体的一个样本．试确定常数c 使为σ2的无偏估计．解：由于总体，这给出，于是若要使为σ2的无偏估计，即，这给出5．设总体为，为样本，证明样本均值和样本中程都是θ的无偏估计，并比较它们的有效性．解：由总体，得，，因而，这首先说明样本均值是θ的无偏估计，且为求样本中程的均值与方差，注意到，令则由于，故，从而这就证明了样本中程是θ的无偏估计．又注意到（参见第五章5.3节习题33）所以从而于是在n＞2时，，这说明作为0的无偏估计，在n＞2时，样本中程比样本均值有效．6．设x 1，x2，x3服从均匀分布，试证及都是θ的无偏估计量，哪个更有效？证：由可知x（1），x（3）的密度函数分别为从而故，由知两者均为θ的无偏估计．又可算得，从而故，即更有效．事实上，这里x（3）是充分统计量，这个结果与充分性原则是一致的．7．设从均值为μ，方差为的总体中，分别抽取容量为n1和n2的两独立样本，和分别是这两个样本的均值．试证，对于任意常数a，b（a＋b＝1），都是μ的无偏估计，并确定常数a，b使Var（Y）达到最小．证：由于和是容量分别为n1和n2的两独立样本的均值，故，，，因而这证明了是μ的无偏估计．又由a＋b＝1知，，从而由求导知，当时，Var（Y）达到最小，此时这个结果表明，来自同一总体的两个容量为n1和n2的样本的合样本（样本量为n1＋n2）的均值是线性无偏估计类中方差最小的．8．设总体X的均值为μ，方差为σ2，是来自该总体的一个样本，为μ的任一凸线性无偏估计量．证明：与T的相关系数为．证：由于为μ的线性无偏估计量，故，其中，于是而，故有，从而9．设有k台仪器，已知用第i台仪器测量时，测定值总体的标准差为σi（i＝1，2，…，k）．用这些仪器独立地对某一物理量θ各观察一次，分别得到设仪器都没有系统误差．问应取何值，方能使成为θ的无偏估计，且方差达到最小？解：若要使为θ的无偏估计，即则必须有，此时，。

6概率论与数理统计(茆诗松)第二版课后第六章

第六章参数估计
习题 6.1
1．设 X1, X2, X3 是取自某总体容量为 3 的样本，试证下列统计量都是该总体均值µ 的无偏估计，在方差存在时指出哪一个估计的有效性最差？
（1） µˆ1
=
1 2
X1
+
1 3
X
2
+
1 6
X3 ；
（2） µˆ2
=
1 3
X1
+
1 3
X
2
+
1 3
X
3
；
（3） µˆ3
=
n
n
n
∑ ∑ ∑ 则 E(T ) = ai E( X i ) = µ ai = µ ，即 ai = 1 ，
i=1
i=1
i=1
因 X1, …, Xn 相互独立，当 i ≠ j 时，有 Cov (Xi, Xj) = 0，
∑ ∑ ∑ ∑ ∑ 则
Cov( X
,
T
)
=
Cov⎜⎜⎝⎛
1 n
n i=1
Xi,
n i=1
Ι 0< x<θ
，
θ
∫ 则 E( X (1) ) =
θ 0
x
⋅
3(θ − x)2 θ3

dx
=
3 θ3
⎜⎜⎝⎛θ
2
⋅
x2 2
− 2θ ⋅ x3 3
+
x4 4
⎟⎟⎠⎞
0
=θ ， 4
∫ E( X (3) ) =
θ 0
x⋅
3x2 θ3
dy
=
3 θ3
⋅
x4 4
θ
= 3θ 4

概率论与数理统计教程(茆诗松)第6章厦大版

= S(q(k) ) º
¶ log
f n (x (n) ; q) ¶q
|q=q(k )
( ) Hk
= H(q(k) ) =
¶ 2 log f n x(n) ; q ¶q¶qT
| q=q(k )
q(k +1)
= q(k)

H
1 k
g
k
例6.1.6
设一个试验有三种可能结果，其发生概率分别为：
p1 = q 2 p2 = 2q (1-q ) p3 = (1 - q ) 2
我们称 h( X 1 ,L , X n ) 为q 的估计量(estimator)通常记为 qˆ (X1, L, Xn)
我们称 h( x1 ,L , x n ) 为 q 的估计值通常记为
qˆ ( x1 , L , x n )
点估计问题的一般提法(续)
估计量和估计值统称为点估计(point estimate)，简称为估计，并简记为 qˆ 。
第6章参数估计
所谓参数是指由模型所决定，且能够刻划模型的某种统计性质的量。通常有三种类型：
1. 在已知总体分布结构时，总体分布中的未知参数； 2. 在已知总体分布结构时，总体分布中未知参数的函数； 3. 总体数字特征(均值、中位数、众数、方差、绝对差) 。在统计中通常用希腊字母μ，θ，σ，…来表示参数。
解：m = EX , s2 = DX
EX DX å( ) 故 mˆ MM =
^
= X 与 sˆ 2MM =
^
=1 n n i=1
Xi计。
概率涵数已知时未知参数的矩法估计
在总体分布类型已知时，设总体的概率涵数为
f (x ; q) , qÎ Q
此时，按矩法估计的基本思想，求矩法估计的一般步骤为：

概率论与数理统计(茆诗松)第二版课后第六章习题参考答案

第六章参数估计
习题 6.1
1．设 X1, X2, X3 是取自某总体容量为 3 的样本，试证下列统计量都是该总体均值µ 的无偏估计，在方差存在时指出哪一个估计的有效性最差？
（1） µˆ1
=
1 2
X1
+
1 3
X
2
+
1 6
X3 ；
（2） µˆ2
=
1 3
X1
+
1 3
X
2
+
1 3
X
3
；
（3） µˆ3
=
n1 + n2
n1 + n2
n1 + n2
8．设总体 X 的均值为µ ，方差为σ 2，X1, …, Xn 是来自该总体的一个样本，T (X1, …, Xn)为µ 的任一线性
无偏估计量．证明： X 与 T 的相关系数为 Var( X ) Var(T ) ．
n
∑ 证：因 T (X1, …, Xn)为µ 的任一线性无偏估计量，设 T ( X1, L, X n ) = ai X i ， i=1
2．设 X1, X2, …, Xn 是来自 Exp(λ)的样本，已知 X 为 1/λ的无偏估计，试说明1/ X 是否为λ的无偏估计．解：因 X1, X2, …, Xn 相互独立且都服从指数分布 Exp(λ)，即都服从伽玛分布 Ga(1, λ)，
n
∑ 由伽玛分布的可加性知 Y = X i 服从伽玛分布 Ga(n, λ)，密度函数为 i=1
=
(n
2 + 1)(n
+
2)
，
E(Y(2n) )
=
1 y 2 ⋅ nyn−1dy = n ，

华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计资料

茆诗松《概率论与数理统计教程》笔记和课后习题(含考研真题)详解(参数估计)【圣才出品】

茆诗松《概率论与数理统计教程》第3版笔记和课后习题含考研真题详解(参数估计)【圣才出品】

概率论与数理统计第六章

华东师范大学-茆诗松-概率论与数理统计教程

茆诗松《概率论与数理统计教程》课后习题

概率论与数理统计教程(茆诗松)

概率论与数理统计(茆诗松)第二版课后第六章习题参考答案

概率论与数理统计教材第六章习题PPT课件

华东师范大学茆诗松《概率论与数理统计教程》第6章 参数估计

概率论与数理统计第六章总结

概率论与数理统计(茆诗松)第二版课后第六章习题参考解答-1

概率论与数理统计第六章总结

概率论与数理统计第六章

茆诗松《概率论与数理统计教程》(第2版)(课后习题 参数估计)【圣才出品】

6概率论与数理统计(茆诗松)第二版课后第六章

概率论与数理统计教程(茆诗松)第6章厦大版

概率论与数理统计(茆诗松)第二版课后第六章习题参考答案

华东师范大学茆诗松《概率论与数理统计教程》第6章参数估计资料

华东师范大学茆诗松《概率论与数理统计教程》第6章参数估计

茆诗松《概率论与数理统计教程》(第2版)(课后习题参数估计)【圣才出品】