第七章 参数估计
合集下载
第七章参数估计
第七章参数估计对给定的统计问题，在建立了统计模型以后，我们的任务就是依据样本对未知总体进行各种推断，参数估计是统计推断的重要内容之一。
本章主要介绍进行参数估计的方法及其评价等。
7.1 点估计方法参数估计，就是要从样本出发去构造一个统计量作为总体中某未知参数的一个估计量。
若总体X的分布函数的形式为已知，但它的一个或多个参数未知，则由总体X的一个样本去估计总体未知参数的值的问题就是参数的点估计问题。
例如，某钢筋厂日生产某种型号钢筋10000根，为了要得知这批钢筋的强度，质量检察员从中抽取50跟进行检查。
如何从抽查的50根钢筋强度的数据去估计整批钢筋强度的平均值？这就是参数估计要解决的问题。
在实际问题中，我们常常以统计量作为总体X的期望值的估计量。
设总体X的分布函数为F (x，θ )，其中θ 为未知参数。
X1，X2， (X)为总体X的一个样本。
点估计的问题就是由样本构造一个统计量作为未知参数θ 的一个估计量。
若x1，x2，…，xn是样本观察值，则代入估计量中即可以得到一个关于参数θ 的估计值。
在不致混淆的情况下，我们把估计量或估计值简称为估计。
构造估计的方法很多，下面介绍三中常用的方法。
7.1.1 频率替换法假定在n次实验中，事件A发生了n A次，(n A / n)为A发生的频率，设P (A ) = p (0< p<1)，则由概率论的大数定律：频率(n A / n)依概率收敛于事件A 发生的概率p，即对任意ε >0，成立，于是，当n较大时，(n A / n)与p非常接近，自然地取(n A / n)作为p的估计，.这种由频率估计相应的概率而得到的估计量的方法称为频率替换法。
例1 估计一批产品的次品率p。
设产品只区分正品与次品，分别以X取0和1表示产品为正品和次品，所以总体X服从参数为p的(0-1)分布，即p为未知的待估参数。
令事件A表示“产品为次品”，则p = P (A) = P (X=1)。
7 参数估计
3个抽样实验结果图示
均数
均数
5. 15 5. 36 5. 57 5. 77 5. 98 6. 19
频数 100 150 200 250 300 350 400 450 50 0
n = 30; SX = 0.0920
均数
3. 71 3. 92 4. 12 4. 33 4. 54 4. 74 4. 95 5. 15 5. 36 5. 57 5. 77 5. 98 6. 19
t= X −µ X −µ = SX S/ n t变 换
σX
N(0,1) 0 t(ν) (
X
0
t 分布与正态分布的比较
t 分布：形状与 分布：形状与N(0,1)相似， 相似， 相似 分布中间较小， 但t分布中间较小，两侧较大。 分布中间较小 两侧较大。
随着v增大， 分布逼近 随着 增大，t分布逼近 增大 分布逼近N(0,1)； ； v ∞时，t分布演变成 时 分布演变成 分布演变成N(0,1)。 。
参数估计
parameter estimation
统计学
统计描述
统计推断
参数估计
假设检验
总体、 总体、个体和样本
总体(population)：调查研究的事物或现象的全体 个体(item unit)：组成总体的每个元素 样本(sample)：从总体中所抽取的部分个体 样本容量(sample size)：样本中所含个体的数量
总体参数
µ、σ、π
可信区间(confidence interval, CI) 可信区间
可信区间
均 数
率
方差
σ2 未知
σ2 已知
总体均数的估计
点估计： 点估计：point estimation 区间估计： 区间估计：interval estimation 样本统计量 点估计) (点估计)
概率论与数理统计第7章
x 0 , x 0 ,x 1 ,x 2 ,
,x n 为 总 体 X
的 一 个 样 本 ,则 未 知 参 数 的 矩 估 计 ˆ _ _ _ _ _ _ _ _ _ _ _ .
这个例子所作的推断已经体现了极大似然法 的基本思想 .
最大似然估计原理：
设X1,X2,…Xn是取自总体X的一个样本，样 本的联合密度(连续型）或联合分布律 (离散型)为
f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L() f (x1, x2 ,…, xn; )
得
pˆ1Βιβλιοθήκη nn i 1xix
即为 p 的最大似然估计值 .
从而 p 的最大似然估计量为
p ˆ(X1,
1n ,Xn)ni1Xi X
求最大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合分布率(或联 合密度);
(2) 把样本联合分布率 ( 或联合密度 ) 中自变
量看成已知常数,而把参数 看作自变量,得到似然 函数L();
要求：领会
2.2 估计量的有效性、相合性， 要求：领会
3.区间估计
3.1 置信区间的概念，
要求：领会
3.2 求单个正态总体均值和方差的置信区间，要求：简单应用
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估计总体 的某些参数或者参数的某些函数.
估计新生儿的体重
1 p
n
pxi (1p)1xi
i1
n
n
xi
n xi
pi1 (1p) i1
n
n
xi
n xi
L(p)pi1 (1p) i1
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
第七章 参数估计
第三节 总体均数估计
估计总体平均数的步骤： 估计总体平均数的步骤： X与S 1、 计算样本 2、 计算 σ X 3、 确定置信水平或显著性水平并查表 4、计算置信区间 5、解释总体平均数的置信区间
一、正态估计法 ， σ２已知 、
1、前题条件： 、前题条件：
总体正态, n不论大小 总体正态, n不论大小
点估计与区间估计的比较
定义: 定义
直接以样本统计量（数轴上的一个点） 点估计 :直接以样本统计量（数轴上的一个点） 作为总体参数的估计值
区间估计：按一定概率要求， 区间估计：按一定概率要求，根据样本统计量估 计总体参数可能落入的范围的一种统计方法。 计总体参数可能落入的范围的一种统计方法。也 就是说整体参数所落的有把握的范围 整体参数所落的有把握的范围。 就是说整体参数所落的有把握的范围。
D=0.95时 时
75.7 ≤ µ ≤ 81.3
5、解释：用样本1估计，总体的平均数落在 、解释：用样本1估计， 73.6-82.4之间的可能性为95%， 之间的可能性为95% 73.6-82.4之间的可能性为95%，超出这一范 围的可能性为5% 5%。 围的可能性为5%。 用样本2估计，总体的平均数落在76.7 80.3之 76.7用样本2估计，总体的平均数落在76.7-80.3之 间的可能性为95% 落在75.7 81.3的可能性为 95%， 75.7间的可能性为95%，落在75.7-81.3的可能性为 99%。 99%
X ± 2.58σ X
置信限：就是总体参数所落区间的上下界限。 置信限：就是总体参数所落区间的上下界限。即
X − 1.96σ X ≤ µ ≤ X + 1.96σ X
置信下限 置信上限
标准误
标准误（中心极限定理 ） 标准误（中心极限定理3）
概率论 第七章 参数估计
L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本
第七章 参数估计
第七章 参数估计
1、正态总体、方差已知或非正态总体，大样本 当总体服从正态分布且方差已知时，或者总体不是正态分布但是大样本时，样本 均值的抽样分布均为正态分布，其数学期望为总体均值u，方差为Ϭ2/n。而样本均 值经过标准化以后的随机变量则服从标准正态分布，即 Z=(x-u)/(Ϭ/n0.5)~N(0,1) 根据上式和正态分布的性质可以得出总体均值u在1-α置信水平下的置信区间为： xα+是(-)事Z(α先/2)所(Ϭ确/n定0.5的)。而其一中个，概x率+Z值(α/2，) (Ϭ也/n称0.为5)为风置险信值上，限是，总x体-Z均(α/2值) (Ϭ不/包n0.含5)为在置置信信下区限间，的 概是率估；计1总- 体α称均为值置时信的水估平计，误Z差(α/。2) 是标准正态分布右侧面积为α/2的z值；Z(α/2) (Ϭ/n0.5) 也即是说，总体均值的置信区间由两个部分构成：点估计值和描述估计量精度的 +(-)值，这个+(-)值称为估计误差。
第七章 参数估计
在区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间。
其中，区间的最小值称为置信下限，最大值称为置信上限。
由于统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名 为置信区间。原因是：如果抽取了许多不同的样本，比如说抽取100个样本，根据 每一个样本构造了一个置信区间，这样，由100个样本构造的总体参数的100个置 信区间中，有95%的区间包含了总体参数的真值，而5%则没有包含，则95%这个值 称为置信水平。一般，如果将构造置信区间的步骤重复多次，置信区间中包含总 体参数真值的次数所占的比例称为置信水平，也称为置信度或置信系数。
自然使用估计效果最好的那种估计量。什么样的估计量才算一个好的估计量呢？ 统计学家给出了评价估计量的一些标准，主要包括以下几个：
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
07心理统计学-第七章 参数估计
犯错误的概率，常用α（或p）表示。则1-α为置信 度。（显著性水平越高表示的是α值越小，即犯错误的可
能性越低） α为预先设定的临界点，常用的如.05、.01、.001；p 为检验计算所得的实际（犯错误）概率。
第一节 点估计、区间估计与标准误
三、区间估计与标准误
3、区间估计的原理与标准误
转换成比率为
p
n
p, SE p
n
pq n
同理可得公式7-17。自习[例7-12、例7-13]
1、从某地区抽样调查400人，得到每月人均文化消费为 160元。已知该地区文化消费的总体标准差为40元。试 问该地区的每月人均文化消费额。（α=.05，总体呈正态
分布）
2、上题中总体方差未知，已知Sn-1=44元。 3、已知某中学一次数学考试成绩的分布为正态分布，总 体标准差为5。从总体中随机抽取16名学生，计算得平 均数为81、标准差为Sn=6。试问该次考试中全体考生成 绩平均数的95%置信区间。 4、上题中总体方差未知，样本容量改为17人。 5、假定智商服从正态分布。随机抽取10名我班学生测 得智商分别为98、102、105、105、109、111、117、 123、124、126（可计算得M=112，Sn≈9.4），试以95% 的置信区间估计我班全体的智商平均数。 返回
值表，求tα /2（df）。
5、计算置信区间CI。
σ2已知，区间为M-Zα /2 SE <μ< M+Zα /2 SE；
σ2未知，区间为M-tα /2(df)SE <μ< M+tα /2(df)SE。
6、对置信区间进行解释。
二、σ2已知，对μ的区间估计（Z分布，例7-1 & 2） 三、σ2未知，对μ的区间估计（t分布，例7-3 & 4）
统计学 第七章 参数估计
[
]
2 χα (n) （n）的α 分位数，记为k≜ n k≜
抽样分布
（3）性质 • 若X服从χ2 （n），则均值E（X）=n ，方差 D（X） =2n 。 • χ2分布具有可加性。若 X1，X2相互独立，
X1～ χ2（n1） ，X2～χ２（n2）
则（X1＋X2）～χ２（ｎ１＋n２） • 当ｎ→∞时，χ２分布渐进于正态分布
σ
2
~ χ (n −1)
2
第三节两个总体参数的区 间估计（112页）
• • • • • • • 一、两个总体均值之差的区间估计 （一）两个总体均值之差的估计：独立样本 大样本：近似于正态分布 小样本： （1）两个总体的方差均已知，近似于正态分布 （2）两个总体的方差均未知但相等，近似于ｔ分布 （3）两个服从正态分布的总体的方差均未知且不等， 但样本容量相等，近似于ｔ分布 • （4）两个总体的方差均未知且不等，样本容量也不 等，近似于ｔ分布，自由度为V
• 解：求（3）的计算步骤： • ①求样本指标：
x ＝1000小时
σ＝50 （小时）
µ x＝
σ
n
＝
50 100
＝（小时） 5
• ②根据给定的F（t）＝95%，查概率表得t＝1.96。 • ③根据∆x＝t×µx＝1.96×5＝9.8，计算总体平均耐 用时间的上、下限： x − ∆ x＝1000－9.8＝990.（小时） 2 • 下限 x ＋∆ x＝1000＋9.8＝1009 .（小时） 8 • 上限 • 所以，以95%的概率保证程度估计该批产品的平均耐 用时间在990.2～1009.8小时之间。
f (x;θ ) 其中 θ
或概率密度为
是未知参数。 是未知参数。
如何求极大似然估 计量呢？ 计量呢？
数理统计 第七章-参数估计
休息
结束
2. 最大似然法
是在总体类型已知条件下使用的一 种参数估计方法 。 它首先是由德国数学家高斯在1821 年提出的 ,费歇在1922年重新发现了这 一方法，并首先研究了这 种方法的一些 性质 。
休息 结束
最大似然法的基本思想：
已发生的事件具有最大概率。
休息
结束
先看一个简单例子： 在军训时，某位同学与一位教官同 时射击，而在靶纸上只留下一个弹孔。 如果要你推测，是谁打中的呢？ 你会如何想呢?
max f ( xi , )
i 1
n
休息
结束
X 假设X 为连续型总体： f ( x; )
( X 1 , , X n ) 为子样
( x1 , , xn ) 为子样观察值。
已发生的事件为：
x x ,X {{X 11 1x, X 1 nx1 ,n } , xn x X n xn } x
休息
结束
ˆ
1 n ( X i X )2 n i 1
1 n ˆ X ( X i X )2 n i 1
休息
结束
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 。 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 。
( 1 )x , 0 x 1 f( x) 0, 其它
1
其中 1 是未知参数,
X1,X2,…,Xn是取自X的样本,求参数 的矩估计. 解:
1 E( X ) x( 1 )x dx
0
( 1 )
从 中解得
1
0
x
1
第七章 参数估计
第七章 参数估计参数估计是指由样本指标值（统计量）估计总体指标值（参数），即当总体的分布性质已知，但其所含参数真值未知时，根据一组样本的观察值12,,,n X X X ，来估计总体中未知参数θ或θ的某函数。
对于总体参数作出估计的样本统计量称为估计量。
常用的参数估计方法有两种：点估计和区间估计。
第一节 总体参数的点估计与优良性一、参数的点估计参数的点估计就是用样本统计量直接作为总体参数的估计值，如用X 估计相应的μ。
定义7-1 设总体X 的分布函数(;)F x θ形式为已知，θ是待估参数，12,,,n X X X 是X 的一个样本，12,,,n x x x 是相应的一个样本值。
所谓点估计问题就是要构建一个适当的统计量θ（12,,,n X X X ），用其观察值θ（12,,,n x x x ）作为未知参数θ的近似值来估计未知参数θ，称θ（12,,,n X X X ）为θ的估计量，θ（12,,,n x x x ）为θ的估计值。
在不致混淆情况下统称估计量和估计值为估计，并都简记为θ，这类对于参数值的估计称为点估计。
参数点估计的方法有：矩估计法、最大似然估计法、顺序统计量法和最小二乘法等，现在只介绍最常用的矩估计法。
二、矩估计法定义7-2 矩是描述随机变量最简单的数字特征，是以均值为基础的数字特征，均值是一阶矩，方差是二阶中心矩。
在一定条件下，一个随机变量的分布可由它的矩完全确定。
在大数定律中规定，样本的矩依概率收敛与总体矩，样本矩的连续函数依概率收敛于总体矩的连续函数，即以样本矩作为相应的总体矩的估计、以样本矩的函数作为相应总体矩的同一函数的估计而求得的未知参数的估计量称为矩估计法。
它的实质是采用样本的经验分布和样本矩去替换总体的分布和总体的原则，即替换原则。
从而可知，总体中期望值（均值）μ、总体方差σ2与总体标准差σ的矩估计量分别是2__12__1221)(11ˆ)(11ˆ1ˆX X n S X X n S X n X ni i n i i n i i --==--====∑∑∑===σσμ 例7-1 对糖尿病患者随机选取10名经检验空腹血糖水平的测定值(mmol/L)为5.47，6.17，6.42，6.56，6.62，6.81，7.12，7.20，8.41，8.53。
第七章 参数估计
x
1
2
|x|
e
dx
0
不含θ ，故不能由“样本一阶矩=总体一阶矩”解得所
求
矩估计，需要2继E续(X 求2二) 阶2矩1： x2e|x|dx
河南理工大学精品课程
概率论与数理统计
1 x2exd 0
x 20x2exdx
其中未知参数θ >0,求θ 的矩估计量.
〖解〗单参数，连续型.
因为总体一阶矩
1
1E(X) xf (x)dx x dx
0
x 1
| 1 1 0
1
由
河南理工大学精品课程
1 A1
概率论与数理统计
即 解得:
X 1
X( 1)
(1X)X
X
1 X 故所求矩估计量为：
ˆ
1
X X
2
■
河南理工大学精品课程
概率论与数理统计
【例5】已知总体X的概率密度为:
f(x)21 e|x|( x )
其中未知参数θ >0,求θ 的矩估计量.
〖解〗单参数，连续型.
因为总体一阶矩
1E(X)
河南理工大学精品课程
概率论与数理统计
ddL(x1,x2, ,xn;)0
或与之等价的
ddlnL(x1,x2, ,xn;)0
来得到待估参数θ 的极大似然估计值(驻点);
③ 、必要时,参照极大似然估计值写出极大似然 估计量.
河南理工大学精品课程
概率论与数理统计
【例6】求服从二项分布B(m，p)的总体X未知参数 p的极大似然估计量。
第七章-参数估计
• 根据n2=36的样本估计总体参数μ： • 0.95的置信区间
78 1.961.18 79 1.961.18
76.7 81.3
• 0.99的置信区间
79 2.581.18 79 2.581.18
75.7 82.04
• 【例7-2】
• 有一个49名学生的班级，某学科历年考试成绩的
• 3.一致性 • 当样本容量无限增大时，估计值应能够越来越接
近它所估计的总体参数，估计值越来越精确，逐 渐趋近于真值。 n大, X • 4.充分性 • 一个容量为n的样本统计量，是否充分地反映了 全部n个数据所反映总体的信息。
三、区间估计
（一）区间估计的定义 1. 根据估计量以一定可靠程度推断总体参数所在的区
少？
• 解：平均数的标准误
sn1 1 s1 8 2.67
X1
n1
n1 1 10 1
sn2 1 s2 9 1.52
X2
n2
n2 1 36 1
• 0.95的置信区间 • 当n1=10时，df1=n-1=9，t0.05/2=2.262
78 2.262 2.67 78 2.262 2.67 71.96 84.04
•置著性水平
• 显著性水平：估计总体参数落在某一区间时，可能 犯错误的概率，用符号表示。
• 置信度：被估计参数落在置信区间内的概率， • 1-表示 • 例:0.95置信区间（1-）指总体参数落在该区间内
，估计正确的概率为95%，而估计错误的概率为 5%（=0.05）
7.07 2.24
X1
n1
10
7.07 1.18
X2
n2
36
• 用n1=10的样本估计总体参数μ： • 0.95的置信区间
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
第七章 参数估计
a
2
b
X
2 (a,b)
a2
ab b2 3
1 n
n i 1
X
2 i
解方程组得aˆ X
3 n
n i1
(Xi
X )2 ,bˆ
X
3 n
n i1
(Xi
X )2
练习1
设总体X
~
e(),
X
1
,
X
2
,...,
X
是来自该
n
总体的一组样本，求的矩估计。
2 总体X的概率密度为f (x, )
1
L L
0, 0,
2
L 0,
s
1
ln L ln L
0, 0,
2
lnL 0,
s
解方程组求解出ˆ1, ˆ2 , ,ˆs .
例1.设总体X ~ N(, 2 ), 但, 2均未知,设X1, X2 ,Xn 是来自该总体的一组样本, 求, 2的极大似然估计.
2
)2
2
(3)似然方程
ln L
1
2
n
(Xi
i 1
)
0
ln L
2
n 2
1
2
1
2 4
n
(Xi
i 1
)2
0
(4)解方程组得 X ,
第七章__参数估计
三、区间估计与标准误
㈠区间估计的定义 是根据样本统计量，利用抽样分布的原理，在一定的
可靠程度上，估计出总体参数所在的范围，即以数 轴上的一段距离表示未知参数可能落入的范围。 ㈡置信区间与显著性水平 ⑴置信区间：也称置信间距，指在一定可靠程度上，总体参
数所在的区域距离或区域长度。
⑵置信界限（临界值）：置信区间的上下两端点值。 ⑶显著性水平：指估计总体参数落在某一区间时，可能犯错
⑶区间估计的原理是样本分布理论。在计算区间估计值解释估 计的正确概率时，依据的是该样本统计量的分布规律及样本 分布的标准误。样本分布可提供概率解释，而标准误的大小 决定区间估计的长度。一般情况下，加大样本容量可使标准 误变小。
当总体方差已知时，样本平均数的分布为正态分布或
渐近正态分布，此时，样本平均数的平均数uX u， 平均数的离散程度即平均数分布的标准差（简称
例4
解:由题意知,其总体方差未知,但其总体分布为正态分布，
则此样本均数的分布服从t分布， 可以依t分布对总平 均身高μ进行估计。
SEX
S 4.8 0.81; df n 1 36 1 35 n 1 35
查t值表可知 : t0.05 230 2.042;t0.01 230 2.75
例2 已知某区15 岁男生立定跳远的方差 为 436.8cm ，现从该区抽取58名15岁男生， 测得该组男生立定跳远的平均数为198.4cm， 试求该区15岁男生立定跳远平均成绩的95%和 99%的置信区间。
例2
解：由题意知：由于样本容量（n=58）大于30 ，
该样本的抽样分布为渐进正态分布。
SEX
因此, 的95%的置信区间为 :
82 2.0211.12 82 2.0211.12
概率论与数理统计第七章参数估计
则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并 称hi(X1, X2,…, Xn)为θi 的矩法估计量，而 称hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
概率论与数理统计第七章
组成 . 设这5个数是: 1.65 1.67 1.68 1.78 1.69
估计 为1.68，这是点估计.
估计在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N(,2),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
求:两个参数a,b的矩估计
解: 写出方 V E 程 (X a(X )r组 ) ˆˆ2
其 中uˆˆ2Xn1in1（Xi X)2
但是
E
(
X
)
Var ( X )
a
b 2 (b a)2
12
即有
(ab2ba)2 12
X
ˆ
2
由方程组求解出a,b的矩估计:
a ˆX 3 ˆ b ˆX 3 ˆ
其中 ˆ:ˆ2 n 1i n1 （ XiX)2
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均 值am=E(Xm).即:
n 1i n1Xim pE(Xm)am
例1 设总体X的概率密度为
f(x)(1)x,
估计 为1.68，这是点估计.
估计在区间[1.57, 1.84]内，这是区间估计.
一、点估计概念及讨论的问题
例1 已知某地区新生婴儿的体重X~ N(,2),
, 2未知,
…
随机抽查100个婴儿
得100个体重数据
9, 7, 6, 6.5, 5, 5.2, … 而全部信息就由这100个数组成.
求:两个参数a,b的矩估计
解: 写出方 V E 程 (X a(X )r组 ) ˆˆ2
其 中uˆˆ2Xn1in1（Xi X)2
但是
E
(
X
)
Var ( X )
a
b 2 (b a)2
12
即有
(ab2ba)2 12
X
ˆ
2
由方程组求解出a,b的矩估计:
a ˆX 3 ˆ b ˆX 3 ˆ
其中 ˆ:ˆ2 n 1i n1 （ XiX)2
(4) 在最大值点的表达式中, 用样本值代入 就得参数的极大似然估计值 .
两点说明：
1、求似然函数L( ) 的最大值点，可以应
用微积分中的技巧。由于ln(x)是x的增函
数，lnL( )与L( )在 的同一值处达到 它的最大值，假定是一实数，且lnL( ) 是 的一个可微函数。通过求解所谓“似 然方程”： dlnL() 0
E(X1m)=E(X2m)==E(Xnm)= E(Xm)=am . 根据大数定律,样本原点矩Am作为 X1m,X2m, ,Xnm的算术平均值依概率收敛到均 值am=E(Xm).即:
n 1i n1Xim pE(Xm)am
例1 设总体X的概率密度为
f(x)(1)x,
概率论第7章
注： 估计量 θˆ 是一个随机变量,是样本的函数,即 是一个统计量,对不同的样本值, 的估计值 一般是 不同的.
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
, Xn和
Y1,Y2 ,
,Ym
,样本均值记为
X
和Y
,样本方差依次记为
S12
和
S22
，方差
σ
2 1
和
σ
2 2
为未知参数.
构造统计量 T
=
X
−Y Sw
− ( μ1 − μ2 )
1+ 1 nm
∼
t
(
n
+
m
−
2
)
，其中
S
2 w
=
(n −1) S12 + (m −1) S22
n+m−2
，则
参数 μ1 − μ2 的置信水平为1− α 的置信区间为
2 1
,Y ∼ N
μ
2
,
σ
2 2
，分别独立地取出样本 X1, X 2 ,
, Xn 和
Y1,Y2 , ,Ym ,样本均值依次记为 X 和 Y ,样本方差依次记为 S12 和 S22 ，均值 μ1 和 μ2 未知参
数.
构造统计量 F
=
S12 S22
⋅
σ
2 2
σ
2 1
∼
F
(
n
−
1,
m
−
1)
，则方差比
σ σ
σ 12 n
+
σ
2 2
m
,X
−Y
+ uα / 2
σ
2 1
n
+
σ
2 2
m
⎞ ⎟⎟⎠
207
概率论与数理统计全程学习指导
个 正
μ1 -
态 总
μ2
体
σ
2 1
σ
2 2
σ
2 1
σ
2 2
σ
2 1
,
σ
2 2
未知 但相 等
μ1,
μ2
X −Y − (μ1 − μ2 ) ∼ t (n + m − 2)
Sw
1+ 1 nm
{ } lim P
n→∞
θˆn −θ < ε
=1
则称θˆn 为参数θ 的一致估计量.
三、区间估计
1、置信区间
设 X1, , Xn 是取自总体 X 的一个样本, θ 为总体分布中所含的未知参数, θ ∈Θ .
203
概率论与数理统计全程学习指导
对于给定的α , 0 < α <1,若存在两个统计量θ = θ ( X1, , Xn ) 和θ = θ ( X1, , Xn ) ,使
⎛ ⎜⎜⎝
X
−Y
− tα / 2
(n
+
m
−
2) Sw
1+ 1, nm
X − Y + tα /2 (n + m − 2) Sw
1 n
+
1 m
⎞ ⎟⎟⎠
n
∑ ∑ ∑ ( ) m
⋅
σ
2 2
∑ ( ) ∑ ∑ n
σ
2 1
⋅
( Xi − μ1)2
i =1
m
(Yi − μ2 )2
∼F
n, m
i =1
⎛
⎜ ⎜
1
⎜ ⎜⎝
的置信区间为
nm
⎛ ⎜⎜⎝ X − Y − uα /2
σ12 n
+
σ
2 2
m
,
X
−Y
+ uα / 2
σ
2 1
n
+
σ
2 2
m
⎞ ⎟⎟⎠
.
20
方差
σ
2 1
和
σ
2 2
未知的情形
205
概率论与数理统计全程学习指导
( ) ( ) 设总体 X ∼ N
μ1
,σ
2 1
,Y ∼ N
μ2
,
σ
2 2
，分别独立地取出样本 X1, X 2 ,
( ) 如果未知参数 θ 的估计量 θˆ = θˆ ( X1, X 2, , X n ) 的数学期望 E θˆ 存在,且对任意
θ ∈Θ ,都有
E (θˆ) = θ
则称θˆ 是θ 的无偏估计量.
2、有效性
设 θˆ1 = θˆ1 ( X1, X 2 , , X n ) 和 θˆ2 = θˆ2 ( X1, X 2 , , X n ) 都是参数θ 的无偏估计量,若对
Fα
/2
n, m
m n
n
i =1 m
i =1
( X i − μ1)2 (Yi − μ2 )2
,
1 F1−α / 2 (n, m)
∑ ∑ ⎛
⎜
n
( Xi − μ )2
n
( Xi − μ )2
⎞ ⎟
⎜ ⎜ ⎜
i =1
χα2 / 2 (n)
,
i =1
⎟.
χ2 1−α
/
2
(n)
⎟ ⎟
⎝
⎠
20 均值 μ 未知的情形
( ) 设总体 X ∼ N μ,σ 2 , X1, X 2 , , X n 是取自总体 X 的一个样本，均值 μ 为未知参数.
侧置信下限(θ 称为θ 的单侧置信上限).
待估 参数
表 7.1 正态总体均值,方差的置信区间
条
枢轴量
件
置信区间
μ
σ2
X − μ ∼ N (0,1)
已知 σ / n
⎛ ⎜⎝
X
− uα / 2
σ n
,
X
+
uα / 2
σ⎞ n ⎟⎠
μ
一 个 正
态 σ2
总 体
σ2
σ2
X − μ ∼ t(n −1)
未知 S / n
§7.1 知识点考点精要
一 、点估计
1、 点估计
设 X1, X 2 , , X n 是取自总体 X 的一个样本, x1, x2 , , xn 为相应的样本值，如果用统计
量 θ ( X1, X 2 , , X n ) 的 观 测 值 θ ( x1, x2, , xn ) 作 为 参 数 θ 的 真 实 值 的 估 计 ， 则 称 θ ( X1, X 2 , , X n ) 为参数θ 的估计量，记作θˆ ( X1, X 2 , , X n ) ,相应地，称θ ( x1, x2, , xn )
n
L (θ ) = L (θ ; x1, x2, , xn ) = ∏ f ( xi;θ ),θ ∈ Θ i =1
202
第七章 参数估计
称为样本的似然函数，或称关于样本值 x1, x2 , , xn 的似然函数.
（2）极大似然估计
设 X1, X 2 , , X n 是取自总体 X 的一个样本，如果存在样本值 x1, x2 , , xn 的函数
2
n, m
m n
n
i =1 m
i =1
( X i − μ1)2 (Yi − μ2 )2
,
1 F1−α / 2 (n, m)
m n
n
i =1 m
i =1
( X i − μ1)2 (Yi − μ2 )2
⎞ ⎟ ⎟ ⎟ ⎟⎠
.
20 均值 μ1 和 μ2 未知的情形
( ) ( ) 设总体 X ∼ N
μ1
,
σ
, Xn和
Y1,Y2 ,
n
∑∑ ( ) ,Ym ，
均值 μ1 和 μ2 为常量.
构造统计量 F
=
m
⋅
σ
2 2
n
σ
2 1
⋅
( X i − μ1)2
i =1
m
(Yi − μ2 )2
∼F
n, m
，
i =1
则方差比 σ12
σ
2 2
的置信水平为1 − α
的置信区间为
⎛
∑ ∑ ⎜
⎜
1
( ) ⎜
∑ ∑ ⎜⎝
Fα
/
2 1 2 2
的置信水平为1 − α
的置信区
间为
206
第七章 参数估计
⎛ ⎜⎜⎝
Fα
/2
(n
1 −1,
m
−1)
⋅
S12 S22
,
F1−α
/
2
1
(n −1,
m
−1)
⋅
S12
S
2 2
⎞ ⎟⎟⎠
.
4、单侧置信区间
设 X1, , Xn 是取自总体 X 的一个样本, θ 为总体分布中所含的未知参数, θ ∈Θ .
μ1
,σ
2 1
,Y ∼ N
μ2
,
σ
2 2
，分别独立地取出样本 X1, X 2 ,
, Xn和
Y1,Y2 ,
,Ym , 样 本 均 值 依 次 记 为 X
和Y
，方差
σ
2 1
和
σ
2 2
为已知常量.
构造统计量
U
=
X
− Y − (μ1 − μ2 )
σ
2 1
+
σ
2 2
∼
N
(0,1) ，则参数 μ1
− μ2 的置信水平为1−α
⎛ ⎜⎝
X
−
tα / 2 (n
−1)
S n
,
X
+
tα
/2 (n
−1)
S⎞ n ⎟⎠
μ已
知
μ未
知
∑ ∑ ∑ n
( ) ( ( ) ( ) i=1