第七章 参数估计
合集下载
概率论与数理统计第7章参数估计PPT课件
5
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
概率论 第七章 参数估计
L( ) max L( )
称^为
的极大似然估计（MLE）.
求极大似然估计(MLE)的一般步骤是：
(1) 由总体分布导出样本的联合概率分布 (或联合密度);
(2) 把样本联合概率分布(或联合密度)中自变 量看成已知常数,而把参数 看作自变量, 得到似然函数L( );
(3) 求似然函数L( ) 的最大值点(常常转化 为求ln L( )的最大值点) ，即 的MLE;
1. 将待估参数表示为总体矩的连续函数 2. 用样本矩替代总体矩，从而得到待估参
数的估计量。
四. 最大似然估计（极大似然法）
在总体分布类型已知条件下使用的一种 参数估计方法 .
首先由德国数学家高斯在1821年提出。 英国统计学家费歇1922年重新发现此
方法，并首先研究了此方法的一些性质 .
例：某位同学与一位猎人一起外出打猎.一只 野兔从前方窜过 . 一声枪响，野兔应声倒下 .
p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027
应如何估计p?
若：只知0<p<1, 实测记录是 Y=k
(0 ≤ k≤ n), 如何估计p 呢?
注意到
P(Y k) Cnk pk (1 p)nk = f (p)
第七章 参数估计
参数估计是利用从总体抽样得到的信息 估计总体的某些参数或参数的某些函数.
仅估 计一 个或 几个 参数.
估计新生儿的体重
估计废品率
估计降雨量
估计湖中鱼数
…
…
参数估计问题的一般提法:
设总体的分布函数为 F(x, )，其中为未 知参数 (可以是向量).从该总体抽样，得样本
第七章 参数估计
第七章 参数估计
1、正态总体、方差已知或非正态总体，大样本 当总体服从正态分布且方差已知时，或者总体不是正态分布但是大样本时，样本 均值的抽样分布均为正态分布，其数学期望为总体均值u，方差为Ϭ2/n。而样本均 值经过标准化以后的随机变量则服从标准正态分布，即 Z=(x-u)/(Ϭ/n0.5)~N(0,1) 根据上式和正态分布的性质可以得出总体均值u在1-α置信水平下的置信区间为： xα+是(-)事Z(α先/2)所(Ϭ确/n定0.5的)。而其一中个，概x率+Z值(α/2，) (Ϭ也/n称0.为5)为风置险信值上，限是，总x体-Z均(α/2值) (Ϭ不/包n0.含5)为在置置信信下区限间，的 概是率估；计1总- 体α称均为值置时信的水估平计，误Z差(α/。2) 是标准正态分布右侧面积为α/2的z值；Z(α/2) (Ϭ/n0.5) 也即是说，总体均值的置信区间由两个部分构成：点估计值和描述估计量精度的 +(-)值，这个+(-)值称为估计误差。
第七章 参数估计
在区间估计中，由样本统计量所构造的总体参数的估计区间称为置信区间。
其中，区间的最小值称为置信下限，最大值称为置信上限。
由于统计学家在某种程度上确信这个区间会包含真正的总体参数，所以给它取名 为置信区间。原因是：如果抽取了许多不同的样本，比如说抽取100个样本，根据 每一个样本构造了一个置信区间，这样，由100个样本构造的总体参数的100个置 信区间中，有95%的区间包含了总体参数的真值，而5%则没有包含，则95%这个值 称为置信水平。一般，如果将构造置信区间的步骤重复多次，置信区间中包含总 体参数真值的次数所占的比例称为置信水平，也称为置信度或置信系数。
自然使用估计效果最好的那种估计量。什么样的估计量才算一个好的估计量呢？ 统计学家给出了评价估计量的一些标准，主要包括以下几个：
第七章-参数估计
的标准 • 1.无偏性 • 无偏估计量：用多个样本的统计量作为总体参数 的估计值，其偏差的平均数为0。
X 0
• 2.有效性
• 当总体参数的无偏估计不止一个统计量时，无偏
估计变异小者有效性高，变异大者有效性低，即 方差越小越好。
9 0.286 9 0.286 2 23.6 1.73
0.11 2 1.49
• 【例7-7】
• n=31，sn-1=5问的0.95置信区间？
• 解：先求方差的置信区间，当df=30，查χ2表，
2 0.025 47
2 0.975 16.8
2 30 52 30 5 2 47 16.8
正态分布，即Z0.05/2=1.96。
5 0.635 2 31
• 0.95的置信区间为：
5 1.96 0.635 5 1.96 0.635
3.76 6.24
• 二、方差的区间估计
• 根据χ2分布：
2
X X
2
2
2 2 n 1 sn ns 1
第七章 参数估计
思 考
• 例8-1：从某市随机抽取小学三年级学生50名，测 得平均身高为 140cm ，标准差 4 。试问该市小学 三年级学生的平均身高大约是多少？
例8-2：某教师用韦氏成人智力量表测80 名高三学生，M=105。试估计该校高三 学生智商平均数大约为多少？
什么是参数估计
当在研究中从样本获得一组数据后，如何通过 这组数据信息，对总体特征进行估计，也就是 如何从局部结果推论总体的情况，称为总体参 数估计。 • 参数估计： 样本 统计量
• 【例7-2】
• 有一个49名学生的班级，某学科历年考试成绩的
X 0
• 2.有效性
• 当总体参数的无偏估计不止一个统计量时，无偏
估计变异小者有效性高，变异大者有效性低，即 方差越小越好。
9 0.286 9 0.286 2 23.6 1.73
0.11 2 1.49
• 【例7-7】
• n=31，sn-1=5问的0.95置信区间？
• 解：先求方差的置信区间，当df=30，查χ2表，
2 0.025 47
2 0.975 16.8
2 30 52 30 5 2 47 16.8
正态分布，即Z0.05/2=1.96。
5 0.635 2 31
• 0.95的置信区间为：
5 1.96 0.635 5 1.96 0.635
3.76 6.24
• 二、方差的区间估计
• 根据χ2分布：
2
X X
2
2
2 2 n 1 sn ns 1
第七章 参数估计
思 考
• 例8-1：从某市随机抽取小学三年级学生50名，测 得平均身高为 140cm ，标准差 4 。试问该市小学 三年级学生的平均身高大约是多少？
例8-2：某教师用韦氏成人智力量表测80 名高三学生，M=105。试估计该校高三 学生智商平均数大约为多少？
什么是参数估计
当在研究中从样本获得一组数据后，如何通过 这组数据信息，对总体特征进行估计，也就是 如何从局部结果推论总体的情况，称为总体参 数估计。 • 参数估计： 样本 统计量
• 【例7-2】
• 有一个49名学生的班级，某学科历年考试成绩的
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
第7章 参数估计(小结与典型例题选讲)
估计量, 这个估计量称为矩估计 . 量
最大似然估计量
得到样本值 x1 , x2 ,, xn 时 , 选取使似然函数L( )
ˆ 取得最大值的 作为未知参数 的估计值, ˆ 即 L( x1 , x2 , , xn ; ) max L( x1 , x2 , , xn ; ).
( 其中 是 可能的取值范围)
P{ ( X 1 , X 2 ,, X n ) ( X 1 , X 2 ,, X n )} 1 ,
则称随机区间( , ) 是 的置信水平为1 的置信 区间, 和 分别称为置信水平为 的双侧置信 1 区间的置信下限和置信 上限, 1 为置信水平.
其中 Sw2
n1S12 n2 S2 2 , Sw Sw2 . n1 n2 2
1 2. 两个总体方差比 2 的置信区间 2 (1)总体均值 1 , 2 为已知的情况.
2
1 2 的一个置信水平为 1 的置信区间 2
2
m m 2 2 n ( X i 1 ) n ( X i 1 ) 1 1 i n1 . , i n1 F (m, n) F (m, n) m (Y j 2 ) 2 1 /2 m (Y j 2 ) 2 /2 j 1 j 1
ˆ Var[ p ] p(1 p) , 2 n ln f ( x; p) E p n
1 n ˆ 对于参数 p 的无偏估计量 p X X i , n i 1
1 n 1 n ˆ ] Var X i 2 Var[ X i ] Var[ p n i 1 n i 1
i 1
n
L( )称为样本似然函数 .
参数估计方法
第七章 参数估计第一节 基本概念1、概念网络图{}⎪⎪⎪⎭⎪⎪⎪⎬⎫⎪⎪⎪⎩⎪⎪⎪⎨⎧⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧→⎭⎬⎫⎩⎨⎧单正态总体的区间估计区间估计一致性有效性无偏性估计量的评选标准极大似然估计矩估计点估计从样本推断总体2、重要公式和结论例7．1：设总体),(~b a U X ，求对a, b 的矩估计量。
例7．2：设n x x x ,,,,21 是总体的一个样本，试证（1）;2110351321x x x ++=∧μ （2）;12541313212x x x ++=∧μ（3）.12143313213x x x -+=∧μ都是总体均值u 的无偏估计，并比较有效性。
例7．3：设n x x x ,,,,21 是取自总体),(~2σμN X 的样本，试证∑=--=ni i x x n S 122)(11 是2σ的相合估计量。
第二节 重点考核点矩估计和极大似然估计；估计量的优劣；区间估计第三节 常见题型1、矩估计和极大似然估计例7．4：设0),,0(~>θθU X ，求θ的最大似然估计量及矩估计量。
例7．5：设总体X 的密度函数为⎪⎩⎪⎨⎧≥=--.,0,1)(/)(其他μθθμx e x f x其中θ>0, θ,μ为未知参数，n X X X ,,,21 为取自X 的样本。
试求θ,μ的极大似然估计量。
2、估计量的优劣例7．6：设n 个随机变量n x x x ,,,21 独立同分布，,)(11,1,)(122121∑∑==--===n i i n i i x x n S x n x x D σ 则（A ）S 是σ的无偏估计量；（B ）S 是σ的最大似然估计量； （C ）S 是σ的相合估计量；（D ）x S 与2相互独立。
例7．7：设总体X 的密度函数为⎪⎩⎪⎨⎧<<-=,,0,0),(6)(3其他θθθx x xx fn X X X ,,,21 是取自X 的简单随机样本。
（1） 求θ的矩估计量∧θ；（2） 求∧θ的方差D （∧θ）；（3） 讨论∧θ的无偏性和一致性（相合性）。
07心理统计学-第七章 参数估计
犯错误的概率，常用α（或p）表示。则1-α为置信 度。（显著性水平越高表示的是α值越小，即犯错误的可
能性越低） α为预先设定的临界点，常用的如.05、.01、.001；p 为检验计算所得的实际（犯错误）概率。
第一节 点估计、区间估计与标准误
三、区间估计与标准误
3、区间估计的原理与标准误
转换成比率为
p
n
p, SE p
n
pq n
同理可得公式7-17。自习[例7-12、例7-13]
1、从某地区抽样调查400人，得到每月人均文化消费为 160元。已知该地区文化消费的总体标准差为40元。试 问该地区的每月人均文化消费额。（α=.05，总体呈正态
分布）
2、上题中总体方差未知，已知Sn-1=44元。 3、已知某中学一次数学考试成绩的分布为正态分布，总 体标准差为5。从总体中随机抽取16名学生，计算得平 均数为81、标准差为Sn=6。试问该次考试中全体考生成 绩平均数的95%置信区间。 4、上题中总体方差未知，样本容量改为17人。 5、假定智商服从正态分布。随机抽取10名我班学生测 得智商分别为98、102、105、105、109、111、117、 123、124、126（可计算得M=112，Sn≈9.4），试以95% 的置信区间估计我班全体的智商平均数。 返回
值表，求tα /2（df）。
5、计算置信区间CI。
σ2已知，区间为M-Zα /2 SE <μ< M+Zα /2 SE；
σ2未知，区间为M-tα /2(df)SE <μ< M+tα /2(df)SE。
6、对置信区间进行解释。
二、σ2已知，对μ的区间估计（Z分布，例7-1 & 2） 三、σ2未知，对μ的区间估计（t分布，例7-3 & 4）
统计学 第七章 参数估计
[
]
2 χα (n) （n）的α 分位数，记为k≜ n k≜
抽样分布
（3）性质 • 若X服从χ2 （n），则均值E（X）=n ，方差 D（X） =2n 。 • χ2分布具有可加性。若 X1，X2相互独立，
X1～ χ2（n1） ，X2～χ２（n2）
则（X1＋X2）～χ２（ｎ１＋n２） • 当ｎ→∞时，χ２分布渐进于正态分布
σ
2
~ χ (n −1)
2
第三节两个总体参数的区 间估计（112页）
• • • • • • • 一、两个总体均值之差的区间估计 （一）两个总体均值之差的估计：独立样本 大样本：近似于正态分布 小样本： （1）两个总体的方差均已知，近似于正态分布 （2）两个总体的方差均未知但相等，近似于ｔ分布 （3）两个服从正态分布的总体的方差均未知且不等， 但样本容量相等，近似于ｔ分布 • （4）两个总体的方差均未知且不等，样本容量也不 等，近似于ｔ分布，自由度为V
• 解：求（3）的计算步骤： • ①求样本指标：
x ＝1000小时
σ＝50 （小时）
µ x＝
σ
n
＝
50 100
＝（小时） 5
• ②根据给定的F（t）＝95%，查概率表得t＝1.96。 • ③根据∆x＝t×µx＝1.96×5＝9.8，计算总体平均耐 用时间的上、下限： x − ∆ x＝1000－9.8＝990.（小时） 2 • 下限 x ＋∆ x＝1000＋9.8＝1009 .（小时） 8 • 上限 • 所以，以95%的概率保证程度估计该批产品的平均耐 用时间在990.2～1009.8小时之间。
f (x;θ ) 其中 θ
或概率密度为
是未知参数。 是未知参数。
如何求极大似然估 计量呢？ 计量呢？
数理统计 第七章-参数估计
休息
结束
2. 最大似然法
是在总体类型已知条件下使用的一 种参数估计方法 。 它首先是由德国数学家高斯在1821 年提出的 ,费歇在1922年重新发现了这 一方法，并首先研究了这 种方法的一些 性质 。
休息 结束
最大似然法的基本思想：
已发生的事件具有最大概率。
休息
结束
先看一个简单例子： 在军训时，某位同学与一位教官同 时射击，而在靶纸上只留下一个弹孔。 如果要你推测，是谁打中的呢？ 你会如何想呢?
max f ( xi , )
i 1
n
休息
结束
X 假设X 为连续型总体： f ( x; )
( X 1 , , X n ) 为子样
( x1 , , xn ) 为子样观察值。
已发生的事件为：
x x ,X {{X 11 1x, X 1 nx1 ,n } , xn x X n xn } x
休息
结束
ˆ
1 n ( X i X )2 n i 1
1 n ˆ X ( X i X )2 n i 1
休息
结束
矩法的优点是简单易行,并不需要 事先知道总体是什么分布 。 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 。
( 1 )x , 0 x 1 f( x) 0, 其它
1
其中 1 是未知参数,
X1,X2,…,Xn是取自X的样本,求参数 的矩估计. 解:
1 E( X ) x( 1 )x dx
0
( 1 )
从 中解得
1
0
x
1
概率论第七章参数估计
概率论第七章参数估计参数估计是概率论中的一个重要概念，用于根据样本数据推断总体参数的未知值。
本文将介绍参数估计的概念、常见的估计方法以及对估计结果的评估。
一、参数估计的概念参数估计是指根据样本数据来推断总体参数的未知值。
总体是指要研究的对象的全体，参数是总体分布的特征数值，例如总体均值、总体方差等。
参数估计可以分为点估计和区间估计两种。
点估计是根据样本数据得到一个参数值的估计方法。
常见的点估计方法有最大似然估计法和矩估计法。
最大似然估计法是根据已知的样本数据，选择使得基于样本数据构建的似然函数取得最大值的参数值作为参数的估计值。
矩估计法是根据已知的样本数据，选择使得样本矩与总体矩之间的差距最小的参数值作为参数的估计值。
区间估计是指根据样本数据得到参数的一个区间估计，给出了参数取值范围的上下限。
常见的区间估计方法有置信区间法和预测区间法。
置信区间法是根据样本数据，给出参数估计值的上下限，使得该参数值落在这个区间的概率达到预先规定的置信水平。
预测区间法是根据样本数据，给出新观测值的一个区间估计，使得新观测值落在这个区间的概率达到预先规定的置信水平。
二、常见的估计方法最大似然估计法是参数估计中最常用的方法。
它是在已知样本数据的情况下，选择使得样本数据出现的概率最大的参数值作为参数的估计值。
最大似然估计法的优点是估计结果具有良好的渐进性质，但是对样本数据的要求较高，需要满足一定的充分统计条件。
矩估计法是一种简单的参数估计方法。
它是在已知样本数据的情况下，选择使得样本矩与总体矩之间的差距最小的参数值作为参数的估计值。
矩估计法的优点是计算简单，但是在一些情况下可能存在多个参数估计值。
置信区间法是一种常用的区间估计方法。
它是在已知样本数据的情况下，给出一个区间，使得参数的真值落在这个区间的概率达到预先规定的置信水平。
置信区间法的优点是提供了参数取值范围的上下限，对参数的估计结果具有一定的可信度。
预测区间法是一种用于预测新观测值的区间估计方法。
概率与数理统计第七章
即 , 的估计量分别为
ˆ
1 n 2 2 X X i n i 1
1 n 2 2 ˆX X X i n i 1
7.1.2最大似然法(The method of maximum
likelihood) 最大似然法,也叫极大似然法,它最早是由高 斯所提出的,后来由英国统计学家费歇 (R· A· Fisher)于1922年在其一篇文章中重新提出, 并且证明了这个方法的一些性质.极大似然估计 这一名称也是费歇给的.它是建立在极大似然原 理的基础上的一个统计方法.为了对极大似然原 理有一个直观的认识,我们先来看一个例子.
1 2 n 1 2 n
ˆ( X , X , , X ) 是 的估计量, 估计 的真值,则称 1 2 n ˆ( x , x , , x ) 是 的估计值. 称
1 2 n
本节介绍两个最基本的方法——矩法和极大似然法
7.1.1矩法(The Method of Moments)
k k 设 X 1 ,, X n 是来自总体 X 的样本 , 则 X 1k , X 2 ,, X n
结论： 的估计值为 1 .
当 X 是离散型随机变量时 , 它的分布律设为 p( x; ) P{ X x} , x 是 X 的各可能取值.当 X 是连续型随机变量时,它的概率密度设为 p ( x; ) .称 p ( x; ) 为 X 的概率函数.
定义 6.1.1 设 ( X 1 , X 2 ,, X n ) 是 X 的样本,
问题： 设总体 X 的概率密度为 f ( x, ) ,其中未知参数 的可能取值有两个 ,即 1 和 2 ,但不知道到底哪一个是参数 的真值. 现对总体做了一次观测 ,得到样本值 x0 (如图),问 应该等于 1 还是 2 ？
《概率论与数理统计》课件第七章 参数估计
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
第七章 参数估计
a
2
b
X
2 (a,b)
a2
ab b2 3
1 n
n i 1
X
2 i
解方程组得aˆ X
3 n
n i1
(Xi
X )2 ,bˆ
X
3 n
n i1
(Xi
X )2
练习1
设总体X
~
e(),
X
1
,
X
2
,...,
X
是来自该
n
总体的一组样本，求的矩估计。
2 总体X的概率密度为f (x, )
1
L L
0, 0,
2
L 0,
s
1
ln L ln L
0, 0,
2
lnL 0,
s
解方程组求解出ˆ1, ˆ2 , ,ˆs .
例1.设总体X ~ N(, 2 ), 但, 2均未知,设X1, X2 ,Xn 是来自该总体的一组样本, 求, 2的极大似然估计.
2
)2
2
(3)似然方程
ln L
1
2
n
(Xi
i 1
)
0
ln L
2
n 2
1
2
1
2 4
n
(Xi
i 1
)2
0
(4)解方程组得 X ,
第七章__参数估计
三、区间估计与标准误
㈠区间估计的定义 是根据样本统计量，利用抽样分布的原理，在一定的
可靠程度上，估计出总体参数所在的范围，即以数 轴上的一段距离表示未知参数可能落入的范围。 ㈡置信区间与显著性水平 ⑴置信区间：也称置信间距，指在一定可靠程度上，总体参
数所在的区域距离或区域长度。
⑵置信界限（临界值）：置信区间的上下两端点值。 ⑶显著性水平：指估计总体参数落在某一区间时，可能犯错
⑶区间估计的原理是样本分布理论。在计算区间估计值解释估 计的正确概率时，依据的是该样本统计量的分布规律及样本 分布的标准误。样本分布可提供概率解释，而标准误的大小 决定区间估计的长度。一般情况下，加大样本容量可使标准 误变小。
当总体方差已知时，样本平均数的分布为正态分布或
渐近正态分布，此时，样本平均数的平均数uX u， 平均数的离散程度即平均数分布的标准差（简称
例4
解:由题意知,其总体方差未知,但其总体分布为正态分布，
则此样本均数的分布服从t分布， 可以依t分布对总平 均身高μ进行估计。
SEX
S 4.8 0.81; df n 1 36 1 35 n 1 35
查t值表可知 : t0.05 230 2.042;t0.01 230 2.75
例2 已知某区15 岁男生立定跳远的方差 为 436.8cm ，现从该区抽取58名15岁男生， 测得该组男生立定跳远的平均数为198.4cm， 试求该区15岁男生立定跳远平均成绩的95%和 99%的置信区间。
例2
解：由题意知：由于样本容量（n=58）大于30 ，
该样本的抽样分布为渐进正态分布。
SEX
因此, 的95%的置信区间为 :
82 2.0211.12 82 2.0211.12
概率论与数理统计第七章参数估计
则以hi (X1, X2,…, Xn)作为θi 的估计量 ，并 称hi(X1, X2,…, Xn)为θi 的矩法估计量，而 称hi(x1, x2,…, xn) 为θi 的矩法估计值。
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
概率论第7章
注： 估计量 θˆ 是一个随机变量,是样本的函数,即 是一个统计量,对不同的样本值, 的估计值 一般是 不同的.
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
X1, ... ,Xn是来自总体X的独立同分布样本,分布
律或概率密度函数是f(x,q),其中q∈Q是参数,Q已知, 是q的取值范围.f (x,q)的形式已知,则有统计模型
f ( x1,θ) f ( xn ,θ) θ Q
例1 某种型号的产品N个,其合格率q未知,从中随机
抽取n个(n<<N),设Xi 是第i次抽到的样品,正品Xi=1, 否则 Xi =0,则 X1,X2,…,Xn 就是样本.总体分布为两点
分布B(0,1),参数空间为q=(0,1),则可得统计模型
n
n
xi
n xi
θ i1 (1 θ) i1
用矩估计法估计λ的值。
解 设X为灯管寿命，则
1 n
x n i1 xi 130.55
μ1
E
X
=
1 λ
μ1 m1
μ1
E
X
=
1 λ
X
λˆ 1 0.0077 X
例2 设总体X的均值μ和方差σ2 >0都存在,μ,σ2未知.
X1,…,Xn是来自 X 的样本,试求μ, σ2的矩估计量 .
矩估计量的观察值称为矩估计值 .
总体k阶中心矩 样本k阶中心矩
Vk
Bk
E[ X 1n
n i1
E( X )]k; ( Xi X )k .
例1. 设有一批灯管,其寿命服从参数为λ的指数分 布,今随机从中抽取11只,测得其寿命数据如下：
110, 184, 145, 122, 165, 143, 78, 129, 62, 130, 168
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
x t
2
s 24.77 1490 2.131 n 16 1490 13.2 1476.8,1503.2
该种灯泡平均使用寿命的置信区间为 1476.8h～ 1503.2h
总体比例的区间估计
总体比例的区间估计
1. 假定条件
– – 总体服从二项分布 可以由正态分布来近似
置信区间 (confidence interval)
1. 由样本统计量所构造的总体参数的估计区间称为 置信区间 2. 统计学家在某种程度上确信这个区间会包含真正 的总体参数，所以给它取名为置信区间 3. 用一个具体的样本所构造的区间是一个特定的区 间，我们无法知道这个样本所产生的区间是否包 含总体参数的真值
第 7 章 参数估计
例1 一个描述性例子
• 一个有10000个人回答的调查显示，反对大 学恋爱实名制观点的人的比例为70%（有 7000人反对），可以算出总体中反对该观 点 的 比 例 的 95% 置 信 区 间 为 （ 0.691 ， 0.709）； • 另一个调查声称有70%的比例同意该种观点， 还说总体中同意该观点的置信区间也是 （0.691，0.709）。到底相信谁呢？
标准正态分布
标准正态分布
t (df = 13)
t 分布
t (df = 5)
z
x
t 分布与标准正态分布的比较
不同自由度的t分布
t
总体均值的区间估计
(例题分析)
【例】已知某种灯泡的寿命服从正态分布，现从一批 灯泡中随机抽取16只，测得其使用寿命(单位：h)如 下。建立该批灯泡平均使用寿命95%的置信区间
• 544，468，399，759，526，212，256， 456，553，259，469，366，197，178 如果设立商店要求行人数最低为520的话，这 个地点是否合适？ （经计算，样本均值403，标准差168.46）
第 7 章 参数估计
7.1 参数估计的一般问题
7.2 一个总体参数的区间估计 7.3 两个总体参数的区间估计 7.4 样本量的确定
解：已知 n=100，p＝65% , 1- = 95%， z/2=1.96
p z
2
p (1 p ) n
65% 1.96
65%(1 65%) 100
65% 9.35% 55.65%,74.35%
该城市下岗职工中女性比例的置信 区间为55.65%~74.35%
– 我们只能是希望这个区间是大量包含总体参数真值的 区间中的一个，但它也可能是少数几个不包含参数真 值的区间中的一个 总体参数以一定的概率落在这一区间的表述是错误的
–
置信区间 (95%的置信区间)
点估计值
重复构造出的20个置信区间
我们用95%的置信水平得到某班学生考试成绩的置 信区间为75-85分，如何理解？ 错误的理解：75-85区间以95%的概率包含全班同 学平均成绩的真值；或以95%的概率保证全班同学 平均成绩的真值落在75-85分之间。 正确的理解：如果做了多次抽样（如100次），大 概有95次找到的区间包含真值，有5次找到的区间 不包括真值。
总体方差的区间估计
总体方差的区间估计
1. 估计一个总体的方差或标准差 2. 假设总体服从正态分布 3. 总体方差 2 的点估计量为s2,且
n 1s 2
2
4. 总体方差在1- 置信水平下的置信区间为
~ 2 n 1
n 1s 2 2 n 1s 2 2 2 2 n 1 1 2 n 1
总体均值的区间估计
(例题分析)
【 例 】一家食品生产企业以生产袋装食品为主，为对食品 质量进行监测，企业质检部门经常要进行抽检，以分析每袋 重量是否符合要求。现从某天生产的一批食品中随机抽取了 25袋，测得每袋重量如下表所示。已知产品重量的分布服从 正态分布，且总体标准差为10g。试估计该批产品平均重量 的置信区间，置信水平为95%
• 无偏性：估计量抽样分布的数学期望等于 被估计的总体参数
ˆ P( )
无偏 有偏
A
B
ˆ
有效性(efficiency)
有效性：对同一总体参数的两个无偏点估计
量，有更小标准差的估计量更有效
ˆ P( )
ˆ1 的抽样分布
B A
ˆ2 的抽样分布
ˆ
一致性(consistency)
一致性：随着样本量的增大，估计量的 值越来越接近被估计的总体参数
-- 一个点估计量的可靠性是由它的抽样标准误差
来衡量的，这表明一个具体的点估计值无法给出 估计的可靠性的度量
区间估计(interval estimate)
1. 在点估计的基础上，给出总体参数估计的一个区间 范围，该区间由样本统计量加减估计误差而得到 2. 根据样本统计量的抽样分布能够对样本统计量与总 体参数的接近程度给出一个概率度量
比如，某班级平均分数在75～85之间，置信水平是95% 置信区间
样本统计量 (点估计)
置信下限
置信上限
区间估计的图示
x z 2 x
- 2.58x -1.65 x
x
+1.65x +2.58x
x
-1.96 x
+1.96x
90%的样本 95% 的样本 99% 的样本
总体均值的区间估计
(大样本)
1. 假定条件
– – 总体服从正态分布,且方差(２) 已知 如果不是正态分布，可由正态分布来近似 (n 30)
2. 使用正态分布统计量 z x z ~ N (0,1) n 3. 总体均值 在1- 置信水平下的置信区间为 s x z 2 或 x z 2 ( 未知) n n
x z
2
s 7.77 39.5 1.645 n 36 39.5 2.13 37.37,41.63
投保人平均年龄的置信区间为37.37岁~41.63岁
总体均值的区间估计2
(正态总体、２未知、小样本)
总体均值的区间估计
(小样本)
1. 假定条件
– 总体服从正态分布,但方差(２) 未知 – 小样本 (n < 30)
置信水平(confidence level)
1. 将构造置信区间的步骤重复很多次，置信 区间包含总体参数真值的次数所占的比例 称为置信水平 2. 表示为 (1 - 为是总体参数未在区间内的比例 3. 常用的置信水平值有 99%, 95%, 90% 相应的 为0.01，0.05，0.10
– 如果样本均值 x =80，则80就是的估计值
点估计与区间估计
点估计(point estimate)
1. 用样本的估计量的某个取值直接作为总体参 数的估计值
例如：用样本均值直接作为总体均值的估计；用 两个样本均值之差直接作为总体均值之差的估计
2. 无法给出估计值接近总体参数程度的信息
--虽然在重复抽样条件下，点估计的均值可望等 于总体真值，但由于样本是随机的，抽出一个具 体的样本得到的估计值很可能不同于总体真值
101.44,109.28
该食品平均重量的置信区间为101.44g~109.28g
总体均值的区间估计
(例题分析)
【例】一家保险公司收集到由36个投保人组成的随 机样本，得到每个投保人的年龄(单位：周岁)数据如 下表。试建立投保人年龄90%的置信区间
36个投保人年龄的数据
23
36 42 34 39 34
真值只有一个，一个特定的区间“总是包含”或 “绝对不包含”该真值。但是，用概率可以知道在 多次抽样得到的区间中大概有多少个区间包含了参 数的真值。 如果大家还是不能理解，那你们最好这样回答有关 区间估计的结果：该班同学平均成绩的置信区间是 75-85分，置信度为95%。
评价估计量的标准
无偏性(unbiasedness)
2.
使用正态分布统计量 z p z ~ N (0,1) (1 ) n 3. 总体比例在1-置信水平下的置信区间为
p z 2
p(1 - p) n
总体比例的区间估计
(例题分析)
【例】某城市想 要估计下岗职工 中女性所占的比 例，随机地抽取 了 100 名 下 岗 职 工，其中65人为 女性职工。试以 95%的置信水平 估计该城市下岗 职工中女性比例 的置信区间
35
42 53 28 49 39
39
46 45 39 38 45
27
43 54 36 34 48
36
31 47 44 48 45
44
33 24 40 50 32
总体均值的区间估计(例题分析)
解：已知n=36, 1- = 90%，z/2=1.645。根据样本数 据计算得： 39.5 ，s 7.77 x 总体均值在1- 置信水平下的置信区间为
• 实际上，第二个调查隐瞒了置信度（等价 于隐瞒了样本量）。如果第二个调查仅仅 调查了50个人，有35个人反对该观点。根 据公式可以算出，第二个调查的置信区间 的置信度仅有11%。
例2 零售店选址
• 张先生是台湾某集团的企划部经理，在今 年的规划中，集团准备在某地新建一新的 零售商店。张先生目前正在做这方面的准 备工作。其中有一项便是进行市场调查。 在众多信息中，经过该地行人数量是要考 虑的一个很重要的方面。张先生委托他人 进行了两个星期的观察，得到每天经过该 地人数如下：
学习目标
1. 2. 3. 4. 5. 6. 估计量与估计值的概念 点估计与区间估计的区别 评价估计量优良性的标准 一个总体参数的区间估计方法 两个总体参数的区间估计方法 样本量的确定方法
7.1 参数估计的一般问题
7.1.1 估计量与估计值
7.1.2 点估计与区间估计 7.1.3 评价估计量的标准