概率论与数理统计第七章 参数估计概率
概率论与数理统计复习7章
( n − 1) S 2 ( n − 1) S 2 = 1 − α 即P 2 <σ2 < 2 χα 2 ( n − 1) χ1−α 2 ( n − 1) ( n − 1) S 2 ( n − 1) S 2 置信区间为： 2 , χα 2 ( n − 1) χ12−α 2 ( n − 1)
则有：E ( X v ) = µv (θ1 , θ 2 ,⋯ , θ k ) 其v阶样本矩是：Av = 1 ∑ X iv n i =1
n
估计的未知参数，假定总体X 的k阶原点矩E ( X k ) 存在，
µ θ , θ ,⋯ , θ = A k 1 1 1 2 µ2 θ1, θ 2 ,⋯ , θ k = A2 用样本矩作为总体矩的估计，即令： ⋮ µ θ , θ ,⋯ , θ = A k k k 1 2 ɵ ɵ ˆ 解此方程即得 (θ1 , θ 2 ,⋯ , θ k )的一个矩估计量 θ 1 , θ 2 ,⋯ , θ k
+∞
−∞
xf ( x ) dx = ∫ θ x θ dx =
1 0
令E ( X ) = X ⇒
θ +1
θ
ˆ = X ⇒θ =
( )
X 1− X
θ +1
2
θ
7.2极大似然估计法
极大似然估计法： 设总体X 的概率密度为f ( x,θ ) (或分布率p( x,θ )),θ = (θ1 ,θ 2 ,⋯ ,θ k ) 为 未知参数，θ ∈ Θ, Θ为参数空间，即θ的取值范围。设 ( x1 , x2 ,⋯ , xn ) 是 样本 ( X 1 , X 2 ,⋯ , X n )的一个观察值：
i =1 n
概率论与数理统计第7章参数估计PPT课件
a1(1, ,k )=v1
1 f1(v1, ,vk )
假定方程组a2(1, ,k ) v2 ,则可求出2 f2(v1, ,vk )
ak (1, ,k ) vk
k fk (v1, ,vk )
则x1 xn为X的样本值时，可用样本值的j阶原点矩Aj估计vj，其中
Aj
1 n
n i1
xij ( j
L(x1, ,xn;ˆ)maxL(x1, ,xn;)，则称ˆ(x1, ,xn)为
的一种参数估计方法 .
它首先是由德国数学家
高斯在1821年提出的 ,然而， 这个方法常归功于英国统
Gauss
计学家费歇（Fisher） . 费歇在1922年重新发现了
这一方法，并首先研究了这
种方法的一些性质 .
Fisher
10
极大似然估计是在已知总体分布形式的情形下的 点估计。
极大似然估计的基本思路：根据样本的具体情况
注：估计量为样本的函数，样本不同，估计量不 同。
常用估计量构造法：矩估计法、极大似然估计法。
4
7.1.1 矩估计法
矩估计法是通过参数与总体矩的关系，解出参数， 并用样本矩替代总体矩而得到的参数估计方法。 （由大数定理可知样本矩依概率收敛于总体矩， 且许多分布所含参数都是矩的函数）
下面我们考虑总体为连续型随机变量的情况：
n
它是的函数，记为L(x1, , xn; ) f (xi , ), i 1
并称其为似然函数，记为L( )。
注：似然函数的概念并不仅限于连续随机变量 ，
对于离散型随机变量，用 P {Xx}p(x,)
替代f ( x, )
即可。
14
设总体X的分布形式已知，且只含一个未知参数，
概率论与数理统计讲义 (27)
原点矩
由矩法,
0
X 1
2
总体矩
样本矩
2
从中解得 ˆ 2X 1 , 即为 的矩估计.
1 X
例2 设X1,X2,…Xn是取自总体X的一个样本
X
~
f
(
x)
1
e( x
)
,
x
, 为未知参数
0,
其它
其中 >0,求 , 的矩估计.
解: 由密度函数知
X 具有均值为 的指数分布
故 E(X- )= 即 E(X)=
缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 .
其主要原因在于建立矩法方程时， 选取那些总体矩用相应样本矩代替带 有一定的随意性 .
第 七 章第一节 矩估计
矩是基于一种简单的“替换” 思想建立起来的一种估计方法 .
是英国统计学家K.皮尔逊最早提出的 .
其基本思想是用样本矩估计总体矩 . 理论依据: 大数定律
记总体k阶矩为 k E( X k )
样本k阶矩为
Ak
1 n
n i 1
X
k i
记总体k阶中心矩为 k E[ X E( X )]k
参数估计问题的一般提法
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 ( 可以是
向量) . 现从该总体抽样，得样本 X1, X2 , … , Xn
要依据该样本对参数 作出估计，或估计 的某个已知函数 g( ) .
这类问题称为参数估计.
点估计
参数估计
区间估计
假如我们要估计某队男生的平均身高.
1
n
n i 1
X
m i
概率论与数理统计-参数估计
第七章 参数估计
例：
引言
设总体 X 是服从参数为 的指数分布，其中参数
未 知 ，
0 ．X1 ,,
X
是总体
n
X
的一个样本，
我们的任务是根据样本，来估计 的取值，从
而估计总体的分布．
这 是 一 个 参 数 估 计 问 题．
第七章 参数估计
§1 点估计 §2 估计量的评选标准 §3 区间估计
第七章 参数估计 §1 点估计
2
令
A1
A2
, (
2
1)
.
第七章 参数估计
例6(续）
解此方程组，得
§1 点估计
ˆ
A1 2 A2 A12
,
ˆ
A2
A1 A12
.
ˆ X 2 ,
即
B2
ˆ X .
B2
其中 B2
1 n
n i 1
Xi X
2 为样本的二阶中心矩．
第七章 参数估计（第二十二讲） 三、 极大似然法
§1 点估计
1
第七章 参数估计
例6(续）
EX 2 x 2 f
x dx x 2
x 1e x dx
0
§1 点估计
2 2 x ( e 2)1 x dx
2 0 2
2 2
1 2
1
2
因此有
EX
,
EX
2
1 .
⑵ 在不引起混淆的情况下，我们统称估计量
与估计值为未知参数 的估计．
第七章 参数估计
二、 矩估计法
§1 点估计
设X为连续型随机变量，其概率密度为
f ( x;1 ,, k ), X为离散型随机变量，其分布列为
《概率论与数理统计》7
未知参数 , ,, 的函数.分别令
12
k
L(1,,k ) 0,(i 1,2,...,k)
或令
i
ln L(1,,k ) 0,(i 1,2,...,k)
i
由此方程组可解得参数 i 的极大似然估计值 ˆi.
例5 设X~b(1,p), X1, X2 , …,Xn是来自X的一个样本,
求参数 p 的最大似然估计量.
解 E( X ) ，E( X 2 ) D( X ) [E( X )]2 2 2
由矩估计法,
【注】
X
1
n
n i 1
X
2 i
2
2
ˆ X ,
ˆ
2
1 n
n i 1
(Xi
X )2
对任何总体,总体均值与方差的矩估计量都不变．
➢常见分布的参数矩估计量
(1)若总体X~b(1, p), 则未知参数 p 的矩估计量为
7-1
第七章
参数估计
统计 推断
的 基本 问题
7-2
参数估 计问题
(第七章）
点估计 区间估 计
假设检 验问题 (第八章）
什么是参数估计？
参数是刻画总体某方面概率特性的数量.
当此数量未知时,从总体抽出一个样本， 用某种方法对这个未知参数进行估计就 是参数估计.
例如，X ~N ( , 2),
若, 2未知, 通过构造样本的函数, 给出
k = k(A1, A2 , …, A k)
用i 作为i的估计量------矩估计量.
例1 设总体X服从[a，b]上的均匀分布，a，b未知，
X1, X2 , …,Xn为来自总体X的样本,试求a，b的 矩估计量．
解 E(X ) a b , D(X ) (b a)2
考研数学(三)考试大纲解析(概率论与数理统计 第7章 参数估计)【圣才出品】
L(x1, x2,, xn; ) maxL(x1, x2,xn; )
这样得到的
与样本值
x1,
x2
,
,
xn
有关，常记为
( x1 ,
x2
,
,
xn
)
，称为参数
的最大似然
估计值，而相应的统计量 ( X1, X 2,, X n ) 称为参数 的最大似然估计量．
3．最大似然估计值的求法
（1）在很多情形下， p(x; ) 和
(
)
三、最大似然估计法
1．似然函数
（1）离散型
若总体 X 属离散型，其分布律 P{X x} p(x; ), 的形式为已知， 为待估参数， 是 可能取值的范围，设 X1, X2,, Xn 是来自 X 的样本，则 X1, X2,, Xn 的联合分布律为
n
p(xi; )
i 1
又设 x1, x2,, xn 是相应于样本 X1, X2,, Xn 的一个样本值，易知样本 X1, X2,, Xn 取到 观察值 x1, x2,, xn 的概率，亦即事件{X1 x1, X2 x2,, Xn xn} 发生的概率为
为
n
f (xi; )dxi
i 1
n
n
其值随 的取值而变化，取 的估计值 使概率
i 1
f (xi ; )dxi.
取到最大值，但因子
dxi
i 1
n
L( ) L(x1, x2,, xn; ) f (xi; )
不随 而变，故只需考虑函数
i1
的最大
值，这里 L( )称为样本的似然函数．若
L(x1, x2,, xn; ) maxL(x1, x2,, xn; )
xl
中国矿业大学周圣武概率论与数理统计_图文
定义2 设 都是参数θ的无偏估计量，若有
则称
有效。
例：160页，例7、例8
定义3 设
为参数θ的估计量，
若对于任意θ∈Θ,当
则称
的一致估计量。
例：由大数定律知
一致性说明：对于大样本，由一次抽样得到的估 计量 的值可作θ的近似值
例5 设 X1, X2, …, Xn 是取自总体 X 的一个样本,
⑴ 验证
试求θ的极大似然估计值。 解
极大似然估计的不变性
练习
1.设总体X在
上服从均匀分布，
X1 , X 2 ,L X n是来自X的样本，试求 q 的矩估计量
和最大似然估计.
2.设X1,X2,…Xn是取自总体X的一个样本
其中 >0, 求 的极大似然估计.
课堂练习
P156：5，6
作业
P178：1，2，5，6
Fisher
最大似然法的基本思想：
问题：请推断兔子 是谁打中的？
例6 袋中放有白球和黑球共4个，今进行3次有放回 抽样，每次抽取1个，结果抽得2次白球1次黑球，试 估计袋中白球个数。 解 设袋中白球个数为m，
X为3次抽样中抽得的白球数，则
当袋中白球数m分别为1,2,3时， p对应的值分别为1/4,2/4,3/4， X对应的分布律见下表
中国矿业大学周圣武概率论与数理统计_图文 .ppt
第七章 参数估计
§7.1 点估计 §7.2 估计量的评选标准 §7.3 区间估计 §7.4 单个正态总体参数的区间估计 §7.4 两个正态总体参数的区间估计
统计推断
矩估计 点估计 最大似然估计
参数估计
最小二乘估计
区间估计
参数假设检验
假设检验 非参数假设检验
《概率论与数理统计》第七章
n
n
ln xi
（4）的极大似然估计量为：ˆ
n
n2 i1
lnX
i
2
i1
第七章 参数估计 ‹#›
例 9 设X~b(1,p), X1,X2,…,Xn是来自X的一个样本， 试求参数p的最大似然估计量
解: 设x1, x2,, xn,是相应于样本X1,X2,…,Xn 的一个样本值，X
的分布律为：
(3)以样本各阶矩A1, ,Ak代替总体各阶矩1,
得各参数的矩估计
ˆi gi(A1, ,Ak )， i 1, , k
, k，
第七章 参数估计 ‹#›
注意：
在实际应用时，为求解方便，也可以用
中心矩 i 代替原点矩i，相应地以样本中心矩Bi 估计 i.
（二）最大似然估计法
最（极）大似然估计的原理介绍
第七章
参数估计
目录/Contents
第1章 随机事件与 2 概率
§ 1 点估计
§3
估计量的评选标准
第七章 参数估计 ‹#›
问题的提出:
在实际进行统计时，有不少总体的（我们关心的某 确定指标）概率分布是已知的。比如
例 1 产品寿命服从的分布
X~
f
(
x)
1
x
e
x0
0
其他
但其中有参数是未知的: θ
n
似然函数 L f xi , 。 i 1
, xn ，
极大似然原理：L(ˆ( x1 ,
,
xn
))
max
L(
).
计算简化方法：
在求L 的最大值时，通常转换为求：lnL 的最大值，
lnL 称为对数似然函数.
利用
参数估计
根据“概率越大的事件越可能发生”的实际推断原理，应选3/4作为p的估计值。
若p的可供选择的估计值有许多，仍应选择发生概率最大的 就是极大似然估计的思想。
作为p的估计，这p
Exceltek Electronics (HK) Ltd Confidential
极大似然估计的原理(教材p180-181)
设总体X的概率密度函数族为f(x； ) (或概率分布函数族为P(X=x)=p(x ； ) )， 。
矩估计的缺陷：当总体分布类型已知时，未能充分利用总体分布提供的信息。
Exceltek Electronics (HK) Ltd Confidential
二、极大似然估计
引例：罐中有许多白球和黑球，已知两色球的比例为3：1，但不知哪种颜色的球多。 今有放回连抽两球均取出黑球，问：罐中黑球多还是白球多？
第七章 参数估计
引言 参数估计：当总体的某些参数未知(一般要求分布类型已知)时，从样本出发构造适当 的统计量，作为未知参数的估计量。当取得一组观察值后，以相应的统计量的观察 值作为未知参数的估计值，并讨论估计值对真值进行估计的可靠性。
参数估计方法是处理实际问题时最常用的方法。
预备概念：当总体X中含有未知参数 (可以是向量)时，可用 F(x； )来表示X的分布函数，当取不同的值，就会得到不同的分布函数。我们 称所有可能取值的集合为参数空间，记为。把{F(x； )， }称为X的分布 函数族。
的极大似然估计。
便是
D(X )
Exceltek Electronics (HK) Ltd Confidential
第三节 点估计量的评选标准 问题：1. 哪种估计是最好的估计？
2. 评价“好”的标准是什么？ 建立评价标准的原则：估计量在某种意义下与待估参数的真值最接近。
浙大版概率论与数理统计答案---第七章
第七章 参数估计注意： 这是第一稿（存在一些错误）1、解 由θθθμθ2),()(01===⎰d x xf X E ，204103)(2221θθθ=-==X D v ，可得θ的矩估计量为X 2^=θ，这时θθ==)(2)(^X E E ，nnX D D 5204)2()(22^θθθ=⋅==。
3、解 由)1(2)1(2)1(2)(21θθθθμ-=-+-==X E ，得θ的矩估计量为：3262121^=-=-=X θ。
建立关于θ的似然函数：482232)1(4)1())1(2()()(θθθθθθθ-=--=L令0148))1ln(4ln 8()(ln =--=∂-+∂=∂∂θθθθθθθL ，得到θ的极大似然估计值：32^=θ 4、解：矩估计：()1012122μθλθλθλ=⋅+⋅+⋅--=--，()()()()2222222121νθλθθλλθλθλ=--++-++--, 11A =,234B =, 故()()()()222ˆˆ221,3ˆˆˆˆˆˆˆˆˆˆ222121.4θλθλθθλλθλθλ⎧--=⎪⎨--++-++--=⎪⎩解得1ˆ,43ˆ.8λθ⎧=⎪⎪⎨⎪=⎪⎩为所求矩估计。
极大似然估计：(){}()33214526837,0,2,11L P X X X X X X X X θλθλθλ==========--，()()(),ln ,3ln 2ln 3ln 1l L θλθλθλθλ==++--，()(),330,1,230.1l l θλθθθλθλλλθλ∂⎧=-=⎪⎪∂--⎨∂⎪=-=⎪∂--⎩解得3ˆ,81ˆ.4θλ⎧=⎪⎪⎨⎪=⎪⎩即为所求。
5、解 由33)1(3)1(3)(222+-=-+-+=p p p p p p X E ，所以得到p 的矩估计量为^394(3)34322X X p -----==建立关于p 的似然函数：3210)1()2)1(3()()2)1(()(22n n n n p p p p p p p L ---= 令0)(ln =∂∂pp L ，求得到θ的极大似然估计值：n n n n p 22210^++=6、解：(1)()1112EX x x dx θθθθ+=+=+⎰， 由ˆ1ˆ2X θθ+=+得21ˆ1X X θ-=-为θ的矩估计量。
概率论与数理统计第七章参数估计习题答案
æ çè
x
±
ua
/
2
s n
ö ÷ø
=
(14.95
±
0.1´1.96)
=
(14.754,15.146)
大学数学云课堂
3028709.总体X ~ N (m,s 2 ),s 2已知,问需抽取容量n多大的样本，
才能使m的置信概率为1 -a,且置信区间的长度不大于L？
解：由s
2已知可知m的置信度为1
-
a的置信区间为
64 69 49 92 55 97 41 84 88 99 84 66 100 98 72 74 87 84 48 81 （1）求m的置信概率为0.95的置信区 间.
（2）求s 2的置信概率为0.95的置信区间.
解：x = 76.6, s = 18.14,a = 1- 0.95 = 0.05, n = 20,
大学数学云课堂
3028706.设X1,X 2,L,X n是取自总体X的样本,E（X）= m,D（X）= s 2,
n -1
å sˆ 2 = ( X i+1 - X i )2 ,问k为何值时sˆ 2为s 2的无偏估计. i =1 解：令 Yi = X i+1 - X i , i = 1, 2,¼, n -1, 则E(Yi ) = E( X i+1) - E( X i ) = m - m = 0, D(Yi ) = 2s 2 , n -1 å 于是Esˆ 2 = E[k ( Yi2 )] = k(n -1)EY12 = 2s 2 (n -1)k, i =1 那么当E(sˆ 2 ) = s 2 ,即2s 2 (n -1)k = s 2时, 有k = 1 . 2(n -1)
的密度函数为f
(x,q
概率论与数理统计课件第7章参数估计
一、矩估计
4
A B
一、矩估计 例1
5
01
OPTION
02
OPTION
一、矩估计 解
6
一、矩估计
7
一、矩估计
8
解（1）
一、矩估计
9
解（2）
一、矩估计 例3
10
一、矩估计 解
11
一、矩估计
12
关于矩估计量有下列结论:
一、矩估计
13
例4
解
一、矩估计
14
01
OPTION
02
OPTION
一、无偏性 定义1
51
ˆ lim E θ 如果 n+ X1 ,
, X n θ
一、无偏性
52
例1
试求 1 3 2
解
(1)由矩估计定义可知
一、无偏性
53
故
一、无偏性
54
一、无偏性 例2
55
一、无偏性
56
解
一、无偏性 定理 1
57
则有
因此, 样本均值是总体均值的无偏估计, 样本
二、极大似然估计
48
极大似然估计求解
似然函数 对数似然求导法
直接法
49
目录/Contents
7.1 7.2
点估计 点估计的优良性评判标 准 置信区间 单正态总体下未知参数的置信区间 两个正态总体下未知参数的置信区间
7.3
7.4 7.5
50
目录/Contents
7.2
点估计的优良性评判标准 一、无偏性 二、有效性 三、相合性
置信区间
69
置信区间
70
置信区间
概率论与数理统计（第三版）课后答案习题7
第七章 参数估计1. 解 )1()(,)(),,(~p np X D np X E p n B X -==∴⎩⎨⎧=-=⎩⎨⎧==22)1(,)()(B p np X np B X D X X E 即由解之，得n,p 的矩估计量为XB p B X X n 2221,-=⎥⎥⎦⎤⎢⎢⎣⎡-=∧∧注：“[ ]”表示取整。
2. 解 因为：220)(22)(1)1()(1)()(λλθλλθλθλθλ++=⋅=+=⋅==⎰⎰⎰∞+--∞+--∞+∞-dx e x x E dx e x dx x xf x E x x所以，由矩估计法得方程组： ⎪⎩⎪⎨⎧++=+=2221)1(1λλθλθA X 解得λθ,的矩估计量为 ⎪⎩⎪⎨⎧=-=∧∧221B B X λθ3. 解 (1) 由于 222)]([)()(X E X E X D -==σ令 ∑===n i iX n A X E 12221)( 又已知 μ=)(X E故 2σ的矩估计值为 ∑∑==∧-=-=-=n i i n i i X n X n A 12122222)(11μμμσ(2) μ已知时，似然函数为:⎭⎬⎫⎩⎨⎧--⋅=∑=-ni in x L 122222)(21exp )2()(μσπσσ因此∑=---=ni ixn L 12222)(21)2ln(2)(ln μσπσσ令 0)(2112)(ln 124222=-+-=∑=ni ixn L d dμσσσσ解得2σ的极大似然估计为: ∑=∧-=n i i X n 122)(1μσ4. 解 矩估计：λλ=∴=)()(X E X E 令X X E =)(故X =∧λ为所求矩估计量。
注意到 λ=)(X D 若令 2)(B X D =, 可得: 2B =∧λ似然估计：因为λλ-==e k k X P k!)(所以，λ的似然函数为∏=-=ni i xe x L i1!)(λλλ取对数λλλn x x L ni i ni i --=∑∑==11)!ln(ln )(ln令ln 1=-=∑=n xd d ni iλλλ, 解得∑=∧=ni ix n 11λ故,λ极大似然估计量为 X =∧λ5. 解 矩估计：21)1()()(11++=+==⎰⎰+∞+∞-θθθθdx x dx x xf X E令 X X E =)(, 即 X=++21θθ; 解之X X --=∧112θ 似然估计: 似然函数为⎪⎩⎪⎨⎧<<+=⎪⎩⎪⎨⎧<<+=∏∏==其它其它,010,)()1(,010,)1()(11i ni i ni n i i x x x x L θθθθθ 只需求10,)()1()(11<<+=∏=i ni i nx x L θθθ的驻点即可.又∑=++=ni ix n L 11ln )1ln()(ln θθθ令∑=++=ni ix n L d d 11ln 1)(ln θθθ; 解之∑=∧--=ni ixn1ln 1θ6. 解：似然函数为∑===---=-=---∏∏ni i i xn i i n ni x i ex ex L 12222)(l n 21112212)(l n 12)()2(21),(μσσμπσσπσμ取对数得 ∑----===∏n i ini i x x n L 122122)(l n 21)l n ()2l n (2),(ln μσπσσμ由 0)(l n 2112),(ln 0)1()(ln 221),(ln 124222122=∑-+⋅-=∂∂=∑-⋅--=∂∂==n i i n i i x n L x L μσσσμσμσσμμ联立解之，2,σμ的极大似然估计值为 ∑∑-=∑===∧=∧n i n i i in i i x n x n x n 12121)ln 1(ln 1,ln 1σμ7. 解：似然函数为 n i x x e ax L i i n i x a i ai ,,2,1;0,00,)(11 =⎪⎩⎪⎨⎧≤>=∏=--λλλ只需求∑⋅===--==--∏∏ni ai ai x a n i n n ni x a i ex a eax L 111111)()(λλλλλ的最值点。
概率论与数理统计第7章参数估计习题及答案
概率论与数理统计第7章参数估计习题及答案第7章参数估计 ----点估计⼀、填空题1、设总体X 服从⼆项分布),(p N B ，10<计量=pXN. 2、设总体)p ,1(B ~X，其中未知参数 01<则 p 的矩估计为_∑=n 1i i X n 1_，样本的似然函数为_ii X 1n1i X )p 1(p -=-∏__。
3、设 12,,,n X X X 是来⾃总体 ),(N ~X 2σµ的样本，则有关于 µ及σ2的似然函数212(,,;,)n L X X X µσ=_2i 2)X (21n1i e21µ-σ-=∏σπ__。
⼆、计算题1、设总体X 具有分布密度(;)(1),01f x x x ααα=+<<，其中1->α是未知参数，n X X X ,,21为⼀个样本，试求参数α的矩估计和极⼤似然估计.解：因?++=+=101α2α1α102++=++=+|a x 令2α1α++==??)(X X EXX --=∴112α为α的矩估计因似然函数1212(,,;)(1)()n n n L x x x x x x ααα=+∑=++=∴ni i X n L 1α1αln )ln(ln ，由∑==++=??ni i X nL 101ααln ln 得，α的极⼤似量估计量为)ln (?∑=+-=ni iXn11α2、设总体X 服从指数分布 ,0()0,x e x f x λλ-?>=??其他，n X X X ,,21是来⾃X 的样本，（1）求未知参数λ的矩估计；（2）求λ的极⼤似然估计.解：（1）由于1()E X λ=，令11X Xλλ=?=i x nn L x x x eλλ=-∑=111ln ln ln 0nii ni ni ii L n x d L n n x d xλλλλλ====-=-=?=∑∑∑故λ的极⼤似然估计仍为1X。
概率论与数理统计PDF版课件7-2
. 的一个合理解释. 但注意，并不要求包含真实值的区
间正好%，只要是大约%就是合理地，比如也可以.
第七章参数估计 §7.2 区间估计
求置信区间的步骤
=
, ⋯ , ，
（1）找一个与未知参数有关的统计量
11 0.248
3.816
第七章参数估计 §7.2 区间估计
注1 上述求解或 的置信区间时，我们选取的点估计
都是矩估计量或者最大似然估计量. 事实上，我们也可以用
贝叶斯估计量来构造置信区间.详细内容参考本章“重要补
充及扩展问题”的第五节（见教材P220）
注2 上述利用枢轴量进行区间估计的时候都要求总体服
从正态分布. 但实际中，我们考虑的总体经常不服从正态分
布. 这种情况下的区间估计采用的是大样本区间估计. 详细
内容参考本章“重要补充及扩展问题”的第六节（见教材
P220）
第七章参数估计 §7.2 区间估计
三、两个正态总体的区间估计
设 , ⋯ , 为来自正态总体 ∼ , 的简单随机
1. 当 和 已知时，求 − 的置信区间
ഥ−
ഥ 作为总体均值差 − 的点估计;
（1）选取样本均值差
X − Y − ( 1 − 2 )
（2）构造枢轴量
~ N ( 0,1) ;
2
2
(
)
1
n1
（3）选取 = − = Τ ;
+
2
n2
（4） − 的 − 的置信区间
.
n
n
2
2
第七章参数估计 §7.2 区间估计
例3（ 见教材P213） 假设 轮胎的寿 命服从正 态分布
概率论与数理统计(叶慈南 刘锡平 科学出版社)第7章 参数估计教程
估计 θ ,故称这种估计为点估计.
5 6
,σ 2未知,
… 随机抽查100个婴儿 得100个体重数据 10,7,6,6.5,5,5.2, …
而全部信息就由这100个数组成. 据此,我们应如何估计 和 σ 呢?
我们知道,服从正态分布N ( , σ 2 )的r.v. X , E ( X ) = , 由大数定律, 样本体重的平均值 1 → ∑ X i P n i =1 自然想到把样本体重的平均值作为总体平均 体重的一个估计. X= 用样本体重的均值 X估计 , 类似地,用样本体重的方差 S 2估计 σ 2 . 1 n 1 n 2 X = ∑ Xi, S = ∑ ( X i X )2 n 1 i =1 n i =1
(一)矩估计法
基本思想:用样本矩估计总体矩
(二)最大似然估计法
基本思想:
15
16
最大似然估计法 (最大似然法)
它首先是由德国数学家 高斯在1821年提出的 , 然而,这个方法常归功于 英国统计学家费希尔(Fisher) . 费希尔在1922年重新发现了 这一方法,并首先研究了这 种 方法的一些性质 . Fisher
1. 矩估计法 2. 最大似然法 3. 最小二乘法 4. 贝叶斯方法 ……
(一) 矩估计法(简称"矩法")
它是基于一种简单的"替换"思想 建立起来的一种估计方法 . 英国统计学家 K. 皮尔逊 最早提出的 . 基本思想: 用样本矩估计总体矩 . 理论依据: 大数定律
Ak = 1 n k P ∑ X i → k = E ( X k ) n i =1
4
在参数估计问题中,假定总体分布 形式已知,未知的仅仅是一个或几个 参数.
第七章 参数估计
x
1
2
|x|
e
dx
0
不含θ ，故不能由“样本一阶矩=总体一阶矩”解得所
求
矩估计，需要2继E续(X 求2二) 阶2矩1： x2e|x|dx
河南理工大学精品课程
概率论与数理统计
1 x2exd 0
x 20x2exdx
其中未知参数θ >0,求θ 的矩估计量.
〖解〗单参数，连续型.
因为总体一阶矩
1
1E(X) xf (x)dx x dx
0
x 1
| 1 1 0
1
由
河南理工大学精品课程
1 A1
概率论与数理统计
即 解得:
X 1
X( 1)
(1X)X
X
1 X 故所求矩估计量为：
ˆ
1
X X
2
■
河南理工大学精品课程
概率论与数理统计
【例5】已知总体X的概率密度为:
f(x)21 e|x|( x )
其中未知参数θ >0,求θ 的矩估计量.
〖解〗单参数，连续型.
因为总体一阶矩
1E(X)
河南理工大学精品课程
概率论与数理统计
ddL(x1,x2, ,xn;)0
或与之等价的
ddlnL(x1,x2, ,xn;)0
来得到待估参数θ 的极大似然估计值(驻点);
③ 、必要时,参照极大似然估计值写出极大似然 估计量.
河南理工大学精品课程
概率论与数理统计
【例6】求服从二项分布B(m，p)的总体X未知参数 p的极大似然估计量。
《概率论与数理统计》课件第七章 参数估计
03
若存在, 是否惟一?
添加标题
1
2
3
4
5
6
对于同一个未知参数,不同的方法得到的估计量可能不同,于是提出问题
应该选用哪一种估计量? 用何标准来评价一个估计量的好坏?
常用标准
(1)无偏性
(3)一致性
(2)有效性
7.2 估计量的评选标准
无偏性
一致性
有效性
一 、无偏性
定义1 设 是未知参数θ的估计量
09
则称 有效.
10
比
11
例4 设 X1, X2, …, Xn 是X 的一个样本,
添加标题
问那个估计量最有效?
添加标题
解 ⑴
添加标题
由于
添加标题
验证
添加标题
都是
添加标题
的无偏估计.
都是总体均值
的无偏估计量.
故
D
C
A
B
因为
所以
更有效.
例5 设总体 X 的概率密度为
关于一致性的两个常用结论
1. 样本 k 阶矩是总体 k 阶矩的一致性估计量.
是 的一致估计量.
由大数定律证明
用切比雪夫不 等式证明
似然函数为
其中
解得参数θ和μ的矩估计量为
2
时
3
令
1
当
6
，故
5
，表明L是μ的严格递增函数，又
4
第二个似然方程求不出θ的估计值，观察
添加标题
所以当
01
添加标题
从而参数θ和μ的最大似然估计值分别为
03
添加标题
时L 取到最大值
02
添加标题
概率论与数理统计第七章参数估计
例1. 设总体X的数学期望和方差分别是μ,
σ2 ，求μ , σ2的矩估计量。
E(X )
E( X 2 ) D( X ) [EX ]2 2 2
(3) 写出方程 ln L 0
i1
若方程有解，
求出L(θ)的最大值点 ˆ(x1,x2,..x.n,)
于 是 ˆ ˆ ( X 1 , X 2 , . . . , X n ) 即 为 的 极 大 似 然 估 计 量
例2. 设总体X服从参数λ>0的泊松分布，求 参数λ的极大似然估计量。
例3. 已知某产品的不合格率为p,有简单随机样本 X1 ,X2 ,…, Xn，求p的极大似然估计量。 若抽取100件产品，发现10件次品，试估计p.
ˆ(x1,x2,..x.n,),使得
L (ˆ) m a x L (), (或 L (ˆ) s u p L ())
则 称 ˆ ( x 1 ,x 2 , . . . ,x n ) 为 的 极 大 似 然 估 计 值
称 ˆ ( X 1 ,X 2 ,...,X n ) 为 极 大 似 然 估 计 量
第7章 参数估计
总体所服从的分布类型已知/未知
抽样
参数 估计
估计总体中未知的参数
参数估计 参数估计问题是利用从总体抽样得到的信息
来估计总体的某些参数. 估计新生儿的体重
估计废品率
估计湖中鱼数
§7.1
点估计
设有一个统计总体，总体的分布函数
为 F(x, )，其中为未知参数 (可以是向量) .
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
估计废品率
估计湖中鱼数
在参数估计问题 中，假定总体分 估计降雨量 布形式已知，未 … 知的仅仅是一个 … 或几个参数.
参数估计问题的一般提法 设有一个统计总体 , 总体的分布函数为
F( x, ) ，其中 为未知参数 ( 可以是向量) .
现从该总体抽样，得样本
X1,X2,…,Xn
要依据该样本对参数 作出估计, 或估计 的某个已知函数
我们需要构造出适当的样本的函数 T(X1,X2,…Xn) ， 为估计 : 每当有了样本，就代入该函数中算出一个值，用来 作为 的估计值 . T(X1,X2,…Xn) 称为参数 的点估计量， 得到 的一个点 估计值 . 把样本值代入T(X1,X2,…Xn) 中，
1.矩估计法
1
1 n 1 n 用样本均值X X i 估计 E ( X ) x x i ˆ n i 1 n i 1
n
ln x
i 1
n
1 (0 xi 1)
i
1 μ1
则的最大似然估计值ˆ
n
ln x
i 1
n
1 (0 xi 1)
i
第三节 估计量的评选标准
无偏性
有效性
一、无偏性
估计量是随机变量，对于不同的样本值会得到 不同的估计值 . 我们希望估计值在未知参数真值附 近摆动，而它的期望值等于未知参数的真值. 这就 导致无偏性这个标准 .
联立方程组，解出,b. a
2. 最大似然法
它是在总体类型已知条件下使用的一种参数估 计方法 . 它首先是由德国数学家高斯在 1821年提出的 . 然而,这个方法常 归功于英国统计学家费歇 .
Gauss
费歇在1922年重新发现了这 一方法，并首先研究了这种方法 的一些性质 .
Fisher
最大似然法的基本思想
例1设总体X在[1, b]上服从均匀分布，X 1 ,, X n 是来自X的样本，求b的矩估计值。
1 n 解 x xi , n i 1
1 n 1 b E ( X i） E ( X ) n i 1 2
由矩估计E ( X ) x ˆ
1 b 得x b 2 x 1, x是样本X 1 ,, X n的观测值 2
g ( ).
这类问题称为参数估计.
参数估计
点估计
区间估计
一、点估计概念
X ~ N μ, σ 2 已知某地区新生婴儿的体重(总体X)未知
( μ, σ
)
…
随机抽查100个婴儿 , 得100个体重数据
而全部信息就由这100个数组成… 10,7,6,6.5,5,5.2, .
据此，我们如何估价总体的期望 E ( X ) 和方差 D( X ) 2 呢？
似然函数：
L( ) f (x1,x2,…, xn; )
L( )看作参数 的函数，它可作为 将以多大可 能产生样本值 x1, x2,… ,xn 的一种度量 .
最大似然估计法就是用使 L( )达到最大值的 ˆ ˆ 去估计 .L( ) max L( )
ˆ 称 为 的最大似然估计值 . 而相应的统计量 θ ( X 1 ,, X n ) 称为 θ 的最大似然估计量 .
若我们能给出一个区间，在此区间内我们 合理地相信 N 的真值位于其中. 这样对鱼数的 估计就有把握多了.
也就是说，我们希望确定一个区间，使我们能 以比较高的可靠程度相信它包含真参数值. 湖中鱼数的真值
ˆ 设 ( X1,, X n ) 是未知参数 的估计量，若
ˆ 则称 为 的无偏估计 .
E (ˆ)
例如：样本均值 是总体期望E ( X )的无偏估计, x 样本方差s 2是总体方差D( X )的无偏估计。
二、有效性
ˆ ˆ ˆ ˆ 设 1 1 ( X1,, X n ) 和 2 2 ( X1,, X n )
n
i
例3
设总体X的概率密度为
0 x 1 其它
( 1) x , f ( x) 0,
其中
α1 是未知参数
, X1 , X2 , … , Xn 是取自 X 的样本,
求参数 的矩估计和极大似然估计。
矩估计解：x E ( X ) x (α 1) x dx (α 1) x α 1dx
最大似然估计解：似然函数 L( ) ( 1) xi ( 1)
n
n
取对数 lnL( ) n ln( 1) ln x i
i 1
i 1
xi
i 1
n
n
n d n μ n1 2 1 ln x 0 n ln x lnL( ) 求驻点 i α 1 i 1 i d 1 i 1
下面举例说明如何求最大似然估计 例1 设X1,X2,…Xn是取自总体 X~b(1, p) 的一个 样本，求参数p的最大似然估计量.
解：似然函数为:
0 1 Xi ~ 1 p p
L(p)= f (x1, x2,…, xn; p )
p (1 p)
xi i 1
n
1 xi
引言
前面，我们讨论了参数点估计. 它是用样本算
得的一个值去估计未知参数. 但是，点估计值仅仅
是未知参数的一个近似值，它没有反映出这个近似 值的误差范围，使用起来把握不大. 区间估计正好 弥补了点估计的这个缺陷 .
譬如，在估计湖中鱼数的问题中，若我们 根据一个实际样本，得到鱼数 N 的极大似然估 计为1000条. 实际上，N的真值可能大于1000条，也可 能小于1000条.
1 α 1 0 0
2x 1 ˆ 故， 的矩估计量为 1 x
α1 2x 1 α2 1 x
例3 设 总 体X的 概 率 密 度 为 ( 1) x ,0 x 1 f ( x) 0, 其 他 其 中 是 未 知 参 数 ， 1 , X 2 , X n是 样 本 ， 求 参 数 的 最 大 似 然 估 计 。 X
用样本的方差S 估计
2
2
1 n 1 n 2 2 2 2 ˆ S ( X i X ) D( X ) n 1 ( x x ) i 1 n 1 i 1
简单易行,并不需要事先知道总体是什么分布 .
1. 矩估计法
矩估计法是英国统计学家K.皮尔逊 最早提出来的 . 由辛钦定理 , 若总体 X 的数学期望 E X μ 有限, 则有
例2 设X1,X2,…Xn是取自总体X的一个样本
x 1 , X ~ f ( x) 0, 0 x 1 其它
n
其中 0
求 的最大似然估计值. 解 似然函数为 L( ) x 1 ( xi ) 1 i
n n
(0 xi 1)
1 i n
例2
设总体 X 在 [ a , b ] 上服从均匀分布 ,
a , b 未知 . X 1 ,, X n是来自 X 的样本 , 试求 a , b 的矩估计量 .
a b 2 (b a ) 2 解 法 ： 由x ,s , 2 12 2 这 里 x, s 是 已 知 的 样 本 均 值 和本 方 差 样
i 1
i 1
对数似然函数为 ln L( ) n ln ( 1) ln xi
n d ln L( ) n ln x i 0 n d i 1 l n xi
n
i 1
n
i 1
ˆ 则的最大似然估计值 为
θ n
ln x
i 1
解： 0.05， 0.025，现要求 P ( X z ) 中的 z 2 2 2 2
2 2
注意正态表上是 ( X z ) ( z )的值 P
( z ) P ( X z ) 1 P ( X z ) 1 0.025 0.975
2 2 2
即 查正态分布表中 0.975所对应的x 1.96， z z0.025 1.96
2
例 设Y ~ t (3), 1 0.95，求Y的 分位点 t 2 2 解： 0.95, 0.05, 0.025, 1 2 直接查表分位点t 0.025 (3) 3.1824, 注意t分布表是 Pt (n) t 的值
设X1,X2,…Xn是取自总体X的一个样本，样本 最大似然估计原理： 的联合密度(连续型）或联合分布律 (离散型)为 f (x1,x2,… ,xn ; ) .
当给定样本X1,X2,…Xn时，定义似然函数为：
L( ) f (x1, x2 ,…, xn; )
这里 x1, x2 ,…, xn 是样本的观察值 .
先看一个简单例子： 某位同学与一位猎人一起外 出打猎 . 一只野兔从前方窜过 .
只听一声枪响，野兔应声倒下 . 如果要你推测，是谁打中的呢？ 你会如何想呢?
你就会想，只发一枪便打中, 猎人命中的概率 一般大于这位同学命中的概率 . 看来这一枪是猎人 射中的 . 这个例子所作的推断已经体现了极大似然法的 基本思想 .
第七章
参数估计
第一节 参数的点估计
点估计概念
求估计量的方法
小结
引言 上一讲，我们介绍了总体、样本、简 单随机样本、统计量和抽样分布的概念， 介绍了统计中常用的三大分布，给出了 几个重要的抽样分布定理 . 它们是进一 步学习统计推断的基础 .
参数估计
现在我们来介绍一类重要的统计推断问题
参数估计问题是利用从总体抽样得到的信息来估 计总体的某些参数或者参数的某些函数. 估计新生儿的体重
1 n P X X i E ( X ) μ n i 1 1 n k P Ak X i E ( X k ) μk ( k 1,2,) n i 1 1 n k 这里 k x i , x i 是随机变量X i 的观测值 n i 1