概率论与数理统计第八章2资料
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
解:有放回地抽取3个球, 若取到0个或1个白球,认为袋中黑球多。 若取到2个或3个白球,认为袋中白球多。
用表示取到的白球个数 若白球占1 4,则的分布为
0 1 2 3 P 27 27 9 1
64 64 64 64 若白球占3 4,则的分布为
0 1 2 3 P 1 9 27 27
64 64 64 64 可见,当=0或1时,认为白球占1 4
解: 0 1 P 1p p E p
若X1,...,
X
为一组样本,则
n
p X
1 n
n i1
Xi
m n
n
其中m Xi表示重复试验中事件发生次数。 i1
即可用事件发生的频率来估计概率。
例3 设总体服从[a, b]上的均匀分布,用矩法 估计a与b
解:设X1,...,Xn为一组样本
由于E a b 2
实际上,是似然函数L的最大值点。
由于lnL与L同时达到最大值
求ln L的最大值点往往更方便。 ln L称为对数似然函数。 若为向量,=(1,...,m )
解方程组
ln L
1 ...
0
ln L 0 m
得到驻点(1,..., m ), 它常常就是最大值点。
例6(选讲) 用最大似然法估计事件发生的概率p 解: 0 1
DX 2 3
3
ai
i1
3
DX ' ai2DXi
3
ai
2
2
3
a
2 i
i1
i1
i1
3 2
ai i1
利用
ai2
a2j
2aia
有
j
3
ai
2
a1
a2
a3
2
i1
a12
a
2 2
a
2 3
2a1a 2
2a1a 3
2a 2a3
a12
a
2 2
a32
a12
a
2 2
a12 a32
第八章 参数估计
实际工作中碰到的随机变量往往是知道大致的分布 类型,但不知道确切的分布。 需要根据样本来估计总体的参数。 这类问题称为参数估计。 通常有两种方法: 点估计:以样本的某一函数值作为总体中未知参数的 估计值。
区间估计:依据样本把总体的参数确定在某一范围内。
§1 估计量的优劣标准
设为总体中要被估计的一个未知参数。 是的估计值,它是样本X1, X2 ,..., Xn的函数。 如样本平均值X与样本方差S2等。 希望估计量能代表真实参数。为了比较不同的估计值, 必须对各种估计的好坏给出评价标准。
• 要求L(p)的最大值并非难事,将L(p)两端取自然对数对p
求导,令其为0,即得p的最大似然估计,为
px
设(x1,..., xn )为总体的一组样本观察值。 要选取总体分布中未知参数的估计值, 使得 作为参数时,上述样本出现的可能性最大。 这种方法称为最大似然法。 若是离散型随机变量
P( xi ) p(xi, )
a
2 2
a32
3
3
a12
a
2 2
a
2 3
3
a
2 i
i1
3
故 DX ' 2 ai2
3
2
a
i
i1
i1
3
2
a
2 i
i1
故 X与X '有效
3
3
a
2 i
i1
2 3
DX
§2 点估计
(一)矩法估计
1900年英国统计学家K.Pearson提出了一个替换原则,后来人们称此方法为矩法。
样本k阶原点矩
520 620 190 210 800 1100
用最大似然法估计
解:用x1,..., xn表示样本观察值
L
n
1
e
xi
i1
1
1
n i1
xi
e n
ln L
n ln
1
n i1
xi
(ln
L)
'
n
1 2
n
xi
i1
=0
求解得到最大似然估计为
1 n
n i1
xi
x
而 x 1 16 29 ... 800 1100 318
ln L
1 2
n
(xi
i1
)
=0
ln L
2
n 22
1 24
n
(xi )2 =0
i1
求解可得
1 n
n i1
xi
x
2
1 n
n i1
(xi
)2
1 n
n
(xi
i1
x)2
注意:2不是2的无偏估计。
§3 区间估计
置信区间定义 总体期望值的区间估计 小样本下正态总体方差的区间估计 课堂练习 小结 布置作业
参数的点估计给出了一个具体的数值,便于计算和应用, 但点估计值未必等于真实值。即使相等也无法判定。 实际中,度量一个点估计精度的最直观的方法就是给出 未知参数的一个区间。
定义3 设1与2都是的无偏估计量,若D1 D2 , 则称1是比2有效的估计量。在的一切无偏估计量 中方差最小的估计量称为的有效估计量。
例3 比较总体期望的两个无偏估计的有效性。
1 3
X 3 i1 Xi
3
X ' aiXi
3
ai ,
3
ai
0
i1
i1
i1
解:EX
3
EX ' aiEXi i1
P 1p p
P( k) pk (1 p)1k k 0,1
若x1,
...,
x
为一组样本观察值
n
n
L(p) P( xi)
i1
n
pxi (1 p)1xi
i1
n
n
xi
n xi
p i1 (1 p) i1
取对数得
n
n
ln L(p) xi ln p n xi ln(1 p)
例2 从总体中取一组样本(X1,..., Xn ), E , D 2。试证样本平均值X与样本方差S2分别 是及2的无偏估计。
证:EX
E
1 n
n i1
Xi
1 n
n i1
EXi
DX
D
1 n
n Xi
i1
1 n2
n
DXi
i1
2 n
ES2
E
1 n 1
n i1
Xi
X
2
n
1 1
E
n i1
Xi X
2
1 n 1
E
n i1
Xi
2
2
n i1
(Xi
)(X
)
n
X
2
n
1 1
E
n i1
Xi
2
n
X
2
1 n 1
n i1
E
Xi
2
nE
X
2
1
n
1
n2
n
2 n
2
(三)有效估计
无偏性只保证了的期望等于,其取值可能与 相差很大。
要保证的取值集中于附近,就要求的方差越小 越好。
➢通常,不满足一致性要求的估计一般不予 考虑。证明估计的一致性一般可应用大数 定律或直接由定义来证。
例1 若总体服从[0, ]上的均匀分布,X1,X2,
...,Xn是一组样本。证明:=2X是的一致
估计。
证:EXi=
2
,DXi=122
E
n
EXi
i1
2
DX
D
,这批观测值发生的概率为:
n
P( X1 x1, X 2 x2 , , X n xn ; p) p xi (1 p)1xi
pxi (1 p)nxi i1
• 由于p是未知的,我们应该选择p使得上式表示的概率尽
可能大,因此将上式看作是未知参数p的函数,用L(p)表
示,称作似然函数,即
L( p) pxi (1 p)nxi
三种常用的评价标准: (一)一致估计
一般 ,但希望当n 时,与越来越接近。
即样本容量增大时,依概率收敛于
定义1 如果当n 时,依概率收敛于,即任
给 0, lim P 1 n
则称为参数的一致估计。
➢一致性被认为是对估计的一个最基本要求 ,如果一个估计量,它都不能把被估计的 参数估计到任意指定的精度,那么这个估 计是很值得怀疑的。
令 ab X 2
D 1 (b a)2 12
1 (b a)2 S2 12
联立求解可得
a X 3S
b X 3S
例4 设总体
( 1)x (x)
0
是未知参数,求的矩估计。
0 x 1 其它
解:E 1x ( 1)xdx 1
0
2
令 1=X 2
解得 = 2X 1 1 X
矩估计的优点:直接、简便,使用场合广。
当=2或3时,认为白球占3 4 即选择使观察结果概率较大的参数。
➢ 例 设产品分为合格品与不合格品两类,我们用一个随机
变量X来表示某个产品是否合格,X=0表示合格品,X=1
表示不合格品,则X服从两点分布b(1,p),其中p是未知的
不合格品率.现抽取n个产品看其是否合格,得到样本x1, x2, , xn
希望这些估计的期望值与参数的真实值相等。
即样本估计量在参数值的真实值周围摆动,没 有系统误差。
定义2 如果E 成立,则称估计为参数的无 偏估计。
➢无偏性要求可以改写为 E() 0 ,这表示无
偏估计没有系统误差.
➢当我们使用 估计 时,由于样本的随机性
,两者之间总是有偏差的,这种偏差时而 为正,时而为负.无偏性表示,把这些偏差 平均起来其值为0,这就是无偏估计的含义.
例1 某厂某天生产了一大批灯泡,从中抽取10个 进行寿命试验,得数据如下(单位:小时) 1050 1100 1080 1120 1200 1250 1040 1130 1300 1200 问该天生产的灯泡平均寿命大约是多少? 解:X=1147
灯泡的平均寿命约为1147小时。
例2 用矩法估计事件发生的概率p
18
故 =318
例9 已知服从正态分布N(,2),(x1,...,xn )
为的一组样本观察值,用最大似然法估计,
2的值。
n
解:L i1
1
e
(
xi )2 22
2 2
1 2
n
1 2
n
2
e
1 22
n i1
( xi )2
ln L n ln
2
n 2
ln
2
1 22
n
(xi )2
i1
分别对与2求偏导,得
则样本x1,
...,
x
发生的概率为
n
n
L(x1,..., xn , ) p(xi, )
i1
其中是未知参数,可以是一个值,也可以是向量。
若是连续型随机变量,
(x,) 则应将概率改为
n
L(x1,..., xn , ) (xi, ) i1
称L为样本的似然函数
若是向量,则L是多元函数。
定义1 如果L(x1,...,xn ,)在处达到最大值, 则称是的最大似然估计。
i1
i1
求驻点:
ln
L(p)'
n i1
xi
1 p
n
n i1
xi
1
1
p
=0
解得
p
1 n
n i1
xi
x
这是唯一的可能极值点,也是最大值点。
即由最大似然法,可以由频率估计概率。
例7 总体服从几何分布P( k) p(1 p)k1,
k
1,
2,...,
设x1,...,
x
为样本观察值,用最大似然
缺点:未充分利用分布信息
(二)最大似然法
最大似然估计法是求估计用得最多的方法,最早是由高斯在1821年 提出,但一般将之归功于R.A.Fisher,因为Fisher在1922年再次提 出这种想法并证明了它的一些性质而使得最大似然法得到了广泛的 应用。
两人射击,一人打中,一人没打中我们会认为打中者技术较好。 某事件发生的概率为0.01或0.1,若一次试验中该 事件发生了,认为其概率为0.1
➢ 例 设有外形完全相同的两个箱子,甲箱中有99个白球和1 个黑球,乙箱中有99个黑球和1个白球,现随机地抽取一 球,结果取得白球,问这个球是从哪个箱子中取出?
➢ 解 不管是哪一个箱子,从箱子中任取一球都有两个可能 的结果:A表示取出的是白球,B表示取出的是黑球.
➢ 如果我们取出的是甲箱,则A发生的概率为0.99;而如果 我们取出的是乙箱,则A发生的概率为0.01.
n
法估计参数p
n
解:L
n
p(1
p)xi 1
pn (1
xi n p) i1
i1
ln
L
n
ln
p
n
xi
n
ln(1
p)
i1
(ln
L) '
n p
n i1
xi
n
1 1
p
=0
解得
n
p n xi 1 x i1
例7 已知
(x,
)
1
e
x
0
若有一组样本
x 0 ( 0) 其它
16 29 50 68 100 130 140 270 280 340 410 450
1 n
n
Xi
i1
1 n2
n
DXi
i1
2 12n
利用切贝谢夫不等式,对任给>0
P P 2X
P
X
2
2
1 2 12n
2
2
1
2 3n
2
即
2 1 P 1 3n2
故 limP 1 n
即 是的一致估计
一致估计是大样本下估计量的评价标准,对于小样本而言, 需要一些其他的评价标准。 (二)无偏估 计 如果有一系列抽样构成各个估计,
➢ 现在一次试验结果,A发生了,我们的第一印象是“此白 球(A)最像是从甲箱取出的”,或者说,应该认为试验 条件对结果A出现有利,从而可以推断这球是从甲箱取出 的,这个推断符合人们的经验事实,这里“最像”就是“ 最大似然”之意。
例5 在一个袋中有许多黑球与白球,其数量比为1:3 或3:1,通过抽样判断黑球多还是白球多。
Ak
1 n
n i 1
X
k i
k=1,2,…
样本k阶中心矩
Bk
1 n
n i 1
(Xi
X )k
它反映了总体k 阶矩的信息
它反映了总体k 阶 中心矩的信息
替换原理指的是利用样本的数字特征作为总体数字特征的估计。
用样本平均值X估计总体的期望。(一阶原点矩) 用样本方差S2估计总体的方差。(二阶中心矩) 用事件A出现的频率估计事件A发生的概率.
用表示取到的白球个数 若白球占1 4,则的分布为
0 1 2 3 P 27 27 9 1
64 64 64 64 若白球占3 4,则的分布为
0 1 2 3 P 1 9 27 27
64 64 64 64 可见,当=0或1时,认为白球占1 4
解: 0 1 P 1p p E p
若X1,...,
X
为一组样本,则
n
p X
1 n
n i1
Xi
m n
n
其中m Xi表示重复试验中事件发生次数。 i1
即可用事件发生的频率来估计概率。
例3 设总体服从[a, b]上的均匀分布,用矩法 估计a与b
解:设X1,...,Xn为一组样本
由于E a b 2
实际上,是似然函数L的最大值点。
由于lnL与L同时达到最大值
求ln L的最大值点往往更方便。 ln L称为对数似然函数。 若为向量,=(1,...,m )
解方程组
ln L
1 ...
0
ln L 0 m
得到驻点(1,..., m ), 它常常就是最大值点。
例6(选讲) 用最大似然法估计事件发生的概率p 解: 0 1
DX 2 3
3
ai
i1
3
DX ' ai2DXi
3
ai
2
2
3
a
2 i
i1
i1
i1
3 2
ai i1
利用
ai2
a2j
2aia
有
j
3
ai
2
a1
a2
a3
2
i1
a12
a
2 2
a
2 3
2a1a 2
2a1a 3
2a 2a3
a12
a
2 2
a32
a12
a
2 2
a12 a32
第八章 参数估计
实际工作中碰到的随机变量往往是知道大致的分布 类型,但不知道确切的分布。 需要根据样本来估计总体的参数。 这类问题称为参数估计。 通常有两种方法: 点估计:以样本的某一函数值作为总体中未知参数的 估计值。
区间估计:依据样本把总体的参数确定在某一范围内。
§1 估计量的优劣标准
设为总体中要被估计的一个未知参数。 是的估计值,它是样本X1, X2 ,..., Xn的函数。 如样本平均值X与样本方差S2等。 希望估计量能代表真实参数。为了比较不同的估计值, 必须对各种估计的好坏给出评价标准。
• 要求L(p)的最大值并非难事,将L(p)两端取自然对数对p
求导,令其为0,即得p的最大似然估计,为
px
设(x1,..., xn )为总体的一组样本观察值。 要选取总体分布中未知参数的估计值, 使得 作为参数时,上述样本出现的可能性最大。 这种方法称为最大似然法。 若是离散型随机变量
P( xi ) p(xi, )
a
2 2
a32
3
3
a12
a
2 2
a
2 3
3
a
2 i
i1
3
故 DX ' 2 ai2
3
2
a
i
i1
i1
3
2
a
2 i
i1
故 X与X '有效
3
3
a
2 i
i1
2 3
DX
§2 点估计
(一)矩法估计
1900年英国统计学家K.Pearson提出了一个替换原则,后来人们称此方法为矩法。
样本k阶原点矩
520 620 190 210 800 1100
用最大似然法估计
解:用x1,..., xn表示样本观察值
L
n
1
e
xi
i1
1
1
n i1
xi
e n
ln L
n ln
1
n i1
xi
(ln
L)
'
n
1 2
n
xi
i1
=0
求解得到最大似然估计为
1 n
n i1
xi
x
而 x 1 16 29 ... 800 1100 318
ln L
1 2
n
(xi
i1
)
=0
ln L
2
n 22
1 24
n
(xi )2 =0
i1
求解可得
1 n
n i1
xi
x
2
1 n
n i1
(xi
)2
1 n
n
(xi
i1
x)2
注意:2不是2的无偏估计。
§3 区间估计
置信区间定义 总体期望值的区间估计 小样本下正态总体方差的区间估计 课堂练习 小结 布置作业
参数的点估计给出了一个具体的数值,便于计算和应用, 但点估计值未必等于真实值。即使相等也无法判定。 实际中,度量一个点估计精度的最直观的方法就是给出 未知参数的一个区间。
定义3 设1与2都是的无偏估计量,若D1 D2 , 则称1是比2有效的估计量。在的一切无偏估计量 中方差最小的估计量称为的有效估计量。
例3 比较总体期望的两个无偏估计的有效性。
1 3
X 3 i1 Xi
3
X ' aiXi
3
ai ,
3
ai
0
i1
i1
i1
解:EX
3
EX ' aiEXi i1
P 1p p
P( k) pk (1 p)1k k 0,1
若x1,
...,
x
为一组样本观察值
n
n
L(p) P( xi)
i1
n
pxi (1 p)1xi
i1
n
n
xi
n xi
p i1 (1 p) i1
取对数得
n
n
ln L(p) xi ln p n xi ln(1 p)
例2 从总体中取一组样本(X1,..., Xn ), E , D 2。试证样本平均值X与样本方差S2分别 是及2的无偏估计。
证:EX
E
1 n
n i1
Xi
1 n
n i1
EXi
DX
D
1 n
n Xi
i1
1 n2
n
DXi
i1
2 n
ES2
E
1 n 1
n i1
Xi
X
2
n
1 1
E
n i1
Xi X
2
1 n 1
E
n i1
Xi
2
2
n i1
(Xi
)(X
)
n
X
2
n
1 1
E
n i1
Xi
2
n
X
2
1 n 1
n i1
E
Xi
2
nE
X
2
1
n
1
n2
n
2 n
2
(三)有效估计
无偏性只保证了的期望等于,其取值可能与 相差很大。
要保证的取值集中于附近,就要求的方差越小 越好。
➢通常,不满足一致性要求的估计一般不予 考虑。证明估计的一致性一般可应用大数 定律或直接由定义来证。
例1 若总体服从[0, ]上的均匀分布,X1,X2,
...,Xn是一组样本。证明:=2X是的一致
估计。
证:EXi=
2
,DXi=122
E
n
EXi
i1
2
DX
D
,这批观测值发生的概率为:
n
P( X1 x1, X 2 x2 , , X n xn ; p) p xi (1 p)1xi
pxi (1 p)nxi i1
• 由于p是未知的,我们应该选择p使得上式表示的概率尽
可能大,因此将上式看作是未知参数p的函数,用L(p)表
示,称作似然函数,即
L( p) pxi (1 p)nxi
三种常用的评价标准: (一)一致估计
一般 ,但希望当n 时,与越来越接近。
即样本容量增大时,依概率收敛于
定义1 如果当n 时,依概率收敛于,即任
给 0, lim P 1 n
则称为参数的一致估计。
➢一致性被认为是对估计的一个最基本要求 ,如果一个估计量,它都不能把被估计的 参数估计到任意指定的精度,那么这个估 计是很值得怀疑的。
令 ab X 2
D 1 (b a)2 12
1 (b a)2 S2 12
联立求解可得
a X 3S
b X 3S
例4 设总体
( 1)x (x)
0
是未知参数,求的矩估计。
0 x 1 其它
解:E 1x ( 1)xdx 1
0
2
令 1=X 2
解得 = 2X 1 1 X
矩估计的优点:直接、简便,使用场合广。
当=2或3时,认为白球占3 4 即选择使观察结果概率较大的参数。
➢ 例 设产品分为合格品与不合格品两类,我们用一个随机
变量X来表示某个产品是否合格,X=0表示合格品,X=1
表示不合格品,则X服从两点分布b(1,p),其中p是未知的
不合格品率.现抽取n个产品看其是否合格,得到样本x1, x2, , xn
希望这些估计的期望值与参数的真实值相等。
即样本估计量在参数值的真实值周围摆动,没 有系统误差。
定义2 如果E 成立,则称估计为参数的无 偏估计。
➢无偏性要求可以改写为 E() 0 ,这表示无
偏估计没有系统误差.
➢当我们使用 估计 时,由于样本的随机性
,两者之间总是有偏差的,这种偏差时而 为正,时而为负.无偏性表示,把这些偏差 平均起来其值为0,这就是无偏估计的含义.
例1 某厂某天生产了一大批灯泡,从中抽取10个 进行寿命试验,得数据如下(单位:小时) 1050 1100 1080 1120 1200 1250 1040 1130 1300 1200 问该天生产的灯泡平均寿命大约是多少? 解:X=1147
灯泡的平均寿命约为1147小时。
例2 用矩法估计事件发生的概率p
18
故 =318
例9 已知服从正态分布N(,2),(x1,...,xn )
为的一组样本观察值,用最大似然法估计,
2的值。
n
解:L i1
1
e
(
xi )2 22
2 2
1 2
n
1 2
n
2
e
1 22
n i1
( xi )2
ln L n ln
2
n 2
ln
2
1 22
n
(xi )2
i1
分别对与2求偏导,得
则样本x1,
...,
x
发生的概率为
n
n
L(x1,..., xn , ) p(xi, )
i1
其中是未知参数,可以是一个值,也可以是向量。
若是连续型随机变量,
(x,) 则应将概率改为
n
L(x1,..., xn , ) (xi, ) i1
称L为样本的似然函数
若是向量,则L是多元函数。
定义1 如果L(x1,...,xn ,)在处达到最大值, 则称是的最大似然估计。
i1
i1
求驻点:
ln
L(p)'
n i1
xi
1 p
n
n i1
xi
1
1
p
=0
解得
p
1 n
n i1
xi
x
这是唯一的可能极值点,也是最大值点。
即由最大似然法,可以由频率估计概率。
例7 总体服从几何分布P( k) p(1 p)k1,
k
1,
2,...,
设x1,...,
x
为样本观察值,用最大似然
缺点:未充分利用分布信息
(二)最大似然法
最大似然估计法是求估计用得最多的方法,最早是由高斯在1821年 提出,但一般将之归功于R.A.Fisher,因为Fisher在1922年再次提 出这种想法并证明了它的一些性质而使得最大似然法得到了广泛的 应用。
两人射击,一人打中,一人没打中我们会认为打中者技术较好。 某事件发生的概率为0.01或0.1,若一次试验中该 事件发生了,认为其概率为0.1
➢ 例 设有外形完全相同的两个箱子,甲箱中有99个白球和1 个黑球,乙箱中有99个黑球和1个白球,现随机地抽取一 球,结果取得白球,问这个球是从哪个箱子中取出?
➢ 解 不管是哪一个箱子,从箱子中任取一球都有两个可能 的结果:A表示取出的是白球,B表示取出的是黑球.
➢ 如果我们取出的是甲箱,则A发生的概率为0.99;而如果 我们取出的是乙箱,则A发生的概率为0.01.
n
法估计参数p
n
解:L
n
p(1
p)xi 1
pn (1
xi n p) i1
i1
ln
L
n
ln
p
n
xi
n
ln(1
p)
i1
(ln
L) '
n p
n i1
xi
n
1 1
p
=0
解得
n
p n xi 1 x i1
例7 已知
(x,
)
1
e
x
0
若有一组样本
x 0 ( 0) 其它
16 29 50 68 100 130 140 270 280 340 410 450
1 n
n
Xi
i1
1 n2
n
DXi
i1
2 12n
利用切贝谢夫不等式,对任给>0
P P 2X
P
X
2
2
1 2 12n
2
2
1
2 3n
2
即
2 1 P 1 3n2
故 limP 1 n
即 是的一致估计
一致估计是大样本下估计量的评价标准,对于小样本而言, 需要一些其他的评价标准。 (二)无偏估 计 如果有一系列抽样构成各个估计,
➢ 现在一次试验结果,A发生了,我们的第一印象是“此白 球(A)最像是从甲箱取出的”,或者说,应该认为试验 条件对结果A出现有利,从而可以推断这球是从甲箱取出 的,这个推断符合人们的经验事实,这里“最像”就是“ 最大似然”之意。
例5 在一个袋中有许多黑球与白球,其数量比为1:3 或3:1,通过抽样判断黑球多还是白球多。
Ak
1 n
n i 1
X
k i
k=1,2,…
样本k阶中心矩
Bk
1 n
n i 1
(Xi
X )k
它反映了总体k 阶矩的信息
它反映了总体k 阶 中心矩的信息
替换原理指的是利用样本的数字特征作为总体数字特征的估计。
用样本平均值X估计总体的期望。(一阶原点矩) 用样本方差S2估计总体的方差。(二阶中心矩) 用事件A出现的频率估计事件A发生的概率.