概率论 参数的点估计
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一节 参数的点估计
一、问题的提出
二、矩估计法 三、最大似然估计
回
停 下
一、点估计问题的提出
在实际中我们经常遇到这样的问题：总体 X 的
分布函数 F x; 的形式为已知， 是未知参
数. X1, X2,, Xn 是 X的一个样本, x1, x2 ,, xn 为相应的一个样本值. 我们希望用样本值去估计
解得1和 2 的矩估计量为
ˆ1 X 3Sn ˆ2 X 3Sn
例7 设总体 X的分布 密度为
x
p( x; )
1
e
2
x ， 0
X1，X2， ，Xn为总体 X 的一个样本，求参数
的矩估计量 .
解 由于 p( x; ) 只含有一个未知参数 ,一般
只需求出 E X 便能得到 的矩估计量，但是
x
E X
x
1
e dx 0
2
即E X 不含有 ,故不能由此得到 的矩估计量.
E( X 2)
x
x2
1
2
e
dx
1
x
2e
x
dx
2
2
0
于是解得 的矩估计量为
ˆ
1 2n
i
n 1
X
2 i
本例 的矩估计量也可以这样求得
E X
x
|x|
1
e
dx
1
xe
x
2
0
故令
1 n
n i1 Xi
解 随机变量 X ~ B3，p ，即
PX x C3x px 1 p3x X 0，1，2，3
估计 p只需在 p 1/ 4和 p 3 / 4之间作出选择.
计算这两种情况下 X 的分布律：
X
0
1
2
3
p 1/ 4, P X x 27/64 27/64 9/64 1/64
p 3 / 4,P X x 1/64 9/64 27/64 27/64
矩估计法是由英国统计学家
皮尔逊(K.Pearson)在1894年提出.
矩估计法的基本思想是用样本的 k 阶原点矩
Ak
1 n
n
X
k i
i 1
去估计总体 X 的 k阶原点矩E( X k );
用样本的
k
阶中心矩
Bk
1 n
n
X
i 1
X
k
去估计总体
的k阶中心矩 E[ X E( X )]k;
并由此得到未知参数的估计量 .
1 , 2 , ... m
k
1,2,
,m
这便得到含m 个参数1，2， ，m的m个方程组,
解该方程组并记所得的解为
ˆk ˆk X1, X2,, Xn k 1,2,,m
以ˆk作为参数k的估计量. 这种求出估计量的方法 称为矩估计法 .
例4 设总体 X服从泊松分布 P , 求参数 的
矩估计量 . 解 设 X1, X2,, Xn 是总体 X 的一个样本,
未知参数 ，这种问题称为参数估计问题.
例1 已知某电话局在单位时间内收到用户呼唤次
数这个总体 X 服从泊松分布 p , 即 X的分布律
PX k k e k 0，1，2，
k!
的形式已知 . 利用样本值 x1，x2， ，xn 估计
E X 的值.
例2 已知某种灯泡的寿命 X ~ N (, 2) ，即
X 的分布密度
p( x;, 2 )
1
e
(
x )2 2 2
2
x
的形式已知，但参数 ， 2未知 . 利用样本值
x1，x2， ，xn，估计 E X ， 2 D X .
例3 考虑某厂生产的一批电子元件的寿命这个 总体 X ；不知道 X 的分布形式 ，根据样本值
x1，x2， ，xn 估计元件的平均寿命和元件寿命 的差异程度,即估计总体 X 的均值E X 和方差D X .
设总体 X 的分布函数为F x；1，2， ，m , 1，2， ，m 是 m 个待估计的未知参数 . 设
m E( X m ) 存在，对任意 k , k 1，2， ，m
k E(X k )
xkdF
x；1，2，
，m
k
1，2，
，m
现用样本矩作为总体矩的估计，即令
Ak
1 n
n i 1
X
k i
k
i 1
X2
Sn2
例6 设总体 X 服从区间上 [ 1,2]的均匀分布, 求参数 1, 2 的矩估计量.
解 设 X1，X2， ，Xn是总体 X 的一个样本，
容易求得
E X 1 2
2
E
X2
2
1 2
12
1
2
2
2
故令
X 1 2
2
1 n
n i 1
X
2Байду номын сангаасi
2
1 2
12
1
2
2
2
则称 L 为似然函数，似然函数实质上是样本的
分布律或分布密度.
2. 最大似然估计法 最大似然原理的直观想法：在试验中概率
最大的事件最有可能出现 .一个试验如有若干个 可能结果 A，B， ,若在一次试验中，结果A出现, 则认为 A出现的概率最大.
例8 假定一个盒中黑球和白球两种球的数目之比 为 3:1，但不知哪种球多， p表示从盒中任取一球 是黑球的概率，那么 p 1/ 4或3 / 4 , 现在有放回地 从盒中抽3个球，试根据样本中的黑球数 X 来估计 参数 p .
解决上述参数 的点估计问题的思路是: 设法
构造一个合适的统计量ˆ ˆX1, X2,, Xn , 对
作出合理的估计 .
在数理统计中称统计量ˆ ˆ X1，X2， ，Xn
为 的估计量,ˆ 的观测值 ˆ ˆx1, x2,, xn 称为
的估计值 .
点估计常用方法：矩估计和最大似然估计法.
二、矩估计法
即 的矩估计量为
ˆ
1 n
n i 1
Xi
该例表明参数的矩估计量不唯一.
三、最大似然估计
最大似然估计作为一种点估计方法最初是由 德国数学家高斯(Gauss)于1821年提出，英国统计 学家费歇尔(R.A.Fisher)在1922年作了进一步发展 使之成为数理统计中最重要应用最广泛的方法之一.
Gauss
由于 EX , 可得
解得
1 n
n i 1
Xi
X
ˆ X
例5 求总体 X 的均值 和方差 2的矩估计.
解 设 X1，X2， ，Xn是总体 X 的一个样本，
由于 E( X )
E(
X
2
)
D(
X
)
( EX
)
2
2
故令 解得
X
1
n
n i 1
X
2 i
2
2
ˆ X
ˆ 2
1 n
n
X
2 i
Fisher
1. 似然函数
设总体 X的分布律为 P( X x) p( x; ) 或
分布密度为 p( x; ) ，其中 1,2,...,m 是未
知参数n ， X1，X2， ，Xn 的分布律(或分布密度)
为 p( xi; ) ,当给定样本值 x1，x2， ，xn 后，
i 1
它只是参数 的函数，记为 L ，即 n L p( xi; ) i 1
一、问题的提出
二、矩估计法 三、最大似然估计
回
停 下
一、点估计问题的提出
在实际中我们经常遇到这样的问题：总体 X 的
分布函数 F x; 的形式为已知， 是未知参
数. X1, X2,, Xn 是 X的一个样本, x1, x2 ,, xn 为相应的一个样本值. 我们希望用样本值去估计
解得1和 2 的矩估计量为
ˆ1 X 3Sn ˆ2 X 3Sn
例7 设总体 X的分布 密度为
x
p( x; )
1
e
2
x ， 0
X1，X2， ，Xn为总体 X 的一个样本，求参数
的矩估计量 .
解 由于 p( x; ) 只含有一个未知参数 ,一般
只需求出 E X 便能得到 的矩估计量，但是
x
E X
x
1
e dx 0
2
即E X 不含有 ,故不能由此得到 的矩估计量.
E( X 2)
x
x2
1
2
e
dx
1
x
2e
x
dx
2
2
0
于是解得 的矩估计量为
ˆ
1 2n
i
n 1
X
2 i
本例 的矩估计量也可以这样求得
E X
x
|x|
1
e
dx
1
xe
x
2
0
故令
1 n
n i1 Xi
解 随机变量 X ~ B3，p ，即
PX x C3x px 1 p3x X 0，1，2，3
估计 p只需在 p 1/ 4和 p 3 / 4之间作出选择.
计算这两种情况下 X 的分布律：
X
0
1
2
3
p 1/ 4, P X x 27/64 27/64 9/64 1/64
p 3 / 4,P X x 1/64 9/64 27/64 27/64
矩估计法是由英国统计学家
皮尔逊(K.Pearson)在1894年提出.
矩估计法的基本思想是用样本的 k 阶原点矩
Ak
1 n
n
X
k i
i 1
去估计总体 X 的 k阶原点矩E( X k );
用样本的
k
阶中心矩
Bk
1 n
n
X
i 1
X
k
去估计总体
的k阶中心矩 E[ X E( X )]k;
并由此得到未知参数的估计量 .
1 , 2 , ... m
k
1,2,
,m
这便得到含m 个参数1，2， ，m的m个方程组,
解该方程组并记所得的解为
ˆk ˆk X1, X2,, Xn k 1,2,,m
以ˆk作为参数k的估计量. 这种求出估计量的方法 称为矩估计法 .
例4 设总体 X服从泊松分布 P , 求参数 的
矩估计量 . 解 设 X1, X2,, Xn 是总体 X 的一个样本,
未知参数 ，这种问题称为参数估计问题.
例1 已知某电话局在单位时间内收到用户呼唤次
数这个总体 X 服从泊松分布 p , 即 X的分布律
PX k k e k 0，1，2，
k!
的形式已知 . 利用样本值 x1，x2， ，xn 估计
E X 的值.
例2 已知某种灯泡的寿命 X ~ N (, 2) ，即
X 的分布密度
p( x;, 2 )
1
e
(
x )2 2 2
2
x
的形式已知，但参数 ， 2未知 . 利用样本值
x1，x2， ，xn，估计 E X ， 2 D X .
例3 考虑某厂生产的一批电子元件的寿命这个 总体 X ；不知道 X 的分布形式 ，根据样本值
x1，x2， ，xn 估计元件的平均寿命和元件寿命 的差异程度,即估计总体 X 的均值E X 和方差D X .
设总体 X 的分布函数为F x；1，2， ，m , 1，2， ，m 是 m 个待估计的未知参数 . 设
m E( X m ) 存在，对任意 k , k 1，2， ，m
k E(X k )
xkdF
x；1，2，
，m
k
1，2，
，m
现用样本矩作为总体矩的估计，即令
Ak
1 n
n i 1
X
k i
k
i 1
X2
Sn2
例6 设总体 X 服从区间上 [ 1,2]的均匀分布, 求参数 1, 2 的矩估计量.
解 设 X1，X2， ，Xn是总体 X 的一个样本，
容易求得
E X 1 2
2
E
X2
2
1 2
12
1
2
2
2
故令
X 1 2
2
1 n
n i 1
X
2Байду номын сангаасi
2
1 2
12
1
2
2
2
则称 L 为似然函数，似然函数实质上是样本的
分布律或分布密度.
2. 最大似然估计法 最大似然原理的直观想法：在试验中概率
最大的事件最有可能出现 .一个试验如有若干个 可能结果 A，B， ,若在一次试验中，结果A出现, 则认为 A出现的概率最大.
例8 假定一个盒中黑球和白球两种球的数目之比 为 3:1，但不知哪种球多， p表示从盒中任取一球 是黑球的概率，那么 p 1/ 4或3 / 4 , 现在有放回地 从盒中抽3个球，试根据样本中的黑球数 X 来估计 参数 p .
解决上述参数 的点估计问题的思路是: 设法
构造一个合适的统计量ˆ ˆX1, X2,, Xn , 对
作出合理的估计 .
在数理统计中称统计量ˆ ˆ X1，X2， ，Xn
为 的估计量,ˆ 的观测值 ˆ ˆx1, x2,, xn 称为
的估计值 .
点估计常用方法：矩估计和最大似然估计法.
二、矩估计法
即 的矩估计量为
ˆ
1 n
n i 1
Xi
该例表明参数的矩估计量不唯一.
三、最大似然估计
最大似然估计作为一种点估计方法最初是由 德国数学家高斯(Gauss)于1821年提出，英国统计 学家费歇尔(R.A.Fisher)在1922年作了进一步发展 使之成为数理统计中最重要应用最广泛的方法之一.
Gauss
由于 EX , 可得
解得
1 n
n i 1
Xi
X
ˆ X
例5 求总体 X 的均值 和方差 2的矩估计.
解 设 X1，X2， ，Xn是总体 X 的一个样本，
由于 E( X )
E(
X
2
)
D(
X
)
( EX
)
2
2
故令 解得
X
1
n
n i 1
X
2 i
2
2
ˆ X
ˆ 2
1 n
n
X
2 i
Fisher
1. 似然函数
设总体 X的分布律为 P( X x) p( x; ) 或
分布密度为 p( x; ) ，其中 1,2,...,m 是未
知参数n ， X1，X2， ，Xn 的分布律(或分布密度)
为 p( xi; ) ,当给定样本值 x1，x2， ，xn 后，
i 1
它只是参数 的函数，记为 L ，即 n L p( xi; ) i 1