概率论之估计量的优良性准则
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第七章: 参数估计
7.1 矩估计 7.2 极大似然估计 7.3 估计量的优良性准则 7.4 正态总体的区间估计(一) *7.5 正态总体的区间估计(二) *7.6 非正态总体的区间估计
§7.3 估计量的优良性准则
从前面两节的讨论中可以看到: ● 同一参数可以有几种不同的估计，这时就需要判断采 用哪一种估计为好的问题。
例如：若θ 指的是正态总体N(µ , σ2)的均值µ,
则其一切可能取值范围是(-∞,∞)。 若θ 指的是方差σ2，
则其一切可能取值范围是(0,∞)。
P138例7.3.1：设 X1, X2, …, Xn 为抽自均值为µ 的总体X的 随机样本，考虑 µ 的如下几个估计量：判断是否为无偏估计？
µˆ1
=
X 1， µˆ 2
7.3.1. 均方误差准则
用估计量θˆ( X1, X 2 ,⋯, X n ) 估计θ，估计误差θˆ(X1, X2,⋯, X n ) −θ
是随机变量，通常用其均值衡量估计误差的大小。 要注意: 为了防止求均值时正、负误差相互抵消，我
们先将其平方后再求均值，并称其为均方误差，记 成 MSE(θˆ) ，即 MSE (θˆ) = E(θˆ − θ )2 .
对θ 的两个估计θˆ1 和θˆ2 , 哪个估计的均方误差小，就 称哪个估计比较优，这种判定估计优劣的准则为“均方误差 准则”。
可以证明：均方误差可分解成两部分:
MSE (θˆ) = Var (θˆ) + [E(θˆ) − θ ]2.
可证明：均方误差MSE(θˆ) = E(θˆ −θ )2 可期分望解与成真两实部参分数:都是数
,且Var(θ̂) <Var(θ�′), 则称θ̂是比θ�′更有效的估计量，如果θ
的一切无偏估计量的方差中Var(θ̂) 达到最小,则 θ̂ 称为
θ 的最有效估计量.
P140例7.3.3：设 X1, X2, …, Xn 为抽自均值为 比较 µ 的如下两个估计的优劣：µˆ = X , µˆ −i
µ =
σˆ 2
=
1 n
n
∑(Xi
i =1
−
X
)2.
很显然，它不是 σ2 的无偏估计。这正是我们为什么要
将其分母修正为 n-1，获得样本方差 S2来估计 σ2 的理由。
如果θˆ 是参数θ 的一个估计，我们通常用g(θˆ)作为g(θ )的估计。
但必须注意的是：
即使θˆ 是θ的无偏估计，g(θˆ)也未必是g(θ )的无偏估计。
E (µˆ4 ) =2E(X1)= 2µ
是µ 的有偏估计。
E (µˆ5 )
=
1 5 [E(X1)
+
E( X 2 )]
=
2 5
µ
是µ 的有偏估计。
定理7.3.1：设总体 X 的均值为µ,方差为σ2,X1,X2,…,Xn 为来
自总体 X 的随机样本，记 X 与 S2分别为样本均值与样本方
差，即
X
=
1 n
X ,∴
n
∑ Xi
i =1
= nX
因 ∑ ∑ ∑ n
∑(Xi
−
X )2
n
=
X
2 i
n
− 2(∑
Xi)X
+
nX
2
=
n
X
2 i
−
2(nX
)X
+
nX
2
=
n
X
2 i
−nX
2,
i =1
i =1
i =1
i =1
i =1
注意到
E(X
2
)
=Var ( X
)
+[E(X
)]2
σ2
=n
+
µ2,
E
(
X
2 i
)
=
Var( Xi )
∑ ,试证:
Sn2
=
1 n
n i =1
(Xi
−
X )2不是σ 2的, 无偏估,计。
证明: 由定理1：设总体 X 的均值为µ,方差为σ2,X1,X2,…,Xn
为来自总体 X 的随机样本，记 X与 S2分别为样本均值与样本
方差，即
X
1n
=
n
∑
i=1
Xi
,
S2
=
1n
n
−
1
∑
i=1
wenku.baidu.com
(
X
i
−X
)2.
则 E(X) =µ, E(S2)=σ2.
● 另一方面，对于同一个参数，用矩法和极大似然法即 使得到的是同一个估计, 也存在衡量这个估计优劣的问题。
估计量的优良性准则就是：评价一个估计量“好”与“坏” 的标准。
7.3.1 无偏性
设总体的分布参数为θ， θˆ( X 1, X 2 ,⋯ , X n )简 记 为 θˆ。 θˆ是θ的一个估计(注意：它是一个统计量，是随机变量，对于
= E[θˆ − E(θˆ)]2 + 2E[θˆ − E(θˆ)]⋅[E(θˆ) −θ ] + E[E(θˆ) −θ ]2
= Var(θˆ) + 2[E(θˆ) − E(E(θˆ))]⋅[E(θˆ) −θ ] + [E(θˆ) −θ ]2
= Var(θˆ) + 2[E(θˆ) − E(θˆ)]⋅[E(θˆ) −θ ] + [E(θˆ) −θ ]2
n
∑
i=1
X
i
,
S2
=
n
1 −
1
n
∑
i=1
(
X
i
−X
)2.
则 E(X) =µ, E(S2)=σ2.
证明：因为 X1, X2, …, Xn 独立同分布，且E(Xi )=μ , 所以
E(
X
)
=E
⎡ ⎢⎣
1 n
n
∑
i =1
Xi
⎤ ⎥⎦
=
1 n
n
∑
i =1
E(
Xi
)
=
1 n
⋅
nµ
=
µ
1 n
n
∑
i =1
X
i
=
∑ ∑ ES
2 n
=
E
1 n
n i =1
(Xi
−
X )2
=
n −1E n
1 n −1
n i =1
(Xi
−
X
)2
=
n −1 ES 2 n
=
n −1σ n
2
∑ 所以Sn2
=
1 n
n i =1
(Xi
−
X )2不是σ 2的无偏估计。
前面两节中，我们曾用矩法和极大似然法分别求得了
正态总体 N(μ , σ2) 中参数 σ2 的估计,均为
P139例7.3.2：求证：样本标准差 S 不是总体标准差σ 的无 偏估计。
证明：因 E(S2)=σ 2， 且E(S2)= Var(S)+[E(S)]2
所以，Var(S)+[E(S)]2 =σ 2， 由 Var(S)＞0，知
[E(S)]2 = σ 2 - Var(S)＜ σ 2. 所以，E(S)＜ σ. 故，S 不是 σ 的无偏估计。
的总体,试 1n
∑X
n − 1 j=1
j
.
j≠i
µ−i 表示去掉第i个样本X i 后，对其余n-1样本所求的样本均值。
解： 我们看到: 显然两个估计都是µ 的无偏估计。
现计算二者的方差：
Var(µˆ )
∵ σ2 n −1
=
>
Var(
σ2 n
X
)
σ2 =,
n
∴Var
Var ( µˆ −i
)
=
⎛ ⎜⎝
(µˆ−i ) > Var(µˆ )
MSE(θˆ) = Var(θˆ) + [E(θˆ) − θ ]2数. ，Ec=c
证明：MSE (θˆ) = E(θˆ −θ )2 = E{[θˆ − E(θˆ)] +[E(θˆ) −θ ]}2 = E{[θˆ − E(θˆ)]2 + 2[θˆ − E(θˆ)]⋅[E(θˆ) −θ ] + [E(θˆ) −θ ]2}
= Var(θˆ) + 0 + [E (θˆ) − θ ]2 = Var (θˆ) + [E (θˆ) − θ ]2.
上式表明，均方误差由两部分构成：第一部分是估
计量的方差，第二部分是估计量的偏差的平方和。 注意：如果一个估计量是无偏的，则第二部分是零，则有:
MSE(θˆ) = Var(θˆ)。
如果两个估计都是无偏估计，这时哪个估计的方差小，哪 个估计就较优。这种判定估计量优劣的准则称为方差准则。
+ [E( Xi )]2
=σ
2
+
µ2,
于是，有E(S ) = = σ . 2
1 n −1
⎡ ⎢⎣
n
∑
i =1
E
(
X
2 i
)
−
nE( X
2 )⎤⎥⎦
=
n
1 −1
⎡ ⎢n(σ ⎣
2
+
µ2)
−
⎛σ2
n⎜ ⎝
n
+
µ2
⎞⎤ ⎟⎥ ⎠⎦
2
即样本均值和样本方差分别是总体均值和总体方差的无偏估计。
例2.从总体X中抽取一样本(X1,…, X n ), EX = µ, DX = σ 2
样本X1, X 2,⋯, X n的不同取值，θˆ取不同的值）
如果θˆ的均值等于θ，即：E[θˆ(X1, X2,⋯, Xn )] = θ，或写为：E(θˆ) = θ
对一切可能的θ 成立，则称θˆ为θ的无偏估计。 说明：无偏性的意义是： 用估计量θˆ估计参数θ，有时可能
能估计偏高，有时可能偏低，但是平均来说它等于θ。 我们之所以要求对一切可能的 θ 都成立， 是因为在参数估计问题中, 我们并不知道参数θ 的真实取值。 自然要求它在参数θ 的一切可能取值的范围内都成立
1
2
⎞
n −1⎟⎠
n
∑Var ( X
j =1 j≠i
j
)=
⎛ ⎜⎝
1 n −1
2
⎞ ⎟ ⎠
⋅
(n
−1)σ
2
=
σ2 .
n −1
于是，µ的估计量 X 与 µˆ−i相比，X 更有效，即更优良。
这表明：当用样本均值去估计总体均值时，使用全样本
总比使用部分样本要好。
=
X1
+ 2
X
2
， µˆ3
=
X1 +
X 2 + X n−1 + 4
Xn
(n
≥
4 )， µˆ 4
=
2 X 1,µˆ5
=
X1 + 3
X2
解：事实上, 因为样本(X1,X 2,⋯, X n )来自于总体X
∴ X1,X 2,⋯, X n是与总体X同分布且相互独立的随机变量
∴ EX i = µ, DX i = σ 2
µˆ1 = X 1 ∴ E(µˆ1) = E( X1) = µ, 所以，µˆ1是µ 的无偏估计。
µˆ2
=
X1
+ 2
X2
因 E(µˆ2 ) = µ, 所以, µˆ2是µ 的无偏估计。
E (µˆ3 )
=
1 4 [E(X1) + E( X 2 ) +
E( X n−1) +
E( X n )]
=µ
是µ 的无偏估计。
MSE (θˆ) = Var (θˆ) + [E(θˆ) − θ ]2.
注意：如果一个估计量是无偏的，则第二部分是零，则有:
MSE(θˆ) = Var(θˆ)。
如果两个估计都是无偏估计，这时哪个估计的方差小，哪 个估计就较优。这种判定估计量优劣的准则称为方差准则。
由此产生有效估计的概念
定义: 设 θ̂ 和θ�′都是θ 的无偏估计,若样本容量为 n
7.1 矩估计 7.2 极大似然估计 7.3 估计量的优良性准则 7.4 正态总体的区间估计(一) *7.5 正态总体的区间估计(二) *7.6 非正态总体的区间估计
§7.3 估计量的优良性准则
从前面两节的讨论中可以看到: ● 同一参数可以有几种不同的估计，这时就需要判断采 用哪一种估计为好的问题。
例如：若θ 指的是正态总体N(µ , σ2)的均值µ,
则其一切可能取值范围是(-∞,∞)。 若θ 指的是方差σ2，
则其一切可能取值范围是(0,∞)。
P138例7.3.1：设 X1, X2, …, Xn 为抽自均值为µ 的总体X的 随机样本，考虑 µ 的如下几个估计量：判断是否为无偏估计？
µˆ1
=
X 1， µˆ 2
7.3.1. 均方误差准则
用估计量θˆ( X1, X 2 ,⋯, X n ) 估计θ，估计误差θˆ(X1, X2,⋯, X n ) −θ
是随机变量，通常用其均值衡量估计误差的大小。 要注意: 为了防止求均值时正、负误差相互抵消，我
们先将其平方后再求均值，并称其为均方误差，记 成 MSE(θˆ) ，即 MSE (θˆ) = E(θˆ − θ )2 .
对θ 的两个估计θˆ1 和θˆ2 , 哪个估计的均方误差小，就 称哪个估计比较优，这种判定估计优劣的准则为“均方误差 准则”。
可以证明：均方误差可分解成两部分:
MSE (θˆ) = Var (θˆ) + [E(θˆ) − θ ]2.
可证明：均方误差MSE(θˆ) = E(θˆ −θ )2 可期分望解与成真两实部参分数:都是数
,且Var(θ̂) <Var(θ�′), 则称θ̂是比θ�′更有效的估计量，如果θ
的一切无偏估计量的方差中Var(θ̂) 达到最小,则 θ̂ 称为
θ 的最有效估计量.
P140例7.3.3：设 X1, X2, …, Xn 为抽自均值为 比较 µ 的如下两个估计的优劣：µˆ = X , µˆ −i
µ =
σˆ 2
=
1 n
n
∑(Xi
i =1
−
X
)2.
很显然，它不是 σ2 的无偏估计。这正是我们为什么要
将其分母修正为 n-1，获得样本方差 S2来估计 σ2 的理由。
如果θˆ 是参数θ 的一个估计，我们通常用g(θˆ)作为g(θ )的估计。
但必须注意的是：
即使θˆ 是θ的无偏估计，g(θˆ)也未必是g(θ )的无偏估计。
E (µˆ4 ) =2E(X1)= 2µ
是µ 的有偏估计。
E (µˆ5 )
=
1 5 [E(X1)
+
E( X 2 )]
=
2 5
µ
是µ 的有偏估计。
定理7.3.1：设总体 X 的均值为µ,方差为σ2,X1,X2,…,Xn 为来
自总体 X 的随机样本，记 X 与 S2分别为样本均值与样本方
差，即
X
=
1 n
X ,∴
n
∑ Xi
i =1
= nX
因 ∑ ∑ ∑ n
∑(Xi
−
X )2
n
=
X
2 i
n
− 2(∑
Xi)X
+
nX
2
=
n
X
2 i
−
2(nX
)X
+
nX
2
=
n
X
2 i
−nX
2,
i =1
i =1
i =1
i =1
i =1
注意到
E(X
2
)
=Var ( X
)
+[E(X
)]2
σ2
=n
+
µ2,
E
(
X
2 i
)
=
Var( Xi )
∑ ,试证:
Sn2
=
1 n
n i =1
(Xi
−
X )2不是σ 2的, 无偏估,计。
证明: 由定理1：设总体 X 的均值为µ,方差为σ2,X1,X2,…,Xn
为来自总体 X 的随机样本，记 X与 S2分别为样本均值与样本
方差，即
X
1n
=
n
∑
i=1
Xi
,
S2
=
1n
n
−
1
∑
i=1
wenku.baidu.com
(
X
i
−X
)2.
则 E(X) =µ, E(S2)=σ2.
● 另一方面，对于同一个参数，用矩法和极大似然法即 使得到的是同一个估计, 也存在衡量这个估计优劣的问题。
估计量的优良性准则就是：评价一个估计量“好”与“坏” 的标准。
7.3.1 无偏性
设总体的分布参数为θ， θˆ( X 1, X 2 ,⋯ , X n )简 记 为 θˆ。 θˆ是θ的一个估计(注意：它是一个统计量，是随机变量，对于
= E[θˆ − E(θˆ)]2 + 2E[θˆ − E(θˆ)]⋅[E(θˆ) −θ ] + E[E(θˆ) −θ ]2
= Var(θˆ) + 2[E(θˆ) − E(E(θˆ))]⋅[E(θˆ) −θ ] + [E(θˆ) −θ ]2
= Var(θˆ) + 2[E(θˆ) − E(θˆ)]⋅[E(θˆ) −θ ] + [E(θˆ) −θ ]2
n
∑
i=1
X
i
,
S2
=
n
1 −
1
n
∑
i=1
(
X
i
−X
)2.
则 E(X) =µ, E(S2)=σ2.
证明：因为 X1, X2, …, Xn 独立同分布，且E(Xi )=μ , 所以
E(
X
)
=E
⎡ ⎢⎣
1 n
n
∑
i =1
Xi
⎤ ⎥⎦
=
1 n
n
∑
i =1
E(
Xi
)
=
1 n
⋅
nµ
=
µ
1 n
n
∑
i =1
X
i
=
∑ ∑ ES
2 n
=
E
1 n
n i =1
(Xi
−
X )2
=
n −1E n
1 n −1
n i =1
(Xi
−
X
)2
=
n −1 ES 2 n
=
n −1σ n
2
∑ 所以Sn2
=
1 n
n i =1
(Xi
−
X )2不是σ 2的无偏估计。
前面两节中，我们曾用矩法和极大似然法分别求得了
正态总体 N(μ , σ2) 中参数 σ2 的估计,均为
P139例7.3.2：求证：样本标准差 S 不是总体标准差σ 的无 偏估计。
证明：因 E(S2)=σ 2， 且E(S2)= Var(S)+[E(S)]2
所以，Var(S)+[E(S)]2 =σ 2， 由 Var(S)＞0，知
[E(S)]2 = σ 2 - Var(S)＜ σ 2. 所以，E(S)＜ σ. 故，S 不是 σ 的无偏估计。
的总体,试 1n
∑X
n − 1 j=1
j
.
j≠i
µ−i 表示去掉第i个样本X i 后，对其余n-1样本所求的样本均值。
解： 我们看到: 显然两个估计都是µ 的无偏估计。
现计算二者的方差：
Var(µˆ )
∵ σ2 n −1
=
>
Var(
σ2 n
X
)
σ2 =,
n
∴Var
Var ( µˆ −i
)
=
⎛ ⎜⎝
(µˆ−i ) > Var(µˆ )
MSE(θˆ) = Var(θˆ) + [E(θˆ) − θ ]2数. ，Ec=c
证明：MSE (θˆ) = E(θˆ −θ )2 = E{[θˆ − E(θˆ)] +[E(θˆ) −θ ]}2 = E{[θˆ − E(θˆ)]2 + 2[θˆ − E(θˆ)]⋅[E(θˆ) −θ ] + [E(θˆ) −θ ]2}
= Var(θˆ) + 0 + [E (θˆ) − θ ]2 = Var (θˆ) + [E (θˆ) − θ ]2.
上式表明，均方误差由两部分构成：第一部分是估
计量的方差，第二部分是估计量的偏差的平方和。 注意：如果一个估计量是无偏的，则第二部分是零，则有:
MSE(θˆ) = Var(θˆ)。
如果两个估计都是无偏估计，这时哪个估计的方差小，哪 个估计就较优。这种判定估计量优劣的准则称为方差准则。
+ [E( Xi )]2
=σ
2
+
µ2,
于是，有E(S ) = = σ . 2
1 n −1
⎡ ⎢⎣
n
∑
i =1
E
(
X
2 i
)
−
nE( X
2 )⎤⎥⎦
=
n
1 −1
⎡ ⎢n(σ ⎣
2
+
µ2)
−
⎛σ2
n⎜ ⎝
n
+
µ2
⎞⎤ ⎟⎥ ⎠⎦
2
即样本均值和样本方差分别是总体均值和总体方差的无偏估计。
例2.从总体X中抽取一样本(X1,…, X n ), EX = µ, DX = σ 2
样本X1, X 2,⋯, X n的不同取值，θˆ取不同的值）
如果θˆ的均值等于θ，即：E[θˆ(X1, X2,⋯, Xn )] = θ，或写为：E(θˆ) = θ
对一切可能的θ 成立，则称θˆ为θ的无偏估计。 说明：无偏性的意义是： 用估计量θˆ估计参数θ，有时可能
能估计偏高，有时可能偏低，但是平均来说它等于θ。 我们之所以要求对一切可能的 θ 都成立， 是因为在参数估计问题中, 我们并不知道参数θ 的真实取值。 自然要求它在参数θ 的一切可能取值的范围内都成立
1
2
⎞
n −1⎟⎠
n
∑Var ( X
j =1 j≠i
j
)=
⎛ ⎜⎝
1 n −1
2
⎞ ⎟ ⎠
⋅
(n
−1)σ
2
=
σ2 .
n −1
于是，µ的估计量 X 与 µˆ−i相比，X 更有效，即更优良。
这表明：当用样本均值去估计总体均值时，使用全样本
总比使用部分样本要好。
=
X1
+ 2
X
2
， µˆ3
=
X1 +
X 2 + X n−1 + 4
Xn
(n
≥
4 )， µˆ 4
=
2 X 1,µˆ5
=
X1 + 3
X2
解：事实上, 因为样本(X1,X 2,⋯, X n )来自于总体X
∴ X1,X 2,⋯, X n是与总体X同分布且相互独立的随机变量
∴ EX i = µ, DX i = σ 2
µˆ1 = X 1 ∴ E(µˆ1) = E( X1) = µ, 所以，µˆ1是µ 的无偏估计。
µˆ2
=
X1
+ 2
X2
因 E(µˆ2 ) = µ, 所以, µˆ2是µ 的无偏估计。
E (µˆ3 )
=
1 4 [E(X1) + E( X 2 ) +
E( X n−1) +
E( X n )]
=µ
是µ 的无偏估计。
MSE (θˆ) = Var (θˆ) + [E(θˆ) − θ ]2.
注意：如果一个估计量是无偏的，则第二部分是零，则有:
MSE(θˆ) = Var(θˆ)。
如果两个估计都是无偏估计，这时哪个估计的方差小，哪 个估计就较优。这种判定估计量优劣的准则称为方差准则。
由此产生有效估计的概念
定义: 设 θ̂ 和θ�′都是θ 的无偏估计,若样本容量为 n