概率论与数理统计第6章 参数估计

2X ,2
n
n
1
X
n
，判别1与2哪个有效 n
2时？
解：Var
1
Var
2X
4 n
2
12
2
3n
由
fn
x
nx
n1 n
0
0 x
其它
E
X
2
n
0
nxn1
n
dx
n
n
2
2
于是Var
2
n
12
n2
EX2nEXn2
n
2
n
2
因为Var
1
2
3n
2
nn
2
Var
2
2比1更有效
10
例6.1.4 设 x1, x2 , …, xn 是取自某总体的样本，记总
替换原理是指用样本矩及其函数去替换相应的 总体矩及其函数，譬如： • 用样本均值估计总体均值E(X)，即 Eˆ ( X ) x ； • 用样本方差估计总体方差Var(X)，即Vˆ ar(X ) sn2 • 用样本的 p 分位数估计总体的 p 分位数， • 用样本中位数估计总体中位数。
例6.2.1 对某型号的20辆汽车记录其每加仑汽油 的行驶里程(km)，观测数据如下：
记E X , D X 2 , 证明：样本均值X 和样本方
差S 2分别是和 2的无偏估计。
证：因X1, X 2, , X n与X同分布，故有：
E
X
E
1 n
n i1
Xi
1 n
n i1
E Xi
1 n
n
故X 是的无偏估计
E
S2
E
1 n 1
n i1
(Xi
X
)2
1 n 1
ˆj j(a1, ,ak ), j 1, ,k ,
其中
E(
X
k
)
1 n
n i1
xik
,
E X
E X k
1 n
n
xi
i1
k
x
例6.2.2 设总体服从指数分布，由于EX=1/，
即 =1/ EX，故 的矩法估计为
ˆ 1/ x
另外，由于Var(X)=1/2，其反函数为 1/ 因Va此r(X，) 从替换原理来看，的矩法估计也可取为
Es 2 (n / 2)
n 1 ((n 1) / 2) cn
这说明 s 不是 的无偏估计.
利用修正技术可得 cn s 是 的无偏估计，其中
cn
n 1 是 (修(n 偏1) /系2) 数.
2 (n / 2)
可以证明，当n时, 有cn1.
这说明 s 是 的渐近无偏估计。
无偏性不具有不变性，即若 是ˆ的无偏估计， 其函数g( )不是ˆ g()的无偏估计除非g()是的
定义6.1.2 设 ˆ ˆ(x1是, , xn的) 一个估计， 的参数空间为Θ，若对任意的∈Θ，有
E(ˆ)
则称 是ˆ 的无偏估计，否则称为有偏估计。
若E ˆ ,那么 E 称为估计量ˆ的偏差 若 lim E ,则称ˆ是的渐近无偏估计量
n
例6.1.1：设总体X的一阶和二阶矩存在，分布是任意的，
(1) 当样本量趋于无穷时，有E(s*2) 2，
我们称 s*2 为 2的渐近无偏估计。
(2)
若对s*2作如下修正：
s2
ns *2 n 1
1 ，n
n 1 i1
( xi
x )2
则 s2 是总体方差的无偏估计。
例6.1.2 设总体为N( , 2)，x1 , x2 , …, xn是样本， 则s2是 2的无偏估计，且可求出
体均值为 ，总体方差为 2，则 ˆ,1 x,1 ˆ2 x 都是 的无偏估计，但
Var(ˆ1) 2, Var(ˆ2 ) 2 / n
显然，只要 n>1， 比ˆ2 有ˆ效1 。这表明用全部数 据的平均估计总体均值要比只使用部分数据更 有效。
§6.2 矩估计及相合性
6.2.1 替换原理和矩法估计
为: 28.695, 0.9185 和 28.6。
矩法估计的实质是用经验分布函数去替换总体 分布，其理论基础是格里纹科定理。
6.2.2概率函数P(x,θ)已知时未知参数的矩法估计
设总体具有已知的概率函数 P(x, 1, …, k)， x1, x2 , …, xn 是样本，假定总体的k阶原点矩k存在， 若1, …, k 能够表示成 1, …, k 的函数j = j(1, …,k)，则可给出诸j 的矩法估计为
参数估计的形式有两种：点估计与区间估计。
设 x1, x2,…, xn 是来自总体 X 的一个样本，
我们用一个统计量 ˆ ˆ(x1,的,取xn值) 作为 的 估计值， 称为ˆ的点估计（量），简称估计。 在这里如何构造统计量 并没有明ˆ确的规定，
只要它满足一定的合理性即可。这就涉及到 两个问题：
➢ 其一 是如何给出估计，即估计的方法问题；
n i1
E
Xi2
nX
2
1 n 1
n 2 2
2
故S 2是 2的无偏估计
对任一总体而言，样本均值是总体均值的无偏估
计。当总体k阶矩存在时，样本k阶原点矩ak是总体
k阶原点矩 k的无偏估计。但对中心矩则不一样，
譬如，由于
E(s
2
*
)
，n 样1本2 方差s*2不是总体方差
2
的无偏估计，对此，有n 如下两点说明：
线性函数
6.1.2 有效性
定义6.1.3 设 ˆ1是, ˆ2 的两个无偏估计，如果 对任意的 ∈Θ, 有 Var(ˆ1) Var(ˆ2), 且至少有一个 ∈Θ使得上述不等号严格成
立，则称 比ˆ1 有效ˆ2 。
例6.1.3：设总体X U 0, , X1, , X n是取自X的样本，已知的两
个无偏估计为1
第六章 参数估计
§6.1 点估计的概念与无偏性 §6.2 矩估计及相合性 §6.3 最大似然估计与EM算法 §6.4 最小方差无偏估计 §6.5 贝叶斯估计 §6.6 区间估计
一般常用 表示参数，参数 所有可能取值
组成的集合称为参数空间，常用表示。参 数估计问题就是根据样本对上述各种未知参 数作出估计。
29.8 27.6 28.3 27.9 30.1 28.7 29.9 28.0
27.9 28.7 28.4 27.2 29.5 28.5 28.0 30.0
29.1 29.8 29.6 26.9
经计算有
x 28.695,
sn2 0.9185,
m0.5 28.6
由此给出总体均值、方差和中位数的估计分别
➢ 其二 是如何对不同的估计进行评价，即估
计的好坏判断标准。
§6.1 点估计的概念与无偏性
6.1.1 点估计及无偏性 定义6.1.1 设x1 , x2 , …, xn 是来自总体的一个
样本，用于估计未知参数的统计量
ˆ ˆ(x1,称为, xn)的估计量，或者称为的点
估计，简称估计
6.1.1 无偏性