概率论与数理统计课件：参数估计

定义 设ˆ1与ˆ2都是的无偏估计，若对任意 样本
容量n有
Dˆ1 Dˆ2
则称ˆ1较ˆ2有效。
ˆ1较ˆ2有效的意义是：ˆ1虽然还不是的真值， 但ˆ1在附近取值的密集程度较ˆ2高，也就是说估
计的精确度高。
有效估计
如存在的无偏估计ˆ*，使得Dˆ*小于等于所有无 偏估计的方差，则称ˆ*是的有效估计。
例3 证明ˆ1
定义 设ˆ是参数的估计量，若
Eˆ
称ˆ是的无偏估计或称ˆ具有无偏性。
ˆ具有无偏性的意义是：
虽然ˆ取值由于随机性而偏离 的真值，
但取其平均数 (数学期望)却等于的真值，
即没有系统偏差。
例1 设总体的分布是任意的，其数 学期望E (记为)
与方差D (记为 2 )存在，1，2，，n是的样本， 问用样本均值 与样本二阶中心矩 S~2分别作为 与 2
6
S~2 1 1.20 0.162 0.85 0.162 0.30 0.162 6 0.45 0.162 0.82 0.162 0.12 0.162 1 1.042 0.692 0.142 0.612 0.982 0.282 6 1 2.99 6 0.498 2
其中p P 1 , 1 p P 0。
解 的分布律为
P x px 1 p 1x , x 0 , 1
p的似然函数为
n
L xi , p
n
p xi
1
p
1 xi
xi p i1
1
p
n
n xi
i1
i 1
n
令y xi，得： i 1 ln Lxi , p y ln p n yln1 p
x1，x2，，xn的参数的值。
具体步骤：
1、求似然函数Lx1 , x2 , , xn , .
1)总体为离散型分布。
其分布律为
P xi pxi , i 1 , 2 , , n
未知
对给定的样本观察值x1 , x2 , , xn , 令
n
Lx1 , x2 , , xn , pxi , i 1
其极大值点由对数似然方程组
ln L
1
0
ln L
m
0
解得。在通常的情况下，其惟一解ˆ1 , ˆ2 , , ˆm就分别
为未知参数 1
, 2
,
,
的极大似然估计。
m
例4 离散型随机变量 服从0 1分布，从中抽得容
量为n的样本 1
,
2
,,
的一组观察值
n
x1
,
x2
,,
xn
,
xi 0 , 1; i 1 , 2 , , n，求参数 p的极大似然估计，
L单调减
xi
max i
xi
当＝max
i
xi时，L取最大值。
L＝miax xi
点估计的方法：
一、矩估计法（也称数字特征法） 直观意义比较明显，但要求总体k阶矩存在。
二、顺序统计量法 使用起来方便，无需多大计算，但准确度不高。
三、极大似然估计法。 具有一些理论上的优点，但要求似然函数可微。
§8.2 点估计的评选标准
n
1
n
xi
i 1
0
ˆ x
且
2 ln L
2
0
ˆ x
ˆL
例7 设总体服从正态分布，其密度 函数为
f x , , 2
1
e
1 2
2
x
2
2 2
记
1，
2
，求未知参数
2
1，
的极大似然估计。
2
解 似然函数为
Lx1
,
x2
,
,
xn
,
1
, 2
1
2 2
n
n i 1
e
1 2
2
xi
1
2
2
一致性
定义 设ˆ为参数的估计量，当 n 时，ˆ依概率
收敛于。即对＞0，有 lim P(ˆ ) 1
n
称ˆ是的一致估计量或相合估计量。
注意：
lim P(ˆ ) 1
n
lim P(ˆ ) 0
n
设总体的数学期望E＝与方差D＝ 2 都存在，1 , 2 , , n是的样本。
下面证明：
设P{ k} ke
k 0,1,2,
k!
其中 0是一未知参数，求的极大似然估计。
解 设x1, x2， xn是的一组样本观测值。
似然函数为
n
xi
L xi ,
x1 e xn e
x1!
xn!
i1
x1! xn!
n
n
ln L n xi ln ln( xi!)
i 1
i 1
ln L
参数估计
点估计 点估计的评选标准 参数的区间估计
参数估计
在实际问题中，对于一个总体ξ往往是 仅知其分布的类型，而其中所含的一个或 几个参数的值却是未知的，因此只有在确 定这些参数后，才能通过其分布来计算概 率，如何确定这些参数的数值呢？这就是 统计推断中的“参数估计”问题。
本章只研究总体分布是连续型或离散型两种情 形。为简便起见，我们引入一个对这两种情形通 用的概念：概率函数。我们称随机变量ξ的概率函 数为f(x)是指：
满足方程
dL 0
d
似然方程
解出，检验是否使L达到极大。
如是，则即为所求的极大似然估计
。
L
因为L为乘积形式，ln x是x的单调函数，所以由对数 似然方程
d ln L 0
d 求解ˆ比前式要方便得多。
一般地，设总体含有m个未知参数1
,
2
,
,
，
m
其似然函数为
L Lx1 , x2 , , xn , 1 , 2 , , m
而（ξ1，…，ξn）落在（ x1，…，xn ）的邻域内
的概率为
n
f xi , xi
i 1
由于∆xi是不依赖于θ的增量，因此我们只需求使
n
f xi , 达到极大的θ，便可得极大似然估计。
i 1
2、求Lx1 , x2 , , xn ， 的最大值点ˆ。
若似然函数L是的可微函数，则极大值点ˆ必然
（3）求出矩估计。
用样本矩
M1、M
分别代替总体的矩
2
1、
，得
2
1和
的矩估计为：
2
ˆ1 M1
ˆ2
M2
M
2 1
1 n
n
i2
i 1
2
1 n n i1
i
2
S~2
即 E
D
S~ 2
注意：只要总体的期望和方差存在，此结果对任何 总体均适用。
例2 已知一批元件的长度测 量误差服从N , 2 ,
k
ˆk k M1 , M2 , , Mm , k 1, 2 , , m
例1 求总体的数学期望 E和方差D的矩估计. 解 记E 1 , D 2 ，按照上述矩估计步骤 为：
（1）列出估计式。
1 E 1
2
E
2
D
E
2
2
12
（2）求解关于估计量的方程组。
解上述方程组得：
1 1 2 2 12
k E k gk 1 , 2 , , m
(8 1)
k 1, 2,, m
（2）求解关于估计量的方程组。
即解方程组（8 1）得
k k 1 , 2 , , m , k 1 , 2 , , m
（3）求出矩估计。
用样本的k阶原点矩M k
1 n
n
ik 代替总体的k阶原点矩，
i 1
得
的矩估计为：
1)、样本均值 是的一致估计量。
2)、样本的k阶原点矩M k是总体的k阶原点矩
2)总体为连续型分布。
密度函数为 f x , ，未知。
对给定的样本观察值 x1 , x2 , , xn，令
n
Lx1 , x2 , , xn ， f xi , i 1
函数Lx1 , x2 , , xn ， 称为似然函数，反映了样本
观察值被取到的概率。
既然（x1，…，xn）在一次抽样中出现，可以认 为子样（ξ1，…，ξn）落在（ x1，…，xn ）的邻域内 的概率达到最大。
由对数似然方程
d ln L y n y 0 dp p 1 p
解得
p
y n
1 n
n i 1
xi
x
因为这是惟一的解，所 以p的极大似然估计值为
pˆ L x
从而得p的极大似然估计量为：
pˆ L
例5 设P{ k} p(1 p)k1
k 1,2,
x1, x2， xn是的一组样本观测值 ,求pL。
i 1
2
这就是1 , 2 2的极大似然估计值。
即
ˆL x
ˆ 2L 1 n
n i1
xi x 2
相应的极大似然估计量为：
ˆL
ˆ 2L 1 n n i1
i
2
例8
X ~ U[0,]，x1, x2，xn是X的一组样本观测值,求L。
解
似然函数为L
1
n
dL n n1 0 d
在连续型情形，f(x)是ξ的密度函数。
计
定义 构造一个统计量 ˆ 对参数 作定值的
估计称为参数的点估计。
点估计
点估计量
点估计值
ˆ (1,2 ,,n ) ˆ (x1, x2 ,, xn )
一、矩估计法
步骤为: （1）列出估计式。
求总体F , 1 , 2 , , m 的前m阶矩
较
n
ˆ2 Cii有效。
i 1