应用数理统计1

n

称 是θ的渐进有效估计。 ˆ
四、相合估计
若
n
n ( X 1 , , X n )

为参数θ的一列估计，
ˆ lim p n
n
若对于任意 0 ，有

0 ，则称
n
是θ的弱相合估计。
若
ˆ p lim n
n

1，则称 是θ的强相合估计。
样本极差：
R X ( n ) X (1)
作为总体标准差的估计量
§2-3 估计量的评选标准
常用的估计量的评选标准:无偏性，最小方差性（有效 性），相合性
一、无偏估计
ˆ ˆ 若 ( X1 ,, X n ) 是参数 的估计量，并且
ˆ ˆ 满足 E ( ) ，则称 是θ的无偏估计量.
例 设X1, …, Xn是一个来自均值a 、方差为σ2的总
体X , 则样本均值 X 和样本方差 S 2分别是μ,σ2的无 偏估计，但
2 和 X S 不是
2 和 σ的无偏估计。 a
说明：无偏估计是对估计量的一个基本要求。无偏估
计的意义在于：当该估计量经常使用时，能够保证在
多次重复的平均意义下，得到接近于真值的估计。但
ˆi i X 1 , , X n i 1 , , k
注：由于点估计是样本的函数，所以是随机变 量或随机向量
§2-1
参数估计的概念
2、区间估计：给出参数空间的一个范围，使待估参
数θ以较大概率落入其中。 一维情形下的区间估计：构造参数θ的两个估计量 ：
ˆi i X 1 , , X n i 1 , 2 ，使得待估参数θ以较大概率
第二章
参数估计
内容提要
§1 参数估计的基本概念
§2 点估计量的求法 §3 估计量的评选标准 §4 区间估计
§2-1
参数估计的概念
一、参数估计的思想 数理统计的核心是统计推断
，即由样本推断总体。根据Glivenke定理，当样本容 量足够大时，可以用经验分布近似理论分布。但在实 践中大样本往往是无法得到的。 根据理论分析、先验知识，或者利用样本观测值对 总体类型进行检验和判断，可以认为总体的分布类型 是已知的，只是其某些参数未知。利用相对小的样本 估计参数是可行的。
例2 设总体X在[a, b]上服从均匀分布, a, b未知,
X1, …, Xn是一个样本, 试求a, b的矩估计量.
二、极大似然估计法（Fisher, 1912）
1、似然函数：设X1, …, Xn是来自密度函数为f (x;θ1 , …, θk) 的总体X的样本，称其联合密度函数为似然函数，记作
L( 1 , , k ) f ( x i ; 1 , , k )
方法叙述：
1、设总体X的r 阶原点矩存在。X的分布中含有k
（k<r）个待估参数θ1, …,θk 。总体的k阶原点矩为：
m1 g1 ( 1 , , k ) m k g k ( 1 , , k )
若上述方程组可解，则从中解出：
1 1 ( m1 , , m k )

i ( X 1 , , X n )
例3
设X ~ N(μ,σ2), μ,σ2为未知参数, x1, …, xn是来自
X的一个样本值. 求μ,σ2 的极大似然估计量.
例4
设总体X在[0, θ]上服从均匀分布, θ未知,
x1, …, xn是一个样本值, 试求θ的极大似然估计量.
说明：极大似然估计的优缺点
θ的充分估计。
注1：充分统计量集中了样本中关于参数的全部信息。 注2：判别一个统计量为充分统计量的准则（因子分解 ）定理： L ( x1, …, xn ; θ ) = h ( x1, …, xn )g ( T ( x1, …, xn ) ; θ ) 注3：最小方差无偏估计一定存在于充分估计中！
Th3.4 (Rao-Blackwell 定理 )：设X1, …, Xn是从总体F(x; θ ) 抽取的样本，若θ的估计

满足：

（1） 是充分统计量的函数； （2） 是θ的无偏估计； （3）满足（1）、（2）的 是唯一的， 则 是 θ的最小方差无偏估计。

2、Rao-Cramer不等式： Th3.5 设X1, …, Xn是从密度函数为f (x; θ ) 的总体X 中抽
取的样本， 是θ的无偏估计。若 f (x; θ ) 满足：
g
2
nI
Rao-Cramer不等式给出了在固定样本大小的条件 下，所有无偏估计方差的一个大于零的下界。 例：设
X 1 ,, X n 是来自正态分布总体 N a , 2

的样本
，计算a， 2 的无偏估计方差下界。
三、有效估计——达到最小方差界的估计
定义3.4 参数θ的无偏估计 的有效率：
的矩估计量。这是因为k 阶中心矩可以展开为不超过
k 阶的原点矩的函数。所以在矩估计法中，用原点矩
和中心矩都是可以的，但就每一阶来说，两者只能选 其一。 注：矩估计法的优缺点。
例1
设总体X 的均值μ及方差σ2都存在, 且有σ2>0.
但μ,σ2均为未知. 又设X1, …, Xn是一个样本, 试求
μ,σ2 的矩估计量.
1 ˆ e nI
ˆ 定义3.5 当 e 1时，称



ˆ D

是θ的有效估计。
定义3.6 设由X
n
1
,, X n
ˆ 得到的估计量为 n ，若 ˆ 是 n 的渐进有效率。当e=1 时，
ˆ lim e n e ，则称e
i 1 n
2、思想：“概率最大的事件最可能出现”。若似然
函数 1 ,, k ) L(
ˆ 在ˆ1 ,, k ) (
1 ,, k
处达到极大值，即
ˆ ˆ L(1 , , k ) max L(1 ,, k )
ˆ 则称 是 i 的极大似然估计。 i
3、一般步骤：固定样本观察值x1, …, xn, 对似然函数取对 数，得：
被随机区间
所覆盖。 ˆ , ˆ
1 2
注：区间估计用来估计点估计的精度。
§2-2 点估计量的求法
求点估计量的主要方法：矩估计法，极大似 然估计法，次序统计量法，最小二乘法， Bayes法，判决函数法，自适应法，稳健估计 法等。
一、 矩估计法：用样本的各阶原点矩的函数来估计总 体的各阶原点矩的同一函数的方法。
例1
设总体X ~ N(μ,σ2),σ2为已知, μ为未知, 设X1,
X2, …, Xn是来自 X 的一个样本. 求μ的置信度为 1-α的置信区间. 【分析】
X
/ n φ(x)

2
~ N ( 0,1)

2
u / 2
0
u / 2
x
寻求未知参数θ的置信区间的具体做法如下: 1o 寻求一个样本X1, X2, …, Xn的函数: Z = Z(X1, X2, …, Xn;θ), 它包含待估参数θ, 而不含其它未知参数. 并且Z的分布已知且 不依赖于任何未知参数; 2o 对于给定的置信度1-α, 定出两个常数a, b, 使 P{a< Z(X1, X2, …, Xn;θ) <b}=1-α; 3o 若能从a< Z(X1, X2, …, Xn;θ) <b得到等价的不等式 , 其中 ( X 1 , X 2 ,, X n ) , ( X 1 , X 2 ,, X n ) 都是统计量, 那么 ( , ) 就是θ的一个置信度为1-α的置信区间.
2
存在有限且不等
1 nI
说明：
条件（1）、（2）常称为正则性条件。
当I (θ)不易计算时，可用下式代替：
2 I E ln f X ; 2
若用估计量T 来估计g (θ)， g (θ) 可微并且
ET= g (θ)，则有：
D(T )
ln L( 1 , , k ) ln f ( x i ; 1 , , k )
n
对 求偏导并令其等于0，得似然方程
i
i 1
ln L( 1 , , k ) i
0 , i 1, , k
解似然方程组，得到参数的极大似然估计值：
i ( x1 , , x n ) ，从而得到参数的极大似然估计量：
极端值：
X (1) min X i , X ( n ) max X i
在水文、地质、可靠性等领域有广泛的应用
样本中位数：
X k 1 ~ X 1 X k X k 1 2
n 2k 1 n 2k
对期望不存在的分布（如Cauchy分布）估计其中心位置。
有时候无偏估计可能不存在；有时候无偏估计可能有 明显缺陷；更多的情况下，无偏估计有许多个。
二、最小方差无偏估计
1、定义：设X1, …, Xn是一个来自总体X 的无偏估计,
是θ的无偏估计。若对于θ的任一个无偏估计 ，
都有


D( ) D( )


则称 是θ的最小方差无偏估计。
2、最小方差无偏估计的寻找途径： 利用充分统计量；利用Rao-Cramer不等式 （1）充分统计量法 定义：设X1, …, Xn是从总体F(x; θ ) 抽取的样本， T( X1, …, Xn)是一个统计量，如果给定T( X1, …, Xn)=t时 X1, …, Xn的条件分布与参数θ无关，则称T是θ的充分 统计量。以充分统计量作为参数θ的估计，就称为参数
§2-1
参数估计的概念
Fra Baidu bibliotek
二、参数估计的方式
1、点估计：构造一个统计量
X 1 , , X n
作为参数
θ的估计量，记作
个不同的统计量
。 ˆ X 1 , , X n
i X 1 , , X n , i 1 , , k 分别作为各
如果总体中有k个未知参数 1 , , k ，则需要构造k 个参数的估计量，即：
三、次序统计量法
1、定义：将来自总体X的样本 X1, …, Xn由小到大的顺 序排列起来： X
(1)
X ( n ) ，称 X (1) , , X ( n ) 为次序
统计量。 2、应用说明：每个 X ( i ) , i 1, , n 都是样本的函数，
所以都是统计量。其中比较重要的，如
§7-4 正态总体均值与方差的区间估计
一、单个正态总体N(μ,σ2)的情况
设已给定置信度为1-α, X1, X2, …, Xn是来自总体 N(μ,σ2)的 样本, 和S2分别是样本均值和样本方差. X 1o 均值μ的置信区间 (a) σ2为已知
（1）G={ x: f (x; θ ) >0 }不依赖于θ ；

（2）f x; , x , 存在，并且





f
x; dx





f
x; dx
（3）Fisher信息量I E

于0，则
D( )


ln f
X ;
X1, …, Xn确定的两个统计量 T
1
T1 ( X 1 ,, X n )
和T
2
T2 ( X 1 ,, X n )
满足
P{T1 T2 } 1
则称随机区间
T1 ,T2 是θ的置信度为1-α的置信区间,
T1和T2分别称为置信度为1-α的双侧置信区间的
置信下限和置信上限, 1-α称为置信度.
n
若
ˆ lim E n
n


2
0
，则称 是θ的均方相合估计。
n
注：相合性验证比较困难，但由大数定理可以保证 相合性一般能够满足，所以一般公认相合性成立。
§2-3 区 间 估 计
置信区间 —— 设总体X的分布函数F(x;θ)含有
一个未知参数θ. 对于给定值α(0<α<1), 若由样本

k k ( m1 , , m k )
2、用样本矩作为原点矩的估计量，即 则得到参数估计：
ˆ mi M i , i 1,, k
ˆ ˆ 1 1 ( M1 ,, M k ), , k k ( M1 ,, M k )
说明：样本的k 阶中心矩也可以作为总体k 阶中心矩