数理统计： 参数估计方法

(
x)

1

e

x

,
x0
0,
其他.
但参数 未知。已知参数的取值范围,记为 。
给出样本的一组观察值，如何推断总体的分布?
【思路】给出 的估计，则得到对总体分布的推断。
【方法】根据一定的原则，从 中找到一个值(点) 作为的 估计。
点估计
2
点估计定义
设总体 X 的分布函数 F ( x; ) 的形式为已知,
故有
2
Var( X ) ,
n
又因为
2
Var(Z ) n2
,
故有
Var(nZ ) 2 ,
当n 1时, Var( X ) Var(nZ ),
故 的无偏估计量 X 较 nZ 有效.
21
作业 习题二 2.3, 2.4
22
§2.2 矩估计
(Method of Moment Estimate) 1. 理论依据： (1) 样本的k 阶矩 依概率收敛到总体 的 k 阶矩


e

,
0,
x0 其它
显
然
，Z

min(
X1
,
X
2
,,
X
n
)
服
从
参
数
为
n
的
指
数
分
布.
故 知 E(Z) , E(nZ ) ,
n
所以 nZ 也是 的无偏估计量.
20
续例2
比较：当n 1时, 的无偏估计量 X 与nZ 的有效性.
解
由于 Var( X ) 2 ,
7
【注】 1、无偏性保证了 的估计量 ˆ 的取值不会 偏在 的一边，但不能保证 ˆ 的取值在 的附近。 方差小，则保证了ˆ取值就在 附近。
2、有效性只有在无偏性成立时才有价值。
若 E(ˆ) , ˆ 的方差小，ˆ 的取值聚集在
E(ˆ) 附近，反而远离了 。
8
3. 相合性 【分析】在参数估计中，很容易想到，如果样本容量
(2) lim S 2 2 a.s. (强大数定律) n
即样本方差是总体方差2的强相合估计， 也是相合估计.
12
C. 样本标准差
其观察值:
S
S2
1 n1
n i 1
Xi

X
2
;
s
1 n1
n i 1
( xi

x )2
;
(1) lim S a.s. (强大数定律) n
偏估计量 a1 X1 a2 X2 an Xn
中的较有效估计。
n
( ai 1) i 1
17
18
例2 设总体 X 服从参数为 的指数分布, 概率密度
f
(
x;
)

ቤተ መጻሕፍቲ ባይዱ
1


e
x
,
0,
x0 其它
其中参数 0未知, 设X1 , X 2 ,, X n 是来自总体 X 的样本，
试证 : X 和nZ n[min( X1 , X 2 ,, X n )] 都是 的无偏估计.
证明 因为 E( X ) E( X ) ,
所以 X是 的无偏估计量.
19
而 Z min( X1, X 2 ,, X n )的概率密度函数为
n nx
fmin( x; )

即样本标准差是总体标准差的强相合估计.
(2)样本标准差 S 不是总体标准差的无偏估计(>0). 证明：∵E(S2)=2 即 Var(S)+[E(S)]2 =2
∵Var (S)≥0 ∴[E(S)]2 =2 -Var (S)≤2 ∴E(S)≤.
即一般说S不是的无偏估计.
13
D. 样本 k 阶(原点)矩:
估计一定是相合估计； ② 一个估计量起码应当是相合的，若估计量不具有
相合性，不论样本容量取多么大，都不能使参数 的估计足够精确，这样的估计量是不可取的.
10
设 X1, X2 , , Xn 是来自总体 X 的一个样本, x1, x2 , , xn 是这一样本的观察值,且总体均值
EX，总体方差 2 Var X 存在.
9
4. 强相合性
几种收敛性
定义 设ˆ ˆ(X1 , X 2 , , X n )为参数的估计量, 若对于任意 , 当n 时,以概率1收敛到
ˆ(X1 , X 2 , , X n ) a.s.
则称 ˆ 为 的强相合估计量.
【注】 ① 以概率1收敛可以推出依概率收敛，所以强相合
ˆ ( x 1 , x 2 , , x n )称 为 的 估 计 值 .
3
【注】 1. 参数的真值是一个确切的数，只是我们未知，
为了了解它，对它进行估计。 2. 由于估计量是样本的函数, 从而是随机变量。 3. 对不同的样本值, 得到的参数的估计值往往不同. 4. 用不同的构造统计量的方法，可能会得到不同
B. 样本方差
S2

1 n1
n
(Xi
i 1

X )2

n
1
1

n i 1
X
2 i

nX
2
;
其观察值:
s2

1 n1
n i 1
( xi

x )2

1 n 1
n i 1
xi2

nx2
;
(1) E S 2 2 ,即样本方差是总体方差2的无偏估计.
越大，样本所含的总体分布的信息越多。n 越大，越 能精确估计总体的未知参数。随着n 的无限增大，一
个好的估计量与被估参数的真值之间任意接近的可能 性会越来越大，这就是所谓的相合性或一致性。
定义 设ˆ ˆ(X1 , X2 , , X n )为参数的估计量, 若对于任意 , 当n 时, 依概率收敛于 ˆ(X1 , X 2 , , X n ) P 则称 ˆ 为 的相合估计量.
次数X是一个随机变量,假设它服从以 0为参 数的泊松分布, 参数为未知, 设有以下的样本值 , 试给出参数的矩估计值.
着火次数k 发生k次着
火的天数nk
0 1 2 34 75 90 54 22 6
56 21
250
26
解 X ~ (), E( X ).
的矩估计量为 ˆ=X
S 2是总体方差的强相合无偏估计.
2 如 果ˆ是参 数 的 一个 估计 ,我 们 通常 总是 用
g(ˆ)为 g( )的 估 计 . 但 是 必 须 注 意 的 是 : ˆ是 的 无 偏 估 计 时 , g(ˆ)却 未 必 是 g( )的 无 偏 估 计.
15
例１ 设总体X，E( X ) 存在，X1, X2,, Xn 为样本。 求证: a1 X1 a2 X 2 an X n是的无偏估计。
Ak

1 n
n i 1
X
k i
, k 1, 2, ;
(1)若总体 X 的 k 阶矩 E( X k ) k存在, 则 E( Ak ) k ,
且当n 时, Ak a.s. k , k 1, 2, .
即样本的k阶原点矩是μk的强相合无偏估计.
(2) 若 Ak P k , k 1,2,...m
23
引例
设总体 X 服从参数为 的指数分布， 未知，
X1 , X 2 , , X n 是来自X的样本, x1 , x2 , , xn 是
相应的样本值，求 的矩估计量和矩估计值.
解 因为 E( X ) 所以 用样本矩替换总体矩, 得 的矩估计量
ˆ

1 n
n i 1
Xi

X
5
【说明】 无偏性的意义是,用一个估计量 ˆ ( X 1 , X 2 , , X n )
去估计未知参数,当取不同的样本值时，有时可能 比大,有时可能比小,但是平均来说它等于.
“任意的”是指该参数估计问题中,参数取 值范围 内的一切可能的值. 之所以要求对任意的 都成立,是因为在该参数估计问题中,并不知道参数 的真值，自然要求在的取值范围内都成立:
的估计量.
4
二、估计量的评选标准 1. 无偏性
定义 若 X1, X 2 ,, X n 为总体 X 的一个样本，
是包含在总体 X 的分布中的待估参数, 若估计量ˆ ˆ( X1 , X 2 ,, X n )的数学期望 E(ˆ) 存在, 且对于任意 有
E(ˆ) 则称ˆ 是 的无偏估计量,否则称为有偏的.
第二章 参数估计方法
§2.1 点估计 (样本均值和样本方差)
§2.2 矩估计 §2.3 最大似然估计
贝叶斯估计(补充1) §5.1抽样分布(提前)
次序统计量(补充2) 经验分布函数(补充3) §2.4 △方法(不讲)
1
§2.1 点估计
一、点估计问题的提法
【实际问题】灯泡寿命总体 X 服从指数分布
f
即 Ak P E( X k ) k , k 1, 2,.
( 2)样本矩的连续函数依概 率收敛到总体矩的连续 函数
即 g( A1 , A2 ,, Ak ) P g(1 , 2 ,, k ), (3) 许多分布的参数是总体矩的函数。 2. 核心思想：用样本矩替换总体矩。
其中, a1 a2 an 1 证明： E(a1 X1 a2 X 2 an X n )
(a1 a2 an )
所以 a1 X1 a2 X2 an Xn 是 的无偏估计。
由上例可知, 参数的无偏估计量是不唯一的.
16
续例1 设总体方差Var(X)存在，求例1中E(X)的无
A. 样本均值
1 n
X n i1 X i ;
其观察值:
1 n
x n i1 xi ;
(1) E X 即样本均值是总体均值 的无偏估计.
(2)

lim
n

1 n
n i 1
Xi



a.s.
(强大数定律)
即样本均值是 的强相合估计，也是相合估计.
11
E [ˆ ( X 1 , X 2 , , X n ) ]
无偏性在数理统计上称作没有系统偏差。
6
2. 有效性 定义
设ˆ1 ˆ1(X1 , X 2 , , X n )与ˆ2 ˆ2 (X1 , X 2 , , X n ) 都是 的无偏估计量, 若对于任意的 ，有
Var(ˆ1 ) Var(ˆ2 ), 且至少对于某一个 上式中的“ ”成立， 则称 ˆ1较 ˆ2有效.
1 g1 1 , 2 , 2 g2 1 , 2
(3)用样本矩替换相应的总体矩，得参数的矩估计量
ˆ1

g1

X,
1 n
n i 1
X
2 i

,

ˆ2

g2

X,
1 n
n i 1
X
2 i

25
例1 在某炸药制造厂,一天中发生着火现象的
其中 是待估参数.
X
1
,
X
2
,,
X
是
n
X
的一个
样本，x1, x2 ,, xn为相应的一个样本值.
点估计问题就是要构造 一个适当的统计量
ˆ( X1 , X 2 ,, X n ),用它的观察值ˆ( x1 , x2 ,, xn ) 来估计未知参数 .
ˆ ( X 1 , X 2 , , X n )称 为 的 估 计 量. 通称估计,简记为ˆ.
,
X
2
,,
X
是来自总体
n
X的样本,
求a
,
b
的矩估计量.
解
1

E(
X
)

a
2
b
,
2 E( X 2 ) D( X ) [E( X )]2
a b2 a b2 ,

的矩估计值为 ˆ

1 n
n

i 1
xi

x
24
3.矩估计法的基本步骤(两参数 1 , 2 未知为例)
(1)计算总体一阶矩、二阶矩，得到它们与参数的关系
1 E( X ) h1(1,2 ), 2 E( X 2 ) h2(1,2 )
(2)反解出 1,2 , 将它们表示为 1, 2 的函数
由关于依概率收敛的序列的性质知
g( A1 , A2 ,, Am ) P g(1 , 2 ,, m )
其 中g 是 连 续 函 数.
即样本矩的函数依概率收敛到总体矩的函数。
该结论是下一节要介绍的矩估计法的理论根据.
14
【注】(1)不论总体 X 服从什么分布, 只要它的期望 和方差存在, X 是总体 期望的强相合无偏估计，

1 n
n i 1
Xi
矩估计值为
ˆ
1
6
6
knk
n k0 k
k0
1 [0 75 1 90 2 54 3 22 250
4 6 5 2 6 1] 1.22
27
例2 设总体 X在[a, b]上服从均匀分布,其中a, b
未知,
X
1