ch7合工大 概率统计电子教案 第7章

第七章参数估计
统计推断的基本问题
估计问题(ch7)
假设检验问题(ch8)
估计问题可分为参数估计与非参数估计。

本章只介绍关于总体参数的点估计与区间估计。

§1、点估计
一、点估计问题的提出
数理统计的基本任务就是依据样本推断总体特征.
刻画总体X的某些特征的常数称为参数,其中最常用的参数是总体的数学期望和方差。

例如,服从正态分布的总体X就是由参数μ=E(X),σ2=D(X)确定的。

在实际问题中,常已知总体X的分布函数的形式,而未知总体X的一个或多个参数。

根据样本提供的信息对总体X的未知参数作出估计，这类问题称为参数估计问题。

参数估计通常有两种方法:点估计和区间估计。

点估计问题提法:设已知总体X 的分布函数F(x;θ)的形式,θ∈Θ(参数空间)为需要估计的参数。

是来自总体X 的一个样本, 是其样本值. n x x x ,...,,21n X ...,,
,21X X 根据待估参数的特征构造一个适当的统计量),,...,,(ˆ21n X X X θ),...,,(ˆ21n x x x θ用其观察值来估计未知参数θ.——θ的估计量——θ的估计值今后,不再区分估计量和估计值而统称为θ的估计,均记为.
θˆ
设已知总体X 的可能分布函数族为:理论根据:样本矩(的连续函数)依概率收敛于总体矩(的连续函数).其中为待估参数.
k θθθ,...,,21{}
),...,,;(21k x F θθθ二、构造估计量的两种方法1、矩估计法矩估计法:用样本矩(函数)来估计总体矩(函数).
设总体X 的前k 阶矩⎪⎪⎩⎪⎪⎨⎧==∑⎰∈+∞
∞-,)(),...,,;()(),...,,;()(2121离散型连续型X
R x k l k l l l x p x dx x f x X E θθθθθθμ均存在,而样本矩∑==n
i l i l X n A 11.,...2,1k l =其中矩估计法就是: 令总体的前k 阶矩分别与样本的对应阶矩相等,即
⎪⎪⎩⎪⎪⎨⎧===,,,,2211k k A A A μμμ 可作为待估参数的估计量(称为矩估计量),其观察值为待估参数的估计值(称为矩估计值).k θθθ,...,,21k
θθθˆ,,ˆ,ˆ21 这是含k 个待估参数的联立方程组，其解
k θθθ,...,,21
❶确定待估参数的个数k,求出总体的前k 阶矩;求矩估计的步骤
);,...,2,1(k l A l l ==μ❷解方程(组) ❸写出矩估计量和矩估计值.因此,会求总体矩,记住样本矩,就可求出待估参数的矩估计量与矩估计值.
【例1】设总体X 服从[a,b]上的均匀分布,求未知参数a,b 的矩估计量.
〖解〗两个待估参数，连续型.
先求总体的一,二阶(原点)矩.
因为X ∼U[a,b],所以
)(1X E =μ)(22X E =μ2)]([)(X E X D +=,212)(2
2⎪⎭⎫ ⎝⎛+--=b a a b ,2b a +=由⎩⎨⎧==2211A A μμ即
⎪⎪⎩⎪⎪⎨⎧=++-=+∑=n i i X n b a a b X b a 122214)(12
)(2解得:,)(3ˆ1
2∑=--=n
i i X X n X a .)(3ˆ12∑=-+=n i i X X n X b ■
【例２】求正态总体N(μ,σ2)的两个未知参数μ,σ2的矩估计量.〖解〗两个待估参数，连续型.先求总体的一,二阶(原点)矩.因为X ∼N(μ,σ2),所以
,
)(1μμ==X E 22222)]([)()(μσμ+=+==X E X D X E 由⎩⎨⎧==2
211A A μμ
.
即
⎪⎩
⎪⎨⎧=+=∑=n
i i X n X 12
221μσμ解得μ,σ2的矩估计量分别为:,ˆX =μ
21
22
1ˆX X n n
i i -=∑=σ
■
∑=-=n
i i X X n 12
)(1样本二阶
中心矩，非修正样本方差
【例３】求服从二项分布B(m ，p)的总体X 未知参
数p 的矩估计量。

〖解〗单参数，离散型.
)(1X E =μ由1
1A =μX
mp =因为所以总体X 的一阶矩(期望)为
),,(~p m B X mp
=即
故所求矩估计量为：
m
X p
=ˆ■
【例4】已知总体X 的概率密度为:
〖解〗单参数，连续型.
)(1X E =μ因为总体一阶矩
1
1A =μ⎪⎩⎪⎨
⎧≤≤=-,
,
0,10,)(1
其它x x x f θθ其中未知参数θ>0,求θ的矩估计量.⎰+∞
∞
-=dx x xf )(1
01|1
++=
θθθx
⎰=1
dx
x θ
θ1
+=
θθ由
故所求矩估计量为：
即
X
=+1
θθ)
1(+=θθX 解得:
X
X =-)1(θX
X -=
1θ2
1ˆ⎪⎪⎭
⎫ ⎝⎛-=X X θ■
【例5】已知总体X 的概率密度为:
〖解〗单参数，连续型.
)(1X E =μ因为总体一阶矩
)
(21)(|
|+∞<<-∞=-x e x f x θ
θ
其中未知参数θ>0,求θ的矩估计量.dx e x x θ
θ|
|21-+∞∞
-⎰⋅=0
=不含θ，故不能由“样本一阶矩=总体一阶矩”解得所
求
矩估计，需要继续求二阶矩：dx
e x X E x θ
μ|
|2
2
21)(-
+∞
⋅=
=⎰
⎪
⎭⎫ ⎝⎛⎪⎭⎫ ⎝
⎛=⋅=-+∞
-
+∞⎰⎰θθθθθθx d e x dx e x x
x 2
02021
,
2)3(2
2θθ=Γ=由“样本二阶矩=总体二阶矩”得：
,212
1
2θ=∑=n
i i X n 于是,所求矩估计量为：
∑==n
i i X n 1
221ˆθ■Γ函数
定义
2、极大似然估计法
(1、极大似然估计法的思想
一位老猎人与他的徒弟一起打猎,两人同时向一猎物射击,结果该猎物身中一弹,你认为谁打中的可能性最大?
根据经验而断:老猎人打中猎物的可能性最大.
极大似然估计法的思想就是对固定的样本值，选择待估参数的估计值使“样本取样本值”[离散型]或“样
本取值落在样本值附近”[连续型] 的概率最大。

单参数情形
下面分离散型与连续型总体来讨论.(2、极大似然估计的求法
设离散型总体X 的分布律
)
();(}{Θ∈==θθx p x X P 形式已知,θ为待估参数.
为来自总体X 的样本, 为其样本值,则的联合分
布律为:
n X X X ,...,,21n x x x ,...,,21n X X X ,...,,21)
()
;();,,,(1
21Θ∈=∏=θθθn
i i n x p x x x L 根据总体分布律写出似然函数：换x
为xi
这正是事件“样本取得样本值”的概率,称之为样本的
似然函数,它是待估参数θ的函数.
极大似然估计法：对固定的样本值,在参数空间中选取使似然函数达到最大的参数值
作为参数θ的估
计值(称为极大似然估计值),它为样本值的函数,记为
θˆ)
,,,(θˆ21n x x x 相应统计量
称为参数θ的极大似然估计量.
)
,,,(θˆ21n X X X
)
();(Θ∈θθx f 设连续型总体X 的概率密度
)
()
;(1
Θ∈∏
=θθn
i i x f 事件“样本取值落在样本值的邻域”的概率近似为
∏∏∏===⋅=n
i i
n
i i
n
i i
i
dx
x f dx x f 1
1
1
);();(θθ形式已知,θ为待估参数。

来自总体X 的样
本,
为其样本值，则的联合概率密度为:
n X X X ,...,,21n x x x ,...,,21n X X X ,...,,21
达到最大值,相应的
极大似然估计法：对固定的样本值,在参数空间中
选取使上述概率达到最大的参数值作为参数θ的估计值(称为极大似然估计值)。

由于因子
θ
ˆ与θ无关,故也使样本的似然函数
),,,(ˆ21n x x x θ∏=n
i i
dx
1
)
()
;();,,,(121Θ∈=∏=θθθn
i i n x f x x x L )
,,,(ˆ21n X X X θ称为参数θ的极大似然估计量。

②、在参数θ的变化范围内求似然函数的最大
值点
①、依据总体X 的分布律或概率密度写出样本的似然函数:
综上可得,求极大似然估计的步骤
)
,,,(ˆ21n x x x θ⎪⎪⎩⎪⎪⎨⎧
=∏∏==,),;(,,);();,,,(1
1
21连续型离散型n
i i n
i i n x f x p x x x L θθθ 即为待估计参数的极大似然估计值;特别,当总体分布律或概率密度关于参数可导时,可通过解似然方程
③、必要时,参照极大似然估计值写出极大似然估计量.
0);,,,(21=θθ
n x x x L d d
0);,,,(ln 21=θθ
n x x x L d d
或与之等价的
来得到待估参数θ的极大似然估计值(驻点);
【例6】求服从二项分布B(m ，p)的总体X 未知参数p 的极大似然估计量。

〖解〗单参数，离散型。

所以,样本的似然函数为:
因为总体其分布律为
),
,(~p m B X
).
,,1,0()
1();(m x p p C p x f x
m x
x m
=-=-∏==n
i i p x f p L 1
);()(∏=--=n
i x m x x m
i
i
i p p C 1
)
1(在f 中换x 为x i 写出连乘
积
∏∏∏==-=-⋅⋅=n i n
i x m n i x x m
i
i
i p p C 11
1
)
1(∏=-∑
-⋅∑⋅===n
i x mn x x m
n i i
n
i i
i p p
C 1
1
1
)
1(求导得：
∏=='n
i x m i C p L 1
)[()(∑∑=-=n
i x i n
i i p x 1
11
)(∑-⋅=-n
i i
x mn p 1
)1(⋅∑
+=n
i i
x p
1
)1()
1)((1
1
1
-∑-∑---
==n
i i x mn n
i i p x mn ]
四则运算
求导法则
∏=--
-∑-⋅∑⋅===n
i x mn x x m
n
i i n
i i i p p
C 1
1
1
1
1
)
1()]()1)([(1
1
∑---∑⋅==n
i i n i i x mn p p x ,
0令
=,
0)()1(1
1
=-⋅--⋅∑∑==n
i i
n i i
x mn p p x 即
,
01
=-∑=pmn x n
i i 也即
解得极大似然估计值为
m
x x mn p n
i i ==∑=11ˆ极大似然估计量为
m
X
p =ˆ■
❷多参数情形
当总体分布中含有多个待估参数时，可类似于单参数情形来求其极大似然估计，其步骤为：
①写出似然函数);
,,,(21k L θθθ 求多元似然函数的极大值点；当L 关于各参数可导时，可解似然方程组
).,,2,1(0k l L
l
==∂∂θ得各参数的极大似然估计。

【例7】求正态总体N(μ,σ2)的两个未知参数μ,
σ2的似然估计量.〖解〗双参数，连续型.
因为X ~N(μ,σ2),所以X 总体的概率密度为
)0,(2)(exp 21
),;(2
2
2
>∈⎥⎦
⎤
⎢⎣⎡--=σμσ
μσπσμR x x f 设
为样本
的一个样本值,
则似然函数为:
n x x x ,...,,21n X X X ,...,,21
⎥⎦⎤⎢⎣⎡--=∏=221
2
)(21exp 21),(μσσπσμi n
i x L ()()⎥
⎦
⎤⎢⎣⎡--⋅⋅=∑=--n i i n n x 122222)(21exp 2μσσπ从而,取对数得:
2
1
222
)
(21ln 22ln 2),(ln μσσπσμ----=∑=n
i i x n n L 由似然方程组
视σ2为整体⎪⎪⎩⎪⎪⎨⎧=-+-=∂∂=-=∂∂∑∑==0
)
()(212ln 0
][1ln 1
2
222212
n
i i
n
i i x
n L n x L μσσσ
μσμ
解得μ,σ2的极大似然估计值为:
∑=-==n
i i x x n x 122
)(1ˆ,ˆσμ
从而μ,σ2的极大似然估计量为:∑=-==n i i X X n X 122
)(1ˆ,ˆσμ
■
【例8】设总体X 服从[a,b]上的均匀分布,求未知参数a,b 的极大似然估计量.
〖解〗双参数，连续型.
⎪⎩⎪⎨⎧≤≤-=.,
0,,1),;(其它b x a a b b a x f 因为所以X 的概率密度为
],,[~b a U X 设
为样本的一个样本值,记n x x x ,...,,21n X X X ,...,,21()(),,,,max ,,,,min 21)(21)1(n n n x x x x x x x x ==
由于
b
x x a b x x x a n n ≤≤⇔≤≤)()1(21,,,, 所以,似然函数为
⎪⎩
⎪⎨⎧≤≤-=.,0,,,)(1),()()1(其它b x x a a b b a L n n 对于满足的任意a,b 有
b x x a n ≤≤)()1(,n n n x x a b b a L )
(1)(1),()1()(-≤-=
即)
,(),(max )()1(,)()1(n b x x a x x L b a L n =≤≤故a,b 的极大似然估计值为:
.
ˆ,ˆ)()1(n x b x a ==()().max ˆ,min ˆ11i n
i i n i X b X a ≤≤≤≤==故a,b 的极大似然估计量为:
■ 本例直接利用极大似然思想方法来求似然估计.
小结矩估计法是由样本矩等于总体矩的方程(组)解出矩估计量,再相应写出矩估计值;而极大似然估计法是由似然方程(组)解出似然估计值，再相应写出似然估计量.
同一个待估参数的矩估计与极大似然估计可能相同[如二项总体、正态总体],也可能不同[如均匀总体].
(3、极大似然估计的不变性例如,正态总体方差σ2的极大似然估计为∑=-=n i i x x n 1
22)(1ˆσ故标准差σ(>0)的极大似然估计为
∑=-=n i i x x n 1
2)(1ˆσ定理设是总体X 的参数的极大似然估计,函数具有单值反函数,则是
的极大似然估计,即θ
ˆθ))((Θ∈θθg )(θg )ˆ(θg ).ˆ()(ˆθθg g =
【例9】设总体X 服从参数为λ的泊松分布,求P{X=0}的极大似然估计.
因为〖解〗因为,易求的极大似然估计值与极大似然估计量分别为:
)(~λπX λ.ˆ,ˆX x ==λλ)(!0}0{0λλλλ
g e e X P ===
=--有单值反函数,故由上述定理知:P{X=0}的极大似然估计为,)ˆ()(ˆ}0{ˆˆx e e g g
X P --=====λ
λλ.}0{ˆX e X P -==■
对于同一个参数,用不同方法求出的估计量可能不同.那么,采用哪一个估计量为好呢?用何种标准来评判估计量的优劣?
下面,介绍几个常用标准.
1、无偏性
θ
θ=)ˆ(E 定义设估计量存在期望,且对任意有θ
ˆΘ∈θ三、估计量的评选标准
则称为的无偏估计量.
θˆθ
称为用来估计的系统误差.因此,无偏估计就是说无系统误差.
θθ
-)ˆ(E θˆθ
【例10】设总体X 存在均值μ与方差σ2>0,则
〖解〗因为⎪⎭⎫ ⎝⎛=∑=n i i X n E X E 11)(1、样本均值是总体均值μ的无偏估计;
X 2、样本方差是总体方差σ2的无偏估计.2
S ⎥⎦⎤⎢⎣⎡⎪⎭⎫ ⎝⎛--=∑=n i i X n X n E S E 122211)(⎥⎦⎤⎢⎣⎡+-+-=∑=})]([)({})]([)({)1(1221X E X D n X E X D n i n i i )(11∑==n i i X E n ,11μμ==∑=n
i n ⎥⎦⎤⎢⎣⎡--=∑=)()()1(1212X nE X E n n
i i
⎥⎦⎤⎢⎣⎡+-+-=∑=)()()1(122
221μσμσn n n n i []))()1(12222μσμσn n n --+-=1、样本均值是总体均值μ的无偏估计;
X 2、样本方差是总体方差σ2的无偏估计.2
S 所以
2
σ=■
易知：对均值μ,方差σ2>0都存在的总体,方差的估计量
2*212212)(1ˆS A A X X n n
i i =-=-=∑=σ是有偏估计:
.1)()()ˆ(222
1
22σσσ≠-=-=n n A E A E E .)ˆ1(22σσ=-n n E 无偏化得:=)(2
S E
可以证明:无论总体X 服从何种分布,k 阶样本矩是k 阶总体矩的无偏估计,即有
k
k A E μ=)(2
2)(σ=S E μ=)(X E 因此,一般都是取样本均值作为总体均值的估计量,取样本方差作为总体方差的估计量.2
S X
是总体均值μ的无偏估计;并确定常数a,b 使D(Y)达到最小.〖解〗因为
)2,1()(,)(2==
=k n X D X E k k k σμ【例11】设从存在均值μ与方差σ2>0的总体中,分别抽取容量为n 1,n 2的两个独立样本,其样本均值分别为.证明:对任意常数a,b,
21,X X )
1(21=++=b a X b X a Y 由期望性质得:
)
()(21X b X a E Y E +=)
()(21X bE X aE +=μ)(b a +=μ
=由无偏性知:Y 是μ的无偏估计量.
由方差性质得:
)
()()()(221221X D b X D a X b X a D Y D +=+=22212222
122])1([σσσn a n a n b n a -+=⋅+⋅=
0])1(22[)(22
1令=--=σn a n a Y D da d 即:
2
1)1(n a n a -=解得当2
12211,n n n b n n n a +=+=时D(Y)最小.由导数应用知:
■
【例12】试证明均匀分布
〖解〗因为θ极大似然估计量为
⎪⎩⎪⎨⎧≤<=其它
,0,0,1)(θθx x f 中未知参数θ的极大似然估计量不是无偏估计.
}{max ˆ1i
n
i X ≤≤=θ而总体分布函数⎪⎩
⎪⎨⎧>≤<≤=.,1,0,,0,0)(θθθx x x x x F
}{max ˆ1i n
i X ≤≤=θ的分布函数为⎪⎪⎩
⎪⎪⎨⎧>≤<≤==,,1,0,,0,
0)]([)(ˆθθθθz z z z z F z F n n n 故其概率密度为
⎪⎩⎪⎨⎧≤<=-,,
0,0,)(1ˆ其它θθθz nz z f n n
dz z zf E )()ˆ(ˆ⎰+∞∞
-=θθ从而, 不是的无偏估计.θˆθ■dz z n n n ⎰=θ
θ0θ1
+=n n θ≠
2、有效性)ˆ()ˆ(21θθD D <则称较为有效.
1ˆθ2ˆθ同一个参数的无偏估计可能有多个,在容量相同情况下,认为取值密集于参数真值附近的估计量较为理想.
由于方差度量随机变量取值与其数学期望的偏离程度,故无偏估计应以方差小者为好.
定义设都是θ的无偏估计量,若有)
,,,(ˆ),,,,(ˆ212211n n X X X X X X θθ。