7第七章参数估计

0
A出现 A不出现
则 P{X=1}=p , P{X=0}=1p , EX=p
所以 p的矩法估计量为
pˆA11n
Xi X
n n
在其n中次独n为立事试件验A中在,n用次事独件立A试出验现中的出频现率的次n n 数作.也为就事是件说A,
出现的概率p的矩法估计量.
例3 设总体X服从[1, 2]上的均匀分布,其密度为
用i的估计量Ai代入上式, 得到估计量
ˆk ˆkA 1,A 2,...,A l
称 ˆ k 为k的矩法估计量, 其中Ai(i=1, 2, ...l) 为
样本的 i 阶原点矩.
若 ˆ 为的矩法估计量, g()为的连续函数,则 也称 g ( ˆ ) 为g()的矩法估计量.
例1 不论总体X服从什么分布, 若 EX=, DX= 2
每人各打一发,有一人击中目标,我们认为击中的技术比击 不中的技术要好, 显然是合理的.
又例如: 某事件A发生的概率是0.1或0.9, 在一次试验中 该事件发生了,当然认为它发生的概率是0.9.
再例如:设在一口袋中装有许多白球和黑球, 只知道两种 球的比例是3:1, 但并不知道黑球多还是白球多, 就是说 抽到黑球的概率是1/4或3/4, 希望通过实验来判断黑球 占的比例是1/4还是3/4.
ˆ =T(X1,X2,...,Xn), 建立一个这样的统计量作为 的估计量,称为参数 的点估计.
如果总体X的分布函数F(x; 1¸2,... ,k)中含有k个 不同的未知参数,则要由样本建立k个不带未知参 数的统计量,作为这k个未知参数的估计量. 在不特别强调的情况下,估计量、估计值简称估计. 寻找一个估计量就是寻找估计未知参数的方法，
8 , 7 , 6 , 6.5 , 5 , 5.2 , … 而掌握的信息就由这100个数据组成.
据此 ,我们应如何估计 呢?
为估计 ,我们需要构造出适当的样本的函数
T(X1, X2,…,Xn)，每当有了样本值，就代入该
函数中算出一个值，用来作为 的估计值。 T(X1,X2,…,Xn) 称为参数 的点估计量，
i iˆi
由此解得 ˆi ˆi (X1, X2,…, Xn) 且能验证它是一个极大值点, 则 ˆ i 为i的
极大似然估计量.
若X为离散型,概率函数为 P (x; 1¸2,... ,l),
则似然函数为
L(
1¸2,...
,l)=
n
i 1P(xi;1,2,...,l )
由似然方程组
lnL 0
i iˆi
1 X1*= min{X1, X2, ...Xn} Xn* = max{X1, X2, ...Xn} 2
由于 L(1,2)(2 11)n(Xn * 1X1*)n
今取
ˆ1X1*,ˆ2Xn*
则有 L(1,2)L(ˆ1,ˆ2)
因此, ˆ1 , ˆ2 为1及2的极大似然估计量.
例4 设总体X在[0, ]上服从均匀分布，其概率密
设总体X为连续型,密度为 f (x; ),其中为待估
参数,(X1,X2,...,Xn)为样本, 则样本的联合密度为
n
f xi; , 样本落在点(x1,x2,...,xn)的邻域内的概率
i1
n
为f xi;dxi, 这是的函数. 可见, 的取值不同,
i1
n
将直接影响到f xi;dxi,极大似然法的原理就是
定义: 如果总体X的分布函数F(x; 1¸2,... ,l)中含有 l个不同的未知参数, 假定总体X的l 阶原点矩E(Xl)
存在,并记 k= k (1¸2,... ,l)= E(Xk) (k=1, 2, ...l) (1)
(通常k都是1¸2, ... ,l的函数 ) 如能从(1)式中解出 k= k (1¸2,... ,l) (k=1, 2, ...l)
x[1,2]
0
其它
可知1, 2的似然函数为
L(1,2)211n 1xi2 (i1,2,....n)
0
其 它
似然方程为
LnL
1 LnL
n 2 1
n
0 0
2 2 1
从似然方程中不可能解出1及2的极大似然 估计量.现在, 根据似然函数的定义来确定1及2 的极大似然估计量.显然, 要使似然函数L(1, 2) 非零, 必须有
则称 ˆi ˆi (X1, X2,…, Xn) 为i的极大似然估计量.
(i=1¸2,... ,l)
因为
n
lnL( 1¸2,... ,l)= lnf (xi;1,2,...,l ) i1
由于lnx是关于x的单调上升函数,因此
lnL与L有相同的极大值点.
称
lnL 0 i 1,2,...,l 为似然方程组.
, 2的似然函数：
n
n
L( , 2) f(xi; , 2)
i1
i1
1 e(x2i2)2
2
( 1 ) e n
212
n
(xi)2
i1
(2) () e 2
n 2
2n 2 2 12i n1(xi)2
取对数： ln L n 2 ln ( 2) n 2 ln2 2 1 2 i n 1 ( x i) 2
又因为DX = , 所以 ˆ1 nXiX2B2
此例同样说明矩估计的结果不唯一.
注: (1)估计量和估计值的区别. 参数的估计值是估计量的一次观测值,由于估计 量是随机变量, 具有波动性, 因而参数的估计值
只是一个近似值, 参数的估计所关心的不是估计 值的数值本身, 而是关心它是用什么办法求出来 的, 即由一个怎样的统计量得到的, 并研究该 统计量的优良性质, 如无偏性, 有效性, 相合性等.
EX , DX进行估计, 而数字特征通常与分布中的参数 有一定关系, 因此也称为参数估计.
总体 随机抽样
样本 加工
统计量
统计分析
作出推断
§7.1 点估计
适当选择一个统计量，用此统计量的观测值作为 未知参数的近似值。
例1 已知某地区新生婴儿的体重X~ N(, 2)， 未知, 随机抽查100个婴儿得到100 个体重数据：
i1
n
选取使 f xi; dxi 达到最大的作为的估计值.
i1
而 ˆˆ(x1,x2,...,xn) 作为样本观测值的函数,
通常记为 ˆ ˆ(X 1,X 2,...,X n)
如果X为离散型,通常用X 的概率函数P(x; )代替 f(x; ).
定义 设总体X的密度函数为 f (x; 1¸2,... ,l),其中
把样本值代入T(X1,X2,…,Xn)中，得到
T(x1, x2 ,…, xn) 称为 的一个点估计值 .
定义 设总体X的分布函数为F(x ; ), 其中是未知
参数, X1,X2,…,Xn是样本, 现由样本建立不带 未知参数的统计量T(X1,X2,...,Xn), 对于样本的观
测值(x1,x2,...,xn), 若将T(x1,x2,...,xn)作为 的估计值, 则称T(X1,X2,...,Xn)为 的估计量,记作
1¸2,... ,l为未知参数, (X1,X2,...,Xn)为样本,其
联合密度函数为f (x1 ,x2 ,... , xn; 1¸2,... ,l), 称
n
L(
1¸2,...
,l)=
i1
f
(xi;1,2,...,l
)
为1¸2,... ,l的
似然函数.
若有 ˆ1,ˆ2,...,ˆl 使下式成立
L(ˆ1,ˆ2,...,ˆl)max {L( 1¸2,... ,l)} 1¸2,... ,l
0
x0
求的最大似然估计.
解:
的似然函数为
n
L( )
exi nexi
i1
则 LnL()= n LnXi
似然方程为 解出 ˆ 1
X
L nLnXi 0
(容易验证, ˆ 为极大值点)
例3 设总体X服从[1, 2]上的均匀分布, 1, 2未知,
求1, 2的最大似然估计量
解： X的密度函数为
1
f(x;1,2)21
文言文各种句式详解
7第七章参数估计
参数估计分为点估计和区间估计. 在实际问题中,总体 X 的分布可能是部分未知
或完全未知的.
(1)总体 X 的分布函数的类型已知,如泊松分布P()或
正态分布N(, 2), 而参数 , , 2未知,需要根据样本的信
息对未知参数进行估计, 称为参数估计.
(2)总体 X 的分布函数的类型未知,而要对其数字特征
(2) 矩估计是古老的点估计方法, 直观且简便, 特别是对总体 X 的期望和方差等数字特征进行 估计时, 并不一定要知道 X 的分布函数F(x; ),
但是矩法要求总体的原点矩存在, 如果原点矩 不存在,就不能用矩法. 另一方面, 矩法没有充分 利用分布函数F(x; )对参数所提供的信息.另外,
某些分布(如泊松分布) X , B2都是的矩估计.
方法选定后，用样本值代入统计量就得到该参数 的估计值.
估计量就是一个统计量，原则上可以由样本
构造出许多统计量作为总体中某个未知参数的
估计量。
例如：可以用样本均值
X
1 n
n i 1
Xi
也可以用单个分量Xi
作为总体均值 的估计量。
一 矩法 (K.Pearson在二十世纪初的一系列论文中引进的方法) 矩法的基本思想: 用样本矩作为总体矩的估计量 矩法的理论依据: 辛钦大数定律
都是有限的，求参数 及 2的矩法估计量.
解: 设X1, X2 ,…, Xn是取自总体X的样本
根据矩法可得:
1
n
X i ˆ 1
1
n
X
2 i
ˆ 2
此处 1=EX, 2=E(X2)分别为总体的一阶,二阶原点矩
ˆ1, ˆ2 分别为1, 2的估计量
因为 1 = , 2=2+2
所以
ˆ 1nXi X
i 1,2,...,l
解得 ˆi ˆi (X1, X2,…, Xn), 若它是极大值点
则 ˆ i 为 i的极大似然估计量.
例1设总体 X~N(,2), (X1,X2,...,Xn)为样本
求参数 及2的 极大似然估计量.
解：f( Xx ii的;密,度2 )函 数2 1 为：e (x 2 i 2 )2( 0; i 1 ,2 ,...,n )
矩估计量不统一, 这在应用时是很不利的.
二 最大似然法 (极大似然法) (R.Fisher在1912年的论文中提出的方法)
(极大似然法是点估计中最重要的方法.利用总体X的 分布函数的表达式F(x; )及样本所提供的信息,建立
未知参数的估计量 ˆ (X1,X2,...,Xn) )
例如:两人射击同一目标,事先并不知道谁的技术好,现在
2
ˆ2
ˆ2
1 n
Xi2 ˆ21nXi2 X2
1 n
Xi2nX2
1 n
2
Xi X
B2
(此处B2是样本的二阶中心矩)
本例题说明,样本均值 X 和样本二阶中心矩B2分别为总体 均值和方差的矩法估计量.
例2 求事件A的概率P(A)=p的矩法估计量.
ቤተ መጻሕፍቲ ባይዱ
解: 用随机变量X表示事件A的指示变量
即
X
1
似然方程组：
ln L
1
2
n
(xi )
i1
0
ln L 2
n 2
2
214
n
(xi
i1
)2
0
解出：
ˆ
1 n
n i1
xi
x
21nin1(xi x)2B2
所以, X 和B2分别为和2的极大似然估计量.
(与和2的矩估计量完全一样)
例2 设总体X服从参数>0的指数分布,其密度为
f(x;)ex x0
P(x;)P{Xx}xe
x!
( 0 ,x 0 ,1 ,2 ,...)
的似然函数：
n
L (
)
n
xi
e e n
i1 xi !
xi i1
n
( xi !)
i1
n
n
取对数： lnL n ( xi)ln ln (xi!)
i 1
i 1
n
n
lnL n( xi)ln ln(xi!)
1
f(x;1,2)21
x1,2
0
其它
其中1, 2未知, 2> 1, 求 1, 2的矩法估计量.
解: 因为EX=
1 2
1
2
DX=
1 12
2
1
2
由方程组
X
1 2
ˆ1 ˆ2
B
2
1 12
ˆ2 ˆ1
2
解出 ˆ1X 3B2
ˆ2X 3B2
则 ˆ1, ˆ2 分别是 1, 2的矩法估计量.
例4 设总体X服从参数>0的指数分布,其密度为
度函数为
ƒ(x; )=
1
0
0 x 其它
解: 的似然函数为
求的最大似然估计.
L ()=
1
n
0 xi
（i=1, 2, ... , n）
0 其 它
1
n 0
max(xi) 1in
其它
所以 ˆ ＝max{Xi}是 的最大似然估计量．
例5 设总体X ~P(), >0 ，求的极大似然估计量.
解: X的概率函数为
f(x;)ex
0
解:
因为EX=
1
又因为DX=
1
2
x0 x0
求的矩估计.
即 1
EX
由矩法 ˆ 1
X
即 1
DX
由矩法 ˆ 1 1
B2
B2
此例说明, 矩估计的结果可能不唯一(通常选
择第一个结果)
例5 设总体X ~P(), 求参数的矩估计.
解: 因为EX = , 所以
ˆ
1 n
n i1
Xi
X